WO2018079935A1 - 증강 현실을 이용한 학습방법 및 시스템 - Google Patents

증강 현실을 이용한 학습방법 및 시스템 Download PDF

Info

Publication number
WO2018079935A1
WO2018079935A1 PCT/KR2016/015388 KR2016015388W WO2018079935A1 WO 2018079935 A1 WO2018079935 A1 WO 2018079935A1 KR 2016015388 W KR2016015388 W KR 2016015388W WO 2018079935 A1 WO2018079935 A1 WO 2018079935A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
server
augmented reality
learning
information
Prior art date
Application number
PCT/KR2016/015388
Other languages
English (en)
French (fr)
Inventor
이재호
최병기
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Publication of WO2018079935A1 publication Critical patent/WO2018079935A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a learning method and system using augmented reality.
  • Terminals such as personal computers, laptops, mobile phones, etc. may be configured to perform various functions. Examples of such various functions include data and voice communication functions, taking pictures or videos through a camera, storing voices, playing music files through a speaker system, and displaying images or videos. Some terminals include additional functionality to play games, while others are implemented as multimedia devices. Moreover, recent terminals can receive a broadcast or multicast signal to watch a video or television program.
  • terminals may be divided into mobile / portable terminals and stationary terminals according to their mobility.
  • the mobile terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
  • such a terminal is a multimedia player having a complex function such as taking a picture or a video, playing a music or video file, playing a game, or receiving a broadcast. Is being implemented.
  • AR Augmented Reality
  • augmented reality uses virtual images instead of reality
  • AR augmented reality
  • AR augmented reality
  • Augmented reality is also called Mixed Reality (MR), which was introduced to the world for the first time by adding a virtual image to the aircraft assembly process around 1990.
  • MR Mixed Reality
  • Augmented reality and virtual reality seem to be similar to each other, but it is clearly distinguished according to whether the subject is virtual or real.
  • an augmented reality fighting game is a form in which a real enemy confronts a virtual enemy in a real space.
  • the augmented reality has a feature that the reality is superior to the virtual reality.
  • map search and location search through the Internet are included in augmented reality in a broad sense.
  • An object of the present invention is to provide a user with a learning method and system using augmented reality.
  • the present invention provides a method and system for checking whether a student is present in the real site using location information of the terminal and identification information of a specific object, and teaching a student in the real site through content using augmented reality. It is to.
  • a method comprising: a first step of the server receiving a plurality of educational content associated with a location from the first terminal; A second step of receiving, by the second terminal, at least one of the plurality of educational contents from the server; A third step of providing the received educational content to the at least one student through the second terminal; And a fourth step of determining whether learning of the received education content is completed using location information of the second terminal, wherein the plurality of education content is in the form of Augmented Reality (AR).
  • AR Augmented Reality
  • the second step may include a step 2-1 of transmitting the location information of the second terminal acquired by the location information module of the second terminal to the server; And step 2-2 of the second terminal receiving the training content corresponding to the location information of the second terminal from the plurality of training contents from the server; It may include.
  • the fourth step may include a step 4-1 of the second terminal recognizing an object close to the position of the second terminal; Step 4-2 of transmitting information on the object recognized by the second terminal to the server; And determining whether the learning of the received education content is completed by using location information of the second terminal and information on the recognized object.
  • the second step may include a step 2-1 of the second terminal recognizing an object close to the position of the second terminal; Step 2-2 of transmitting information on the object recognized by the second terminal to the server; And receiving, by the second terminal, training contents corresponding to the recognized object information among the plurality of training contents from the server.
  • the first terminal, the second terminal and the server performs communication by using short-range communication or long-distance communication
  • the short-range communication is Bluetooth
  • Radio Frequency Identification (RFID) infrared communication
  • IrDA infrared communication
  • UWB Ultra Wideband
  • ZigBee ZigBee technologies
  • the telecommunications include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), and orthogonal frequency division (OFDMA).
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division
  • SC-FDMA single carrier frequency division multiple access
  • a first terminal used by at least one teacher, a second terminal used by at least one student, and a server communicating with the first terminal and the second terminal are provided.
  • the server receives a plurality of training content associated with the location from the first terminal, and transmits at least one of the plurality of training content to the second terminal
  • the second terminal is the received training Provide content to the at least one student
  • the server determines whether learning of the received educational content is completed using location information of the second terminal, and the plurality of educational content is augmented reality.
  • AR is displayed on the display unit of the second terminal, the learning of the received education content is not completed, You may repeat the group server and the operation of the second terminal.
  • the second terminal transmits the location information of the second terminal acquired by the location information module of the second terminal to the server, and transmits the location information of the plurality of educational contents to the server from the server. Corresponding educational content may be received.
  • the second terminal recognizes the object close to the position of the second terminal, and transmits the information about the recognized object to the server, the server, the location information of the second terminal and the recognized The information on the object may be used to determine whether learning of the received educational content is completed.
  • the second terminal recognizes the object close to the position of the second terminal, and transmits the information about the recognized object to the server, from the server to the recognized object information of the plurality of education content Corresponding educational content may be received.
  • the first terminal, the second terminal and the server performs communication by using short-range communication or long-distance communication
  • the short-range communication is Bluetooth
  • Radio Frequency Identification (RFID) infrared communication
  • IrDA infrared communication
  • UWB Ultra Wideband
  • ZigBee ZigBee technologies
  • the telecommunications include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), and orthogonal frequency division (OFDMA).
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division
  • SC-FDMA single carrier frequency division multiple access
  • the present invention can provide a user with a learning method and system using augmented reality.
  • the present invention checks whether there is a student in the real site using location information of the terminal and identification information of a specific object, and uses a method and system for teaching a student in the real site through content using augmented reality. Can be provided to
  • Figure 1 shows an example of a block diagram of a mobile terminal that can be applied to the present invention.
  • FIG. 2A to 2C illustrate a specific example in which the augmented reality application indicates a direction to a destination when the street is illuminated through the augmented reality application, and an example of displaying augmented reality content related to cultural assets on a map.
  • FIG. 3 is a flowchart illustrating a learning method using augmented reality proposed by the present invention.
  • FIG. 4 illustrates a specific example in which a student visits a learning site in FIG. 3 and receives a distributed task through a terminal and performs the received task.
  • FIG. 5 illustrates another specific example in which a student visits a learning site through FIG. 3 and receives a distributed task through the terminal and performs the received task.
  • the mobile terminal, mobile terminal, terminal or portable terminal described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), Navigation, etc. may be included.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, etc., except when applicable only to portable terminals.
  • Figure 1 shows an example of a block diagram of a mobile terminal that can be applied to the present invention.
  • the mobile terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a memory 160, and an interface.
  • the unit 170, the controller 180, and the battery 190 may be included.
  • the components shown in FIG. 1 are not essential, so a portable terminal having more or fewer components may be implemented.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
  • the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless internet module 113, a short range communication module 114, a location information module 115, and the like. .
  • the broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 111 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H). Handheld), DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • Handheld DVB-CBMS, OMA-BCAST, and ISDB-T (Integrated Services Digital Broadcast-Terrestrial) can be used to receive digital broadcast signals.
  • DVB-CBMS Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast
  • the broadcast receiving module 111 may be configured to be suitable
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.
  • the mobile communication module 112 transmits and receives a wireless signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access and may be embedded or external to the mobile terminal 100.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the short range communication module 114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module 115 is a module for acquiring the location of the mobile terminal 100, and a representative example thereof is a GPS (Global Position System) module.
  • the GPS module 115 calculates distance information and accurate time information away from three or more satellites, and then applies trigonometric methods to the calculated information, thereby providing three-dimensional chords according to latitude, longitude, and altitude.
  • the location information can be calculated accurately.
  • a method of calculating position and time information using three satellites and correcting the error of the calculated position and time information using another satellite is widely used.
  • the GPS module 115 may calculate speed information by continuously calculating the current position in real time.
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110.
  • two or more cameras 121 may be provided according to the use environment.
  • the camera 121 may be provided with first and second cameras 121a and 121b for capturing 3D images on the opposite side of the display unit 151 of the portable terminal 100.
  • the third camera 121c for self-photographing of the user may be provided in a portion of the surface where the display unit 151 of the terminal 100 is provided.
  • the first camera 121a may be for photographing a left eye image, which is a source image of a 3D image
  • the second camera 121b may be for photographing a right eye image
  • the microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output in the call mode.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 130 generates input data for the user to control the operation of the terminal.
  • the user input unit 130 may receive a signal from a user, which designates two or more contents among the displayed contents according to the present invention.
  • a signal specifying two or more contents may be received through a touch input or may be received through a hard key and a soft key input.
  • the user input unit 130 may receive an input for selecting one or more contents from the user.
  • the user may receive an input for generating an icon related to a function that the portable terminal 100 can perform.
  • the user input unit 130 may be composed of a direction key, a key pad, a dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.
  • the sensing unit 140 detects a current state of the mobile terminal 100 such as an open / closed state of the mobile terminal 100, a position of the mobile terminal 100, presence or absence of a user contact, orientation of the mobile terminal, acceleration / deceleration of the mobile terminal, and the like. To generate a sensing signal for controlling the operation of the portable terminal 100. For example, when the portable terminal 100 is in the form of a slide phone, whether the slide phone is opened or closed may be sensed. In addition, whether the battery 190 is supplied with power or whether the interface unit 170 is coupled to an external device may be sensed.
  • the sensing unit 140 may include a proximity sensor 141. The proximity sensor 141 will be described later with reference to a touch screen.
  • the output unit 150 is used to generate an output related to visual, auditory or tactile senses, which includes a display unit 151, an audio output module 152, an alarm unit 153, a haptic module 154, and a projector module ( 155) may be included.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, a user interface (UI) or a graphic user interface (GUI) related to a call is displayed. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays a photographed and / or received image, a UI, and a GUI.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 supports 2D and 3D display modes.
  • the display unit 151 may have a configuration in which the switch liquid crystal 151b is combined with the general display device 151a as shown in FIG. 1.
  • the optical parallax barrier 50 may be operated using the switch liquid crystal 151b to control the traveling direction of the light to separate the light to reach the left and right eyes. Therefore, when a combination image of the right eye image and the left eye image is displayed on the display device 151a, the user's point of view of the image corresponding to each eye is felt as if displayed in three dimensions.
  • the display unit 151 drives only the display device 151a without driving the switch liquid crystal 151b and the optical parallax barrier 50 in the 2D display mode under the control of the controller 180. Perform a normal 2D display operation.
  • the display unit 151 drives the switch liquid crystal 151b, the optical parallax barrier 50, and the display device 151a in the 3D display mode under the control of the controller 180.
  • 3D display operation is performed by driving only 151a.
  • the display unit 151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), or an organic light-emitting diode (OLED).
  • the display device may include at least one of a flexible display and a 3D display.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display unit 151 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the terminal body through the area occupied by the display unit 151 of the terminal body.
  • the plurality of display units may be spaced apart or integrally disposed on one surface of the portable terminal 100, or may be disposed on different surfaces.
  • the display unit 151 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter, referred to as a touch screen)
  • the display unit 151 may be configured in addition to an output device. Can also be used as an input device.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated in a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the corresponding signal (s) is sent to a touch controller (not shown).
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180.
  • the controller 180 can know which area of the display unit 151 is touched.
  • the proximity sensor 141 may be disposed in an inner region of the mobile terminal surrounded by the touch screen or near the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen is referred to as a "proximity touch", and the touch
  • the act of actually touching the pointer on the screen is called “contact touch.”
  • the position where the proximity touch is performed by the pointer on the touch screen refers to a position where the pointer is perpendicular to the touch screen when the pointer is in proximity proximity.
  • the proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state).
  • a proximity touch and a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • the sound output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the portable terminal 100.
  • the sound output module 152 may include a receiver, a speaker, a buzzer, and the like.
  • the alarm unit 153 outputs a signal for notifying occurrence of an event of the portable terminal 100. Examples of events occurring in the mobile terminal include call signal reception, message reception, key signal input, and touch input.
  • the alarm unit 153 may output a signal for notifying occurrence of an event in a form other than a video signal or an audio signal, for example, vibration.
  • the video signal or the audio signal may also be output through the display unit 151 or the audio output module 152.
  • the display unit 151 and the audio output module 152 may be a kind of alarm unit 153. May be classified.
  • the haptic module 154 generates various haptic effects that a user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 154.
  • the intensity and pattern of vibration generated by the haptic module 154 can be controlled. For example, different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module 154 may be configured to provide a pin array that vertically moves with respect to the contact skin surface, a jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of the electrode, electrostatic force, and the like.
  • Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endotherm or heat generation.
  • the haptic module 154 may not only deliver the haptic effect through direct contact, but also may implement the user to feel the haptic effect through a muscle sense such as a finger or an arm. Two or more haptic modules 154 may be provided according to a configuration aspect of the mobile terminal 100.
  • the projector module 155 is a component for performing an image project function using the portable terminal 100 and is the same as an image displayed on the display unit 151 according to a control signal of the controller 180. Or at least partially different images may be displayed on an external screen or wall.
  • the projector module 155 may include a light source (not shown) for generating light (for example, laser light) for outputting the image to the outside, and an image for output to the outside using the light generated by the light source. And an image generating means (not shown), and a lens (not shown) for expanding and outputting the image to the outside at a predetermined focal length.
  • the projector module 155 may include an apparatus (not shown) which may mechanically move the lens or the entire module to adjust the image projection direction.
  • the projector module 155 may be divided into a cathode ray tube (CRT) module, a liquid crystal display (LCD) module, a digital light processing (DLP) module, and the like, according to the device type of the display means.
  • the DLP module may be advantageous in miniaturization of the projector module 151 by expanding and projecting an image generated by reflecting light generated from a light source to a digital micromirror device (DMD) chip.
  • DMD digital micromirror device
  • the projector module 155 may be provided in the longitudinal direction on the side, front, or back of the portable terminal 100.
  • the projector module 155 may be provided at any position of the mobile terminal 100 as necessary.
  • the memory 160 may store a program for processing and controlling the controller 180, and input / output data (for example, a phone book, a message, an audio, a still image, an e-book, a video, a transmission / reception message). Function for temporary storage of history, etc.).
  • the memory 160 may also store a frequency of use of each of the data (eg, a phone number, a message, and a frequency of use of each multimedia).
  • the memory unit 160 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
  • the memory 160 also stores a web browser that displays 3D or 2D web pages in accordance with the present invention.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory). ), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic At least one type of storage medium may include a memory, a magnetic disk, and an optical disk.
  • the mobile terminal 100 may operate in association with a web storage that performs a storage function of the memory 160 on the Internet.
  • the interface unit 170 serves as a path with all external devices connected to the mobile terminal 100.
  • the interface unit 170 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device.
  • wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, The video input / output (I / O) port, the earphone port, and the like may be included in the interface unit 170.
  • the identification module is a chip that stores various types of information for authenticating the use authority of the mobile terminal 100, and includes a user identification module (UIM), a subscriber identification module (SIM), and a universal user authentication module ( Universal Subscriber Identity Module (USIM), and the like.
  • a device equipped with an identification module (hereinafter referred to as an 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through a port.
  • the interface unit may be a passage through which power from the cradle is supplied to the portable terminal 100 when the portable terminal 100 is connected to an external cradle, or various command signals inputted from the cradle by a user may be carried. It may be a passage that is delivered to the terminal. Various command signals or power input from the cradle may be operated as signals for recognizing that the portable terminal is correctly mounted in the cradle.
  • the controller 180 typically controls the overall operation of the mobile terminal. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 180 may include a multimedia module 181 for playing multimedia.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • the controller 180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as text and an image, respectively.
  • the controller 180 is input through the camera 121 according to the present invention.
  • the preview image is pulled up and displayed on the screen of the organic light-emitting diode (OLED) or TOLED (Transparant OLED)
  • the size of the preview image is adjusted according to a user's operation, the size is displayed on the screen.
  • the power consumption of the power supplied from the power supply unit 190 to the display unit 151 may be reduced by turning off the driving of the pixels in the second area except the first area in which the adjusted preview image is displayed.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 180 itself.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the memory 160 and executed by the controller 180.
  • Augmented reality is a technique of superimposing three-dimensional virtual objects in the real world. In other words, it is a technology that superimposes a virtual object on the real world seen by the user.
  • MR Mixed Reality
  • Augmented reality a concept that complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment.
  • Virtual reality technology immerses the user in the virtual environment and cannot see the real environment.
  • augmented reality technology which is a mixture of real environment and virtual objects, allows the user to see the real environment, providing better realism and additional information.
  • augmented reality may be provided using the mobile terminal 100 described above with reference to FIG. 1.
  • Augmented reality is a very complex and difficult imaging technology internally, but basically it works in the following principle and order.
  • GPS device for transmitting / receiving geographic / position information
  • gravity (tilt + electronic compass) sensor or gyroscope sensor
  • location information system that stores detailed information according to this information.
  • an augmented reality application that receives the detailed information and displays it on the reality background
  • an IT device mobile terminal 100, tablet PC
  • the content of the present invention is not limited thereto, and it is also possible to apply the augmented reality technology with more components or fewer components.
  • the latitude / longitude information of the current position and the tilt / gravity information are displayed through the GPS receiver. 100 is recorded temporarily.
  • the GPS information is then sent to a specific location information system via the Internet. This is because it is practically impossible to store all the detailed information of the area or the building of the location radius in the mobile terminal 100.
  • the location information system that receives the GPS information, such as the position, the slope from the user searches the detailed information of the area or object in its database and transmits the result back to the mobile terminal 100.
  • the mobile terminal 100 receiving the data may be matched with current map information through an augmented reality application and then displayed in real time.
  • the user of the mobile terminal 100 can use the augmented reality feature can have a different experience.
  • the application then reads the screen information and displays the title, author, publisher, review rating, and price on the screen from an Internet database.
  • a map search application using augmented reality may be used.
  • the direction of the augmented reality application is displayed as a virtual arrow.
  • the mobile terminal 100 illuminates the distance with the camera, the building and mutual information are automatically displayed on the screen.
  • FIG. 2A to 2C illustrate a specific example in which the augmented reality application indicates a direction to a destination when the street is illuminated through the augmented reality application, and an example of displaying augmented reality content related to cultural assets on a map.
  • Virtual weather maps and information graphs behind the weather caster are some examples.
  • the present invention is to provide a user with a learning method and system using augmented reality based on the augmented reality technology and the configuration of the terminal 100 described above.
  • the present invention provides a method and system for checking whether a student is present in the real site using location information of the terminal and identification information of a specific object, and teaching a student in the real site through content using augmented reality. It is to.
  • Learning system using augmented reality may include a terminal 100 and a central management server (not shown).
  • the terminal 100 may be a plurality of terminals 100 used by a plurality of teachers and a plurality of students, respectively.
  • the central management server may communicate with the plurality of terminals 100 to transmit and receive data, and store data received from the plurality of terminals 100 or request at least one of the plurality of terminals 100. It is also possible to provide stored data.
  • the central management server and the plurality of terminals 100 may communicate using at least one of short range communication and long range communication.
  • the short range communication may use at least one of Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), and ZigBee technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee technology ZigBee technology
  • long-range wireless communication includes code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), and single carrier frequency division multiple access (SC-FDMA). At least one of the techniques may be used.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • FIG. 3 is a flowchart illustrating a learning method using augmented reality proposed by the present invention.
  • a step (S100) of a teacher creating a plurality of field visit tasks required in a learning process is performed.
  • the teacher may ask a question if it is determined that field trip learning is necessary within the learning process.
  • the teacher may create a plurality of contents as a continuous task as well as one content (text, image, video, etc.) necessary for field trips.
  • the content of the second level may be provided only when the student completes the first level of content.
  • the teacher may create the task content using the terminal 100.
  • step S100 content for field study of Bulguksa located in Gyeongju may be produced by a teacher.
  • a video provided through augmented reality describing Cheongunyo may be produced.
  • a video provided through augmented reality describing Baegun Bridge as a second stage content may be produced.
  • a video provided through augmented reality describing the Buddha's pagoda as the third stage content may be produced.
  • a video provided through augmented reality for explaining the dabotap may be produced as the fourth step content.
  • the field visit task transmitted from the plurality of teachers is classified according to the category, and the field visit task may be provided to the student terminal 100 according to the classified criteria.
  • Step S300 transmits the student's own location information to the central management server through the location information module 155 of the terminal 100 used by the student, and the task corresponding to the student's location from the central management server through the terminal 100. You can download it.
  • the central management server may transmit a task related to the pagoda to the student terminal (100).
  • a step (S400) of performing the task downloaded by the student in the field proceeds.
  • step S400 the information is provided to the students through the augmented reality method described above.
  • a video describing the symbolic meaning of the dabotap may be displayed on the user's terminal 100 in the form of augmented reality.
  • step S400 when the student recognizes a specific object in the field through the terminal 100, the central management server receives the information about the specific object from the terminal, and the location information of the student and the information of the specific object match It may be determined only that the task has been completed.
  • a new task following the completed task may be given to the student terminal 100.
  • the central management server checks whether the task is completed (S500).
  • step S600 in which the teacher writes a task for a specific part of which the task is not completed is newly performed.
  • the central management server can transmit the task completion message to the student's terminal.
  • the teacher can check the performance of all the students' assignments to prepare for the next class. In other words, when all processes are completed, a new project may be newly started from the S100 stage.
  • the teacher may be provided with a function to view the current status of the student's current work through the central management server in each course.
  • steps S300 and S400 of the present invention may be implemented in various embodiments according to a method of confirming whether or not a student exists in the actual site using location information of a terminal and identification information of a specific object.
  • FIG. 4 illustrates a specific example in which a student visits a learning site in FIG. 3 and receives a distributed task through a terminal and performs the received task.
  • steps S100, S200, S500, and S600 described in FIG. 3 are also applied to FIG. 4 as it is, and for the sake of brevity of the specification, descriptions thereof will be omitted.
  • step S200 the terminal 100 used by the student transmits the location information to the central management server (S310).
  • the location information module of the terminal 100 it is possible to transmit information related to the location of the current terminal 100 to the central management server by using short-range communication or remote communication.
  • step S320 of the student downloading the terminal 100 from the central management server to the first task corresponding to the location of the current terminal 100 among a plurality of field education contents stored or received in the central management server may be performed. Can be.
  • a task related to Bulguksa may be assigned to the student.
  • step S320 the student recognizes a specific object in the field through the terminal 100 (S410).
  • an RFID technology As a method of recognizing a specific object, an RFID technology, a QR code technology, or the like may be applied.
  • the terminal 100 may recognize a specific target by RFID communication with a device preset in the dabotap or a QR code arranged around the dabotap.
  • the central management server receives the information on the specific target from the terminal 100 (S420).
  • Step S420 is to double check whether the student exists in a specific target location, and provides a function to check whether the actual student has learned augmented reality content at the corresponding location.
  • the central management server transmits the second task associated with the first task to the terminal 100 (S430).
  • the student may perform the second task in the field.
  • FIG. 5 illustrates another specific example in which a student visits a learning site through FIG. 3 and receives a distributed task through the terminal and performs the received task.
  • steps S100, S200, S500, and S600 described in FIG. 3 are applied to the same as in FIG. 5, and thus descriptions thereof will be omitted for simplicity.
  • step S200 the student recognizes a specific object in the field through the terminal 100 (S330).
  • an RFID technology As a method of recognizing a specific target in operation S330, an RFID technology, a QR code technology, or the like may be applied.
  • the terminal 100 may recognize a specific object by RFID communication with a device pre-set in Baegun Bridge or a QR code disposed around the Baegun Bridge.
  • the central management server receives the information on the specific object from the terminal 100 (S340), and the first task corresponding to the location of the specific object recognized by the student terminal is downloaded from the central management server. Step S350 is performed.
  • step S450 for the student to view and view the information related to the specific object is carried out.
  • operation S450 information related to a specific object is displayed through an AR technology through the display unit 151 of the terminal 100.
  • the central management server transmits the second task associated with the first task to the terminal 100, and the student may perform the second task in the field (S470).
  • the present invention can provide a user with a learning method and system using augmented reality through the above-described configuration.
  • the present invention checks whether there is a student in the real site using location information of the terminal and identification information of a specific object, and uses a method and system for teaching a student in the real site through content using augmented reality. Can be provided to
  • the present invention can also be embodied as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.
  • the above-described apparatus and method may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be selectively combined in whole or in part in each of the embodiments so that various modifications may be made. It may be configured.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 증강 현실을 이용한 학습방법 및 시스템에 관한 것이다. 본 발명의 일예와 관련된 적어도 하나의 교사가 이용하는 제 1 단말, 적어도 하나의 학생이 이용하는 제 2 단말, 상기 제 1 단말 및 제 2 단말과 통신하는 서버를 이용하여 학습하는 방법에 있어서, 상기 서버가 상기 제 1 단말로부터 위치와 관련된 복수의 교육 컨텐츠를 수신하는 제 1 단계; 상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 적어도 하나를 수신하는 제 2 단계; 상기 수신한 교육 컨텐츠가 상기 제 2 단말을 통해 상기 적어도 하나의 학생에 제공되는 제 3 단계; 및 상기 제 2 단말의 위치 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 제 4 단계;를 포함하되, 상기 복수의 교육 컨텐츠는, 증강 현실(Augmented Reality, AR)의 형태로 상기 제 2 단말의 디스플레이부 상에 표시되고, 상기 수신한 교육 컨텐츠의 학습이 완료되지 않은 경우, 상기 제 1 단계 내지 상기 제 4 단계가 반복될 수 있다.

Description

증강 현실을 이용한 학습방법 및 시스템
본 발명은 증강 현실을 이용한 학습방법 및 시스템에 관한 것이다.
개인용 컴퓨터, 노트북, 휴대폰 등과 같은 단말기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다. 일부 단말기는 게임을 실행할 수 있는 추가적 기능을 포함하고, 다른 일부 단말기는 멀티미디어 기기로서 구현되기도 한다. 더욱이 최근의 단말기는 방송이나 멀티캐스트(multicast) 신호를 수신하여 비디오나 텔레비전 프로그램을 시청할 수 있다.
일반적으로 단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
몇 년 전부터 전세계를 휩쓴 이동단말기(100), 태블릿 PC열풍이 소비 성향을 비롯해 생활 패턴까지 변화시키고 있다.
그만큼 요즘 IT 기기는 우리의 일상과 대단히 밀접한 관계를 갖고 있다. 그 동안 영화에서나 볼 법한 신기술을 이제는 누구라도 쉽게 사용할 수 있게 되었기 때문이다.
그 대표적인 신기술 중 하나가 바로 증강현실(Augmented Reality, AR) 이다.
그런데 적지 않은 사람들이 가상현실(VirtualReality, VR)과 증강현실을 혼동하고 있다.
가상현실은 자신(객체)과 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, 증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다.
또한, 증강현실은 혼합현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 보잉사에서 1990경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.
증강현실과 가상현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다.
컴퓨터 게임으로 예를 들면, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다.
따라서 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.
이 밖에 가상현실은 일반적으로 영화나 영상 분야 등 특수 환경에서만 사용되지만 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다.
예를 들어, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함된다.
다만, 컴퓨터는 이동 중 사용이 곤란하므로 이동단말기(100)이나 태블릿 PC 등의 휴대용 기기를 대상으로 한 증강현실 기술이 주목을 받고 있다.
[선행기술문헌]
(특허문헌)
대한민국 특허청 등록번호 제 10-1089679 호
본 발명은 증강 현실을 이용한 학습방법 및 시스템을 사용자에게 제공하는데 그 목적이 있다.
구체적으로, 본 발명은 단말의 위치 정보와 특정 오브젝트의 식별정보를 이용하여 실제 현장에 학생이 있는지 여부를 확인하고, 증강 현실을 이용한 컨텐츠를 통해 실제 현장에 있는 학생을 교육하는 방법 및 시스템을 제공하기 위한 것이다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 적어도 하나의 교사가 이용하는 제 1 단말, 적어도 하나의 학생이 이용하는 제 2 단말, 상기 제 1 단말 및 제 2 단말과 통신하는 서버를 이용하여 학습하는 방법에 있어서, 상기 서버가 상기 제 1 단말로부터 위치와 관련된 복수의 교육 컨텐츠를 수신하는 제 1 단계; 상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 적어도 하나를 수신하는 제 2 단계; 상기 수신한 교육 컨텐츠가 상기 제 2 단말을 통해 상기 적어도 하나의 학생에 제공되는 제 3 단계; 및 상기 제 2 단말의 위치 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 제 4 단계;를 포함하되, 상기 복수의 교육 컨텐츠는, 증강 현실(Augmented Reality, AR)의 형태로 상기 제 2 단말의 디스플레이부 상에 표시되고, 상기 수신한 교육 컨텐츠의 학습이 완료되지 않은 경우, 상기 제 1 단계 내지 상기 제 4 단계가 반복될 수 있다.
또한, 상기 제 2 단계는, 상기 제 2 단말의 위치정보모듈이 획득한 상기 제 2 단말의 위치 정보를 상기 서버로 전송하는 제 2-1 단계; 및 상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 제 2 단말의 위치 정보에 대응하는 교육 컨텐츠를 수신하는 제 2-2 단계; 를 포함할 수 있다.
또한, 상기 제 4 단계는, 상기 제 2 단말이 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하는 제 4-1 단계; 상기 제 2 단말이 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하는 제 4-2 단계; 및 상기 제 2 단말의 위치 정보 및 상기 인식한 오브젝트에 대한 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 제 4-3 단계;를 포함할 수 있다.
또한, 상기 제 2 단계는, 상기 제 2 단말이 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하는 제 2-1 단계; 상기 제 2 단말이 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하는 제 2-2 단계; 및 상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 인식한 오브젝트 정보에 대응하는 교육 컨텐츠를 수신하는 제 2-3 단계;를 포함할 수 있다.
또한, 상기 제 1 단말, 제 2 단말 및 서버는 근거리 통신 또는 원거리 통신을 이용하여 통신을 수행하고, 상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용할 수 있다.
한편, 상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 적어도 하나의 교사가 이용하는 제 1 단말, 적어도 하나의 학생이 이용하는 제 2 단말, 상기 제 1 단말 및 제 2 단말과 통신하는 서버를 포함하는 시스템에 있어서, 상기 서버는, 상기 제 1 단말로부터 위치와 관련된 복수의 교육 컨텐츠를 수신하고, 상기 제 2 단말로 상기 복수의 교육 컨텐츠 중 적어도 하나를 전송하며, 상기 제 2 단말은 상기 수신한 교육 컨텐츠를 상기 적어도 하나의 학생에 제공하고, 상기 서버는 상기 제 2 단말의 위치 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하며, 상기 복수의 교육 컨텐츠는 증강 현실(Augmented Reality, AR)의 형태로 상기 제 2 단말의 디스플레이부 상에 표시되고, 상기 수신한 교육 컨텐츠의 학습이 완료되지 않은 경우, 상기 서버 및 상기 제 2 단말의 동작을 반복할 수 있다.
또한, 상기 제 2 단말은, 상기 제 2 단말의 위치정보모듈이 획득한 상기 제 2 단말의 위치 정보를 상기 서버로 전송하고, 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 제 2 단말의 위치 정보에 대응하는 교육 컨텐츠를 수신할 수 있다.
또한, 상기 제 2 단말은, 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하고, 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하며, 상기 서버는, 상기 제 2 단말의 위치 정보 및 상기 인식한 오브젝트에 대한 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단할 수 있다.
또한, 상기 제 2 단말은, 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하고, 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하며, 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 인식한 오브젝트 정보에 대응하는 교육 컨텐츠를 수신할 수 있다.
또한, 상기 제 1 단말, 제 2 단말 및 서버는 근거리 통신 또는 원거리 통신을 이용하여 통신을 수행하고, 상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용할 수 있다.
본 발명은 증강 현실을 이용한 학습방법 및 시스템을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 단말의 위치 정보와 특정 오브젝트의 식별정보를 이용하여 실제 현장에 학생이 있는지 여부를 확인하고, 증강 현실을 이용한 컨텐츠를 통해 실제 현장에 있는 학생을 교육하는 방법 및 시스템을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명에 적용될 수 있는 이동 단말기의 블록 구성도의 일례를 나타낸 것이다.
도 2a 내지 도 2c는 증강현실 애플리케이션을 통해 길거리를 비추면 증강현실 애플리케이션이 목적지까지 가는 방향을 알려주는 구체적인 일례와 지도 상에 문화재와 관련된 증강현실 컨텐츠가 표시되는 일례를 도시한 것이다.
도 3은 본 발명이 제안하는 증강 현실을 이용한 학습방법을 설명하기 위한 순서도 이다.
도 4는 도 3에서 학생이 학습현장에 방문하여 배포된 과제를 단말을 통해 수신하고, 수신한 과제를 수행하는 구체적인 일례를 도시한 것이다.
도 5는 도 3에서 학생이 학습현장에 방문하여 배포된 과제를 단말을 통해 수신하고, 수신한 과제를 수행하는 구체적인 다른 일례를 도시한 것이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
이하에서는, 본 발명의 이동 단말기를 구체적으로 설명한다.
본 명세서에서 설명되는 이동 단말기, 이동단말, 단말 또는 휴대 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 휴대 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명에 적용될 수 있는 이동 단말기의 블록 구성도의 일례를 나타낸 것이다.
상기 휴대 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 배터리(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 휴대 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 휴대 단말기(100)와 무선 통신 시스템 사이 또는 휴대 단말기(100)와 휴대 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS, OMA-BCAST, ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 휴대 단말기(100)에 내장되거나 외장될 수 있다.
상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치 정보 모듈(115)은 휴대 단말기(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다.
이때, 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
일 예로, 상기 카메라(121)는 휴대 단말기(100)의 디스플레이부(151)가 구비된 반대면에 3D 영상 촬영을 위한 제1 및 제2 카메라(121a, 121b)가 구비될 수 있고, 상기 휴대 단말기(100)의 디스플레이부(151)가 구비된 면의 일부 영역에 사용자의 셀프 촬영을 위한 제3 카메라(121c)가 구비될 수 있다.
이때, 제1 카메라(121a)는 3D 영상의 소스 영상인 좌안 영상 촬영을 위한 것이고, 제2 카메라(121b)는 우안 영상 촬영을 위한 것이 될 수 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다.
사용자 입력부(130)는 본 발명에 따라 표시되는 컨텐트들 중 두 개 이상의 컨텐트를 지정하는 신호를 사용자로부터 수신할 수 있다. 그리고, 두 개 이상의 컨텐트를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.
사용자 입력부(130)는 상기 하나 또는 둘 이상의 컨텐트들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 휴대 단말기(100)가 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.
상기와 같은, 사용자 입력부(130)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 휴대 단말기(100)의 개폐 상태, 휴대 단말기(100)의 위치, 사용자 접촉 유무, 휴대 단말기의 방위, 휴대 단말기의 가속/감속 등과 같이 휴대 단말기(100)의 현 상태를 감지하여 휴대 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 배터리(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다. 상기 근접 센서(141)에 대해서는 나중에 터치스크린과 관련되어 후술된다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 휴대 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 휴대 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 휴대 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
또한, 본 발명에 따른 디스플레이부(151)는 2D 및 3D 표시 모드를 지원한다.
즉, 본 발명에 따른 디스플레이부(151)는 이하의 도 1에 도시된 바와 같이, 일반적인 디스플레이 장치(151a)에 스위치 액정(151b)을 조합하는 구성을 가질 수 있다. 그리고, 스위치 액정(151b)을 이용하여 광학 시차 장벽(50)을 작동시켜 광의 진행 방향을 제어하여 좌우의 눈에 각기 다른 광이 도달하도록 분리할 수 있다. 때문에 우안용 영상과 좌안용 영상이 조합된 영상이 디스플레이 장치(151a)에 표시되는 경우 사용자의 입장에서는 각각의 눈에 대응한 화상이 보여 마치 입체로 표시된 것처럼 느끼게 된다.
즉, 디스플레이부(151)는 제어부(180)의 제어에 따라, 2D 표시 모드인 상태에서는 상기 스위치 액정(151b) 및 광학 시차 장벽(50)을 구동시키지 않고, 상기 디스플레이 장치(151a)만을 구동시켜 일반적인 2D 표시 동작을 수행한다.
또한, 디스플레이부(151)는 제어부(180)의 제어에 따라, 3D 표시 모드인 상태에서는 상기 스위치 액정(151b)과, 광학 시차 장벽(50) 및 디스플레이 장치(151a)를 구동시켜 상기 디스플레이 장치(151a)만을 구동시켜 3D 표시 동작을 수행한다.
한편, 상기와 같은 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
휴대 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 휴대 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 휴대 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 휴대 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 휴대 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 휴대 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(151) 및 음성출력모듈(152)은 알람부(153)의 일종으로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 휴대 단말기(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 휴대 단말기(100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 휴대 단말기(100)의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 전자도서, 동영상, 송수신 메시지 히스토리 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 메모리(160)는 본 발명에 따라, 3D 또는 2D 웹페이지를 표시하는 웹브라우저가 저장된다.
상기와 같은 메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 휴대 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 휴대 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 휴대 단말기(100) 내부의 각 구성 요소에 전달하거나, 휴대 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 휴대 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 휴대 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 휴대 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 휴대 단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 휴대 단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller)(180)는 통상적으로 휴대 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
한편, 제어부(180)는 상기 디스플레이부(151)가 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)로 구비될 경우, 본 발명에 따라, 카메라(121)를 통해 입력된 프리뷰 영상이 상기 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)의 화면 상에 풀업 표시된 상태에서, 사용자에 조작에 따라 상기 프리뷰 영상의 크기가 조절되면, 상기 화면 상에서 상기 크기가 조절된 프리뷰 영상이 표시된 제1 영역을 제외한 나머지 제2 영역 내의 화소들의 구동을 오프시킴으로써, 전원 공급부(190)에서 상기 디스플레이부(151)로 공급되는 전원의 소모량을 줄일 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
증강현실(augmented reality)은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술이다. 즉, 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다.
현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국·일본을 중심으로 연구, 개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다.
여기서 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.
사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다.
하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.
예를 들어 이동단말기(100) 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다. 즉, 도 1을 이용하여 전술한 이동 단말기(100)를 이용하여 증강현실이 제공될 수 있다.
또한, 증강현실의 기본 원리에 대해 설명한다.
증강현실은 내부적으로 대단히 복잡하고 어려운 영상 기술이지만, 기본적으로는 다음과 같은 원리와 순서로 작동한다.
증강현실 기술을 적용하기 위해서는 몇 가지 필요한 요소가 있는데, 지리/위치 정보를 송수신하는 GPS장치 및 중력(기울기+전자나침반) 센서(또는 자이로스코프 센서), 이 정보에 따른 상세 정보가 저장된 위치정보시스템(인터넷 연결 필요), 그 상세 정보를 수신하여 현실 배경에 표시하는 증강현실 애플리케이션, 마지막으로 이를 디스플레이로 출력할 IT 기기(이동단말기(100), 태블릿 PC) 등을 들 수 있다.
다만, 본 발명의 내용이 이에 한정되는 것은 아니고, 더 많은 구성 요소 또는 더 적은 구성요소를 가지고 증강현실 기술을 적용하는 것도 가능하다.
우선 사용자는 증강현실 애플리케이션 실행 후, 이동단말기(100) 등의 내장 카메라(캠)로 특정 거리나 건물을 비추면 GPS 수신기를 통해 현재 위치의 위도/경도 정보, 기울기/중력 정보 등이 이동단말기(100)에 임시 기록된다.
그런 다음 이 GPS 정보를 인터넷을 통해 특정 위치정보 시스템에 전송한다. 이는 해당 위치 반경의 지역이나 건물의 상세 정보를 모두 이동단말기(100)에 저장하기가 현실적으로 불가능하기 때문이다.
또한, 사용자로부터 위치, 기울기 등의 GPS 정보를 수신한 위치정보시스템은 해당 지역 또는 사물의 상세 정보를 자신의 데이터베이스에서 검색한 후 그 결과를 다시 이동단말기(100)으로 전송한다.
여기에는 물론 특정 건물의 상호, 전화번호 등이 들어 있다.
이 데이터를 수신한 이동단말기(100)은 증강현실 애플리케이션을 통해 현 지도 정보와 매칭시킨 후 실시간 화면으로 보여줄 수 있다.
여기서 데이터 송수신 단계는 지속적으로 유지 및 수행되므로, 이동단말기(100)을 들고 거리를 지나면 해당 지역 및 주변에 대한 상세 정보가 순차적으로 화면에 나타나게 된다.
다음으로, 이동 단말기(100)를 이용하여 증강현실이 제공되는 구체적인 내용에 대해 설명한다.
이동단말기(100) 사용자라면 증가현실 기능을 활용해 색다른 경험을 할 수 있다.
예를 들어, 친구가 보고 있는 책의 자세한 정보가 궁금하다면 이동단말기(100) 내 증강현실 애플리케이션을 실행한 다음, 카메라 화면으로 책 표지를 비추거나 셔터로 찍으면 된다.
그러면 해당 애플리케이션이 이 화면 정보를 읽어 들여 인터넷 데이터베이스 등에서 책 제목과 저자, 출판사, 서평 평점, 가격 등을 화면에 보여준다.
따라서 당연히 3G/4G 이동통신 또는 와이파이로 인터넷 접속이 가능한 상태여야 한다. 희귀서가 아닌 이상 대부분의 책 정보를 볼 수 있다.
위와 같이 책 정보를 알았고 구매하기로 마음 먹은 경우, 인터넷으로 주문할 수도 있지만 인근 서점을 찾아 직접 훑어 보고 구매하는 것을 더 선호할 수 있다.
이때는 증강현실을 이용한 지도 검색 애플리케이션을 활용하면 된다.
즉, 이동단말기(100) 또는 태블릿 PC의 GPS 정보를 수신하여 현재 자신의 위치를 파악한 후 가장 가까운 거리에 있는 서점을 찾아 주기 때문이다.　
아울러 인근 서점까지 가는 방법도 증강현실 애플리케이션을 통해 자세히 안내 받을 수 있다.
자동차 이동 경로나 대중교통 탑승, 환승 정보는 물론, 도보 이동 시 가상 네비게이션 기능도 제공까지 제공될 수 있다.
즉, 이동단말기(100) 카메라를 길거리를 비추면 증강현실 애플리케이션이 가는 방향을 가상의 화살표 등으로 표시해 준다.
　또한, 인근 서점에서 책을 구매한 이후에 조용한 카페에 들러 책을 천천히 읽고자 하는 경우, 주변에 괜찮은 카페가 있는지 여부도 증강현실 애플리케이션을 통해 확인할 수 있다.
마찬가지로 이동단말기(100) 카메라로 거리를 비추면 건물 및 상호 정보가 화면 위에 자동으로 표시된다.
역시, 원하는 카페까지 걸어가는 경로도 화살표 등으로 표시되므로, 따라가면 손쉽게 찾을 수 있게 된다.
도 2a 내지 도 2c는 증강현실 애플리케이션을 통해 길거리를 비추면 증강현실 애플리케이션이 목적지까지 가는 방향을 알려주는 구체적인 일례와 지도 상에 문화재와 관련된 증강현실 컨텐츠가 표시되는 일례를 도시한 것이다.
도 2a 내지 도2c 및 전술한 사례는 이동단말기(100) 사용자로서 체험할 수 있는 증강현실의 구체적인 형태를 설명한 것이다.
이 같은 실생활뿐 아니라 증강현실 기술이 적용되는 분야는 매우 다양하다.
요즘에는 광고, 홍보 분야에서도 각광을 받고 있다. 즉, 자사의 제품에 가상의 이미지를 씌워 독특한 분위기를 연출할 수 있기 때문이다.
또한, TV 방송 분야에도 적극 활용되고 있다.
기상 캐스터 뒤로 보이는 가상 기상도, 정보 그래프 등이 대표적인 예다.
이후 가상 디스플레이 기술, 3D 입체 영상 기술 등이 더욱 발전하면 증강현실이 적용될 수 있는 사례는 대단히 넓어지게 될 것으로 예상된다.
본 발명은 증강 현실 기술과 전술한 단말(100)의 구성을 기초로, 증강 현실을 이용한 학습방법 및 시스템을 사용자에게 제공하고자 한다.
구체적으로, 본 발명은 단말의 위치 정보와 특정 오브젝트의 식별정보를 이용하여 실제 현장에 학생이 있는지 여부를 확인하고, 증강 현실을 이용한 컨텐츠를 통해 실제 현장에 있는 학생을 교육하는 방법 및 시스템을 제공하기 위한 것이다.
본 발명에 따른 증강 현실을 이용한 학습 시스템은 단말(100) 및 중앙관리서버(미도시)를 포함할 수 있다.
여기서 단말(100)은 복수의 교사와 복수의 학생들이 각각 사용하는 복수의 단말(100)이 될 수 있다.
또한, 중앙관리서버는 복수의 단말(100)과 통신을 수행하여 데이터를 전송 및 수신할 수 있고, 복수의 단말(100)로부터 수신한 데이터를 저장하거나 복수의 단말(100) 중 적어도 하나의 요청에 따라 저장된 데이터를 제공하는 것도 가능하다.
여기서 중앙관리서버와 복수의 단말(100)은 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신할 수 있다.
상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용할 수 있다.
또한, 원거리 무선 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용할 수 있다.
도 3은 본 발명이 제안하는 증강 현실을 이용한 학습방법을 설명하기 위한 순서도 이다.
도 3을 참조하면, 가장 먼저, 교사가 학습과정 상 필요한 복수의 현장방문 과제를 작성하는 단계(S100)가 진행된다.
교사는 학습과정 내에 답사(현장)학습이 필요하다고 판단되는 경우, 과제를 출제할 수 있다.
또한, S100 단계에서 교사는 현장 학습에 필요한 한 개의 컨텐츠(텍스트, 이미지, 동영상 등)뿐만이 아니라 연속 과제로서 복수의 컨텐츠를 작성할 수도 있다.
예를 들어, 총 10 단계의 과제 컨텐츠가 작성된 경우, 제 1 단계의 컨텐츠를 학생이 완료한 경우에만 제 2 단계의 컨텐츠를 제공받을 수 있다.
교사는 단말(100)을 이용하여 과제 컨텐츠를 작성할 수 있다.
S100 단계의 예를 들어, 경주에 위치한 불국사를 현장학습하는 컨텐츠가 교사에 의해 제작될 수 있다.
제 1 단계 컨텐츠로서 청운교를 설명하는 증강현실을 통해 제공되는 동영상이 제작될 수 있다.
다음으로, 제 2단계 컨텐츠로서 백운교를 설명하는 증강현실을 통해 제공되는 동영상이 제작될 수 있다.
또한, 제 3 단계 컨텐츠로서 석가탑을 설명하는 증강현실을 통해 제공되는 동영상이 제작될 수 있다.
또한, 제 4 단계 컨텐츠로서 다보탑을 설명하는 증강현실을 통해 제공되는 동영상이 제작될 수 있다.
S100 단계 이후, 교사가 제작한 컨텐츠인 복수의 현장방문 과제를 중앙관리서버에 송신하는 단계(S200)가 진행된다.
S200 단계에서 중앙관리서버로 정보를 송신하는 주체인 교사는 복수가 될 수 있다.
또한, 카테고리에 따라 복수의 교사로부터 전송된 현장방문 과제가 분류되고, 분류된 기준에 따라 학생의 단말(100)에 현장방문 과제가 제공될 수도 있다.
이후, 학생이 현장에 방문하여 배포된 과제를 학생의 단말(100)을 통해 중앙관리서버로부터 다운로드하는 단계(S300)가 진행된다.
S300 단계는 학생이 이용하는 단말(100)의 위치정보모듈(155)을 통해 학생 자신의 위치 정보를 중앙관리서버로 송신하고, 학생의 위치에 대응하는 과제를 단말(100)을 통해 중앙관리서버로부터 다운로드하게 할 수 있다.
예를 들어, 학생의 위치가 석가탑이 위치한 장소인 경우, 중앙관리서버는 석가탑과 관련된 과제를 학생의 단말(100)로 전송할 수 있다.
S300 단계 이후, 학생이 다운로드한 과제를 현장에서 수행하는 단계(S400)가 진행된다.
S400 단계에서는 전술한 증강현실 방식을 통해 정보가 학생들에게 제공된다.
예를 들어, 다보탑의 상징적 의미를 설명하는 동영상이 증강현실의 형태로 사용자의 단말(100) 상에 표시될 수 있다.
또한, S400 단계에서는 학생이 현장 내에 있는 특정 대상을 단말(100)을 통해 인식하면, 중앙관리서버가 단말로부터 특정 대상에 대한 정보를 수신하고, 학생의 위치 정보와 특정 대상의 정보가 일치하는 경우에만 당해 과제에 대한 수행이 완료되었다고 판단할 수도 있다.
또한, 교사가 부여한 과제가 복수의 연계 과제로 구성된 경우에는 완료된 과제 다음에 이어지는 새로운 과제가 학생의 단말(100)로 부여될 수도 있다.
이후, 중앙관리서버가 과제 수행이 완료되었는지 여부를 확인하는 단계(S500)가 진행된다.
만약, 총 과제 수행이 완료되었다면 과정이 종료되지만 그렇지 않은 경우에는 교사가 과제 수행이 완료되지 않은 특정 부분에 대한 과제를 작성하는 단계(S600)가 새롭게 진행된다.
S600 단계로 진입한 경우에는 다시 S200 단계 내지 S500 단계의 과정이 반복 진행된다.
모든 과제를 완료하면, 중앙관리서버에서 과제 완료 메시지를 학생의 단말로 전송할 수 있다.
또한, 교사는 교사는 모든 학생의 과제 수행을 확인하여 다음 수업을 준비할 수 있다. 즉, 모든 프로세스가 완료된 경우에는 새로운 프로젝트를 기준으로 S100 단계부터 새롭게 시작될 수 있다.
또한, 교사는 각 과정에서 중앙관리서버를 통해 학생의 현재 과제 수행 현황을 열람하는 기능을 제공받을 수도 있다.
한편, 본 발명의 S300 단계 및 S400 단계는 단말의 위치 정보와 특정 오브젝트의 식별정보를 이용하여 실제 현장에 학생이 있는지 여부를 확인하는 방법에 따라 다양한 실시예로 구현될 수 있다.
제 1 실시예
도 4는 도 3에서 학생이 학습현장에 방문하여 배포된 과제를 단말을 통해 수신하고, 수신한 과제를 수행하는 구체적인 일례를 도시한 것이다.
도 4를 참조하면, 도 3에서 설명한 S100, S200, S500, S600 단계는 도 4에서도 그대로 적용되므로, 명세서의 간명화를 위해, 설명은 생략한다.
S200 단계 이후에, 학생이 이용하는 단말(100)이 위치 정보를 중앙관리서버로 송신하는 단계(S310)가 진행된다.
즉, 단말(100)의 위치정보모듈을 통해 현재 단말(100)의 위치와 관련된 정보를 근거리 통신 또는 원거리 통신을 이용하여 중앙관리서버로 전송하는 것이 가능하다.
이후, 중앙관리서버에 저장 또는 수신된 복수의 현장교육 컨텐츠 중 상기 현재 단말(100)의 위치에 대응하는 제 1 과제를 단말(100)을 학생이 중앙관리서버로부터 다운로드하는 단계(S320)가 진행될 수 있다.
예를 들어, 현재 학생의 위치가 경주 불국사 위치인 경우, 불국사와 관련된 과제가 학생에게 부여될 수 있는 것이다.
S320 단계 이후에, 학생이 현장 내에 있는 특정 대상을 단말(100)을 통해 인식하는 단계(S410)가 진행된다.
S410 단계에서 특정 대상을 단말(100)이 인식하는 경우, 단말(100)의 디스플레이부(151)를 통해 특정 대상과 관련된 정보가 증강현실 기술로 표시된다.
특정 대상을 인식하는 방법으로는 RFID 기술, QR코드 기술 등이 적용될 수 있다.
예를 들어, 다보탑에 미리 설정된 장치와 RFID 통신하거나 다보탑 주변에 배치된 QR 코드를 단말(100)이 인식하여 특정 대상을 인식할 수 있다.
이후, 중앙관리서버가 단말(100)로부터 특정 대상에 대한 정보를 수신하는 단계(S420)가 진행된다.
S420 단계는 학생이 특정 대상 위치에 존재하는지 여부를 이중으로 체크하는 것으로서, 실제 학생이 증강현실 컨텐츠를 해당 위치에서 학습하였는지를 확인할 수 있는 기능을 제공한다.
이후, 학생의 위치 정보와 특정 대상의 정보가 일치하는 경우, 중앙관리서버가 제 1 과제에 연계된 제 2 과제를 단말(100)로 전송하는 단계(S430)가 진행되고, 제 1 과제와 마찬가지로 학생이 제 2 과제를 현장에서 수행하는 단계(S440)가 진행될 수 있다.
제 2 실시예
도 5는 도 3에서 학생이 학습현장에 방문하여 배포된 과제를 단말을 통해 수신하고, 수신한 과제를 수행하는 구체적인 다른 일례를 도시한 것이다.
도 5를 참조하면, 도 3에서 설명한 S100, S200, S500, S600 단계는 도 5에서도 그대로 적용되므로, 명세서의 간명화를 위해, 설명은 생략한다.
S200 단계 이후에, 학생이 현장 내에 있는 특정 대상을 단말(100)을 통해 인식하는 단계(S330)가 진행된다.
S330 단계에서 특정 대상을 인식하는 방법으로는 RFID 기술, QR코드 기술 등이 적용될 수 있다.
예를 들어, 백운교에 미리 설정된 장치와 RFID 통신하거나 백운교 주변에 배치된 QR 코드를 단말(100)이 인식하여 특정 대상을 인식할 수 있다.
이후, 중앙관리서버가 단말(100)로부터 특정 대상에 대한 정보를 수신하는 단계(S340)가 진행되고, 학생의 단말이 인식한 특정 대상의 위치에 대응하는 제 1 과제를 중앙관리서버로부터 다운로드하는 단계(S350)가 진행된다.
S350 단계 이후, 특정 대상과 관련된 정보를 학생이 시청 및 열람하는 단계(S450)가 진행된다.
S450 단계에서 단말(100)의 디스플레이부(151)를 통해 특정 대상과 관련된 정보가 증강현실 기술로 표시된다.
또한, 중앙관리서버가 제 1 과제에 연계된 제 2 과제를 단말(100)로 전송하고, 학생이 제 2 과제를 현장에서 수행하는 단계(S470)가 진행될 수 있다.
따라서 본 발명은 전술한 구성을 통해, 증강 현실을 이용한 학습방법 및 시스템을 사용자에게 제공할 수 있다.
구체적으로, 본 발명은 단말의 위치 정보와 특정 오브젝트의 식별정보를 이용하여 실제 현장에 학생이 있는지 여부를 확인하고, 증강 현실을 이용한 컨텐츠를 통해 실제 현장에 있는 학생을 교육하는 방법 및 시스템을 사용자에게 제공할 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (10)

  1. 적어도 하나의 교사가 이용하는 제 1 단말, 적어도 하나의 학생이 이용하는 제 2 단말, 상기 제 1 단말 및 제 2 단말과 통신하는 서버를 이용하여 학습하는 방법에 있어서,
    상기 서버가 상기 제 1 단말로부터 위치와 관련된 복수의 교육 컨텐츠를 수신하는 제 1 단계;
    상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 적어도 하나를 수신하는 제 2 단계;
    상기 수신한 교육 컨텐츠가 상기 제 2 단말을 통해 상기 적어도 하나의 학생에 제공되는 제 3 단계; 및
    상기 제 2 단말의 위치 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 제 4 단계;를 포함하되,
    상기 복수의 교육 컨텐츠는, 증강 현실(Augmented Reality, AR)의 형태로 상기 제 2 단말의 디스플레이부 상에 표시되고,
    상기 수신한 교육 컨텐츠의 학습이 완료되지 않은 경우, 상기 제 1 단계 내지 상기 제 4 단계가 반복되는 것을 특징으로 하는 증강현실을 이용한 학습방법.
  2. 제 1항에 있어서,
    상기 제 2 단계는,
    상기 제 2 단말의 위치정보모듈이 획득한 상기 제 2 단말의 위치 정보를 상기 서버로 전송하는 제 2-1 단계; 및
    상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 제 2 단말의 위치 정보에 대응하는 교육 컨텐츠를 수신하는 제 2-2 단계; 를 포함하는 것을 특징으로 하는 증강현실을 이용한 학습방법.
  3. 제 2항에 있어서,
    상기 제 4 단계는,
    상기 제 2 단말이 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하는 제 4-1 단계;
    상기 제 2 단말이 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하는 제 4-2 단계; 및
    상기 제 2 단말의 위치 정보 및 상기 인식한 오브젝트에 대한 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 제 4-3 단계;를 포함하는 것을 특징으로 하는 증강현실을 이용한 학습방법.
  4. 제 1항에 있어서,
    상기 제 2 단계는,
    상기 제 2 단말이 상기 제 2 단말의 위치에 근접한 오브젝트를 인식하는 제 2-1 단계;
    상기 제 2 단말이 상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하는 제 2-2 단계; 및
    상기 제 2 단말이 상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 인식한 오브젝트 정보에 대응하는 교육 컨텐츠를 수신하는 제 2-3 단계;를 포함하는 것을 특징으로 하는 증강현실을 이용한 학습방법.
  5. 제 1항에 있어서,
    상기 제 1 단말, 제 2 단말 및 서버는 근거리 통신 또는 원거리 통신을 이용하여 통신을 수행하고,
    상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며,
    상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용하는 것을 특징으로 하는 증강현실을 이용한 학습방법.
  6. 적어도 하나의 교사가 이용하는 제 1 단말, 적어도 하나의 학생이 이용하는 제 2 단말, 상기 제 1 단말 및 제 2 단말과 통신하는 서버를 포함하는 시스템에 있어서,
    상기 서버는, 상기 제 1 단말로부터 위치와 관련된 복수의 교육 컨텐츠를 수신하고, 상기 제 2 단말로 상기 복수의 교육 컨텐츠 중 적어도 하나를 전송하며,
    상기 제 2 단말은 상기 수신한 교육 컨텐츠를 상기 적어도 하나의 학생에 제공하고,
    상기 서버는 상기 제 2 단말의 위치 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하며,
    상기 복수의 교육 컨텐츠는 증강 현실(Augmented Reality, AR)의 형태로 상기 제 2 단말의 디스플레이부 상에 표시되고,
    상기 수신한 교육 컨텐츠의 학습이 완료되지 않은 경우, 상기 서버 및 상기 제 2 단말의 동작을 반복되는 것을 특징으로 하는 증강현실을 이용한 학습 시스템.
  7. 제 6항에 있어서,
    상기 제 2 단말은,
    상기 제 2 단말의 위치정보모듈이 획득한 상기 제 2 단말의 위치 정보를 상기 서버로 전송하고,
    상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 제 2 단말의 위치 정보에 대응하는 교육 컨텐츠를 수신하는 것을 특징으로 하는 증강현실을 이용한 학습 시스템.
  8. 제 7항에 있어서,
    상기 제 2 단말은,
    상기 제 2 단말의 위치에 근접한 오브젝트를 인식하고,
    상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하며,
    상기 서버는,
    상기 제 2 단말의 위치 정보 및 상기 인식한 오브젝트에 대한 정보를 이용하여 상기 수신한 교육 컨텐츠의 학습이 완료되었는지 여부를 판단하는 것을 특징으로 하는 증강현실을 이용한 학습 시스템.
  9. 제 6항에 있어서,
    상기 제 2 단말은,
    상기 제 2 단말의 위치에 근접한 오브젝트를 인식하고,
    상기 인식한 오브젝트에 대한 정보를 상기 서버로 전송하며,
    상기 서버로부터 상기 복수의 교육 컨텐츠 중 상기 인식한 오브젝트 정보에 대응하는 교육 컨텐츠를 수신하는 것을 특징으로 하는 증강현실을 이용한 학습 시스템.
  10. 제 6항에 있어서,
    상기 제 1 단말, 제 2 단말 및 서버는 근거리 통신 또는 원거리 통신을 이용하여 통신을 수행하고,
    상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며,
    상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용하는 것을 특징으로 하는 증강현실을 이용한 학습 시스템.
PCT/KR2016/015388 2016-10-26 2016-12-28 증강 현실을 이용한 학습방법 및 시스템 WO2018079935A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0140281 2016-10-26
KR20160140281 2016-10-26

Publications (1)

Publication Number Publication Date
WO2018079935A1 true WO2018079935A1 (ko) 2018-05-03

Family

ID=62025089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/015388 WO2018079935A1 (ko) 2016-10-26 2016-12-28 증강 현실을 이용한 학습방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2018079935A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158058A (zh) * 2021-04-30 2021-07-23 南京硅基智能科技有限公司 服务信息的发送方法及装置、接收方法及装置
CN113207008A (zh) * 2021-05-08 2021-08-03 山西晓雯文化艺术发展有限公司 一种基于ar的远程沉浸式仿真教室及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120093651A (ko) * 2011-02-15 2012-08-23 동국대학교 경주캠퍼스 산학협력단 모바일 현장학습 지원 시스템 및 방법
KR20140036072A (ko) * 2012-09-14 2014-03-25 주식회사 에스티엔 교육 컨텐츠 현장학습 방법
KR20140057900A (ko) * 2012-11-05 2014-05-14 주식회사 차후 위치 기반 서비스를 이용한 외국어 체험학습 방법
US20150058229A1 (en) * 2013-08-23 2015-02-26 Nantmobile, Llc Recognition-based content management, systems and methods
KR20160035525A (ko) * 2014-09-19 2016-03-31 박범진 현장체험형 기능성게임 서비스 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120093651A (ko) * 2011-02-15 2012-08-23 동국대학교 경주캠퍼스 산학협력단 모바일 현장학습 지원 시스템 및 방법
KR20140036072A (ko) * 2012-09-14 2014-03-25 주식회사 에스티엔 교육 컨텐츠 현장학습 방법
KR20140057900A (ko) * 2012-11-05 2014-05-14 주식회사 차후 위치 기반 서비스를 이용한 외국어 체험학습 방법
US20150058229A1 (en) * 2013-08-23 2015-02-26 Nantmobile, Llc Recognition-based content management, systems and methods
KR20160035525A (ko) * 2014-09-19 2016-03-31 박범진 현장체험형 기능성게임 서비스 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158058A (zh) * 2021-04-30 2021-07-23 南京硅基智能科技有限公司 服务信息的发送方法及装置、接收方法及装置
CN113207008A (zh) * 2021-05-08 2021-08-03 山西晓雯文化艺术发展有限公司 一种基于ar的远程沉浸式仿真教室及其控制方法

Similar Documents

Publication Publication Date Title
WO2016048103A1 (ko) 사용자에게 콘텐트를 제공하기 위한 장치 및 방법
WO2014157886A1 (en) Method and device for executing application
WO2018131914A1 (en) Method and apparatus for providing guidance in a virtual environment
WO2015026122A1 (en) User terminal device for displaying map and method thereof
WO2014035148A1 (en) Information providing method and information providing vehicle therefor
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2017094926A1 (ko) 단말 장치 및 제어 방법
WO2014003391A1 (en) Method and apparatus for displaying content
WO2012046891A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2011087204A2 (en) Digital signage apparatus and method using the same
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2014208783A1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same
WO2016129781A1 (ko) 이동 단말기 및 그 제어 방법
WO2012020867A1 (ko) 서비스 존에서 제공되는 서비스 정보를 표시하기 위한 장치 및 방법
WO2015083873A1 (ko) 이동 단말기 및 이의 커버
WO2018079935A1 (ko) 증강 현실을 이용한 학습방법 및 시스템
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2016035920A1 (ko) 이동 단말기 및 이의 제어 방법
WO2015002365A1 (en) Mobile terminal and control method thereof
WO2020262721A1 (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템
WO2020256169A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2018004061A1 (ko) 모바일 실시간 시뮬레이션 게임에서의 터치 조작 방식
WO2018155750A1 (ko) 교육과정 카탈로그를 활용한 가상현실 및 증강현실 콘텐츠 탐색 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920084

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16920084

Country of ref document: EP

Kind code of ref document: A1