WO2017090855A1 - 스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스 - Google Patents

스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스 Download PDF

Info

Publication number
WO2017090855A1
WO2017090855A1 PCT/KR2016/006459 KR2016006459W WO2017090855A1 WO 2017090855 A1 WO2017090855 A1 WO 2017090855A1 KR 2016006459 W KR2016006459 W KR 2016006459W WO 2017090855 A1 WO2017090855 A1 WO 2017090855A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
smart pen
content
displaying
printed matter
Prior art date
Application number
PCT/KR2016/006459
Other languages
English (en)
French (fr)
Inventor
박철우
Original Assignee
박철우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박철우 filed Critical 박철우
Publication of WO2017090855A1 publication Critical patent/WO2017090855A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers

Definitions

  • the present invention relates to a learning method using a smart pen.
  • the present invention relates to a method of registering a question related to a learning content on a network while performing a learning using a tangible printed matter and a smart pen.
  • Such an online learning method greatly reduces the time spent to participate in school or academy classes offline, and has the advantage of objectively collecting the learning history and achievement of each learner.
  • test is conducted by writing the answer by hand using a pen on the test paper. If you only rely on learning using the keyboard and mouse online, you can experience the test in real life with a high degree of realism. There is a gap that can not be done.
  • Smart pen refers to a device that draws or writes letters on paper, reads codes printed on paper using ultrasonic waves, and transfers the movement traces to a computing device such as a smartphone or a tablet computer.
  • Such a smart pen can be understood as an evolved form of a tablet, which is an input means for inputting using a stylus pen, and has the advantage of digitizing and storing and utilizing input values while having a feeling of directly writing with a pen.
  • the utilization of the tablet is also inconsistent with that of conventional tablets, so it is only to be used for the purpose of precisely transferring a hand-drawn picture or text on the screen.
  • the smart pen recognizes the code printed on the printed matter
  • the mobile device selects the operation mode and action according to the situation, and the user can ask questions related to the content that was being learned with minimal input. It is in the provision of a methodology to help.
  • the mobile device is for processing a question using a smart pen.
  • a display for displaying information;
  • Smart pen interlocking means for communicating with the smart pen;
  • Communication means for communicating with a server via an internet network; And a processor for processing information.
  • the processor acquires the book identifier of the printed matter and the page information and the coordinate value on the printed matter in cooperation with the smart pen.
  • a parameter is constructed using the information displayed in the first and second compartments and transmitted to the server according to the determined action.
  • the question processing method using a smart pen according to the present invention in order to achieve the above object, as a method that is executed in a mobile device linked to the smart pen and the server,
  • the paired smart pen recognizes the code printed on the printed matter, receiving information from the smart pen;
  • a parameter is configured using at least one of information obtained by reading the received code, content displayed in the first section, and question content input through the user interface, and transmitted to a server according to the determined action. It includes; step.
  • the received handwriting data information is displayed in the first section.
  • the content on the printed matter corresponding to the position of the code recognized by the smart pen to the first section I can display it.
  • the same content as that displayed on the printed matter may be provided from the server in the form of text or an image and displayed in the first section.
  • the obtained page information may be transmitted to a server, and the image of the corresponding page of the printed material may be received from the server and displayed on the display, and the user interface for selecting and cropping an area may be further displayed.
  • the selected region may be cropped and displayed in the first partition.
  • the learner can learn in the conventional manner by using the printed matter and the pen without any heterogeneity.
  • LMS Learning Management System
  • FIG. 1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server.
  • FIG. 2 is a diagram illustrating a hardware configuration of a smart pen.
  • FIG. 3 is a diagram illustrating a hardware configuration of a mobile device.
  • FIG. 4 is a flowchart illustrating a process of a question processing method using a smart pen according to the present invention in time series.
  • FIG. 5 is a reference diagram illustrating how a learner writes a picture or a letter with a smart pen.
  • FIG. 6 is an exemplary view of a screen displayed on a mobile device along with a user interface for drawing a question or drawing drawn by a learner.
  • FIG. 7 is a flowchart describing the embodiment illustrated in FIGS. 5 and 6;
  • FIG. 8 is a reference diagram illustrating how a learner selects a specific problem with a smart pen.
  • FIG. 9 illustrates a screen example of a problem selected by a learner and a user interface for inputting a question on a mobile device
  • FIG. 10 is a flowchart describing the embodiment illustrated in FIGS. 8 and 9;
  • FIG. 11 is a reference diagram illustrating a state in which a learner selects a predetermined position of a printed matter on which learning content is printed using a smart pen.
  • FIG. 12 is a screen example of cropping a portion of learning content on a mobile device and displaying a user interface on the mobile device for receiving a question input;
  • FIG. 13 is a flowchart describing the embodiment illustrated in FIGS. 11 and 12.
  • the smart pen when a learner selects a problem or a special mark printed on a printed code (a textbook, a collection of books, or a notebook) using a smart pen, or draws letters or pictures, the smart pen
  • the present invention relates to a method in which a mobile device linked to and receives a question from a learner through a graphical user interface (GUI) corresponding to a situation and delivers the question to a server.
  • GUI graphical user interface
  • FIG. 1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server.
  • the learner learns using the printed matter 40 such as a problem book, a textbook, or a blank notebook using the smart pen 20.
  • a plurality of codes that can be recognized by the smart pen 20 are minutely printed on the printed matter 40.
  • Even a blank notebook is printed in a category of printed matters because a plurality of codes are printed in a fine size that is hard to be identified by the naked eye or by using colors or special pigments that are hard to be identified by the naked eye.
  • Such codes may be printed evenly across the margins of the paper, apart from the content visually perceptible to the learner, and contain some information.
  • the smart pen 20 includes a built-in writing instrument such as a ballpoint pen, which can be actually written or drawn on a paper.
  • a built-in writing instrument such as a ballpoint pen, which can be actually written or drawn on a paper.
  • the smart pen 20 preferably includes a pressure sensor 21, a camera 22, and a near field communication module 23, as illustrated in FIG. 2.
  • the pressure sensor 21 detects the pressure applied to the pen tip. That is, when the user grabs the smart pen 20 to take notes or draws a picture or taps on the printed matter, the user detects this.
  • the camera 22 photographs the code printed on the printed matter 40.
  • the short range communication module 23 is a means for communication with the mobile device 10, and may be preferably a wireless communication adapter based on a short range wireless communication protocol such as Bluetooth.
  • the mobile device 10 When the mobile device 10 receives the information from the smart pen 20, the user can input a question, but transmits the content of the question to the server 30 or the device to show the answer to the question to the user. to be.
  • Such mobile device 10 preferably comprises a processor 11, a display 12, a smartpen interlocking means 13 and a communication means 14 as shown in FIG. 3.
  • the processor 11 executes the instructions contained in the computer program.
  • the display 12 may preferably have a touch panel and display the information in a visual form. It may be in the form of a known touch screen, LCD, LED liquid crystal or the like.
  • the smart pen interlocking means 13 is a means for communicating with the smart pen 20, preferably a wireless communication adapter according to a known standard such as Bluetooth.
  • the communication means 14 is for communicating with the server 30 through the Internet network, and may be an adapter according to a known wired or wireless communication standard such as an Ethernet adapter or a WiFi adapter.
  • the mobile device 10 may be in the form of a known smartphone, tablet computer, laptop computer, and the like, in addition to the above description, and is not limited to the form or name.
  • the server 30 is an apparatus for receiving a question content from a plurality of mobile devices 10 connected through an Internet network or the like, or for transmitting a response content input by an instructor to the mobile device 10.
  • the mobile device 10 linked with the smart pen 20 causes the learner to print the printed matter 40 on the printed matter 40. Process so that you can easily ask questions about the learning content displayed on the screen or the memo of the learner.
  • the processor 11 interoperates with the smart pen 20 to obtain a book identifier and page information and coordinate values on the printed matter.
  • the code is preferably a combination of multiple dots, representing different information according to the separation distance of each dot. These dots are printed in very fine or visually invisible colors and do not obscure the field of view.
  • codes indicating book identifiers may be printed at regular intervals. Regarding the book identifier, all pages have the same code.
  • a code indicating page information (that is, information indicating how many pages the page is) may be printed on each page at regular intervals. Regarding page information, every page has a different code.
  • Coordinates may be a pair of x and y values expressed in the form of a code.
  • the same code is preferably printed at the same position on all pages.
  • the smart pen 20 may recognize the printed code, read the book identifier, the page information, and the coordinate value, and transmit it to the mobile device 10.
  • the processor 11 reads the book identifier, the page information, and the coordinate value from the code, and then determines the corresponding action.
  • Instructions executed by the processor 11 may be stored in the form of a computer program and stored locally. In this case, actions corresponding to specific coordinates of a specific page are predefined and stored.
  • Actions need not be defined for every coordinate on every page.
  • An action may be defined and assigned to a specific position of the printed matter 40, or an action may be defined and assigned to a certain coordinate area, or an arbitrary action may be defined as a default in the remaining positions except for a specific position.
  • the processor 11 determines an action to execute in response to the code recognized by the smart pen 20. If no action is defined, exit without doing anything else.
  • the processor 11 determines the action to be executed, and then displays the content in the first compartment 3 on the display 12 and the user interface 4 for inputting the question in the second compartment 2.
  • a question is registered by constructing a parameter from the information displayed in the first compartment 3 and the second compartment 2 and delivering it to the server 30 according to the determined action.
  • the method of processing a question using the smart pen according to the present invention is a method executed in the mobile device 10 connected to the smart pen 20 and the server 30 by wired or wireless communication method as shown in FIG. It may be implemented in the form.
  • FIG. 4 is a flowchart illustrating a process of a question processing method using a smart pen according to the present invention in time series.
  • the learner pairs the smart pen 20 to the mobile device 10 prior to learning.
  • the smart pen 20 recognizes a code through the camera 22 when pressing or drawing an arbitrary point on the printed matter with a pen tip.
  • the mobile device 10 recognizes the code printed on the printed matter 40 by the paired smart pen 20, the mobile device 10 receives information related to the code recognized from the smart pen 20 (S11). Thereby, the book identifier of the printed matter 40, the page information of the position selected by the learner, and the coordinate value are obtained.
  • the operation mode is determined according to the book identifier value (S12). That is, the operation mode may be changed according to the type of printed matter 40.
  • the mobile device 10 may store information about two or more books locally. Various processing can be performed by retrieving book information corresponding to the acquired book identifier value.
  • the mobile device 10 obtains the page information and the coordinate value of the printed matter 40, and determines the action corresponding thereto (S13).
  • the action may be preferably implemented in the form of an API function provided by the server 30, and may be included as an instruction for calling the corresponding API in a computer program loaded on the mobile device 10.
  • steps S12 and S13 may be executed first without any relationship.
  • the mobile device 10 displays the content in the first compartment 3 on the display 12 (S14).
  • the user interface 4 for inputting a question is further displayed on the second section 2 on the display (S15).
  • the content displayed on the first compartment 3 may be learning content pre-printed on the printed matter 40 or information that the learner draws or displays on the printed matter 40 using the smart pen 20. Corresponds to the object to be asked.
  • the learner may call the keyboard on the touch screen and then enter the question content in the user interface 4 in the form of a text box.
  • the mobile device 10 calls the API function corresponding to the determined action, but transfers the information collected in steps S11 to S15 as a parameter to the server 30 (S16).
  • At least one of a book identifier, page information, coordinate values acquired in step S11, learning context information interpreted using the same, contents displayed on the first section 3, and question contents input through the user interface 4 may be used. Can be passed as a parameter.
  • the server 30 executes the action according to the received information and returns a result value to the mobile device 10. For example, a question may be generated and posted in the form of a web page, and the url of the page may be returned.
  • the mobile device 10 displays the result on the screen to inform the user that the action is performed, that is, the registration of the question content is completed (S17).
  • the web page where the question is registered may be displayed on the screen.
  • the server 30 notifies the mobile device 10 of the question, and the mobile device 10 displays the answer on the screen ( S18).
  • the learner may draw a picture or text on the printed material and then select the Ask a Question icon on the printed material, wherein the picture or text drawn by the learner is displayed on the screen of the mobile device, and the question is entered for input.
  • the user interface may be further displayed.
  • the mobile device 10 obtains a book identifier from information received from the smart pen 20, and determines an operation mode according to the value of the book identifier.
  • the book identifier may be used by assigning any value according to the type of the printed matter 40. For example, in the case of a blank note having no special content, a book identifier operating in the first operation mode may be given and printed as a code.
  • the mobile device 10 obtains the book identifier of the empty notebook and then determines the operation mode as the first operation mode (S12).
  • step S13 the action is determined from the received information. If the selected action is "Ask a Question", the mobile device 10 operates as follows in the first operation mode.
  • the mobile device 10 retrieves the page information of the printed matter 40 from the received information and transmits the page information of the printed matter 40 to the smart pen 20 together with the handwritten data request signal (S121).
  • the mobile device 10 receives it (S122).
  • the learner writes the questions to be asked using the printed matter 40 in the form of a blank notebook.
  • the smart pen 20 senses the pressure applied to the pen tip and, while the pressure is applied, acquires the coordinates of the pen tip through the camera 22 to generate the writing data. .
  • the learner may make the mobile device 10 execute the question function by lightly pressing and selecting a specific position on the page with the smart pen 20.
  • an icon 1 is displayed on one side of the printed matter 40.
  • the mobile device 10 determines an operation mode and an action, and then the smart pen.
  • the handwriting data request signal is requested.
  • step S14 the writing data received from the smart pen 20 is displayed in the first section 3.
  • the mobile device 10 configures a parameter by using the information displayed in the first compartment 3 and the second compartment 2 in step S16.
  • the API is called according to the determined action and transferred to the server 30.
  • the mobile device 10 may further configure the learning context information associated with the printed matter 40 can be further delivered to the server.
  • the mobile device 10 may store book information about one or more books in advance.
  • the book information may include the subject and title of the book, and may include a table of contents on which topics are covered on each page.
  • the mobile device 10 retrieves book information corresponding to a book identifier, and obtains one or more information of the subject, name, table of contents item, topic, and instructor of the book using the page information and coordinate values from the book information.
  • the context information can be constructed using this.
  • the mobile device 10 determines which part of which subject the learner has been learning with which book, and then transmits it as a parameter in calling the API of the server 30, thereby causing the server 30 to be semantic. To respond to the learner's questions.
  • the contextual information is displayed, such as "junior high school 2nd grade", “math”, “Kim teacher.” That is, as the learner selects a predetermined position of the printed matter 40 with the smart pen 20, the mobile device 10 generates the context information through the above process and displays it on the screen.
  • This context information is transmitted to the server 30, the server 30 processes the question to be delivered to the subject, the lecturer.
  • the learner learns a print that has one or more questions printed on a single page, and then selects the question itself as a question or the Ask a Question icon printed on one side of the question as a smart pen, which corresponds to the screen of the mobile device.
  • the problem may be displayed, and a question input window related thereto may be further displayed.
  • step S12 illustrates a case in which the mobile device 10 operates in the second operation mode as the acquired book identifier has a predetermined value in step S12.
  • the book identifier may be printed as a code to operate in the second operation mode.
  • the printed matter 40 shown in FIG. 8 illustrates a problem collection in which several questions are displayed. In each question, an icon 1 is displayed on one side.
  • the mobile device 10 determines the second operation mode according to the book identifier of the printed matter 40, and determines that the question is an action. do.
  • the mobile device 10 transmits the page information and the coordinate value to the server 30 (S141 ′).
  • the server 30 When the server 30 receives the page information and the coordinate value from the mobile device 10, the server 30 returns corresponding content, that is, the item selected by the learner in the example of FIG. 8, in the form of text or an image.
  • the mobile device 10 displays the returned information in the first section (S142 ').
  • step S141 instead of the page information and the coordinate value, the identification information of the item corresponding to the acquired page information and the coordinate value may be extracted and transmitted to the server 30.
  • the mobile device 10 previously stores identification information for uniquely identifying each item for each page printed on the printed matter 40, and transmits identification information of the item corresponding to the selected coordinates to the server 30. It may be.
  • the server 30 returns in the form of a text or an image of the item corresponding to the received identification information.
  • the learner may select a printed material on which the learning content is printed with a smart pen, and a user interface for selecting and cropping at least a portion of the learning content displayed on the page is displayed on the screen of the mobile device.
  • a question input window may be further displayed.
  • the mobile device 10 operating in the second operation mode transmits the acquired page information to the server 30 in step S141 (S141 ′′).
  • the server 30 returns an image of the printed matter 40 corresponding to the received page information.
  • the image of the corresponding page of the printed matter 40 is returned from the server 30, the image is first displayed on the display as illustrated on the left side of FIG. 12, but further displays a user interface for selecting and cropping an area (S142). '').
  • the learner When the learner selects a part of the page displayed on the screen using the mobile device 10, the learner crops the displayed area and displays it in the first section 3.
  • the collected parameters are transmitted to the server 30 according to the determined action.
  • the present invention can be applied to the field of electronic learning technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스가 개시된다. 본 발명에 의할 때, 모바일 디바이스는 스마트 펜이 인쇄물에 인쇄된 코드를 인식하면, 스마트 펜과 연동하여 서적 식별자 및 상기 인쇄물 상의 페이지 정보와 좌표값을 획득하며, 획득한 페이지 정보 및 좌표값에 해당하는 액션을 판단하여 상기 디스플레이 상의 제1 구획에 컨텐츠를, 제2 구획에 질문 입력을 위한 사용자 인터페이스를 표시하고, 상기 제1 구획 및 제2 구획에 표시된 정보로부터 파라메타를 구성하여 상기 판단된 액션에 따라 서버로 전달함으로써, 스마트 펜을 이용한 학습시 손쉽게 질문을 등록할 수 있도록 한다.

Description

스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스
본 발명은 스마트 펜을 이용한 학습방법에 관한 것이다.
더 구체적으로는 유형의 인쇄물과 스마트 펜을 이용하여 학습을 수행하다 학습 내용과 관련한 질문을 네트워크 상에 등록하는 방법에 관한 것이다.
인터넷 인프라가 보급되면서 원격지에서 전자적인 수단을 이용하여 학습을 하는 이러닝(E-learning) 기술이 태동하였다.
초기 이러닝 기술은 LMS(Learning Management System)을 통해 강의 영상을 스트리밍 방식으로 제공받아 학습을 하며, 웹 페이지 상에서 문제를 푸는 등 주로 온라인 상에서 학습자의 학습 수준과 이력을 수집하고 관리하는 방향으로 개발되어 왔다.
이러한 온라인 상에서의 학습 방법은 오프라인 상에서 학교나 학원 수업에 참여하기 위해 소모하는 시간을 크게 줄여줄 뿐만 아니라, 각 학습자의 학습 이력과 성취도를 객관적으로 수집할 수 있다는 장점이 있다.
그러나, 모니터를 보면서 마우스와 키보드를 이용하여 하는 학습의 몰입도와 효율에 대하여 학계에서는 다소간 의문을 제시하는 것도 사실이었다.
즉, 교과서나 문제집 등의 출판물을 보면서, 펜으로 직접 문제를 풀거나, 줄을 긋거나, 메모를 하는 등의 과정을 통해 온전히 자기것으로 만드는 과정이 필요한데, 온라인 상에서만 이루어지는 학습의 경우에는 무형의 컨텐츠를 소비하는 형태로 학습이 이루어질 뿐이어서 자칫 지식의 체화 과정이 고전적인 학습 방법에 비해 피상적으로만 진행될 개연성이 있다.
뿐만 아니라, 학교 등에서는 시험지에 펜을 이용하여 수기로 답을 기록하는 방식으로 시험이 치뤄지는데, 온라인 상에서 키보드와 마우스를 이용한 학습에만 의존할 경우 실제 현실에서의 시험을 높은 수준의 현실감을 가지고 체험할 수 없게 되는 괴리가 발생하기도 한다.
한편, 이러한 이러닝 기술분야의 문제점과는 별개로 최근 스마트 디바이스의 하나로 스마트 펜이 주목 받고 있다.
스마트 펜이란 종이 위에 그림을 그리거나 글씨를 쓰면, 초음파 등을 이용하여 종이에 미세하게 인쇄된 코드를 읽어 움직임의 궤적을 스마트폰이나 타블렛 컴퓨터와 같은 컴퓨팅 디바이스로 전달하는 장치를 말한다.
이러한 스마트 펜은 스타일러스 펜을 이용하여 입력하는 입력수단인 타블렛이 진화된 형태로 이해될 수 있는데, 펜으로 직접 필기하는 느낌을 가지면서도 입력값을 디지털화하여 저장 및 활용할 수 있다는 장점을 가진다. 그러나, 그 활용법 또한 기존의 타블렛의 활용법에서 벗어나지 못하고 있어 손으로 직접 그린 그림이나 글씨를 화면상에 정교하게 옮기는 용도로 활용하는 것이 고작이다.
이에, 펜을 이용하여 인쇄물에 직접 문제를 풀거나 메모하거나 기록하는 고전적인 학습 방법을 유지하면서도, 동시에 기왕의 전자적 학습 인프라를 충분히 활용하여 학습의 효율성을 높이기 위한 방법론의 모색이 필요하다.
특히, 서로 연관성 없이 별개로 발전해 온 이러닝 기술과 스마트 펜 기술 분야의 그간의 성과를 활용할 필요성이 있다.
스마트 펜을 학습에 이용하되, 전자적 학습 인프라와 융합함으로써 학습효율을 향상시킬 수 있는 방법론을 제시하고자 한다.
이에 따른 본 발명의 목적은, 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 모바일 디바이스가 상황에 부합하는 동작모드와 액션을 선택하고, 사용자가 최소한의 입력만으로 학습중이던 내용과 관련한 질문을 할 수 있도록 하는 방법론의 제공에 있다.
특히, 디지털 데이터가 아닌 유형의 인쇄물을 가지고서 학습을 하다가 간단히 스마트 펜으로 인쇄물에 표시하거나 선택하는 등의 간단한 동작만으로 학습하던 바로 그 학습내용과 관련한 질문을 할 수 있도록 하는 방법론의 제공을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명에 의한 모바일 디바이스는, 스마트 펜을 이용한 질문을 처리하기 위한 것으로,
정보를 표시하는 디스플레이; 스마트 펜과 통신하는 스마트 펜 연동수단;
인터넷 망을 통해 서버와 통신하는 통신수단; 및 정보를 처리하는 프로세서;를 구비한다.
이때, 상기 프로세서는 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜과 연동하여 상기 인쇄물의 서적 식별자 및 상기 인쇄물 상의 페이지 정보와 좌표값을 획득하며,
상기 페이지 정보 및 좌표값에 해당하는 액션을 판단하여 상기 디스플레이 상의 제1 구획에 컨텐츠를, 제2 구획에 질문 입력을 위한 사용자 인터페이스를 표시하고,
상기 제1 구획 및 제2 구획에 표시된 정보를 이용하여 파라메타를 구성하여 상기 판단된 액션에 따라 서버로 전달한다.
한편, 상기와 같은 목적을 달성하기 위하여 본 발명에 의한 스마트 펜을 이용한 질문 처리방법은, 스마트 펜 및 서버와 연동되는 모바일 디바이스에서 실행되는 방법으로서,
페어링 된 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜으로부터 정보를 수신하는 단계;
상기 수신한 정보로부터 서적 식별자를 획득하고, 인출된 서적 식별자 값에 따라 동작모드를 결정하는 단계;
상기 수신한 정보로 부터 상기 인쇄물 상의 페이지 정보 및 좌표값을 획득하고, 이에 대응하는 액션을 판정하는 단계;
디스플레이 상의 제1 구획에 컨텐츠를 표시하는 단계;
디스플레이 상의 제2 구획에 질문 입력을 위한 사용자 인터페이스를 더 표시하는 단계; 및
상기 수신한 코드를 판독하여 획득한 정보와, 상기 제1 구획에 표시된 컨텐츠, 상기 사용자 인터페이스를 통해 입력된 질문 내용 가운데 하나 이상을 이용하여 파라메타를 구성하고, 상기 판정된 액션에 따라 서버로 전달하는 단계;를 포함한다.
이때, 상기 동작모드를 결정하는 단계는,
상기 책자식별자에 따라 제1 동작모드로 동작하는 경우, 상기 스마트 펜으로 상기 페이지 정보에 해당하는 필기데이터를 요청하는 단계; 및
상기 스마트 펜으로부터, 상기 스마트 펜이 상기 코드의 전송 이전에 해당 페이지에서 압력 센서가 압력을 감지한 동안 펜팁이 이동한 좌표를 인식함으로써 구성한 필기 데이터 정보를 수신하는 단계;를 더 포함할 수 있다.
이 경우, 상기 제1 구획에 컨텐츠를 표시하는 단계에서, 상기 수신한 필기 데이터 정보를 상기 제1 구획에 표시한다.
한편, 상기 동작모드를 결정하는 단계에서,
상기 획득한 책자식별자에 따라 제2 동작모드로 동작하는 경우, 상기 제1 구획에 컨텐츠를 표시하는 단계에서, 상기 스마트 펜이 인식한 코드의 위치에 해당하는 상기 인쇄물 상의 컨텐츠를 상기 제1 구획에 표시할 수 있다.
상기 제1 구획에 컨텐츠를 표시하는 단계에서,
상기 획득한 페이지 정보 및 좌표값을 서버로 전송하거나, 또는 상기 획득한 페이지 정보 및 좌표값에 해당하는 컨텐츠의 식별정보를 판정하여 서버로 전송하며,
서버로부터 상기 인쇄물 상에 표시된 것과 동일한 컨텐츠를 텍스트 또는 이미지의 형태로 제공받아 제1 구획에 표시할 수 있다.
또는, 상기 제1 구획에 컨텐츠를 표시하는 단계에서,
상기 획득한 페이지 정보를 서버로 전송하고, 상기 서버로부터 상기 인쇄물의 해당 페이지의 이미지를 제공받아 디스플레이 상에 표시하되, 영역의 선택 및 크롭을 위한 사용자 인터페이스를 더 표시할 수 있다.
이후, 영역이 선택됨에 따라, 선택된 영역을 크롭하여 제1 구획에 표시할 수 있다.
이러한 본 발명에 의할 때, 학습자는 아무런 이질감 없이 인쇄물과 펜을 이용하여 종전의 방식대로 학습을 할 수 있다.
반면, 학습 도중 인쇄물에 표시된 특정 학습 컨텐츠와 관련하여 질문하고자 하는 경우, 간단히 인쇄물 상의 특정 위치를 선택하거나 표시하는 간단한 동작 만으로, 모바일 디바이스를 통해 해당 학습 내용에 관한 질문을 할 수 있다.
이에 의해 학습자가 LMS(Learning Management System)에 접속하여 과목과 학습내용, 질문할 강사를 선택하고, 질문할 학습 컨텐츠를 오려붙이거나 복사해넣고, 질문 내용을 타이핑하여 등록하는 복잡한 과정이 생략될 수 있어, 불필요한 시간낭비가 제거되며, 학습능률이 향상된다.
도 1은 스마트 펜, 모바일 디바이스 및 서버의 연결관계를 설명하는 도면이며,
도 2는 스마트 펜의 하드웨어 구성을 설명하는 도면이며,
도 3은 모바일 디바이스의 하드웨어 구성을 설명하는 도면이며,
도 4는 본 발명에 의한 스마트 펜을 이용한 질문 처리방법의 처리과정을 시계열적으로 도시한 플로우차트이며,
도 5는 학습자가 스마트 펜으로 그림이나 글씨를 쓰는 모습을 예시하는 참고도이며,
도 6은 학습자가 그린 그림이나 글씨가 질문 입력을 위한 사용자 인터페이스와 함께 모바일 디바이스 상에 표시된 화면예시도이며,
도 7은 도 5 및 도 6에 예시된 실시예를 설명하는 플로우차트이며,
도 8은 학습자가 스마트 펜으로 특정 문제를 선택한 모습을 예시하는 참고도이며,
도 9는 학습자가 선택한 문제와, 질문 입력을 위한 사용자 인터페이스가 모바일 디바이스 상에 표시된 화면예시도이며,
도 10은 도 8 및 도 9에 예시된 실시예를 설명하는 플로우차트이며,
도 11은 학습자가 스마트 펜으로 학습 컨텐츠가 인쇄된 인쇄물의 소정 위치를 선택한 모습을 예시하는 참고도이며,
도 12는 모바일 디바이스 상에서 학습 컨텐츠의 일부분을 크롭하고, 질문 입력을 받기 위한 사용자 인터페이스가 모바일 디바이스 상에 표시된 화면예시도이며,
도 13은 도 11 및 도 12에 예시된 실시예를 설명하는 플로우차트이다.
이하에서 기술되는 다양한 실시예는 학습자가 스마트 펜을 이용하여 코드가 인쇄된 인쇄물(교과서나 문제집, 또는 노트)에 인쇄된 문제나 또는 특수한 표식을 선택하거나, 또는 글씨나 그림 등을 그리면, 스마트 펜과 연동된 모바일 디바이스가 상황에 부합하는 그래픽 사용자 인터페이스(GUI : Graphical User Interface)를 통해 학습자로부터 질문을 입력받아 서버로 전달하는 방법에 관한 것이다.
도 1은 스마트 펜, 모바일 디바이스 및 서버의 연결관계를 설명하는 도면이다.
학습자는 스마트 펜(20)을 이용하여 문제집이나 교과서 또는 빈 노트와 같은 인쇄물(40)을 이용하여 학습을 한다. 이때, 인쇄물(40)에는 스마트 펜(20)이 인식할 수 있는 다수의 코드가 미세하게 인쇄된다. 빈 노트라고 하여도 실제로는 육안으로 식별이 어려운 정도의 미세한 크기로, 또는 육안으로 식별이 어려운 색상이나 특수 안료를 사용하여 다수의 코드가 인쇄되므로 이하 인쇄물의 범주에 포함시켜 설명한다.
이러한 코드는 학습자가 시각적으로 인지할 수 있는 컨텐츠와는 별개로 종이의 여백 전체에 걸쳐서 골고루 인쇄될 수 있으며, 소정의 정보를 포함한다.
스마트 펜(20)은 도 2에 도시된 바와 같이, 볼펜과 같은 기성의 필기구가 내장되어 실제로 종이 위에 필기하거나 그릴 수 있으며, 인쇄물 상에서 펜으로 가리켜 선택하거나 필기하는 경우 그 좌표 등을 독출하기 위한 정보를 모바일 디바이스(10)로 전송하는 장치이다.
스마트 펜(20)은 바람직하게는 도 2에 예시된 바와 같이, 압력감지센서(21), 카메라(22) 및 근거리 통신 모듈(23)을 구비한다.
압력감지센서(21)는 펜팁에 가해지는 압력을 감지한다. 즉, 사용자가 스마트 펜(20)을 쥐고서 필기를 하거나 또는 그림을 그리거나, 아니면 인쇄물 위를 살짝 눌러서 선택하는 등의 동작을 할 때 이를 감지한다.
카메라(22)는 인쇄물(40)에 인쇄된 코드를 촬영한다.
근거리 통신 모듈(23)은 모바일 디바이스(10)와의 통신을 위한 수단으로, 바람직하게는 블루투스와 같은 근거리 무선 통신 규약에 의한 무선통신 어댑터일 수 있다.
모바일 디바이스(10)는 스마트 펜(20)으로부터 정보를 전달받으면, 사용자로 하여금 질문을 입력할 수 있도록 하되, 질문 내용을 서버(30)로 전달하거나, 질문에 대한 답변을 사용자에게 보여주기 위한 장치이다.
이러한 모바일 디바이스(10)는 바람직하게는 도 3에 도시된 바와 같이 프로세서(11), 디스플레이(12), 스마트펜 연동수단(13) 및 통신수단(14)을 구비한다.
프로세서(11)는 컴퓨터 프로그램에 수록된 명령어를 실행한다.
디스플레이(12)는 바람직하게는 터치 패널을 구비할 수 있으며, 시각적 형태로 정보를 표시한다. 공지의 터치스크린이나 LCD, LED 액정 등의 형태일 수 있다.
스마트 펜 연동수단(13)은 스마트 펜(20)과 통신하기 위한 수단으로서, 바람직하게는 블루투스 등 공지의 규격에 따른 무선 통신 어댑터일 수 있다.
통신수단(14)은 인터넷 망을 통해 서버(30)와 통신하기 위한 것으로, 이더넷 어댑터이거나 또는 WiFi 어댑터 등 알려진 유무선 통신규격에 의한 어댑터일 수 있다.
한편, 모바일 디바이스(10)는 공지의 스마트폰, 타블렛 컴퓨터, 랩탑 컴퓨터 등의 형태일 수 있으며, 이외에도 상기의 설명을 만족하는 것이라면 그 형태나 명칭에 국한되지 아니한다.
서버(30)는 인터넷 망 등을 통해 접속한 다수의 모바일 디바이스(10)로부터 질문 내용을 전달받거나, 또는 강사가 입력한 답변 내용을 모바일 디바이스(10)로 전송하기 위한 장치이다.
학습자가 인쇄물(40)을 펼친 상태로 학습을 하다가, 스마트 펜(20)을 이용하여 소정의 동작을 하면, 스마트 펜(20)과 연동되는 모바일 디바이스(10)가 학습자로 하여금 인쇄물(40) 상에 표시된 학습 컨텐츠 또는 학습자의 메모 등과 관련하여 간편하게 질문을 할 수 있도록 처리한다.
이러한 동작을 수행하는 모바일 디바이스(10)의 구성을 상세히 살펴보면 아래와 같다.
우선, 프로세서(11)는 스마트 펜(20)이 인쇄물(40)에 인쇄된 코드를 인식함에 따라, 스마트 펜(20)와 연동하여 서적 식별자 및 상기 인쇄물 상의 페이지 정보와 좌표값을 획득한다.
코드는 바람직하게는 다수의 도트의 조합으로서, 각 도트의 이격 거리에 따라서 서로 다른 정보를 표현한다. 이러한 도트들은 매우 미세하거나 또는 육안으로 식별이 어려운 색상으로 인쇄되어 시야를 가리지 않는다.
인쇄물(40)의 모든 페이지에는 바람직하게는 일정 간격으로 서적 식별자를 지시하는 코드가 일정 간격으로 인쇄될 수 있다. 서적 식별자와 관련하여 모든 페이지는 동일한 코드를 갖는다.
또한, 각 페이지에는 페이지 정보(즉, 해당 페이지가 몇 페이지인지를 나타내는 정보)를 지시하는 코드가 일정 간격으로 인쇄될 수 있다. 페이지 정보와 관련하여 모든 페이지는 서로 다른 코드를 갖는다.
한편, 각 페이지에는 모든 영역에 걸쳐 좌표를 지시하는 코드가 인쇄된다. 좌표는 x, y값의 쌍을 코드의 형태로 표현한 것일 수 있다. 좌표값과 관련하여, 바람직하게는 모든 페이지의 같은 위치에는 동일한 코드가 인쇄된다.
스마트 펜(20)이 인쇄된 코드를 인식하여 서적 식별자와 페이지 정보, 그리고 좌표값을 독출하고 이를 모바일 디바이스(10)로 전송할 수 있다.
프로세서(11)는 코드로부터 서적 식별자, 페이지 정보 및 좌표값를 독출한 다음, 이에 해당하는 액션을 판단한다.
프로세서(11)가 실행하는 명령어는 컴퓨터 프로그램의 형태로 수록되어 로컬에 저장될 수 있는데, 이때 특정 페이지의 특정 좌표에 해당하는 액션들이 미리 정의되어 저장된다.
모든 페이지의 모든 좌표에 액션이 정의될 필요는 없다.
인쇄물(40)의 특정 위치에 액션을 정의하여 할당하거나, 또는 일정한 좌표 영역에 액션을 정의하여 할당하거나, 또는 특정 위치를 제외한 나머지 위치에는 디폴트로 임의의 액션을 정의해 둘 수도 있다.
물론, 액션이 아예 정의되어 있지 않은 구간도 존재할 수 있다.
한편, 프로세서(11)는 스마트 펜(20)이 인식한 코드에 대응하여 실행할 액션을 판단한다. 액션이 정의되어 있지 않은 경우에는 다른 동작을 하지 않고 종료한다.
한편, 프로세서(11)는 실행할 액션을 판단한 다음, 디스플레이(12) 상의 제1 구획(3)에 컨텐츠를, 제2 구획(2)에 질문 입력을 위한 사용자 인터페이스(4)를 표시한다.
그리고, 상기 제1 구획(3) 및 제2 구획(2)에 표시된 정보로부터 파라메타를 구성하여 상기 판단된 액션에 따라 서버(30)로 전달함으로써 질문을 등록한다.
이하에서는 스마트 펜을 이용한 질문 처리방법을 실시예를 들어 살펴보기로 한다.
본 발명에 의한 스마트 펜을 이용한 질문 처리방법의 처리방법은 도 1에 도시된 바와 같이 스마트 펜(20) 및 서버(30)와 유무선 통신 방식에 의해 연결되는 모바일 디바이스(10)에서 실행되는 방법의 형태로 구현될 수 있다.
도 4는 본 발명에 의한 스마트 펜을 이용한 질문 처리방법의 처리과정을 시계열적으로 도시한 플로우차트이다.
학습자는 학습에 앞서 스마트 펜(20)을 모바일 디바이스(10)에 페어링 시킨다.
이후, 인쇄물(40)을 펼쳐서 학습을 하다가 인쇄물 상의 임의의 지점을 펜팁으로 누르거나, 그리는 등의 동작을 하면 스마트 펜(20)이 카메라(22)를 통해 코드를 인식한다.
모바일 디바이스(10)는 페어링이 된 스마트 펜(20)이 인쇄물(40)에 인쇄된 코드를 인식함에 따라, 스마트 펜(20)으로부터 인식한 코드와 관련된 정보를 수신한다(S11). 이에 의하여 해당 인쇄물(40)의 서적 식별자와 학습자가 선택한 위치의 페이지 정보, 그리고 좌표값을 획득한다.
한편, 서적 식별자 값에 따라서 동작모드를 결정한다(S12). 즉, 인쇄물(40)의 유형에 따라서 동작모드를 달리할 수 있는 것이다.
모바일 디바이스(10)는 둘 이상의 서적에 대한 정보를 로컬에 저장할 수 있다. 획득한 서적 식별자 값에 해당하는 서적 정보를 인출함으로써 다양한 처리를 할 수 있다.
한편, 모바일 디바이스(10)는 해당 인쇄물(40)의 페이지 정보 및 좌표값을 획득하고, 이에 대응하는 액션을 판정한다(S13).
액션은 바람직하게는 서버(30)에서 제공하는 API함수 형태로 구현될 수 있으며, 모바일 디바이스(10)에 적재된 컴퓨터 프로그램 내에 해당 API를 호출하는 명령어로 포함될 수 있다.
도 4에 도시된 바와 같이 S12 단계와 S13 단계는 선후관계 없이 어느 것이 먼저 실행되어도 무방하다.
이후, 모바일 디바이스(10)는 디스플레이(12) 상의 제1 구획(3)에 컨텐츠를 표시한다(S14).
그리고, 디스플레이 상의 제2 구획(2)에 질문 입력을 위한 사용자 인터페이스(4)를 더 표시한다(S15).
제1 구획(3)에 표시되는 컨텐츠는 인쇄물(40)에 미리 인쇄된 학습 컨텐츠 또는 학습자가 스마트 펜(20)을 이용하여 인쇄물(40)에 그리거나 표시한 정보일 수 있다. 질문을 하고자 하는 대상에 해당한다.
제2 구획(2)에는 사용자가 질문하고자 하는 내용이 입력된다.
예컨대, 학습자는 터치스크린 상에 키보드를 호출한 다음, 텍스트 박스 형태의 사용자 인터페이스(4)에 질문 내용을 입력할 수 있을 것이다.
모바일 디바이스(10)는 상기 판정된 액션에 해당하는 API 함수를 호출하되 S11 내지 S15 단계에서 수집한 정보를 파라메타로 하여 서버(30)로 전달한다(S16).
S11 단계에서 획득한 서적 식별자, 페이지 정보, 좌표값 또는 이들을 이용하여 해석한 학습 맥락 정보, 상기 제1 구획(3)에 표시된 컨텐츠, 상기 사용자 인터페이스(4)를 통해 입력된 질문 내용 가운데 하나 이상이 파라메타로 전달될 수 있다.
서버(30)는 수신한 정보에 따라서 액션을 실행하고 결과값을 모바일 디바이스(10)로 반환한다. 예컨대, 질문 내용을 웹 페이지의 형태로 생성하여 포스팅하고 해당 페이지의 url을 반환할 수 있다.
이와 같이 결과값이 반환되면, 모바일 디바이스(10)는 이를 화면에 표시해줌으로써 액션 수행 - 즉, 질문 내용의 등록이 완료되었음을 사용자에게 안내한다(S17).
상기 예에서는 질문이 등록된 웹 페이지를 화면에 표시할 수 있을 것이다.
이후, 질문을 받은 강사가 웹 페이지 또는 강사용 프로그램을 이용하여 답변을 등록하면, 서버(30)는 이를 모바일 디바이스(10)로 알리며, 모바일 디바이스(10)는 답변이 있었음을 화면에 표시한다(S18).
이하에서는 도 5 내지 도 10을 참조하여 본 발명에 의한 스마트 펜을 이용한 질문 처리방법이 구현된 일예를 들어 설명하기로 한다.
어떤 실시예에서, 학습자는 코드가 인쇄된 인쇄물 위에 그림이나 글씨를 그린 다음 인쇄물 상의 질문하기 아이콘을 선택할 수 있으며, 이때 모바일 디바이스의 화면에 학습자가 그린 그림이나 글씨가 표시되고, 질문의 입력을 위한 사용자 인터페이스가 더 표시될 수 있다.
도 5와 도 6은 이를 예시적으로 도시한다.
S12 단계에서 모바일 디바이스(10)는 스마트 펜(20)으로부터 수신한 정보로부터 책자식별자를 획득하는데, 책자식별자의 값에 따라서 동작모드를 결정한다.
책자식별자는 인쇄물(40)의 유형에 따라서 임의의 값을 부여하여 사용할 수 있다. 예컨대, 특별한 내용이 없는 빈 노트의 경우 제1 동작모드로 동작하는 책자식별자가 부여되어 코드로 인쇄될 수 있다.
이 경우, 모바일 디바이스(10)는 빈 노트의 책자식별자를 획득한 다음 제1 동작모드로 동작모드를 결정한다(S12).
한편, S13 단계에서는 수신한 정보로부터 액션을 결정한다. 선택된 액션이 "질문하기"인 경우, 모바일 디바이스(10)는 제1 동작모드에서 다음과 같이 동작한다.
우선, 모바일 디바이스(10)는 상기 수신한 정보로부터 상기 인쇄물(40)의 페이지 정보를 인출하여 스마트 펜(20)으로 필기데이터 요청신호와 함께 전송한다(S121).
이에 따라, 스마트 펜(20)이 해당 페이지에 대한 필기 데이터 정보를 전송해오면, 모바일 디바이스(10)는 이를 수신한다(S122).
학습자는 빈 노트와 같은 형태의 인쇄물(40)을 이용하여 질문할 내용을 필기한다.
스마트 펜(20)은 학습자가 인쇄물(40) 상에서 필기를 하면, 펜팁에 가해지는 압력을 감지하며 압력이 가해지는 동안, 펜팁이 이동한 좌표를 카메라(22)를 통해 획득하여 필기 데이터를 생성한다.
이후, 학습자는 해당 페이지 상의 특정 위치를 스마트 펜(20)으로 살짝 눌러서 선택하는 등의 동작을 함으로써 모바일 디바이스(10)로 하여금 질문하기 기능을 실행하도록 할 수 있다.
도 5에는 인쇄물(40)의 일측에 아이콘(1)이 표시된 것을 확인할 수 있으며, 학습자가 스마트 펜(20)으로 이를 선택함에 따라, 모바일 디바이스(10)가 동작모드와 액션을 결정한 다음, 스마트 펜(20)으로 필기데이터 요청신호를 요청하는 것이다.
한편, S14 단계에서는, 상기 스마트 펜(20)으로부터 수신한 필기 데이터를 상기 제1 구획(3)에 표시한다.
S15 단계에서 제2 구획(2)을 통해 질문 내용이 입력되면, S16 단계에서 모바일 디바이스(10)는 제1 구획(3) 및 제2 구획(2)에 표시된 정보들을 이용하여 파라메타를 구성하고, 정해진 액션에 따라 API를 호출하여 서버(30)로 전달한다.
한편, S16 단계에서, 모바일 디바이스(10)는 상기 인쇄물(40)과 관련된 학습 맥락 정보를 더 구성하여 서버로 더 전달할 수 있다.
모바일 디바이스(10)는 하나 이상의 서적에 대한 서적 정보를 미리 저장할 수 있다. 서적 정보는 해당 서적의 과목, 명칭을 포함할 수 있으며, 각 페이지 별로 어떤 토픽이 다뤄지는지에 대한 목차항목을 포함할 수 있다.
모바일 디바이스(10)는 서적 식별자에 해당하는 서적 정보를 인출하되, 상기 서적 정보로부터 상기 페이지 정보 및 좌표값을 이용하여 해당 서적의 과목, 명칭, 목차항목, 토픽, 담당강사 가운데 하나 이상의 정보를 획득하고, 이를 이용하여 맥락 정보를 구성할 수 있다.
즉, 학습자가 어떤 책으로 어느 과목의 어느 부분을 학습하고 있었는지를 모바일 디바이스(10)가 판정한 다음, 서버(30)의 API를 호출함에 있어 이를 파라메타로 전달함으로써 서버(30)로 하여금 시맨틱하게 학습자의 질문에 대응하여 처리하도록 한다.
도 6에는 "중학교 2학년", "수학", "김선생님"과 같이 맥락정보가 표시됨을 알 수 있다. 즉, 학습자가 스마트 펜(20)으로 인쇄물(40)의 소정 위치를 선택함에 따라, 모바일 디바이스(10)가 상기와 같은 과정을 거쳐 맥락정보를 생성한 다음 화면에 표시한 것이다.
이러한 맥락정보는 서버(30)로 전달되며, 서버(30)는 해당 과목, 해당 강사에게 질문이 전달될 수 있도록 처리한다.
다른 실시예에서, 학습자는 단일 페이지에 하나 이상의 문제가 인쇄된 인쇄물을 학습하다가 해당 문제 그 자체, 또는 해당 문제 일측에 인쇄된 질문하기 아이콘을 스마트 펜으로 선택할 수 있으며, 이때 모바일 디바이스의 화면에 해당 문제가 표시되고, 이와 관련한 질문 입력창이 더 표시될 수 있다.
도 8과 도 9는 이를 예시적으로 도시한다.
우선, 도 8 및 도 9의 실시예는 S12 단계에서 모바일 디바이스(10)는 획득한 책자식별자가 소정의 값을 가짐에 따라 제2 동작모드로 동작하는 경우를 설명한다.
예컨대, 인쇄물(40)이 문제집이나 교과서 등, 학습 컨텐츠가 인쇄된 인쇄물인 경우, 제2 동작모드로 동작하도록 책자식별자가 코드로 인쇄될 수 있다.
S12 단계에서, 제2 동작모드로 동작함에 따라, S14 단계에서는 스마트 펜(20)이 인식한 상기 코드의 위치에 해당하는 상기 인쇄물(40) 상의 컨텐츠를 상기 제1 구획(30)에 표시한다.
도 8에 도시된 인쇄물(40)은 여러 개의 문항이 표시된 문제집을 예시한다. 각 문항에는 일측에 아이콘(1)이 표시되어 있다.
상기 예에서 학습자가 스마트 펜(20)으로 아이콘(1)을 선택함에 따라, 모바일 디바이스(10)가 해당 인쇄물(40)의 책자식별자에 따라 제2 동작모드로 결정하고, 질문하기 액션인 것으로 판정한다.
한편, S14 단계에서 모바일 디바이스(10)는 페이지 정보 및 좌표값을 서버(30)로 전송한다(S141').
서버(30)는 모바일 디바이스(10)로부터 페이지 정보 및 좌표값을 수신하면 이에 해당하는 컨텐츠 - 즉, 도 8의 예에서 학습자가 선택한 바로 그 문항 - 을 텍스트 또는 이미지의 형태로 반환한다.
모바일 디바이스(10)는 반환받은 정보를 제1 구획에 표시한다(S142').
S141 단계에서, 페이지 정보 및 좌표값 대신에, 획득한 페이지 정보 및 좌표값에 해당하는 문항의 식별정보를 인출하여 이를 서버(30)로 전송할 수도 있다.
이 경우, 모바일 디바이스(10)는 해당 인쇄물(40)에 인쇄된 페이지 별로 각 문항을 고유하게 식별하기 위한 식별정보를 미리 저장하며, 선택된 좌표에 해당하는 문항의 식별정보를 서버(30)로 전송할 수도 있다.
서버(30)는 수신한 식별정보에 해당하는 문항의 텍스트 또는 이미지 형태로 반환한다.
또 다른 실시예에서, 학습자는 학습 컨텐츠가 인쇄된 인쇄물을 스마트 펜으로 선택할 수 있으며, 이때 모바일 디바이스의 화면에 해당 페이지에 표시된 학습 컨텐츠의 적어도 일부를 선택하여 크롭하기 위한 사용자 인터페이스가 표시되며, 이후 이와 관련한 질문 입력창이 더 표시될 수 있다.
도 11과 도 12는 이를 예시적으로 도시한다.
도 9에 예시된 실시예와 마찬가지로, 제2 동작모드로 동작하는 모바일 디바이스(10)는, S141 단계에서, 획득한 페이지 정보를 서버(30)로 전송한다(S141'').
서버(30)는 수신한 페이지 정보에 해당하는 인쇄물(40)의 이미지를 반환한다.
서버(30)로부터 상기 인쇄물(40)의 해당 페이지의 이미지를 반환받으면, 도 12의 좌측에 예시된 바와 같이 우선 디스플레이 상에 표시하되, 영역의 선택 및 크롭을 위한 사용자 인터페이스를 더 표시한다(S142'').
학습자가 모바일 디바이스(10)를 이용하여 화면에 표시된 페이지의 일부 영역을 선택하면, 선택된 영역을 크롭하여 제1 구획(3)에 표시한다.
이후, 제2 구획(2)에 질문 내용을 입력하여 질문하기 버튼을 누르는 등의 조작을 하면, 판정된 액션에 따라서 수집한 파라메타를 서버(30)로 전달한다.
본 발명은 전자적 학습 기술분야에 적용될 수 있다.

Claims (8)

  1. 정보를 표시하는 디스플레이;
    스마트 펜과 통신하는 스마트 펜 연동수단;
    인터넷 망을 통해 서버와 통신하는 통신수단; 및
    정보를 처리하는 프로세서;를 구비하되,
    상기 프로세서는, 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜과 연동하여 상기 인쇄물의 서적 식별자 및 상기 인쇄물 상의 페이지 정보와 좌표값을 획득하며,
    상기 페이지 정보 및 좌표값에 해당하는 액션을 판단하여 상기 디스플레이 상의 제1 구획에 컨텐츠를, 제2 구획에 질문 입력을 위한 사용자 인터페이스를 표시하고,
    상기 제1 구획 및 제2 구획에 표시된 정보를 이용하여 파라메타를 구성하여 상기 판단된 액션에 따라 서버로 전달하는 것을 특징으로 하는 스마트 펜을 이용한 질문을 처리하는 모바일 디바이스.
  2. 모바일 디바이스가,
    페어링 된 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜으로부터 정보를 수신하는 단계;
    상기 수신한 정보로부터 서적 식별자를 획득하고, 인출된 서적 식별자 값에 따라 동작모드를 결정하는 단계;
    상기 수신한 정보로 부터 상기 인쇄물 상의 페이지 정보 및 좌표값을 획득하고, 이에 대응하는 액션을 판정하는 단계;
    디스플레이 상의 제1 구획에 컨텐츠를 표시하는 단계;
    디스플레이 상의 제2 구획에 질문 입력을 위한 사용자 인터페이스를 더 표시하는 단계;
    상기 수신한 코드를 판독하여 획득한 정보와, 상기 제1 구획에 표시된 컨텐츠, 상기 사용자 인터페이스를 통해 입력된 질문 내용 가운데 하나 이상을 이용하여 파라메타를 구성하고, 상기 판정된 액션에 따라 서버로 전달하는 단계;를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  3. 제2 항에 있어서,
    상기 동작모드를 결정하는 단계에서,
    상기 책자식별자에 따라 제1 동작모드로 동작하는 경우, 상기 스마트 펜으로 상기 페이지 정보에 해당하는 필기데이터를 요청하는 단계; 및
    상기 스마트 펜으로부터, 상기 스마트 펜이 상기 코드의 전송 이전에 해당 페이지에서 압력 센서가 압력을 감지한 동안 펜팁이 이동한 좌표를 인식함으로써 구성한 필기 데이터 정보를 수신하는 단계;를 더 포함하되,
    상기 제1 구획에 컨텐츠를 표시하는 단계에서,
    상기 수신한 필기 데이터 정보를 상기 제1 구획에 표시하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  4. 제2 항에 있어서,
    상기 동작모드를 결정하는 단계에서, 상기 획득한 책자식별자에 따라 제2 동작모드로 동작하는 경우,
    상기 제1 구획에 컨텐츠를 표시하는 단계에서, 상기 스마트 펜이 인식한 코드의 위치에 해당하는 상기 인쇄물 상의 컨텐츠를 상기 제1 구획에 표시하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  5. 제4 항에 있어서,
    상기 제1 구획에 컨텐츠를 표시하는 단계에서,
    상기 획득한 페이지 정보 및 좌표값을 서버로 전송하거나, 또는 상기 획득한 페이지 정보 및 좌표값에 해당하는 컨텐츠의 식별정보를 판정하여 서버로 전송하는 단계; 및
    서버로부터 상기 인쇄물 상에 표시된 것과 동일한 컨텐츠를 텍스트 또는 이미지의 형태로 제공받아 제1 구획에 표시하는 단계;를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  6. 제4 항에 있어서,
    상기 제1 구획에 컨텐츠를 표시하는 단계에서,
    상기 획득한 페이지 정보를 서버로 전송하는 단계;
    상기 서버로부터 상기 인쇄물의 해당 페이지의 이미지를 제공받아 디스플레이 상에 표시하되, 영역의 선택 및 크롭을 위한 사용자 인터페이스를 더 표시하는 단계; 및
    영역이 선택됨에 따라, 선택된 영역을 크롭하여 제1 구획에 표시하는 단계;를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  7. 제2 항에 있어서,
    상기 판정된 액션에 따라 서버로 전달하는 단계에서,
    상기 수신한 코드를 판독한 결과를 이용하여 상기 인쇄물과 관련된 학습 맥락 정보를 구성하여 서버로 더 전달하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
  8. 제7 항에 있어서,
    상기 서적 식별자에 해당하는 서적 정보를 인출하되,
    상기 서적 정보로부터 상기 페이지 정보 및 좌표값을 이용하여 해당 서적의 과목, 명칭, 목차항목, 토픽 가운데 하나 이상의 정보를 획득하고, 맥락 정보를 구성하는 것을 특징으로 하는 스마트 펜을 이용한 질문 처리방법.
PCT/KR2016/006459 2015-11-26 2016-06-17 스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스 WO2017090855A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150166424 2015-11-26
KR10-2015-0166424 2015-11-26
KR1020160067496A KR101727671B1 (ko) 2015-11-26 2016-05-31 스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스
KR10-2016-0067496 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017090855A1 true WO2017090855A1 (ko) 2017-06-01

Family

ID=58703066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006459 WO2017090855A1 (ko) 2015-11-26 2016-06-17 스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스

Country Status (2)

Country Link
KR (1) KR101727671B1 (ko)
WO (1) WO2017090855A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110094981A (ko) * 2010-02-18 2011-08-24 주식회사 네오랩컨버전스 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치
KR20110100769A (ko) * 2010-03-05 2011-09-15 주식회사 티스터디 전자펜, 이를 활용한 영자신문 학습 서비스 제공 시스템 및 영자신문 학습 시스템
KR20130007000A (ko) * 2011-06-28 2013-01-18 한밭대학교 산학협력단 온톨로지 관리 체계와 연동하는 자가학습 시스템 및 자가학습 방법
JP2013076720A (ja) * 2011-09-29 2013-04-25 Dainippon Printing Co Ltd コンピュータ装置、電子ペンシステム及びプログラム
KR20130108849A (ko) * 2012-03-26 2013-10-07 주식회사 소프트펍 오답노트 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110094981A (ko) * 2010-02-18 2011-08-24 주식회사 네오랩컨버전스 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치
KR20110100769A (ko) * 2010-03-05 2011-09-15 주식회사 티스터디 전자펜, 이를 활용한 영자신문 학습 서비스 제공 시스템 및 영자신문 학습 시스템
KR20130007000A (ko) * 2011-06-28 2013-01-18 한밭대학교 산학협력단 온톨로지 관리 체계와 연동하는 자가학습 시스템 및 자가학습 방법
JP2013076720A (ja) * 2011-09-29 2013-04-25 Dainippon Printing Co Ltd コンピュータ装置、電子ペンシステム及びプログラム
KR20130108849A (ko) * 2012-03-26 2013-10-07 주식회사 소프트펍 오답노트 제공 방법

Also Published As

Publication number Publication date
KR101727671B1 (ko) 2017-04-17

Similar Documents

Publication Publication Date Title
CN110827596A (zh) 一种基于智能笔的答题方法
WO2012169810A2 (ko) 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법
JP2013145265A (ja) サーバ、学習用端末装置、および学習コンテンツ管理方法
US20160117142A1 (en) Multiple-user collaboration with a smart pen system
WO2015064840A1 (ko) 학습자 맞춤형 학습 서비스 제공 서버 및 방법
WO2016182178A1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN101334937A (zh) 电子计算器以及控制方法
WO2019013387A1 (ko) 오프라인 및 온라인 교재 연동 학습 서비스 시스템
WO2018105833A1 (ko) 단말의 학습 콘텐츠 표시 방법 및 그에 따른 응용 프로그램
WO2014141414A1 (ja) 学習過程視覚化システム及び視覚化処理装置並びに視覚化方法
US20180277006A1 (en) Information display apparatus, information display method, and computer-readable recording medium
WO2018008822A1 (en) Print data processing method of mobile device and the mobile device
US20180277008A1 (en) Information display apparatus, information display method, and computer-readable recording medium
WO2017078269A1 (ko) 필기된 수식 인식을 이용한 수학 학습 장치 및 방법
WO2017082647A1 (ko) Ｐｕｓｈ 메시지 기반의 쓰기와 음성 정보 전달 및 재생하는 방법, 그리고 그 시스템
WO2014003520A1 (ko) 옥외 광고 ｌｅｄ 전광판 및 상호 작용 방법
WO2015064839A1 (ko) 학습 관리 서버 및 학습 관리 방법
WO2011145848A2 (ko) 온라인 교육 시스템 및 이를 위한 통신 단말기
WO2014104620A1 (ko) 학습 컨텐츠 관리 방법 및 장치
WO2017090857A1 (ko) 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법 및 이를 처리하는 모바일 디바이스
WO2017090855A1 (ko) 스마트 펜을 이용한 질문 처리방법 및 이를 처리하는 모바일 디바이스
WO2014061859A1 (ko) 댓글을 분석하고 표시할 수 있는 방법, 이를 위한 장치 및 시스템
US8515173B2 (en) Image processing system, image processing method and computer readable medium
WO2017090856A1 (ko) 스마트 펜을 이용한 오답 노트 제공 방법 및 이를 처리하는 모바일 디바이스
WO2022255571A1 (ko) 쌍방향 참여형 그림 제작 서비스 제공 시스템 및 이의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 31/10/2018)