KR20150052467A - Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same. - Google Patents

Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same. Download PDF

Info

Publication number
KR20150052467A
KR20150052467A KR1020130133824A KR20130133824A KR20150052467A KR 20150052467 A KR20150052467 A KR 20150052467A KR 1020130133824 A KR1020130133824 A KR 1020130133824A KR 20130133824 A KR20130133824 A KR 20130133824A KR 20150052467 A KR20150052467 A KR 20150052467A
Authority
KR
South Korea
Prior art keywords
data
writing instrument
grip
haptic
electronic writing
Prior art date
Application number
KR1020130133824A
Other languages
Korean (ko)
Other versions
KR102161057B1 (en
Inventor
박진형
배유동
정대광
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130133824A priority Critical patent/KR102161057B1/en
Publication of KR20150052467A publication Critical patent/KR20150052467A/en
Application granted granted Critical
Publication of KR102161057B1 publication Critical patent/KR102161057B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed is a method for applying a haptic function to an electronic writing instrument, wherein the method comprises the steps of: detecting a degree of grip variation of an electronic writing instrument and generating grip data corresponding to the detected degree of grip variation of the electronic writing instrument; detecting the location of the electronic writing instrument; determining haptic data based on the generated grip data and the detected location; and the electronic writing instrument performing a haptic function corresponding to the determined haptic data.

Description

햅틱 기능을 전자 필기구에 적용하는 방법 및 이를 수행하기 위한 전자 필기구, 전자 기기 및 전자 필기 시스템{METHOD OF APPLYING HAPTIC FUNCTION TO ELELCTRONIC FRINDLE AND ELECTRONIC FRINDLE, ELECTRONIC DEVICE AND ELECTRONIC WRITING SYSTEM FOR PERFORMING THE SAME.}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method of applying a haptic function to a electronic writing instrument, and a writing instrument, an electronic instrument, and a electronic writing system for performing the method.

본 발명은 햅틱 기능을 전자 필기구에 적용하는 기술에 관한 것이다.The present invention relates to a technique for applying a haptic function to a writing instrument.

종래에는 사용자와 전자 기기가 정보를 주고받는 데 시청각 정보가 주로 이용되었다. 그러나 사용자는 가상 현실을 통해 더욱 구체적이고 실감나는 정보를 원하게 되었고, 이러한 사용자의 욕구를 충족시키기 위해 촉각 및 힘을 전자 기기로부터 사용자에게 전달하는 햅틱 기술이 발달하게 되었다.In the past, audiovisual information was mainly used to exchange information between a user and an electronic device. However, users have been demanding more concrete and realistic information through virtual reality. Haptic technology has been developed to transmit the tactile force and power from the electronic device to the user in order to meet the user's desire.

한편, 전자 기기의 발전에 따라 사용자는 전자 기기에서 전자 펜과 같은 전자 필기구를 이용하여 필기를 할 수 있게 되었다. 이 때, 필기를 할 수 있는 전자 기기에 햅틱 기능을 적용하여 전자 기기에서 필기를 하는 경우에도, 오프라인 상에서 필기를 할 때 느낄 수 있는 촉각과 힘을 사용자에게 전달할 수 있게 되었다. 여기서 햅틱 기능이란 촉각과 힘, 운동감을 느끼게 하는 기능을 의미한다.On the other hand, according to the development of electronic devices, users can use electronic devices such as electronic pens to perform handwriting in electronic devices. At this time, even if a handwriting is performed in an electronic device by applying a haptic function to an electronic device capable of handwriting, a tactile sense and force that can be felt when writing is performed offline can be communicated to a user. Here, the haptic function means a function to feel tactile, force, and sense of motion.

오프라인상에서 필기를 하는 경우, 펜 그립이 변형됨에 따른 진동과 같은 느낌이 사용자에게 직접적으로 전달되지만, 전자 필기구를 이용하여 전자 기기에 필기를 하는 경우에는 전자 필기구 내부에 있는 진동 소자를 통해서 간접적으로 사용자에게 느낌이 전달될 뿐, 직접적으로 사용자에게 진동과 같은 느낌이 전달되지 않아 오프라인상에서 필기를 하는 경우와 상이한 느낌을 준다는 문제점이 있다. When handwriting is performed off-line, a feeling of vibration as the pen grip is deformed is directly transmitted to the user. However, when handwriting is performed on the electronic instrument using the electronic instrument, the user And the feeling of vibration is not directly transmitted to the user, which is different from the case of handwriting in offline.

본 발명은 햅틱 기능을 전자 필기구에 적용하는 방법 및 이를 수행하기 위한 전자 필기구, 전자 기기 및 전자 필기 시스템을 제공한다.The present invention provides a method of applying a haptic function to a electronic writing instrument, and a electronic writing instrument, an electronic instrument, and a electronic writing system for performing the method.

본 발명의 일 실시예에 따른 햅틱(haptic) 기능을 전자 필기구에 적용하는 방법에 있어서, 전자 필기구의 그립 변형 정도를 검출하고, 검출된 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 생성하는 단계; 전자 필기구의 위치를 검출하는 단계; 생성된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정하는 단계; 전자 필기구가 결정된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 단계를 포함한다.A method of applying a haptic function to a electronic writing instrument according to an embodiment of the present invention includes the steps of detecting grip deformation degree of the electronic writing instrument and generating grip data corresponding to the degree of grip deformation of the detected electronic writing instrument ; Detecting a position of the electronic writing instrument; Determining haptic data based on the generated grip data and the detected position; And performing a haptic function corresponding to the determined haptic data of the electronic writing instrument.

전자 필기구의 위치를 검출하는 단계는, 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단하는 단계를 더 포함하고, 햅틱 데이터를 결정하는 단계는, 생성된 그립 데이터 및 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정할 수 있다.The step of detecting the position of the electronic writing instrument further includes the step of determining the content of the event that has occurred in correspondence with the detected position, and the step of determining the haptic data is based on the generated grip data and the content of the determined event The haptic data can be determined.

전자 필기구는 복수개의 진동 소자를 포함하고, 햅틱 기능을 수행하는 단계는, 복수개의 진동 소자 중 적어도 하나를 선택하고, 선택된 진동 소자에 진동을 출력할 수 있다.The electronic writing instrument includes a plurality of vibration elements, and performing the haptic function may select at least one of the plurality of vibration elements and output the vibration to the selected vibration element.

판단된 이벤트의 내용은 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하고, 햅틱 데이터를 결정하는 단계는, 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하는 햅틱 데이터를 결정하고, 햅틱 기능을 수행하는 단계는, 검출된 위치에 대응하는 주파수를 나타내는 내용에 기초하여 전자 필기구가 검출된 위치에 대응되는 주파수의 진동을 출력할 수 있다.Wherein the content of the determined event includes content indicating a frequency corresponding to the detected position, and the step of determining the haptic data includes: determining haptic data including content indicating a frequency corresponding to the detected position; The performing step may output the vibration of the frequency corresponding to the position where the electronic writing instrument is detected based on the content indicating the frequency corresponding to the detected position.

판단된 이벤트의 내용에 기초하여 텍스트를 인식하는 단계를 더 포함하고, 햅틱 데이터를 결정하는 단계는, 인식된 텍스트에 기초하여 복수개의 진동 소자에 대응되도록 햅틱 데이터를 결정하고, 전자 필기구가 햅틱 기능을 수행하는 단계는, 복수개의 진동 소자에 대응되도록 결정된 햅틱 데이터에 기초하여 복수개의 진동소자 중 적어도 하나를 선택하고, 선택된 진동 소자에 진동을 출력할 수 있다.Wherein the step of determining the haptic data further comprises the step of determining the haptic data to correspond to the plurality of vibration elements based on the recognized text, , At least one of the plurality of vibration elements may be selected based on the haptic data determined to correspond to the plurality of vibration elements, and the vibration may be output to the selected vibration element.

전자 필기구의 그립데이터를 생성하는 단계는, 전자 필기구에 포함된 진동 소자를 이용하여 전자 필기구의 그립 변형 정도를 검출할 수 있다.The step of generating the grip data of the electronic writing instrument can detect the degree of grip deformation of the electronic writing instrument by using the vibration element included in the electronic writing instrument.

본 발명의 다른 실시예에 따른 전자 필기 시스템은 전자 필기구로부터 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 수신부, 전자 필기구의 위치를 검출하는 검출부, 생성된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정하는 햅틱 데이터 결정부, 결정된 햅틱 데이터를 전송하는 전송부를 포함하는 전자 기기; 및According to another aspect of the present invention, there is provided a computer readable recording medium storing a program for causing a computer to function as: a receiving unit for receiving grip data corresponding to a degree of grip deformation of a electronic writing instrument from a electronic writing instrument; a detecting unit for detecting a position of the electronic writing instrument; A haptic data determination unit for determining haptic data, and a transmission unit for transmitting the determined haptic data; And

전자 기기로부터 햅틱 데이터를 수신하는 수신부, 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 햅틱 기능 수행부, 전자 필기구의 그립 변형 정도를 검출하고, 검출된 그립 변형 정도에 대응하는 상기 그립 데이터를 생성하는 그립 데이터 생성부 및 상기 그립 데이터를 전송하는 전송부를 포함하는 전자 필기구를 포함한다. A haptic function performing unit for performing a haptic function corresponding to the received haptic data, a control unit for detecting the degree of grip deformation of the electronic writing instrument, generating the grip data corresponding to the detected degree of grip deformation And a transfer unit for transferring the grip data.

상기 검출된 위치에 대응하여 발생한 이벤트의 내용를 판단하는 이벤트 판단부를 더 포함하고, 상기 햅틱 데이터 결정부는 상기 생성된 그립 데이터 및 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정할 수 있다.The haptic data determining unit may determine the haptic data based on the generated grip data and the content of the determined event. The haptic data determining unit may determine the haptic data based on the generated grip data and the determined event.

전자 필기구는 복수개의 진동 소자를 더 포함하고, 햅틱 기능 수행부는, 복수개의 진동 소자 중 적어도 하나를 선택하고, 선택된 진동 소자에 진동을 출력할 수 있다.The electronic writing instrument further includes a plurality of vibration elements, and the haptic function performing section can select at least one of the plurality of vibration elements and output the vibration to the selected vibration element.

판단된 이벤트의 내용은 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하고, 햅틱 데이터 결정부는, 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하는 햅틱 데이터를 결정하고, 햅틱 기능 수행부는, 검출된 위치에 대응되는 주파수를 나타내는 내용에 기초하여 검출된 위치에 대응되는 주파수의 진동을 출력할 수 있다.The haptic data determining unit determines the haptic data including the content indicating the frequency corresponding to the detected position, and the haptic function performing unit determines the haptic data based on the detected It is possible to output the vibration of the frequency corresponding to the detected position on the basis of the content indicating the frequency corresponding to the position where the position is detected.

판단된 이벤트의 내용에 기초하여 텍스트를 인식하는 텍스트 인식부를 더 포함하고, 햅틱 데이터 결정부는, 인식된 텍스트에 기초하여 전자 필기구에 포함된 복수개의 진동 소자에 대응되도록 햅틱 데이터를 결정하고, 햅틱 기능 수행부는, 복수개의 진동 소자에 대응되도록 결정된 햅틱 데이터에 기초하여 복수개의 진동소자 중 적어도 하나의 진동 소자를 선택하고, 선택된 진동 소자에 진동을 출력할 수 있다.Wherein the haptic data determination unit determines the haptic data to correspond to the plurality of vibration elements included in the electronic writing instrument based on the recognized text, The performing unit may select at least one of the plurality of vibration elements based on the haptic data determined to correspond to the plurality of vibration elements, and output the vibration to the selected vibration element.

그립 데이터 생성부는, 전자 필기구에 포함된 진동 소자를 이용하여 전자 필기구의 그립 변형 정도를 검출할 수 있다.The grip data generation unit can detect the degree of grip deformation of the electronic writing instrument using the vibration element included in the electronic writing instrument.

본 발명의 일 실시예에 따른 전자 기기에서 생성된 햅틱 데이터를 전자 필기구에 전송하는 방법에 있어서, 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 단계; 전자 필기구의 위치를 검출하는 단계; 수신된 그립 데이터 및 검출된 위치 및 에 기초하여 햅틱 데이터를 결정하는 단계; 결정된 햅틱 데이터를 전자 필기구에 전송하는 단계를 포함한다.A method of transmitting haptic data generated in an electronic device according to an embodiment of the present invention to a electronic writing instrument, the method comprising: receiving grip data corresponding to a grip deformation degree of the electronic writing instrument; Detecting a position of the electronic writing instrument; Determining haptic data based on the received grip data and the detected position and; And transmitting the determined haptic data to the electronic writing instrument.

전자 필기구의 위치를 검출하는 단계는, 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단하는 단계를 더 포함하고, 햅틱 데이터를 결정하는 단계는, 수신된 그립 데이터 및 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정할 수 있다.The step of detecting the position of the electronic writing instrument further includes the step of determining the content of the event that has occurred in correspondence with the detected position, and the step of determining the haptic data is based on the received grip data and the content of the judged event The haptic data can be determined.

본 발명의 일 실시예에 따른 전자 기기는, 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 수신부; 전자 필기구의 위치를 검출하는 검출부; 수신된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정하는 햅틱 데이터 결정부; 결정된 햅틱 데이터를 전자 필기구에 전송하는 전송부를 포함한다.According to an embodiment of the present invention, there is provided an electronic device including: a receiving unit that receives grip data corresponding to a degree of grip deformation of a electronic writing instrument; A detecting unit for detecting a position of the electronic writing instrument; A haptic data determination unit for determining haptic data based on the received grip data and the detected position; And transmits the determined haptic data to the electronic writing instrument.

검출된 위치에 대응하여 발생한 내용을 판단하는 이벤트 판단부를 더 포함하고, 햅틱 데이터 결정부는, 생성된 그립 데이터 및 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정할 수 있다.The haptic data determining unit may determine the haptic data based on the generated grip data and the contents of the determined event.

본 발명의 일 실시예에 따른 전자 필기구에서 수신된 햅틱 데이터에 기초하여 햅틱 기능을 수행하는 방법에 있어서, 전자 필기구의 그립 변형 정도를 검출하고, 검출된 전자 필기구의 그립 변형 정도에 대응하여 그립 데이터를 생성하는 단계; 그립 데이터를 전자 기기에 전송하는 단계; 그립 데이터에 기초하여 전자 기기에서 결정된 햅틱 데이터를 수신하는 단계; 및 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 단계를 포함하고, 햅틱 데이터는 전자 기기에서 검출된 전자 필기구의 위치 및 전송된 그립 데이터에 기초하여 결정된 데이터일 수 있다.A method of performing a haptic function based on haptic data received in a electronic writing instrument according to an embodiment of the present invention includes detecting a degree of grip deformation of a electronic writing instrument and detecting a degree of grip deformation of the electronic writing instrument, ≪ / RTI > Transmitting the grip data to the electronic device; Receiving haptic data determined in the electronic device based on the grip data; And the received And performing haptic function corresponding to the haptic data, wherein the haptic data may be data determined based on the position of the electronic tag detected in the electronic device and the transmitted grip data.

본 발명의 일 실시예에 따른 전자 필기구는 전자 필기구의 그립 변형 정도를 검출하고, 검출된 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 생성하는 그립 데이터 생성부; 그립 데이터를 전자 기기에 전송하는 전송부; 그립 데이터에 기초하여 전자 기기에서 결정된 햅틱 데이터를 수신하는 수신부; 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 햅틱 기능 수행부를 포함하고, 햅틱 데이터는 상기 전송된 그립 데이터 및 상기 전자 기기에서 검출된 상기 전자 필기구의 위치에 기초하여 결정된 데이터이다.The electronic writing instrument according to an embodiment of the present invention includes a grip data generation unit that detects the degree of grip deformation of the electronic writing instrument and generates grip data corresponding to the degree of grip distortion of the detected electronic writing instrument; A transmission unit for transmitting the grip data to the electronic device; A receiving unit for receiving the haptic data determined in the electronic device based on the grip data; Received And a haptic function execution unit for performing a haptic function corresponding to the haptic data, wherein the haptic data is data determined based on the transmitted grip data and the position of the electronic tag detected by the electronic device.

본 발명의 다른 실시예에 따른 기록매체는 방법들을 실행하는 컴퓨터 프로그램을 기록하고 있어 컴퓨터로 읽어 들일 수 있다.A recording medium according to another embodiment of the present invention records a computer program for executing the methods and can be read by a computer.

도 1은 본 발명의 일 실시예에 따른 전자 필기구 및 전자 기기를 포함하는 전자 필기 시스템의 사용 환경을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 기능을 전자 필기구에 적용하는 프로세스를 도시한 도면이다.
도 3a-3b는 본 발명의 일 실시예에 따라 전자 필기구의 그립에 변형을 가하는 경우, 다양한 느낌의 진동이 사용자에게 출력되는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 이퀼라이저(equalizer) 프로그램 상에서, 전자 필기구를 통해 사용자에게 각 주파수에 대응되는 진동이 출력되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 사용자 단말 화면의 글자 주위에 전자 필기구가 위치하는 경우, 전자 필기구의 그립 부위에서 점자로 표현하는 과정을 설명하기 위한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 진동 소자의 형태를 설명하기 위한 도면이다.
도 7 은 본 발명의 일 실시예에 따라 전자 필기구를 이용하여 필기를 하는 경우, 진동이 전자 필기구의 그립 부위를 통해 사용자에게 출력되는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전자 필기구 및 전자 기기의 구성을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따라, 햅틱 기능을 전자 필기구에 적용하는 방법을 나타낸 흐름도이다.
도 10은 본 발명의 다른 실시예에 따라 햅틱 기능을 전자 필기구에 적용하는 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따라 전자 기기에서 생성된 햅틱 데이터를 전자 필기구에 전송하는 방법을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따라 전자 필기구에서 수신된 햅틱 데이터에 기초하여 햅틱 기능을 수행하는 방법을 나타낸 흐름도이다.
FIG. 1 is a view showing a usage environment of a electronic writing system including a electronic writing instrument and an electronic apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a process of applying a haptic function to a writing instrument according to an embodiment of the present invention.
3A to 3B are views for explaining a process in which vibrations of various senses are output to a user when the grip of the electronic writing instrument is deformed according to an embodiment of the present invention.
4 is a diagram illustrating a process of outputting vibration corresponding to each frequency to a user through a writing instrument on an equalizer program according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining a process of expressing braille characters at a grip portion of a electronic writing instrument in the case where the electronic writing instrument is located around characters of the user terminal screen according to an embodiment of the present invention.
6 is a view for explaining the shape of a vibration element according to an embodiment of the present invention.
7 is a view for explaining a process in which vibration is output to a user through a grip portion of the electronic writing instrument when handwriting is performed using the electronic writing instrument according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a configuration of a electronic writing instrument and an electronic apparatus according to an embodiment of the present invention.
9 is a flowchart illustrating a method of applying a haptic function to a electronic writing instrument according to an embodiment of the present invention.
10 is a flowchart illustrating a method of applying a haptic function to a writing instrument according to another embodiment of the present invention.
11 is a flowchart illustrating a method of transmitting haptic data generated in an electronic device to a writing instrument according to an embodiment of the present invention.
12 is a flowchart illustrating a method of performing a haptic function based on haptic data received in a writing instrument according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In order to more clearly describe the features of the embodiments, a detailed description of known matters to those skilled in the art will be omitted.

도 1은 본 발명의 일 실시예에 따른 전자 필기구 및 전자 기기를 포함하는 전자 필기 시스템의 사용 환경을 도시한 도면이다.FIG. 1 is a view showing a usage environment of a electronic writing system including a electronic writing instrument and an electronic apparatus according to an embodiment of the present invention.

도 1을 참조하면, 전자 필기 시스템은 전자 기기(100) 및 전자 필기구(200)를 포함한다.1, the electronic writing system includes an electronic apparatus 100 and a writing instrument 200. [

전자 필기구(200)는 전자 필기구의 그립 근처에 가해지는 압력을 센싱할 수 있는 센서를 포함할 수 있다. 즉, 전자 필기구의 그립 근처의 센서는 전자 필기구의 그립에 가해지는 압력에 의한 그립의 변형 정도를 검출할 수 있다. 여기서 그립이란, 사용자가 쥐게 되는 전자 필기구(200)의 일부분을 의미한다. 전자 필기구(200)는 검출된 전자 필기구의 그립의 변형 정도에 대응하는 그립 데이터를 생성할 수 있다. 생성된 그립 데이터는 전자 기기(100)에 전송되어 햅틱 데이터를 결정하는데 사용된다.The electronic writing instrument 200 may include a sensor capable of sensing the pressure applied near the grip of the electronic writing instrument. That is, the sensor near the grip of the electronic writing instrument can detect the degree of deformation of the grip due to the pressure applied to the grip of the electronic writing instrument. Here, the grip means a part of the electronic writing instrument 200 held by the user. The electronic writing instrument 200 can generate grip data corresponding to the degree of deformation of the grip of the detected electronic writing instrument. The generated grip data is transmitted to the electronic device 100 and used to determine the haptic data.

전자 기기(100)는 핸드폰, PDA, 태블릿과 같은 모바일 기기를 포함한다. 전자 기기(100)는 터치 스크린을 포함하고 있어, 영상을 디스플레이 하고, 사용자로부터 필기 입력을 수신할 수 있다.The electronic device 100 includes a mobile device such as a mobile phone, a PDA, or a tablet. The electronic device 100 includes a touch screen, and can display an image and receive handwriting input from a user.

한편, 전자 기기(100)는 디스플레이 되는 영상 상에서 전자 필기구의 위치를 검출할 수 있다. 전자 기기는 터치 스크린을 포함하고 있어, 전자 필기구를 터치스크린에 접촉하여, 그 때의 전자 필기구의 접촉 위치를 검출할 수 있다. 다만 이에 제한되지 않고, 전자 기기(100)는 전자필기구와의 접촉 없이 호버링(hovering)을 통해서 위치를 검출할 수 있다. 여기서 호버링(hovering)이란 기기 간에 접촉 없이 서로 간에 데이터를 교환하는 것을 의미한다. 예를 들어, 사용자가 전자 필기구(200)를 전자 기기(100)의 디스플레이부터 떨어뜨린 상태에서 전자 필기구(200)에 포함된 버튼을 누르는 경우, 전자 필기구(200)로부터의 연장선 상에서 전자 기기(100)가 만나는 위치를 검출 할 수 있다.On the other hand, the electronic apparatus 100 can detect the position of the electronic writing instrument on the displayed image. Since the electronic device includes a touch screen, the contact position of the electronic writing instrument at that time can be detected by contacting the electronic writing instrument with the touch screen. However, the present invention is not limited to this, and the electronic apparatus 100 can detect the position through hovering without contact with the electronic writing instrument. Here, hovering means exchanging data with each other without touching each other. For example, when a user presses a button included in the electronic writing instrument 200 while the electronic writing instrument 200 is dropped from the display of the electronic instrument 100, the electronic instrument 100 Can be detected.

한편, 전자 기기(100)는 전자 필기구(200)에서 생성된 그립 데이터를 수신할 수 있다. 이 때, 전자 기기(100)는 수신된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정할 수 있다. 이 때, 햅틱 데이터는 햅틱 기능을 포함하는 데이터를 의미한다. 햅틱 기능이란 촉각과 힘, 운동감을 느끼게 하는 기능이다. 본 실시예에서 햅틱 기능은 진동이다. 사용자는 진동의 강약, 진동의 주파수, 진동의 위치에 따라서 촉각을 느낄 수 있다. 다만 이에 제한되지 않고, 전자 기기(100)는 다양한 햅틱 기능을 통해서 촉각과 힘, 운동감을 느끼게 할 수 있다.On the other hand, the electronic device 100 can receive the grip data generated in the electronic writing instrument 200. At this time, the electronic device 100 can determine the haptic data based on the received grip data and the detected position. In this case, the haptic data means data including the haptic function. The haptic function is a function that makes you feel tactile, force, and sense of movement. In the present embodiment, the haptic function is vibration. The user can feel the tactile sense depending on the intensity of the vibration, the frequency of the vibration, and the position of the vibration. However, the present invention is not limited to this, and the electronic device 100 can feel tactile force, force, and sense of movement through various haptic functions.

전자 기기(100)는 결정된 햅틱 데이터를 전자 필기구(200)에 전송할 수 있다. The electronic device 100 can transmit the determined haptic data to the electronic writing instrument 200. [

이 때, 전자 기기(100)는 블루투스, Wi-Fi, NFC(Near Field Communication) 등 다양한 통신 방식을 이용하여 전자 필기구에 햅틱 데이터를 전송할 수 있다.At this time, the electronic device 100 can transmit haptic data to the electronic writing device using various communication methods such as Bluetooth, Wi-Fi, and NFC (Near Field Communication).

한편, 전자 필기구(200)는 블루투스, Wi-Fi, NFC(Near Field Communication) 등 다양한 통신 방식을 이용하여 전자 기기(100)가 전송한 햅틱 데이터를 수신한다.Meanwhile, the electronic writing instrument 200 receives haptic data transmitted by the electronic device 100 using various communication methods such as Bluetooth, Wi-Fi, and NFC (Near Field Communication).

전자 필기구(200)는 수신된 햅틱 데이터에 대응되는 햅틱 기능을 수행할 수 있다. 예를 들어, 전자 필기구(200)는 수신된 햅틱 데이터에 기초하여 전자 필기구의 그립에 포함된 진동 소자에서 진동의 강약, 진동의 주파수, 진동의 위치를 달리하여 사용자에게 촉각을 전달할 수 있다. 다만 이에 제한되지 않고, 다양한 햅틱 기능을 통해서 촉각과 힘, 운동감을 느끼게 할 수 있다.The electronic writing instrument 200 may perform a haptic function corresponding to the received haptic data. For example, the electronic writing instrument 200 can transmit a tactile sense to a user by varying the intensity of vibration, the frequency of vibration, and the vibration position in the vibration element included in the grip of the electronic writing instrument, based on the received haptic data. However, the present invention is not limited to this, and various haptic functions can be used to feel tactile force, force, and sense of motion.

도 2는 본 발명의 일 실시예에 따라 햅틱 기능을 전자 필기구에 적용하는 프로세스를 도시한 도면이다.2 is a diagram illustrating a process of applying a haptic function to a writing instrument according to an embodiment of the present invention.

S210 단계에서, 전자 필기구(200)는 전자 필기구의 그립 변형 정도를 검출하고, 검출된 그립 변형 정도에 대응하는 그립 데이터를 생성한다. 그립 변형 정도는 전자 필기구(200)의 그립 근처의 센서를 통해서 검출할 수 있다. 사용자가 손가락을 이용하여 전자 필기구(200)의 그립에 압력을 가하는 경우, 그립에 변형이 일어나게 된다. 이 때, 사용자가 손가락을 이용하여 전자필기구(200)의 그립을 세게 쥐는 경우, 그립의 변형 정도가 상대적으로 크다. 반대로 사용자가 가볍게 전자 필기구(200)를 쥐는 경우에는 그립의 변형 정도가 상대적으로 작다. 전자 필기구(200)은 이러한 그립의 변형 정도에 대응하는 그립 데이터를 생성한다.In step S210, the electronic writing instrument 200 detects the degree of grip deformation of the electronic writing instrument and generates grip data corresponding to the detected degree of grip deformation. The degree of grip deformation can be detected through a sensor near the grip of the electronic writing instrument 200. [ When the user applies pressure to the grip of the electronic writing instrument 200 using a finger, the grip is deformed. At this time, when the user grips the grip of the electronic writing instrument 200 with his / her fingers firmly, the degree of deformation of the grip is relatively large. On the contrary, when the user holds the electronic writing instrument 200 lightly, the degree of deformation of the grip is relatively small. The electronic writing instrument 200 generates grip data corresponding to the degree of deformation of the grip.

S220 단계에서, 전자 필기구(200)는 생성된 그립데이터를 전자 기기(100)에 전송한다.In step S220, the electronic writing instrument 200 transmits the generated grip data to the electronic device 100. [

S230 단계에서, 전자 기기(100)는 전자 필기구(200)의 위치를 검출한다. 예를 들어, 사용자가 전자 필기구(200)를 전자 기기(100)의 디스플레이 정가운데에 접촉하는 경우에 전자 기기(100)의 디스플레이의 해상도가 1024*768라면, 디스플레이 정가운데는 디스플레이 왼쪽 상단을 기준으로, (512, 384)의 좌표값을 가진다. 따라서 전자 기기(100)는 (512, 384)의 좌표값을 전자 필기구(200)의 위치로 검출한다. In step S230, the electronic device 100 detects the position of the electronic writing instrument 200. [ For example, if the resolution of the display of the electronic device 100 is 1024 * 768 when the user touches the center of the display device of the electronic device 100, And coordinate values of (512, 384). Therefore, the electronic device 100 detects the coordinate values of (512, 384) as the position of the electronic writing instrument 200.

S240 단계에서, 전자 기기(100)는 생성된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정한다. 예를 들어, 사용자가 손가락을 이용하여 전자 필기구(200)를 쥐고, 전자 기기(100)의 디스플레이 정가운데에 접촉하고 있다고 한다. 이 때, 생성된 그립 데이터는 사용자가 손가락을 쥐고 있는 그립의 위치 및 그립에 변형이 가해진 정도에 관한 정보를 포함하고 있고, 검출된 위치는 전자 기기(100)의 디스플레이 정가운데를 나타내는 좌표값 (512, 384)에 관한 정보를 포함할 수 있다. 한편, 전자 필기구(200)의 디스플레이 가운데 영역에 메모장 어플리케이션이 실행되어 있다. 따라서 사용자는 전자 필기구(200)를 전자 기기(100)에 접촉하여 메모장 어플리케이션 상에 필기를 할 수 있다. 이 때, 사용자는 메모장 어플리케이션의 배경으로 다양한 재질을 가지는 메모지 이미지 중 하나를 선택할 수 있다. 이러한 메모지 이미지는 재질에 관한 정보를 포함할 수 있다. 예를 들어, 메모지 이미지는 포스트잇 이미지일 수 있고, 포스트잇의 재질에 관한 정보를 포함할 수 있다. 특히, 위치에 따른 재질의 차이에 관한 정보를 포함할 수 있다. 따라서, 전자 필기구(200)는 검출된 위치 좌표값 (512,384)에 관한 재질의 정보 및 그립의 위치, 그립의 변형 정도를 고려하여, 전자 필기구(200)의 그립에서 사용자에게 어떤 진동을 그립의 어느 위치에 줄 것인지를 나타내는 햅틱 데이터를 결정할 수 있다.In step S240, the electronic device 100 determines the haptic data based on the generated grip data and the detected position. For example, it is assumed that the user holds the electronic writing instrument 200 with his / her finger and contacts the center of the display device of the electronic apparatus 100. [ In this case, the generated grip data includes information on the position of the grip of the user holding the finger and the degree of deformation of the grip, and the detected position is a coordinate value (" 512, and 384, respectively. On the other hand, a notepad application is executed in an area in the middle of the display of the electronic writing instrument 200. [ Accordingly, the user can make a writing on the notepad application by contacting the electronic writing instrument 200 with the electronic instrument 100. At this time, the user can select one of the note paper images having various materials in the background of the notepad application. Such a note image may include information about a material. For example, the postcard image may be a post-it image and may include information about the post-it's material. In particular, it may include information on the difference in material depending on the position. Therefore, the electronic writing instrument 200 can determine which vibration of the electronic writing instrument 200 is applied to the user in consideration of the position of the grip and the degree of deformation of the grip on the detected position coordinate values 512 and 384 Position of the haptic data.

S250단계에서, 전자 기기(100)는 결정된 햅틱 데이터를 전자 필기구(200)에 전송한다. In step S250, the electronic device 100 transmits the determined haptic data to the electronic writing instrument 200. [

S260단계에서, 전자 필기구(200)는 전자 기기(100)으로부터 햅틱 데이터를 수신한다. 그리고 결정된 햅틱 데이터에 대응하는 햅틱 기능을 적용한다. 예를 들어 전자 필기구(200)는 수신된 햅틱 데이터에 기초하여 전자 필기구에 포함된 그립 주변의 진동 소자의 진동 강약, 진동의 주파수, 진동의 위치를 달리하여 사용자에게 촉각을 전달한다. 다만 이에 제한되지 않고, 다양한 햅틱 기능을 통해서 촉각과 힘, 운동감을 느끼게 할 수 있다. 즉, 전자 필기구(200)는 햅틱 데이터에 기초하여 전자 필기구(200)의 그립에서 어떤 진동을 그립의 어느 위치에 줄 것인지를 결정하여, 진동 소자에 진동의 강약, 진동의 주파수, 진동의 위치를 달리하여 진동을 출력할 수 있다. In step S260, the electronic writing instrument 200 receives haptic data from the electronic device 100. [ Then, the haptic function corresponding to the determined haptic data is applied. For example, the electronic writing instrument 200 transmits tactile feedback to the user by varying the vibration intensity of the vibration element around the grip included in the electronic writing instrument, the vibration frequency, and the vibration position based on the received haptic data. However, the present invention is not limited to this, and various haptic functions can be used to feel tactile force, force, and sense of motion. That is, the electronic writing instrument 200 determines which vibration of the grip 200 of the electronic writing instrument 200 is to be given to which position of the grip based on the haptic data, and determines the intensity of the vibration, the frequency of the vibration, It is possible to output the vibration in a different manner.

도 3a-3b는 본 발명의 일 실시예에 따라 전자 필기구의 그립에 변형을 가하는 경우, 다양한 느낌의 진동이 사용자에게 출력되는 과정을 설명하기 위한 도면이다.3A to 3B are views for explaining a process in which vibrations of various senses are output to a user when the grip of the electronic writing instrument is deformed according to an embodiment of the present invention.

본 실시예에서, 햅틱 기능은 진동을 포함한다.In this embodiment, the haptic function includes vibration.

도 3a을 참조하면, 사용자는 전자 필기구(200)를 전자 기기(100)의 디스플레이에 표시 된 메일 아이콘(310)에 접촉하여 그립을 쥐었다 폈다 하는 행위를 한다고 한다. 사용자가 전자 필기구(200)를 전자 기기(100)의 디스플레이에 표시된 아이콘(310)을 접촉하기만 한다면, 해당 어플리케이션이 실행될 수 있다. 하지만 사용자는 그립을 쥐었다 폈다 하는 행위를 하면서 전자 필기구(200)를 아이콘(310)에 접촉하고 있다. 한편, 아이드로퍼(eye dropper) 방식을 이용하는 만년필은, 스포이드(dropper)와 비슷한 원리를 통해서 잉크를 흡수하는데, 전자 기기(100)도 마치 만년필에서 잉크를 흡수하는 것처럼 디스플레이 상에서 아이콘(310)이 점점 작아지면서, 마침내 아이콘(310)이 없어지는 효과를 줄 수 있다. 전자 필기구(200)에서 마치 만녈필로 잉크가 빨려 들어올 때의 느낌과 비슷한 진동을 주기 위해 전자 기기(100)는 액체가 빨려 들어올 때의 느낌과 비슷한 진동을 나타내는 햅틱 데이터를 전송할 수 있다. 따라서 전자 필기구(100)는 마치 만년필에서 잉크가 빨려 들어올 때의 느낌과 비슷한 진동을 그립 주위에 위치한 진동 소자를 통해 출력하고, 사용자는 그러한 진동을 느껴 만년필에서 잉크가 빨려 들어올 때와 비슷한 느낌을 받을 수 있다. 이와 함께 메일 아이콘(310)에 관련된 정보가 전자 필기구(200)으로 전송될 수 있다. Referring to FIG. 3A, the user touches the mail icon 310 displayed on the display of the electronic device 100 to grasp and grasp the grip. If the user touches the icon 310 displayed on the display of the electronic device 100, the application can be executed. However, the user touches the icon 310 while grasping and grasping the grip. On the other hand, a fountain pen using an eye dropper method absorbs ink through a principle similar to that of a dropper, and the electronic device 100 is also getting an icon 310 on the display as if it absorbs ink from a fountain pen And the icon 310 is finally lost. The electronic device 100 can transmit haptic data indicating a vibration similar to the feeling when the liquid is sucked in, so as to give a vibration similar to a feeling when the ink is sucked into the electronic writing instrument 200 as if the ink is sucked into the pen. Therefore, the electronic writing instrument 100 outputs a vibration similar to the feeling when the ink is sucked in from the fountain pen through the vibration element located around the grip, and the user feels the vibration and receives a feeling similar to when the ink is sucked in from the fountain pen . In addition, information related to the mail icon 310 can be transmitted to the electronic writing instrument 200.

사용자는 이후에 화면 전환을 통해 전자 기기(100)에 다른 화면이 표시되게 할 수 있다. 사용자는 이전과 다른 전자 기기(100)의 디스플레이 중 특정 부분에 메일 아이콘(310)을 복사하고자 한다. 따라서 사용자는 전자 필기구(200)를 전자 기기(100)의 디스플레이 중 특정 부분에 접촉하면서, 전자 필기구(200)의 그립을 쥐었다 폈다 하는 행위를 한다. 이 때, 전자 필기구(200)로부터 메일 아이콘(310)에 관련된 정보가 전자 기기(100)로 전송되면서, 전자 기기(100)의 디스플레이에서 일정한 크기를 가질 때까지 점점 메일 아이콘(310)의 크기가 점점 커지는 효과를 줄 수 있다. 이와 함께, 전자 필기구에서 물감을 짜는 듯한 느낌과 비슷한 진동을 주기 위해 전자 기기(100)는 햅틱 데이터를 전송할 수 있다. 따라서 전자 필기구(200)는 마치 물감을 짜는 듯한 느낌과 비슷한 진동을 그립 주위에 위치한 진동 소자를 통해 출력하고, 사용자는 그러한 진동을 느껴 물감을 짤 때와 비슷한 느낌을 받을 수 있다.The user can cause another screen to be displayed on the electronic device 100 through screen switching thereafter. The user wants to copy the mail icon 310 to a specific part of the display of the electronic device 100 different from the previous one. Accordingly, the user performs an operation of grasping and grasping the grip of the electronic writing instrument 200 while contacting the electronic writing instrument 200 with a specific portion of the display of the electronic instrument 100. [ At this time, information related to the mail icon 310 is transmitted from the electronic writing instrument 200 to the electronic device 100, and the size of the mail icon 310 gradually increases until the size of the electronic icon 100 becomes constant on the display of the electronic device 100 The effect can be increased. In addition, the electronic device 100 can transmit haptic data to give a vibration similar to a feeling of weaving in a writing instrument. Accordingly, the electronic writing instrument 200 outputs a vibration similar to a feeling of squeezing a paint through a vibration element located around the grip, and the user can feel a feeling similar to when he feels such vibration and produces a paint.

도 3b는 실제 물감을 짤 때의 그립에서 느껴지는 진동을 도시하고 있다. 도시하고 있는 바와 같이, 다양한 주파수의 진동을 포함하고 있다. 다양한 주파수를 가지는 정현파의 조합으로 실제 물감을 짤 때의 그립에서 느껴지는 진동과 유사한 진동을 진동 소자에서 표현할 수 있다. 다만 이에 제한되지 않고, 다양한 방법을 통해서 실제 느껴지는 진동과 유사한 진동을 진동 소자에서 표현할 수 있다.Figure 3b shows the vibrations felt in the grips when actually painting. As shown, it includes vibrations of various frequencies. A combination of sinusoidal waves with various frequencies can be used to represent vibrations similar to vibrations that are felt in grips when real paint is applied. However, the present invention is not limited to this, and vibrations similar to the actually sensed vibration can be expressed in the vibration element through various methods.

도 4는 본 발명의 일 실시예에 따라 이퀼라이저(equalizer) 프로그램 상에서, 전자 필기구를 통해 사용자에게 각 주파수에 대응되는 진동이 출력되는 과정을 설명하기 위한 도면이다. 4 is a diagram illustrating a process of outputting vibration corresponding to each frequency to a user through a writing instrument on an equalizer program according to an embodiment of the present invention.

본 실시예는, 사용자가 전자 기기(100)에서 이퀄라이저 프로그램을 실행하였다고 가정한다. 이 때, 사용자는 상하로 버튼을 움직이며 각 주파수 대역의 레벨을 조절 할 수 있다. 다만, 버튼을 이용하는 경우에 미세한 레벨의 조정은 어렵고, 각 주파수 대역의 레벨을 일일이 조절해야 하는 번거로움이 있다. 따라서, 사용자는 버튼을 움직이는 대신에 전자 필기구(200)를 전자 기기(100) 상에 접촉하여 디스플레이의 왼쪽 끝에서부터 오른쪽 끝으로 가면서 상하로 선을 그리며 각 주파수 대역의 레벨을 미세하게 조절할 수 있다. The present embodiment assumes that the user has executed the equalizer program in the electronic device 100. [ At this time, the user can adjust the level of each frequency band by moving the up and down buttons. However, in the case of using a button, adjustment of a minute level is difficult, and it is troublesome to adjust the level of each frequency band. Thus, instead of moving the button, the user can touch the electronic device 200 on the electronic device 100 to make a line up and down from the left end to the right end of the display, finely adjusting the level of each frequency band.

도 4에 도시된 바와 같이, 사용자가 각 주파수 대역의 레벨을 조절하기 위해 왼쪽 끝에서부터 오른쪽 끝으로 가면서 선을 상하로 왔다 갔다 하며 그리면, 주파수 대역의 레벨 조절 버튼이 그려진 선의 위 아래로 그려진 정도에 따라 대응되게 조절된다. 한편, 전자 기기(100)에서 전자 필기구(200)를 이용하여 선을 그리며 주파수 대역 부분을 통과할 때, 해당 주파수를 나타내는 햅틱 데이터를 전송할 수 있다. 전자 필기구(200)는 해당 주파수를 나타내는 햅틱 데이터를 수신하여, 해당 주파수의 진동을 출력할 수 있다. 예를 들어 제 1 영역(410)을 통과할 때, 사용자는 전자 필기구(200)에서 500Hz의 진동을 느낄 수 있다. 한편, 제 2 영역(420)을 통과할 때, 사용자는 전자 필기구(200)에서 4kHz의 진동을 느낄 수 있다. 다만 전자 필기구(200)가 주파수 대역과 동일한 주파수의 진동을 출력하는데 제한되지 않고, 주파수 대역에 대응되는 다른 주파수의 진동을 출력할 수 있다.As shown in FIG. 4, when the user moves up and down the line from the left end to the right end to adjust the level of each frequency band, the level control button of the frequency band is drawn to the upper and lower portions of the drawn line Respectively. On the other hand, when the electronic device 100 draws a line using the electronic writing instrument 200 and passes through the frequency band portion, haptic data representing the frequency can be transmitted. The electronic writing instrument 200 can receive the haptic data indicating the corresponding frequency and output the vibration of the frequency. For example, when passing through the first area 410, the user may feel a vibration of 500 Hz in the electronic writing instrument 200. On the other hand, when passing through the second area 420, the user can feel the vibration of 4 kHz in the electronic writing instrument 200. However, the electronic writing instrument 200 is not limited to output the vibration of the same frequency as the frequency band, but can output the vibration of the other frequency corresponding to the frequency band.

도 5는 본 발명의 일 실시예에 따라 사용자 단말 화면의 글자 주위에 전자 필기구가 위치하는 경우, 전자 필기구의 그립 부위에서 점자로 표현하는 과정을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a process of expressing braille characters at a grip portion of a electronic writing instrument in the case where the electronic writing instrument is located around characters of the user terminal screen according to an embodiment of the present invention.

본 실시예에서 사용자는 전자 필기구(200)를 전자 기기(100) 화면 상 NAVER(510) 부근 근처로 다가가게 한다. 이 때, 사용자는 호버링을 통해서, 전자 필기구(200)를 전자 기기(100) 화면에 접촉하지 않고, 근접하게 하되 전자 필기구(200)가 NAVER(510) 부근을 향하게 하고 있다고 한다. 전자 기기(100)는 NAVER(510)에 포함된 정보로부터 문자를 인식한다. NAVER(510)에는 '네이버'로 가는 링크를 포함하는 아이콘이라는 정보를 포함하고 있고, 전자 기기(100)는 NAVER(510)에 포함된 정보로부터 문자 '네이버'를 인식하고, 이에 따라 햅틱 데이터를 생성한다. 이 때, '네이버'라는 문자 정보를 각 문자에 대응하는 점자(520)로 변환할 수 있다. 본 실시예에서 점자(520)는 6점자를 가정한다. 다만 이에 제한되지 않고, 다양한 점자형태로 표현될 수 있다. 점자로 변환되었을 때, 점자의 각 점은 전자 필기구(200)의 하나의 진동소자에 대응될 수 있다. 구체적인 내용은 도 6a-6c에서 진동 소자에 대해서 설명할 때, 상세하게 설명한다.In this embodiment, the user causes the electronic writing instrument 200 to approach the vicinity of the NAVER 510 on the screen of the electronic instrument 100. At this time, it is assumed that the user directs the electronic writing instrument 200 to the vicinity of the NAVER 510 through hovering, without bringing the electronic instrument 100 into contact with the screen. The electronic device 100 recognizes characters from the information included in the NAVER 510. [ The electronic device 100 recognizes the character 'Naver' from the information included in the NAVER 510, and accordingly stores the haptic data in the ' . At this time, the character information "Naver" can be converted into Braille characters 520 corresponding to each character. In this embodiment, the braille character 520 is assumed to have six braille characters. But it is not limited thereto and can be expressed in various braille forms. When converted into braille, each point of the braille can correspond to one vibration element of the electronic writing instrument 200. [ Specific details will be described in detail when the vibration element is described in Figs. 6A to 6C.

한편, 생성된 햅틱 데이터에는 6점자에 대한 정보 및 점자의 각 점에 대응되는 진동 소자에 대한 정보를 포함하고 있어, 전자 필기구(200)는 이를 이용하여 적절한 진동 소자에 진동을 출력할 수 있다. 따라서 전자 필기구(200)를 이용하여 시각장애인과 같은 자가 전자 기기(100) 상에 표시되는 내용을 쉽게 인식할 수 있다.On the other hand, the generated haptic data includes information on six braille characters and information on the vibration element corresponding to each point of the braille, so that the electronic writing instrument 200 can output the vibration to an appropriate vibration element using the information. Therefore, contents displayed on the electronic device 100 such as a visually impaired person can be easily recognized using the electronic writing instrument 200. [

도 6a-6c 은 본 발명의 일 실시예에 따른 진동 소자의 형태를 설명하기 위한 도면이다.6A to 6C are views for explaining the shape of a vibration element according to an embodiment of the present invention.

도 6a를 참조하면, 진동 소자(610, 620)는 복수의 진동 소자를 포함하고 있다. 복수의 진동 소자는 전자 필기구의 그립을 둘러싸면서 말려있는 형태를 하고 있다. 각 진동 소자는 진동을 출력할 수 있다. 또한 각 진동 소자는 사용자에 의해 전자 필기구에 가해지는 압력을 감지할 수 있다.Referring to FIG. 6A, the vibration elements 610 and 620 include a plurality of vibration elements. The plurality of vibrating elements are configured to surround and grip the grips of the electronic writing instrument. Each vibration element can output vibration. Further, each of the vibration elements can sense the pressure applied to the electronic writing instrument by the user.

진동 소자(620)는 진동 소자(610)의 펼쳐진 형태일 뿐, 동일한 소자이다.The vibrating element 620 is the same element as the spreading form of the vibrating element 610 only.

도 6b를 참조하면, 진동 소자(610, 620)과 다른 진동 소자(630, 640)가 도시되고 있다. 위에서 바라본 진동 소자(610)는 위에서 바라본 다른 진동소자(630)와 같은 소자처럼 보인다.Referring to FIG. 6B, vibration elements 610 and 620 and other vibration elements 630 and 640 are shown. The above-described vibration element 610 looks like an element like the other vibration element 630 seen from above.

하지만 진동소자(630)의 펼쳐진 형태인 진동 소자(640)는 진동 소자(610)의 펼쳐진 형태인 진동 소자(620)와 상이한 형태를 가지고 있다. 기본적으로 진동 소자 (610,620)는 8*1 행렬 형태로 복수의 진동 소자가 배열되어 있지만, 진동 소자(630, 640)는 더욱 세분화 되어 8*3 행렬 형태로 복수의 진동 소자가 배열되어 있다. 따라서 각 진동 소자를 제어하여 더욱 더 사용자에게 직접적인 느낌을 전달할 수 있다.However, the vibration element 640, which is an expanded form of the vibration element 630, has a different form from the vibration element 620, which is an expanded form of the vibration element 610. Basically, the vibration elements 610 and 620 are arranged in a matrix of 8 * 1 matrix, but the vibration elements 630 and 640 are further subdivided so that a plurality of vibration elements are arranged in an 8 * 3 matrix. Therefore, each vibration element can be controlled to transmit a more direct feeling to the user.

도 6c를 참조하면, 구체적으로 사용자가 진동소자(630, 640)를 쥐었을 경우를 나타낸다. 구체적으로 사용자가 손가락(엄지 및 검지)을 이용하여 그립 부분을 쥐었을 경우, 8*3개의 진동 소자 중에 2*3개의 진동 소자(655)에 압력이 전해진다. 이 때, 압력이 전해지는 진동 소자(655)에서 변형 정도를 검출한다. 한편, 나머지 진동 소자는 사용자가 손가락을 이용하여 쥔 부분이 아니기 때문에 압력이 거의 전해지지 않는다. 따라서 압력이 거의 전해지지 않는 진동 소자들에서는 변형 정도가 거의 검출되지 않는다. 전자 필기구(200)는 이러한 변형 정도를 나타내는 그립 데이터를 생성한다.Referring to FIG. 6C, a user holds the vibration elements 630 and 640. Specifically, when the user grasps the grip portion using a finger (thumb and index finger), pressure is transmitted to 2 * 3 vibration elements 655 among 8 * 3 vibration elements. At this time, the degree of deformation is detected by the vibration element 655 to which the pressure is transmitted. On the other hand, the rest of the vibration elements are not pressed by the user because they are not gripped by the finger. Therefore, the degree of deformation is hardly detected in the vibration elements in which the pressure is hardly transmitted. The electronic writing instrument 200 generates grip data indicating such degree of deformation.

한편, 진동 소자(660)는 진동 소자(650)의 펼쳐진 형태이다. 사용자가 손가락(엄지 및 검지)을 이용하여 그립 부분을 쥐었을 경우, 8*3 진동 소자 중에 2*3의 진동 소자(665)에 압력이 전해진다.On the other hand, the vibration element 660 is an unfolded form of the vibration element 650. When the user grasps the grip portion using a finger (thumb and index finger), pressure is transmitted to the 2 * 3 vibration element 665 in the 8 * 3 vibration element.

다시 도 5를 참조하면, 전자 필기구(200)는 2*3의 진동 소자(665)를 이용하여 점자를 표현할 수 있다. 즉 6개의 진동 소자가 각각 하나의 점자의 점을 나타낸다. 예를 들어 도 6c에서 왼쪽 방향이 사용자가 전자 필기구(200)를 사용하는 경우, 전자 필기구(200)가 전자 기기(100)를 향하는 방향이라고 가정한다.Referring again to FIG. 5, the electronic writing instrument 200 can represent braille using a 2 * 3 vibrating element 665. That is, each of the six vibration elements represents one braille point. For example, when the user uses the electronic writing instrument 200 in the left direction in FIG. 6C, it is assumed that the electronic writing instrument 200 is in the direction toward the electronic instrument 100.

다시 도 5를 참조하면, 점자(520)에서 'ㄴ' 부분을 점자로 표현할 때, 도 6c에서, 2*3 진동 소자(665) 중 가장 좌측 위아래의 진동 소자를 이용하여 진동을 사용자에게 출력한다. 한편, 'ㅂ' 부분을 점자로 표현할 때, 도 6c에서, 2*3 진동 소자(665) 중 좌측 상단부터 우측방향으로 연속된 두 진동 소자를 이용하여 진동을 사용자에게 출력한다.Referring again to FIG. 5, when the 'b' portion of the braille character 520 is represented by braille, the vibration is outputted to the user using the leftmost and rightmost vibration elements of the 2 * 3 vibration element 665 in FIG. 6C . 6C, the vibration is outputted to the user using two vibration elements continuous from the upper left corner to the right side of the 2 * 3 vibration element 665. In this case, as shown in FIG.

도 7 은 본 발명의 일 실시예에 따라 전자 필기구를 이용하여 필기를 하는 경우, 진동이 전자 필기구의 그립 부위를 통해 사용자에게 출력되는 과정을 설명하기 위한 도면이다.7 is a view for explaining a process in which vibration is output to a user through a grip portion of the electronic writing instrument when handwriting is performed using the electronic writing instrument according to an embodiment of the present invention.

도 7의 좌측 부분은 오프라인에서 실제 사용자가 노트에 필기를 하는 경우를 도시하고 있다. 오프라인에서 실제 사용자가 노트에 필기를 하는 경우, 필기구의 그립을 통해서 사용자에게 진동이 전달된다. 이러한 진동은 사용자가 필기구를 쥐는 정도 및 종이의 재질에 따라 달라질 수 있다.The left part of FIG. 7 shows a case where an actual user writes notes in offline. When an actual user writes notes in offline, vibration is transmitted to the user through the grip of the writing instrument. Such vibrations may vary depending on the degree to which the user holds the writing instrument and the material of the paper.

도 7의 우측 부분은 전자 기기(100)에 전자 필기구(200)를 이용하여 필기를 하는 경우를 도시하고 있다. 전자 필기구(200)에서 전자 필기구(200)의 그립 변형 정도를 그립 주위의 센서를 이용하여 검출하고, 검출된 그립 변형 정도에 대응하는 그립데이터를 생성하고, 전자 기기(100)는 그립 데이터를 수신하고, 이에 기초하여 햅틱 기능을 수행하는 햅틱 데이터를 생성한다. 생성된 햅틱 데이터를 전자 필기구(200)에 전송하고 전자 필기구(200)는 전송된 햅틱 데이터에 대응하는 햅틱 기능을 수행할 수 있다. 본 실시예에서, 햅틱 기능은 진동이다. 따라서 진동 소자를 이용하여 사용자에게 진동을 출력할 수 있다. 사용자는 출력되는 진동을 통해 오프라인에서 실제 종이 위에 쓰는 느낌과 유사한 느낌을 받을 수 있다. 특히 진동 소자는 사용자의 손과 전자 필기구가 접촉하는 부분인 그립 주위에 위치하여 직접적인 필기감을 제공할 수 있다.The right part of FIG. 7 shows the case where the electronic instrument 100 is handwritten using the electronic writing instrument 200. The degree of grip deformation of the electronic writing instrument 200 in the electronic writing instrument 200 is detected using a sensor around the grip and the grip data corresponding to the detected degree of grip deformation is generated and the electronic instrument 100 receives the grip data And generates haptic data for performing a haptic function based thereon. The generated haptic data may be transmitted to the electronic writing instrument 200, and the electronic writing instrument 200 may perform a haptic function corresponding to the transmitted haptic data. In this embodiment, the haptic function is vibration. Therefore, the vibration can be outputted to the user by using the vibration element. Users can get the impression that they are written off-line on real paper because of the vibration that is output. Particularly, the vibration element can be positioned around the grip, which is a portion where the user's hand and the electronic writing instrument come into contact with each other, to provide a direct writing feeling.

도 8은 본 발명의 일 실시예에 따른 전자 필기구 및 전자 기기의 구성을 도시한 도면이다.FIG. 8 is a diagram illustrating a configuration of a electronic writing instrument and an electronic apparatus according to an embodiment of the present invention.

도 8를 참조하면, 전자 필기 시스템은 전자 기기(100) 및 전자 필기구(200)를 포함한다.Referring to FIG. 8, the electronic writing system includes an electronic apparatus 100 and a writing instrument 200.

전자 기기(100)는 검출부(810), 햅틱 데이터 결정부(820), 수신부(830) 및 전송부(840)을 포함한다.The electronic device 100 includes a detection unit 810, a haptic data determination unit 820, a reception unit 830, and a transmission unit 840.

검출부(810)는 전자 필기구(200)의 위치를 검출한다. 구체적으로, 전자 필기구(200)를 접촉하는 경우에, 전자 기기(100)에 접촉되는 위치를 검출할 수 있다. 한편, 전자 필기구(200)를 접촉하지 않더라도, 전자 필기구(200)의 연장선 상과 전자 기기와의 교점의 위치를 검출할 수 있다.The detection unit 810 detects the position of the electronic writing instrument 200. Specifically, when contacting the electronic writing instrument 200, the position of contact with the electronic instrument 100 can be detected. On the other hand, even if the electronic writing instrument 200 is not in contact, the position of the intersection between the extended line of the electronic instrument 200 and the electronic apparatus can be detected.

수신부(830)는 전자 필기구(200)로부터 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신한다.The receiving unit 830 receives grip data corresponding to the degree of grip deformation of the electronic writing instrument from the electronic writing instrument 200. [

햅틱 데이터 결정부(820)는 수신부(830)에서 수신한 그립 데이터 및 검출부(810)에서 검출된 전자 필기구의 위치에 기초하여 햅틱 데이터를 결정한다.The haptic data determining unit 820 determines the haptic data based on the grip data received by the receiving unit 830 and the position of the electronic writing instrument detected by the detecting unit 810.

전자 기기(100)는 검출부(810)에서 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단하는 이벤트 판단부(미도시)를 더 포함할 수 있다. 예를 들어, 전자 필기구가 같은 위치에서 검출되더라도, 발생하는 이벤트의 내용은 달라질 수 있다. 다시 도 5를 참조하면, 전자 필기구(200)가 전자 기기(100)에 표시된 NAVER(510) 부분에 접촉하면, 이벤트 판단부에서는 네이버 홈페이지로 화면을 넘어가라는 이벤트 내용을 판단할 수 있다. 반면, 전자 필기구(200)가 전자 기기(100)에서 일정 거리 떨어진 상태에서 위치 검출부가 검출한 전자 필기구(200)의 위치가 NAVER(510) 영역 내인 경우, 이벤트 판단부(미도시)는 NAVER(510) 부분이 나타내는 내용이 무엇인지를 사용자에게 출력하는 이벤트 내용을 판단할 수 있다.The electronic device 100 may further include an event determination unit (not shown) for determining the content of an event that occurs in response to the position detected by the detection unit 810. For example, even if a writing instrument is detected at the same position, the contents of an event to be generated may vary. Referring again to FIG. 5, when the electronic writing instrument 200 touches the NAVER 510 portion displayed on the electronic device 100, the event determination portion can determine the contents of the event that the Naver homepage goes beyond the screen. On the other hand, when the position of the electronic writing instrument 200 detected by the position detecting unit is within the range of the NAVER 510 in a state where the electronic writing instrument 200 is located at a distance from the electronic instrument 100, the event determining unit (not shown) 510) may be determined based on the contents of the event.

한편 이벤트 판단부에서 판단된 내용은 검출부(810)에서 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함할 수 있다. 예를 들어, 다시 도 4를 참조하면, 검출부가 제 1 영역(410)에서 전자 필기구(200)의 위치를 검출하면, 이벤트 판단부는 검출된 위치에 대응되는 주파수인 500Hz를 나타내는 내용을 포함할 수 있다.On the other hand, the content determined by the event determination unit may include content indicating a frequency corresponding to the position detected by the detection unit 810. [ For example, referring again to FIG. 4, when the detecting unit detects the position of the electronic writing instrument 200 in the first area 410, the event determining unit may include contents indicating 500 Hz corresponding to the detected position have.

햅틱 데이터 결정부(820)는 수신부(830)에서 수신한 그립 데이터 및 이벤트 판단부(미도시)에서 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정할 수 있다. 한편, 햅틱 데이터 결정부(820)는 대응된 주파수를 나타내는 내용을 포함하는 햅틱 데이터를 결정할 수 있다.The haptic data determiner 820 can determine the haptic data based on the contents of the grip data received by the receiver 830 and the event determined by the event determiner (not shown). Meanwhile, the haptic data determining unit 820 may determine the haptic data including the content indicating the corresponding frequency.

한편, 전자 기기(100)는 텍스트 인식부(미도시)를 포함할 수 있다. 텍스트 인식부(미도시)는 이벤트 판단부에서 판단된 이벤트의 내용에 기초하여 텍스트를 인식할 수 있다. 이 때, 햅틱 데이터 결정부(820)는 텍스트 인식부에서 인식된 텍스트에 기초하여 전자 필기구(200)에 포함된 진동 소자에 대응되도록 햅틱 데이터를 결정할수 있다.On the other hand, the electronic device 100 may include a text recognition unit (not shown). The text recognition unit (not shown) can recognize the text based on the contents of the event determined by the event determination unit. At this time, the haptic data determination unit 820 can determine the haptic data to correspond to the vibration element included in the electronic writing instrument 200 based on the text recognized by the text recognition unit.

전송부(840)는 햅틱 데이터 결정부(840)에서 결정된 데이터를 전송한다.The transmitting unit 840 transmits the data determined by the haptic data determining unit 840.

한편, 전자 필기구(200)는 수신부(850), 햅틱 기능 수행부(860), 그립 데이터 생성부(870) 및 전송부(880)을 포함한다.The electronic writing instrument 200 includes a receiving unit 850, a haptic function performing unit 860, a grip data generating unit 870, and a transmitting unit 880.

그립 데이터 생성부(870)는 전자 필기구(200)의 그립 변형 정도를 검출한다. 구체적으로 그립 데이터 생성부(870)는 전자 필기구에 포함된 진동 소자를 이용하여 전자 필기구(200)의 그립 변형 정도를 검출할 수 있다. 또한, 그립 데이터 생성부(870)는 검출된 그립 변형 정도에 대응하는 그립 데이터를 생성한다. The grip data generation unit 870 detects the degree of grip deformation of the electronic writing instrument 200. [ Specifically, the grip data generation unit 870 can detect the degree of grip deformation of the electronic writing instrument 200 by using the vibration element included in the electronic writing instrument. Further, the grip data generating unit 870 generates grip data corresponding to the detected degree of grip deformation.

전송부(880)는 그립 데이터 생성부(870)에서 생성된 그립 데이터를 전자 기기(100)에 전송한다.The transmission unit 880 transmits the grip data generated by the grip data generation unit 870 to the electronic device 100.

햅틱 기능 수행부(860)는 수신부(850)에서 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행한다. 한편, 전자 필기구는 복수개의 진동 소자(미도시)를 더 포함할 수 있다. 이 때, 햅틱 기능 수행부(860)는 복수개의 진동 소자 중 적어도 하나를 선택할 수 있다. 또한 햅틱 기능 수행부(860)는 선택된 진동 소자에 진동을 출력할 수 있다. 한편, 햅틱 기능 수행부(860)는 검출된 위치에 대응되는 주파수를 나타내는 내용에 기초하여 검출된 위치에 대응되는 주파수의 진동을 출력할 수 있다. The haptic function performing unit 860 performs a haptic function corresponding to the haptic data received by the receiving unit 850. [ On the other hand, the electronic writing instrument may further include a plurality of vibration elements (not shown). At this time, the haptic function performing unit 860 can select at least one of the plurality of vibration elements. In addition, the haptic function performing unit 860 can output the vibration to the selected vibration element. On the other hand, the haptic function performing unit 860 can output the vibration of the frequency corresponding to the detected position based on the content indicating the frequency corresponding to the detected position.

한편, 햅틱 기능 수행부(860)는 전자 필기구(200)에 포함된 복수개의 진동 소자에 대응되도록 결정된 햅틱 데이터에 기초하여 복수개의 진동소자 중 적어도 하나의 진동 소자를 선택하고, 선택된 진동 소자에 진동을 출력할 수 있다.On the other hand, the haptic function performing unit 860 selects at least one of the plurality of vibration elements based on the haptic data determined to correspond to the plurality of vibration elements included in the electronic writing instrument 200, Can be output.

도 9는 본 발명의 일 실시예에 따라, 햅틱 기능을 전자 필기구에 적용하는 방법을 나타낸 흐름도이다. 9 is a flowchart illustrating a method of applying a haptic function to a electronic writing instrument according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 햅틱 기능을 전자 필기구에 적용하는 방법은 도 8에 도시된 본 발명의 일 실시예에 따른 전자 필기 시스템과 그 기술적 사상이 동일하다. 따라서, 도 9에 도시된 햅틱 기능을 전자 필기구에 적용하는 방법의 설명에 있어서, 도 8에서와 중복되는 설명은 생략한다. 또한, 이하에서는 도 8에 도시된 전자 기기(100) 및 전자 필기구(200)를 참조하여, 햅틱 기능을 전자 필기구에 적용하는 방법을 설명한다.The method of applying the haptic function to the electronic writing instrument according to the embodiment of the present invention is the same as that of the electronic writing system according to the embodiment of the present invention shown in FIG. Therefore, in the description of the method of applying the haptic function shown in Fig. 9 to the electronic writing instrument, a description overlapping with that in Fig. 8 will be omitted. Hereinafter, a method of applying the haptic function to the electronic writing instrument will be described with reference to the electronic apparatus 100 and the electronic writing instrument 200 shown in Fig.

S900 단계에서, 전자 필기구(200)는 전자 필기구의 그립 변형 정도를 검출하고, 전자 필기구의 그립 변형 정도에 대응하는 그립데이터를 생성할 수 있다. 한편, 전자 필기구(200)에서는 생성된 그립 데이터를 전자 기기(100)에 전송할 수 있다. 구체적으로, S900 단계의 동작은 그립 데이터 생성부(870) 및 전송부(880)에서 수행될 수 있다.In step S900, the electronic writing instrument 200 can detect the degree of grip deformation of the electronic writing instrument and generate grip data corresponding to the degree of grip deformation of the electronic writing instrument. On the other hand, in the electronic writing instrument 200, the generated grip data can be transmitted to the electronic device 100. Specifically, the operation of step S900 may be performed in the grip data generation unit 870 and the transmission unit 880.

S910 단계에서, 전자 기기(100)는 전자 필기구(200)의 위치를 검출할 수 있다. 구체적으로, S910 단계의 동작은 검출부(810)에서 수행될 수 있다.In step S910, the electronic device 100 can detect the position of the electronic writing instrument 200. [ Specifically, the operation in step S910 may be performed in the detection unit 810. [

S920 단계에서, 전자 기기(100)는 생성된 그립 데이터 및 검출된 위치에 기초하여 햅틱 데이터를 결정한다. 전자 기기(100)는 결정된 햅틱 데이터를 전자 필기구(200)에 전송할 수 있다. 구체적으로, S920 단계의 동작은 햅틱 데이터 결정부(820) 및 전송부(840)에서 수행될 수 있다.In step S920, the electronic device 100 determines the haptic data based on the generated grip data and the detected position. The electronic device 100 can transmit the determined haptic data to the electronic writing instrument 200. [ Specifically, the operation in step S920 may be performed in the haptic data determination unit 820 and the transmission unit 840. [

S930 단계에서, 결정된 햅틱 데이터에 대응하는 햅틱 기능을 수행한다. 한편 결정된 햅틱 데이터는 전자 필기구(200)에서 수신될 수 있다. 구체적으로, S930 단계의 동작은 수신부(850) 및 햅틱 기능 수행부(860)에서 수행될 수 있다.In step S930, the haptic function corresponding to the determined haptic data is performed. Meanwhile, the determined haptic data can be received in the electronic writing instrument 200. Specifically, the operation in step S930 may be performed in the receiving unit 850 and the haptic function performing unit 860. [

도 10은 본 발명의 다른 실시예에 따라 햅틱 기능을 전자 필기구에 적용하는 방법을 나타낸 흐름도이다.10 is a flowchart illustrating a method of applying a haptic function to a writing instrument according to another embodiment of the present invention.

S1000 및 S1030단계는 도9의 S910, S930단계에 대응되므로 설명의 간단을 위해 상세한 설명은 생략한다.The steps S1000 and S1030 correspond to the steps S910 and S930 of FIG. 9, so that a detailed description will be omitted for the sake of simplicity.

S1010 단계에서, 전자 기기(100)는 전자 필기구(200)의 위치를 검출하고, 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단한다. 구체적으로, S1010 단계의 동작은 검출부(810) 및 이벤트판단부(미도시)에서 수행될 수 있다.In step S1010, the electronic device 100 detects the position of the electronic writing instrument 200, and determines the contents of the event generated corresponding to the detected position. Specifically, the operation of step S1010 may be performed in the detection unit 810 and the event determination unit (not shown).

S1020 단계에서, 전자 기기(100)는 생성된 그립 데이터 및 이벤트의 내용에 기초하여 햅틱 데이터를 결정한다. 전자 기기(100)는 결정된 햅틱 데이터를 전자 필기구(200)에 전송할 수 있다. 구체적으로, S1020 단계의 동작은 햅틱 데이터 결정부(820) 및 전송부(840)에서 수행될 수 있다.In step S1020, the electronic device 100 determines the haptic data based on the generated grip data and the contents of the event. The electronic device 100 can transmit the determined haptic data to the electronic writing instrument 200. [ Specifically, the operation in step S1020 may be performed in the haptic data determination unit 820 and the transmission unit 840. [

도 11은 본 발명의 일 실시예에 따라 전자 기기에서 생성된 햅틱 데이터를 전자 필기구에 전송하는 방법을 나타낸 흐름도이다.11 is a flowchart illustrating a method of transmitting haptic data generated in an electronic device to a writing instrument according to an embodiment of the present invention.

S1100 단계에서, 전자 기기(100)는 전자 필기구(200)의 그립 변형정도에 대응하는 그립 데이터를 수신한다. 구체적으로, S1100 단계의 동작은 수신부(830) 에서 수행될 수 있다.In step S1100, the electronic device 100 receives grip data corresponding to the degree of grip deformation of the electronic writing instrument 200. [ Specifically, the operation in step S1100 may be performed in the receiving unit 830. [

S1110 단계에서, 전자 기기(100)는 전자 필기구(200)의 위치를 검출한다. 구체적으로, S1110 단계의 동작은 검출부(810)에서 수행될 수 있다.In step S1110, the electronic device 100 detects the position of the electronic writing instrument 200. [ Specifically, the operation in step S1110 may be performed in the detection unit 810. [

S1120 단계에서, 전자 기기(100)는 검출된 위치 및 수신된 그립 데이터에 기초하여 햅틱 데이터를 결정한다. S1120 단계의 동작은 햅틱 데이터 결정부(820)에서 수행될 수 있다.In step S1120, the electronic device 100 determines the haptic data based on the detected position and the received grip data. The operation in step S1120 may be performed in the haptic data determination unit 820. [

S1130 단계에서, 전자 기기(100)는 햅틱 데이터를 전자 필기구에 전송한다. S1130 단계의 동작은 전송부(840)에서 수행될 수 있다.In step S1130, the electronic device 100 transmits the haptic data to the electronic writing instrument. The operation of step S1130 may be performed in the transmission unit 840. [

도 12는 본 발명의 일 실시예에 따라 전자 필기구에서 수신된 햅틱 데이터에 기초하여 햅틱 기능을 수행하는 방법을 나타낸 흐름도이다.12 is a flowchart illustrating a method of performing a haptic function based on haptic data received in a writing instrument according to an embodiment of the present invention.

S1200 단계에서, 전자 필기구(200)는 전자 필기구(200)의 그립 변형 정도를 검출하고, 검출된 전자 필기구의 그립 변형 정도에 대응하여 그립 데이터를 생성한다. S1200 단계의 동작은 그립 데이터 생성부(870)에서 수행될 수 있다.In step S1200, the electronic writing instrument 200 detects the degree of grip deformation of the electronic writing instrument 200 and generates grip data corresponding to the degree of grip deformation of the detected electronic writing instrument. The operation of step S1200 may be performed in the grip data generator 870.

S1210 단계에서, 전자 필기구(200)는 그립 데이터를 전자 기기(100)에 전송한다. 구체적으로 S1210 단계의 동작은 전송부(1280)에서 수행될 수 있다.In step S 1210, the electronic writing instrument 200 transmits the grip data to the electronic device 100. Specifically, the operation of step S1210 may be performed in the transmission unit 1280. [

S1220 단계에서, 전자 필기구(200)는 그립 데이터에 기초하여 전자 기기(100)에서 결정된 햅틱 데이터를 수신한다. 구체적으로, S1220 단계의 동작은 수신부(850)에서 수행될 수 있다.In step S1220, the electronic writing instrument 200 receives the haptic data determined by the electronic device 100 based on the grip data. Specifically, the operation in step S1220 may be performed in the receiving unit 850. [

S1230 단계에서, 전자 필기구(200)는 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행한다. 구체적으로 S1230 단계의 동작은, 햅틱 기능 수행부(860)에서 수행될 수 있다.In step S1230, the electronic writing instrument 200 performs a haptic function corresponding to the received haptic data. Specifically, the operation of step S1230 may be performed by the haptic function performing unit 860. [

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.The computer readable recording medium may be a magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave such as the Internet Lt; / RTI > transmission).

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims (19)

햅틱(haptic) 기능을 전자 필기구에 적용하는 방법에 있어서,
상기 전자 필기구의 그립 변형 정도를 검출하고, 상기 검출된 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 생성하는 단계;
상기 전자 필기구의 위치를 검출하는 단계;
상기 생성된 그립 데이터 및 상기 검출된 위치에 기초하여 햅틱 데이터를 결정하는 단계;
상기 전자 필기구가 상기 결정된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 단계를 포함하는 방법.
A method of applying a haptic function to a writing instrument,
Detecting a degree of grip deformation of the electronic writing instrument and generating grip data corresponding to a degree of grip deformation of the detected electronic writing instrument;
Detecting a position of the electronic writing instrument;
Determining haptic data based on the generated grip data and the detected position;
The electronic writing instrument performing a haptic function corresponding to the determined haptic data.
제 1 항에 있어서,
상기 전자 필기구의 위치를 검출하는 단계는, 상기 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단하는 단계를 더 포함하고,
상기 햅틱 데이터를 결정하는 단계는, 상기 생성된 그립 데이터 및 상기 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정하는 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the step of detecting the position of the electronic writing instrument further comprises the step of determining the contents of an event generated corresponding to the detected position,
Wherein the determining of the haptic data comprises determining haptic data based on the generated grip data and the content of the determined event.
제 1 항에 있어서,
상기 전자 필기구는 복수개의 진동 소자를 포함하고,
상기 햅틱 기능을 수행하는 단계는,
상기 복수개의 진동 소자 중 적어도 하나를 선택하고,
상기 선택된 진동 소자에 진동을 출력하는 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the electronic writing instrument includes a plurality of vibration elements,
The step of performing the haptic function may include:
Selecting at least one of the plurality of vibration elements,
And outputting the vibration to the selected vibration element.
제 2 항에 있어서,
상기 판단된 이벤트의 내용은 상기 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하고,
상기 햅틱 데이터를 결정하는 단계는,
상기 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하는 햅틱 데이터를 결정하고,
상기 햅틱 기능을 수행하는 단계는,
상기 검출된 위치에 대응하는 주파수를 나타내는 내용에 기초하여 상기 전자 필기구가 상기 검출된 위치에 대응되는 주파수의 진동을 출력하는 것을 특징으로 하는 방법.
3. The method of claim 2,
Wherein the content of the determined event includes content indicating a frequency corresponding to the detected position,
Wherein the step of determining the haptic data comprises:
Determining haptic data including content indicative of a frequency corresponding to the detected position,
The step of performing the haptic function may include:
And the electronic writing instrument outputs the vibration at a frequency corresponding to the detected position based on the content indicating the frequency corresponding to the detected position.
제 2 항에 있어서,
상기 판단된 이벤트의 내용에 기초하여 텍스트를 인식하는 단계를 더 포함하고,
상기 햅틱 데이터를 결정하는 단계는,
상기 인식된 텍스트에 기초하여 복수개의 진동 소자에 대응되도록 상기 햅틱 데이터를 결정하고,
상기 전자 필기구가 햅틱 기능을 수행하는 단계는,
상기 복수개의 진동 소자에 대응되도록 결정된 햅틱 데이터에 기초하여 복수개의 진동소자 중 적어도 하나를 선택하고, 상기 선택된 진동 소자에 진동을 출력하는 것을 특징으로 하는 방법.
3. The method of claim 2,
Further comprising recognizing text based on the determined content of the event,
Wherein the step of determining the haptic data comprises:
Determining the haptic data to correspond to the plurality of vibration elements based on the recognized text,
Wherein the step of performing the haptic function of the electronic writing instrument comprises:
Selects at least one of the plurality of vibration elements based on the haptic data determined to correspond to the plurality of vibration elements, and outputs the vibration to the selected vibration element.
제 1 항에 있어서,
상기 전자 필기구의 그립데이터를 생성하는 단계는,
상기 전자 필기구에 포함된 진동 소자를 이용하여 상기 전자 필기구의 그립 변형 정도를 검출하는 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the generating of the grip data of the electronic writing instrument comprises:
Wherein the degree of grip deformation of the electronic writing instrument is detected using a vibration element included in the electronic writing instrument.
전자 필기구로부터 상기 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 수신부, 상기 전자 필기구의 위치를 검출하는 검출부, 상기 생성된 그립 데이터 및 상기 검출된 위치에 기초하여 햅틱 데이터를 결정하는 햅틱 데이터 결정부, 상기 결정된 햅틱 데이터를 전송하는 전송부를 포함하는 전자 기기; 및
상기 전자 기기로부터 상기 햅틱 데이터를 수신하는 수신부, 상기 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 햅틱 기능 수행부, 상기 전자 필기구의 그립 변형 정도를 검출하고, 상기 검출된 그립 변형 정도에 대응하는 상기 그립 데이터를 생성하는 그립 데이터 생성부 및 상기 그립 데이터를 전송하는 전송부를 포함하는 전자 필기구를 포함하는 전자 필기 시스템.
A receiving section for receiving grip data corresponding to a degree of grip deformation of the electronic writing instrument from the electronic writing instrument, a detecting section for detecting a position of the electronic writing instrument, a haptic data determining section for determining the haptic data based on the generated grip data and the detected position A determining unit, and a transmitting unit transmitting the determined haptic data; And
A haptic function performing unit for performing a haptic function corresponding to the received haptic data; a detecting unit for detecting a degree of grip deformation of the electronic writing instrument and detecting a degree of grip deformation corresponding to the detected degree of grip deformation A grip data generating section for generating the grip data, and a transfer section for transferring the grip data.
제 7 항에 있어서,
상기 검출된 위치에 대응하여 발생한 이벤트의 내용를 판단하는 이벤트 판단부를 더 포함하고,
상기 햅틱 데이터 결정부는 상기 생성된 그립 데이터 및 상기 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정하는 것을 특징으로 하는 전자 필기 시스템.
8. The method of claim 7,
Further comprising: an event determination unit for determining the contents of an event generated corresponding to the detected position,
Wherein the haptic data determination unit determines the haptic data based on the generated grip data and the contents of the determined event.
제 7 항에 있어서,
상기 전자 필기구는 복수개의 진동 소자를 더 포함하고,
상기 햅틱 기능 수행부는, 상기 복수개의 진동 소자 중 적어도 하나를 선택하고, 상기 선택된 진동 소자에 진동을 출력하는 것을 특징으로 하는 전자 필기 시스템.
8. The method of claim 7,
Wherein the electronic writing instrument further includes a plurality of vibration elements,
Wherein the haptic function performing unit selects at least one of the plurality of vibration elements and outputs vibration to the selected vibration element.
제 8 항에 있어서,
상기 판단된 이벤트의 내용은 상기 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하고,
상기 햅틱 데이터 결정부는,
상기 검출된 위치에 대응되는 주파수를 나타내는 내용을 포함하는 햅틱 데이터를 결정하고,
상기 햅틱 기능 수행부는,
상기 검출된 위치에 대응되는 주파수를 나타내는 내용에 기초하여 상기 검출된 위치에 대응되는 주파수의 진동을 출력하는 것을 특징으로 하는 전자 필기 시스템.
9. The method of claim 8,
Wherein the content of the determined event includes content indicating a frequency corresponding to the detected position,
Wherein the haptic data determining unit comprises:
Determining haptic data including content indicative of a frequency corresponding to the detected position,
Wherein the haptic function performing unit comprises:
And outputs a vibration of a frequency corresponding to the detected position based on contents indicating a frequency corresponding to the detected position.
제 8 항에 있어서,
상기 판단된 이벤트의 내용에 기초하여 텍스트를 인식하는 텍스트 인식부를 더 포함하고,
상기 햅틱 데이터 결정부는,
상기 인식된 텍스트에 기초하여 상기 전자 필기구에 포함된 복수개의 진동 소자에 대응되도록 상기 햅틱 데이터를 결정하고,
상기 햅틱 기능 수행부는,
상기 복수개의 진동 소자에 대응되도록 결정된 햅틱 데이터에 기초하여 복수개의 진동소자 중 적어도 하나의 진동 소자를 선택하고, 상기 선택된 진동 소자에 진동을 출력하는 것을 특징으로 하는 전자 필기 시스템.
9. The method of claim 8,
Further comprising a text recognition unit for recognizing text based on the determined content of the event,
Wherein the haptic data determining unit comprises:
Based on the recognized text, Determining the haptic data to correspond to the plurality of vibration elements,
Wherein the haptic function performing unit comprises:
Wherein at least one of the plurality of vibration elements is selected based on the haptic data determined to correspond to the plurality of vibration elements and the vibration is output to the selected vibration element.
제 7 항에 있어서,
상기 그립 데이터 생성부는,
상기 전자 필기구에 포함된 진동 소자를 이용하여 상기 전자 필기구의 그립 변형 정도를 검출하는 것을 특징으로 하는 하는 전자 필기 시스템.
8. The method of claim 7,
Wherein the grip data generation unit comprises:
Wherein the degree of grip deformation of the electronic writing instrument is detected using a vibration element included in the electronic writing instrument.
전자 기기에서 생성된 햅틱 데이터를 전자 필기구에 전송하는 방법에 있어서,
상기 전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 단계;
상기 전자 필기구의 위치를 검출하는 단계;
상기 수신된 그립 데이터 및 상기 검출된 위치에 기초하여 햅틱 데이터를 결정하는 단계;
상기 결정된 햅틱 데이터를 상기 전자 필기구에 전송하는 단계를 포함하는 방법.
A method for transmitting haptic data generated in an electronic device to a electronic writing instrument,
Receiving grip data corresponding to a degree of grip deformation of the electronic writing instrument;
Detecting a position of the electronic writing instrument;
Determining haptic data based on the received grip data and the detected position;
And transmitting the determined haptic data to the electronic writing instrument.
제 13 항에 있어서,
상기 전자 필기구의 위치를 검출하는 단계는, 상기 검출된 위치에 대응하여 발생한 이벤트의 내용을 판단하는 단계를 더 포함하고,
상기 햅틱 데이터를 결정하는 단계는, 상기 수신된 그립 데이터 및 상기 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정하는 것을 특징으로 하는 방법.
14. The method of claim 13,
Wherein the step of detecting the position of the electronic writing instrument further comprises the step of determining the contents of an event generated corresponding to the detected position,
Wherein the determining of the haptic data comprises determining haptic data based on the received grip data and the content of the determined event.
전자 필기구의 그립 변형 정도에 대응하는 그립 데이터를 수신하는 수신부;
상기 전자 필기구의 위치를 검출하는 검출부;
상기 수신된 그립 데이터 및 상기 검출된 위치에 기초하여 햅틱 데이터를 결정하는 햅틱 데이터 결정부;
상기 결정된 햅틱 데이터를 상기 전자 필기구에 전송하는 전송부를 포함하는 전자 기기.
A receiving unit for receiving grip data corresponding to a degree of grip deformation of the electronic writing instrument;
A detecting unit for detecting a position of the electronic writing instrument;
A haptic data determination unit for determining haptic data based on the received grip data and the detected position;
And a transfer unit for transferring the determined haptic data to the electronic writing instrument.
제 15 항에 있어서,
상기 검출된 위치에 대응하여 발생한 내용을 판단하는 이벤트 판단부를 더 포함하고,
상기 햅틱 데이터 결정부는, 상기 수신된 그립 데이터 및 상기 판단된 이벤트의 내용에 기초하여 햅틱 데이터를 결정하는 것을 특징으로 하는 전자 기기.
16. The method of claim 15,
Further comprising an event determination unit for determining a content corresponding to the detected position,
Wherein the haptic data determination unit determines the haptic data based on the received grip data and the content of the determined event.
전자 필기구에서 수신된 햅틱 데이터에 기초하여 햅틱 기능을 수행하는 방법에 있어서,
상기 전자 필기구의 그립 변형 정도를 검출하고, 상기 검출된 전자 필기구의 그립 변형 정도에 대응하여 그립 데이터를 생성하는 단계;
상기 그립 데이터를 상기 전자 기기에 전송하는 단계;
상기 그립 데이터에 기초하여 전자 기기에서 결정된 햅틱 데이터를 수신하는 단계; 및
상기 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 단계를 포함하고,
상기 햅틱 데이터는 상기 전자 기기에서 검출된 상기 전자 필기구의 위치 및 상기 전송된 그립 데이터에 기초하여 결정된 데이터인 것을 특징으로 하는 방법.
A method for performing a haptic function based on haptic data received at a computer,
Detecting grip deformation degree of the electronic writing instrument and generating grip data corresponding to a degree of grip deformation of the detected electronic writing instrument;
Transmitting the grip data to the electronic device;
Receiving haptic data determined in an electronic device based on the grip data; And
The received And performing a haptic function corresponding to the haptic data,
Wherein the haptic data is data determined based on the position of the electronic writing instrument detected by the electronic device and the transmitted grip data.
전자 필기구의 그립 변형 정도를 검출하고, 상기 검출된 전자 필기구의 그립 변형 정도에 대응하는 상기 그립 데이터를 생성하는 그립 데이터 생성부;
상기 그립 데이터를 상기 전자 기기에 전송하는 전송부;
상기 그립 데이터에 기초하여 전자 기기에서 결정된 햅틱 데이터를 수신하는 수신부;및
상기 수신된 햅틱 데이터에 대응하는 햅틱 기능을 수행하는 햅틱 기능 수행부를 포함하고,
상기 햅틱 데이터는 상기 전송된 그립 데이터 및 상기 전자 기기에서 검출된 상기 전자 필기구의 위치에 기초하여 결정된 데이터인 것을 특징으로 하는 전자 필기구.
A grip data generating unit that detects the degree of grip deformation of the electronic writing instrument and generates the grip data corresponding to the degree of grip deformation of the detected electronic writing instrument;
A transmitting unit for transmitting the grip data to the electronic device;
A receiving unit for receiving haptic data determined by an electronic device based on the grip data;
The received And a haptic function performing unit for performing a haptic function corresponding to the haptic data,
Wherein the haptic data is data determined based on the transmitted grip data and the position of the electronic writing instrument detected by the electronic apparatus.
제 1 항 내지 제 6항, 제 13항, 제 14항 및 제 17항 중 어느 한 항에 의한 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium on which a computer program for executing the method according to any one of claims 1 to 6, 13, 14 and 17 is recorded.
KR1020130133824A 2013-11-05 2013-11-05 Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same. KR102161057B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130133824A KR102161057B1 (en) 2013-11-05 2013-11-05 Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130133824A KR102161057B1 (en) 2013-11-05 2013-11-05 Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same.

Publications (2)

Publication Number Publication Date
KR20150052467A true KR20150052467A (en) 2015-05-14
KR102161057B1 KR102161057B1 (en) 2020-10-05

Family

ID=53389362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130133824A KR102161057B1 (en) 2013-11-05 2013-11-05 Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same.

Country Status (1)

Country Link
KR (1) KR102161057B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775071B1 (en) * 2022-03-08 2023-10-03 Microsoft Technology Licensing, Llc Haptic feedback from a computing accessory

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104315A (en) * 2005-03-30 2006-10-09 정원철 A usb brush-pen drive & a system for generating line thickness of digital pen
JP2011008532A (en) * 2009-06-25 2011-01-13 Fuji Xerox Co Ltd Position indicator controller, position indication device and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104315A (en) * 2005-03-30 2006-10-09 정원철 A usb brush-pen drive & a system for generating line thickness of digital pen
JP2011008532A (en) * 2009-06-25 2011-01-13 Fuji Xerox Co Ltd Position indicator controller, position indication device and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775071B1 (en) * 2022-03-08 2023-10-03 Microsoft Technology Licensing, Llc Haptic feedback from a computing accessory

Also Published As

Publication number Publication date
KR102161057B1 (en) 2020-10-05

Similar Documents

Publication Publication Date Title
JP4567817B2 (en) Information processing apparatus and control method thereof
CN102609116B (en) Multi-touch input device with orientation sensing
US20130307829A1 (en) Haptic-acoustic pen
EP2564291B1 (en) Active vibrations
US8766786B2 (en) Device and method for providing tactile information
CN102067153B (en) Multi-modal learning system
US20100020036A1 (en) Portable electronic device and method of controlling same
US20140340326A1 (en) Drawing apparatus and drawing system
EP2327004A1 (en) Tactile feedback for key simulation in touch screens
US20170316717A1 (en) Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired
JP2014222488A (en) Drawing device and drawing system
TW201508565A (en) Touch screen stylus with communication interface
US20180321750A1 (en) Data Entry Device for Entering Characters by a Finger with Haptic Feedback
KR102212846B1 (en) Information processing device, information processing method, and recording medium
JP4736605B2 (en) Display device, information processing device, and control method thereof
CN105892919A (en) Methods for recognizing key positions and feeding back input values on keyboard of touch screen
US20200168121A1 (en) Device for Interpretation of Digital Content for the Visually Impaired
WO2012169189A1 (en) Touch panel input device
JPWO2019092821A1 (en) Drive control device, electronic device, and drive control method
JP2019101796A (en) Information processing device, display device, information processing system, and program
JP2019145146A (en) Device, system and method for using corrugated tessellation to create surface features
JP2018063529A (en) Keyboard, information processing apparatus, feedback method, and program
KR102161057B1 (en) Method of applying haptic function to elelctronic frindle and electronic frindle, electronic device and electronic writing system for performing the same.
KR101564089B1 (en) Presentation Execution system using Gesture recognition.
KR101610714B1 (en) Apparatus for braille input/output and method using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant