KR100769981B1 - Method for information storing and co-sharing using sensory information in/output electronic pen - Google Patents

Method for information storing and co-sharing using sensory information in/output electronic pen Download PDF

Info

Publication number
KR100769981B1
KR100769981B1 KR1020060083752A KR20060083752A KR100769981B1 KR 100769981 B1 KR100769981 B1 KR 100769981B1 KR 1020060083752 A KR1020060083752 A KR 1020060083752A KR 20060083752 A KR20060083752 A KR 20060083752A KR 100769981 B1 KR100769981 B1 KR 100769981B1
Authority
KR
South Korea
Prior art keywords
information
sensory information
sensory
pen
electronic pen
Prior art date
Application number
KR1020060083752A
Other languages
Korean (ko)
Inventor
경기욱
박지은
박준석
이준영
한동원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060083752A priority Critical patent/KR100769981B1/en
Application granted granted Critical
Publication of KR100769981B1 publication Critical patent/KR100769981B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

A method for storing and sharing information using an electronic sensory information I/O pen is provided to realize consistent use regardless of a type and replacement of a terminal, and reproduce sense of tactile, smell, and taste by exchanging the sensory information with the electronic sensory information I/O pen. A sensory information input part receives the sensory information. The received sensory information is processed and stored through a signal processor. The processed sensory information is output through a sensory information reproducer. The received sensory information is transmitted to a mobile terminal through a wireless communicator of the electronic sensory information I/O pen. The mobile terminal stores the received sensory information. The mobile terminal transmits the stored sensory information to the electronic sensory information I/O pen. The transmitted sensory information is output through the sensory information reproducer.

Description

감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법 {Method for information storing and co-sharing using sensory information in/output electronic pen}Method for information storing and co-sharing using sensory information in / output electronic pen}

도1은 본 발명에 따른 감각정보 입출력 전자펜을 개략적으로 나타낸 사시도. 1 is a perspective view schematically showing a sensory information input and output electronic pen according to the present invention.

도2는 도1에 나타낸 감각정보 입출력 전자펜의 헤드부의 구성을 개략적으로 나타낸 단면도.FIG. 2 is a sectional view schematically showing the configuration of a head portion of the sensory information input / output electronic pen shown in FIG.

도3은 도1에 나타낸 감각정보 입출력 전자펜의 바디부의 구성을 개략적으로 나타낸 단면도. 3 is a cross-sectional view schematically showing the configuration of the body portion of the sensory information input and output electronic pen shown in FIG.

도4는 본 발명에 따른 감각정보 입출력 전자펜의 개략적인 사용상태도. Figure 4 is a schematic use state of the sensory information input and output electronic pen according to the present invention.

도5는 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제1실시예를 개략적으로 나타낸 구성 및 순서도.FIG. 5 is a configuration and flowchart schematically showing a first embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention; FIG.

도6은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제2실시예를 개략적으로 나타낸 구성 및 순서도.Figure 6 is a configuration and flow chart schematically showing a second embodiment of the information storage and information sharing using the sensory information input and output electronic pen according to the present invention.

도7은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제3실시예를 개략적으로 나타낸 구성 및 순서도.7 is a configuration and flowchart schematically showing a third embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention;

도8은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공 유의 제4실시예를 개략적으로 나타낸 구성 및 순서도.8 is a configuration and flowchart schematically showing a fourth embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention;

도9는 본 발명에 따른 감각정보 입출력 전자펜의 질감제시부의 실시예를 개략적으로 나타낸 사용상태도.9 is a use state diagram schematically showing an embodiment of the texture presentation unit of the sensory information input and output electronic pen according to the present invention.

도10은 본 발명에 따른 감각정보 입출력 전자펜의 다른 실시예를 개략적으로 나타낸 사용상태도.10 is a state diagram schematically showing another embodiment of the sensory information input and output electronic pen according to the present invention.

* 도면의 주요부분에 대한 설명* Description of the main parts of the drawings

100 : 전자펜 110 : 헤드부 100: electronic pen 110: head portion

111 : 팁부 112 : 전자혀111: tip portion 112: electronic tongue

113 : 압력센서 114 : 온도센서113: pressure sensor 114: temperature sensor

115 : 가속도센서 116 : 신호센서115: acceleration sensor 116: signal sensor

120 : 바디부 121 : 홈120: body portion 121: groove

122 : 핀 123 : 방열덮게122: pin 123: heat dissipation

124 : 공기흡입구 125 : 향배출구124: air inlet 125: incense outlet

126 : 무선통신부 131 : 진동모터126: wireless communication unit 131: vibration motor

134 : 제어보드 135, 136 : 히트파이프134: control board 135, 136: heat pipe

137 : 통신부 138, 139 : 저장탱크137: communication unit 138, 139: storage tank

141 : 전기마이크로펌프 200 : 이동통신단말기141: electric micro pump 200: mobile communication terminal

210 : 무선통신부 220 : 디스플레이부 210: wireless communication unit 220: display unit

본 발명은 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법에 관한 것이다. 보다 구체적으로 본 발명은 감각정보인 촉각, 후각 및 미각정보의 입력 및 출력이 가능한 전자펜을 이용하여 문자, 무늬, 아이콘, 질감, 온감, 향기 등의 다양한 정보를 입력 및 저장하고, 감각정보 재현부를 통해 감각정보를 진동, 온도 및 향기로 출력하고, 무선통신부를 통해 이동통신단말기, 전자펜으로 정보교환이 가능함에 따라 감각정보의 공유가 가능한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법에 관한 것이다.The present invention relates to a method of storing and sharing information using a sensory information input / output electronic pen. More specifically, the present invention inputs and stores various information such as letters, patterns, icons, textures, warmth, and fragrances by using an electronic pen capable of inputting and outputting sensation information, sense of smell, and taste information as sensory information, and reproducing sensory information. The sensory information is output through vibration, temperature and fragrance through the wireless communication unit, and the information can be exchanged with the mobile communication terminal and electronic pen. It is about.

이동통신단말기의 사용량이 나날이 증가됨에 따라, 단말기의 기능뿐만 아니라, 다양한 컨텐츠들이 개발되고 제공되고 있는 실정이다. 이에 따라, 이동통신단말기를 통한 정보의 전송량도 점점 증가하고 있다. 그리고, 이동통신단말기에 내장시키기 위한 시각, 청각, 촉각, 후각 등의 인간의 오감을 재생하기 위한 장치들이 개발되고 있다.As the usage of the mobile communication terminal increases day by day, not only the function of the terminal but also various contents are developed and provided. Accordingly, the amount of transmission of information through the mobile communication terminal is also increasing. In addition, devices for reproducing the five senses of human beings such as sight, hearing, tactile sense and sense of smell for embedding in a mobile communication terminal have been developed.

그러나, 종래기술에 따른 이동통신단말기의 경우, 단말기의 종류 및 교체 여부와 관계없이 일관되게 사용할 수 없는 문제점을 지니고 있다. 그리고 개별 감각을 재생하는 장치들은 많은 연구가 진행되어 왔으나, 그 조합법 및 활용법에 대해서는 제안된 바가 없는 실정이다.However, the mobile communication terminal according to the prior art has a problem that can not be used consistently regardless of the type and replacement of the terminal. In addition, although many studies have been conducted on devices for reproducing individual senses, there is no suggestion about the combination method and the utilization method.

따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 제안된 것으로서, 본발명의 목적은 단말기의 종류 및 교체 여부와 관계없이 일관되게 사용할 수 있고, 구체적이고 직관적인 감각 정보의 전달이 가능하도록 개발된 펜 모양의 촉각, 후각 및 미각을 재현할 수 있는 감각정보 입출력 전자펜을 이용하여 정보저장 및 공유방법을 제공하기 위한 것이다. Therefore, the present invention has been proposed to solve the above problems, the object of the present invention can be used consistently regardless of the type and replacement of the terminal, the pen was developed to enable the delivery of specific and intuitive sensory information An object of the present invention is to provide a method of storing and sharing information by using a sensory information input / output electronic pen capable of reproducing the sense of touch, smell, and taste.

본 발명의 다른 목적은 촉후미각인 감각정의 입출력이 가능한 전자펜을 이용하여 촉각정보의 수집방법과 촉각 정보의 재현방법과 적용분야, 미각정보의 표현법, 후각 정보의 표현법 및 각 정보를 조합하여 전송 및 저장함으로써 인터페이스 또는 공유가 가능한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법을 제공하기 위한 것이다.It is another object of the present invention to transmit a combination of tactile information collection method, tactile information reproduction method and application field, expression of taste information, expression method of olfactory information, and each information by using an electronic pen capable of inputting and outputting the sensory sensory sense. And to provide an information storage and sharing method using a sensory information input and output electronic pen that can be interfaced or shared by storing.

본 발명의 또 다른 목적은 질감, 온감정보를 전자펜의 감각정보 재현부를 통해 출력할 수 있을 뿐만 아니라, 발향장치를 더 구비하여 향기의 재현이 가능하고, 이동통신단말기의 문자메시지 또는 아이콘 정보를 촉감 및 향기로 재현할 수 있는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법을 제공하기 위한 것이다. Still another object of the present invention is to not only output texture and warmth information through the sensory information reproduction unit of the electronic pen, but also include a fragrance device to reproduce the fragrance, and to display text message or icon information of the mobile communication terminal. An object of the present invention is to provide a method of storing and sharing information using a sensory information input / output electronic pen that can be reproduced with touch and aroma.

상기와 같은 목적을 달성하기 위하여, 본 발명은 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서, 상기 감각정보 입력부를 통해 감각정보를 입력받고, 상기 입력된 감각정보를 상기 신호처리부를 통해 처리 및 저장하고, 상기 감각정보를 감각정보 재현부를 통해 출력하는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법에 관한 것이다. In order to achieve the above object, the present invention provides a method for storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit. The present invention relates to an information storage and sharing method using a sensory information input / output electronic pen that receives information, processes and stores the input sensory information through the signal processor, and outputs the sensory information through the sensory information reproducing unit.

또한, 상기 입력된 감각정보는 무선통신부를 통해 이동통신단말기로 전송하고, 상기 이동통신단말기는 전송된 감각정보를 저장하고, 상기 이동통신단말기는 저장된 감각정보를 감각정보 입출력 전자펜으로 전송하고, 상기 전송된 감각정보는 감각정보 재현부를 통해 출력하는 단계를 더 포함한다.In addition, the input sensory information is transmitted to a mobile communication terminal through a wireless communication unit, the mobile communication terminal stores the transmitted sensory information, the mobile communication terminal transmits the stored sensory information to the sensory information input and output electronic pen, The transmitted sensory information further includes outputting through the sensory information reproducing unit.

그리고, 다른 실시예로서, 상기 입력된 감각정보는 무선통신부를 통해 다른 감각정보 입출력 전자펜으로 전송하고, 상기 감각정보 입출력 전자펜은 전송된 감각정보를 저장하고, 상기 감각정보 입출력 전자펜은 저장된 감각정보를 감각정보 입출력 전자펜으로 전송하고, 상기 전송된 감각정보는 감각정보 재현부를 통해 출력하는 단계를 더 포함한다.In another embodiment, the input sensory information is transmitted to another sensory information input / output electronic pen through a wireless communication unit, the sensory information input / output electronic pen stores the transmitted sensory information, and the sensory information input / output electronic pen is stored. And transmitting the sensory information to the sensory information input / output electronic pen, and outputting the transmitted sensory information through the sensory information reproducing unit.

또한, 상기 감각정보입력부는 전자혀, 압력센서, 온도센서 및 가속도계를 포함하고, 상기 감각정보 재현부는 질감재현부 및 온감재현부를 포함한다. 그리고, 상기 감각정보 재현부는 향저장탱크, 공기흡입구, 분사구 및 펌프를 포함하는 발향장치를 더 포함한다. The sensory information input unit may include an electronic tongue, a pressure sensor, a temperature sensor, and an accelerometer, and the sensory information reproduction unit may include a texture reproducer and a warm sense reproducer. The sensory information reproducing unit further includes a fragrance device including a fragrance storage tank, an air suction port, a jet port, and a pump.

본 발명의 또 다른 실시예는 압력, 온도 및 가속도센서를 구비하는 감각정보 입력부, 신호처리부 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서, 상기 전자펜으로 임의의 표면에 글자를 쓰고, 상기 글자와 표면과의 접촉력을 통해 감각정보 입력부는 글자정보를 추출 하고, 상기 추출된 글자정보는 신호처리부 및 무선통신부를 통해 이동통신단말기로 글자정보를 전송하고, 상기 무선통신단말기는 문자정보를 재생하는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법이다. Still another embodiment of the present invention provides a method of storing and sharing information using a sensory information input unit including a pressure, temperature, and acceleration sensor, a sensor processor, a sensory information reproducer, and a sensory information input / output electronic pen including a wireless communication unit. Write a letter on an arbitrary surface, the sensory information input unit extracts the character information through the contact force between the character and the surface, the extracted character information transmits the character information to the mobile communication terminal through the signal processing unit and the wireless communication unit and The wireless communication terminal is a method for storing and sharing information using a sensory information input / output electronic pen for reproducing text information.

본 발명의 또 다른 실시예는 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서, 이동통신단말기에 수신된 문자메시지를 문자정보로 변환하여 감각정보 입출력 전자펜으로 전송하고, 상기 전송된 문자정보는 감각정보 재현부를 통해 출력하고, 상기 감각정보 재현부는 질감재현부, 온감재현부 및 발향장치를 포함하고,이동통신단말기로부터 전송된 문자정보는 촉감, 온감 및 향기로 출력된다. Still another embodiment of the present invention is a method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit, wherein the text message received at the mobile communication terminal is text information. And converts the sensor information into an electronic pen, and outputs the transmitted text information through the sensory information reproducing unit. The sensory information reproducing unit includes a texture reproducing unit, a warming reproducing unit, and a smell diffusion device, and transmits the character transmitted from the mobile communication terminal. The information is output as touch, warmth and aroma.

본 발명의 또 다른 실시예는 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서, 이동통신단말기의 아이콘 정보를 심벌, 향기 및 질감정보로 변환하여 감각정보 입출력 전자펜으로 전송하고, 상기 전송된 문자정보는 감각정보 재현부를 통해 출력하는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법이다.Another embodiment of the present invention is a method of storing and sharing information using a sensory information input / output unit, a sensor processor, a sensory information reproducing unit, and a sensory information input / output electronic pen including a wireless communication unit. The information is converted into texture information and transmitted to the sensory information input / output electronic pen, and the transmitted text information is a method of storing and sharing information using the sensory information input / output electronic pen output through the sensory information reproducing unit.

본 발명의 또 다른 실시예는 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서, 임의의 물체에 감각정보 입력부를 접촉시키고, 상기 감각정보 입력부를 통해 감각정보를 추출하고, 상기 신호처리부를 통해 추출된 감각정보를 저장하고,감각정보 재현부를 통해 추출된 감각정보를 출력하는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법이다. Still another embodiment of the present invention is a method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit. The sensory information input unit extracts sensory information, stores sensory information extracted through the signal processor, and outputs sensory information extracted through the sensory information reproducing unit. .

이하, 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법의 바람직한 구체예에 대한 구성, 기능 및 효과에 대하여 상세하게 설명한다.Hereinafter, the configuration, function, and effect of the preferred embodiment of the information storage and sharing method using the sensory information input / output electronic pen according to the present invention will be described in detail.

도1은 본 발명에 따른 감각정보 입출력 전자펜을 개략적으로 나타낸 사시도이다. 도면에 나타낸 바와 같이, 상기 감각정보 입출력 전자펜(100)은 헤드부(110) 및 바디부(120)를 포함한다. 상기 헤드부(110)의 단부에는 정보검출대상, 이동통신단말기 또는 디스플레이부 등과 접촉하기 위한 팁부(111)가 구비된다. 그리고, 상기 바디부(120)는 질감재현부, 방열덮개(123), 공기흡입구(124), 향배출구(125) 및 무선통신부(126)를 포함한다. 이하 각각의 구성요소에 대한 기능과 역할에 대하여 자세히 기술한다.1 is a perspective view schematically showing a sensory information input / output electronic pen according to the present invention. As shown in the figure, the sensory information input / output electronic pen 100 includes a head part 110 and a body part 120. An end portion of the head 110 is provided with a tip portion 111 for contacting an information detection target, a mobile communication terminal or a display portion. In addition, the body part 120 includes a texture reproducing part, a heat dissipation cover 123, an air suction hole 124, a fragrance discharge port 125, and a wireless communication unit 126. Hereinafter, the functions and roles of each component will be described in detail.

보다 구체적으로, 감각정보 재현부인 상기 질감재현부는 홈(121)과 핀(122)으로 이루어지고, 상기 홈(121)은 손가락을 편하게 놓을 수 있도록 바디부의 외주에 홈형태로 형성시킨 것이고, 상기 핀(122)은 손가락에 직접 수직방향으로 변위가 있는 자극을 가할 수 있도록 다수의 핀을 배열시킨 것이다. 그리고 상기 방열덮개(123)는 펜의 내부회로에서 발생하는 열을 배출시키기 위한 것이고, 상기 공기흡입구(124)는 외부의 공기를 흡입하기 위한 것이고, 상기 향배출구(125)는 향을 뿜어내기 위한 것이며, 상기 무선통신부(126)는 이동통신단말기 또는 다른 감각정보 입출력 전자펜과 정보를 교환하기 위한 것이다. More specifically, the texture reproducing unit, which is a sensory information reproducing unit, is formed of a groove 121 and a pin 122, and the groove 121 is formed in a groove shape on the outer circumference of the body so that a finger can be placed comfortably. Reference numeral 122 is a plurality of pins arranged to apply a displaced magnetic pole directly in the vertical direction to the finger. And the heat dissipation cover 123 is for discharging the heat generated in the internal circuit of the pen, the air inlet 124 is to suck the outside air, the incense outlet 125 is for blowing out the incense The wireless communication unit 126 is for exchanging information with a mobile communication terminal or other sensory information input / output electronic pen.

도2는 도1에 나타낸 감각정보 입출력 전자펜의 헤드부의 구성을 개략적으로 나타낸 단면도이다. 도면에 나타낸 바와 같이, 본 발명에 따른 감각정보 입출력 전자펜은 헤드부(110)는 팁부(111)(도1에 나타냄), 신호처리부(116) 및 제1커넥 터(117)를 포함한다. FIG. 2 is a cross-sectional view schematically showing the configuration of the head of the sensory information input / output electronic pen shown in FIG. As shown in the figure, in the sensory information input / output electronic pen according to the present invention, the head 110 includes a tip 111 (shown in FIG. 1), a signal processor 116, and a first connector 117.

보다 구체적으로, 상기 팁부는 전자혀(112), 압력센서(113), 온도센서(114) 및 가속도센서(115)를 포함한다. 또한 상기 헤드부는 팁부에 연결된 신호처리부(116)를 포함한다. 그리고 상기 전자혀(112)는 화학물질 분석기로써 팁부에서 안으로 밀어넣거나 꺼낼 수 있으며, 주류나 음료등의 성분 및 농도를 측정하여 정보를 펜에 저장하고, 전달하는 간단한 휴대용 화학물질 분석기이다. 상기 압력센서(113)는 감각정보 입출력 전자펜의 팁부(111)가 휴대용 단말기나 외부환경등과 접촉하였을 때 접촉력을 측정하여 접촉여부를 판단할 수 있을 뿐만 아니라, 글씨를 쓰거나 그림을 그리는 동작과 같이 접촉한 상태에서 표면을 미끄러지는 동안 어느 방향으로 어떤 크기의 힘으로 움직였는지를 측정할 수 있다. 또한 압력센서는 필름형으로 제작되며 폴리불화 비닐리덴(PVDF, polyvinylidene fluoride)과 같은 압전폴리머가 사용된다. More specifically, the tip portion includes an electronic tongue 112, pressure sensor 113, temperature sensor 114 and the acceleration sensor 115. The head portion also includes a signal processor 116 connected to the tip portion. The electronic tongue 112 is a chemical analyzer that can be pushed in or taken out from the tip portion, and is a simple portable chemical analyzer that measures and stores information and concentrations of alcohol and beverages in a pen. The pressure sensor 113 measures the contact force when the tip 111 of the sensory information input / output electronic pen comes in contact with a portable terminal or an external environment, and determines whether or not the contact is made, and also writes or draws pictures. While sliding the surface in contact with each other, you can measure in what direction the force was moving in which direction. In addition, the pressure sensor is manufactured in the form of a film and piezoelectric polymer such as polyvinylidene fluoride (PVDF) is used.

상기 온도센서(114)는 팁부에 열전대(thermo couple)로 구성되어 내장되고 팁부와 접촉하는 표면의 온도를 측정하기 위한 것으로서, 측온저항체(RTD, resistance temperature detector)로 대체될 수 있다. 상기 가속도 센서(115)는 감각정보 입출력 전자펜의 움직임을 측정하기 위한 것으로, 3축 가속도 센서가 바람직하다. 그리고, 상기 신호처리부(116)는 헤드부에서 측정된 모든 신호를 신호처리한 후, 제1커넥터(117)를 통해 바디부(120)로 전달하기 위한 것이다. The temperature sensor 114 is built in a thermocouple (thermo couple) in the tip portion to measure the temperature of the surface in contact with the tip, it can be replaced by a resistance temperature detector (RTD). The acceleration sensor 115 is for measuring the movement of the sensory information input and output electronic pen, preferably a three-axis acceleration sensor. In addition, the signal processing unit 116 is to process all signals measured by the head unit, and then transfer the signal to the body unit 120 through the first connector 117.

도3은 도1에 나타낸 감각정보 입출력 전자펜의 바디부(120)의 구성을 개략적으로 나타낸 단면도이다. 도면에 나타낸 바와 같이, 감각정보 입출력 전자펜의 바 디부는 외부로 나타나는 홈(121), 핀(122), 방열덮개(123), 공기흡입구(124), 향배출구(125) 및 무선통신부(126)와 내부로 구비되는 제2커넥터(143), 초소형 모터(132), 진동모터(131), 흡열 및 발열 소자(133), 제어보드(134), 통신부(137), 히트파이프(135,136), 향수 저장탱크(138,139), 전기마이크로펌프(141), 외부흡입구(124), 분사구(125), 및 전지(142)를 포함하여 이루어진다.3 is a cross-sectional view schematically showing the configuration of the body portion 120 of the sensory information input and output electronic pen shown in FIG. As shown in the figure, the body portion of the sensory information input / output electronic pen is a groove 121, a fin 122, a heat dissipation cover 123, an air inlet 124, a fragrance outlet 125, and a wireless communication unit 126 which appear to the outside. ) And the second connector 143, the micro motor 132, the vibration motor 131, the heat absorbing and heating element 133, the control board 134, the communication unit 137, the heat pipe (135, 136), Perfume storage tank (138, 139), the electric micro pump 141, the external suction port 124, the injection port 125, and the battery 142 is made.

보다 구체적으로, 상기 제2컨텍터(143)는 헤드부(110)의 제1커넥터(117)와 전기적으로 연결되어 입력받은 신호를 전달받기 위한 것이고, 상기 핀(122)은 접촉되는 손가락에 수직방향 운동을 통해 피부에 자극을 전달하기 위한 것으로 복수개가 구비되고, 상기 초소형 모터(132)는 상기 각각의 핀(122)을 선형으로 상하운동시키기 위한 것이고, 상기 모터(131)는 바디부(120)를 쥐고있는 손에 진동을 전달하기 위한 진동 모터이고, 상기 흡열 및 발열 소자(133)는 홈(121)에 접촉되는 손가락에 냉/온감을 전달하기 위한 것이고, 상기 제어보드(134)는 내부의 모든 전기 구동장치를 제어하기 위한 것이고, 상기 히트파이프(135,136)는 흡열 발열소자(133) 및 제어보드(134)에서 발생하는 열을 외부로 빠른시간에 방출하기 위한 것이고, 상기 방열덮개(123)는 히트파이프로부터 전달되어온 열을 전자펜의 외부로 방출하기 위한 것이고, 전기마이크로펌프(141)는 향수를 외부로 분사하기 위해 압력차를 발생시키기 위한 것이고, 상기 분사구(125)는 펌프(141)로부터 발생한 압력차에 의하여 외부로 향이 섞인 기체를 배출하기 위한 것이고, 상기 전지(142)는 내부의 모든 전기소자에 전원을 공급하기 위한 것이다.More specifically, the second contactor 143 is electrically connected to the first connector 117 of the head 110 to receive an input signal, and the pin 122 is perpendicular to the finger to be contacted. The plural number is provided to transmit the stimulus to the skin through the directional movement, the micro motor 132 is to linearly move the respective pins 122 up and down, the motor 131 is the body portion 120 The vibration motor for transmitting vibration to the hand holding the), the endothermic and heat generating element 133 is for transmitting a sense of cold / warmth to the finger in contact with the groove 121, the control board 134 is inside The heat pipes 135 and 136 are for controlling all the electric drives of the heat dissipation heat generating element 133 and the control board 134 for dissipating heat generated in the outside at a quick time, and the heat dissipation cover 123 ) Passes from the heatpipe It is for discharging the warm heat to the outside of the electronic pen, the electric micropump 141 is for generating a pressure difference to inject the perfume to the outside, the injection port 125 is a pressure difference generated from the pump 141 It is for discharging gas mixed with the outside by the outside, the battery 142 is for supplying power to all the internal electrical elements.

또한, 상기 커넥터(143)는 감각정보 입출력 전자펜의 헤드부 컨텍터(117)와 전기적, 기계적 결합이 동시에 일어나고, 제어보드(134)로 연결되어 헤드부의 팁부(111)의 센서에서 들어온 신호를 전달하도록 유도한다.In addition, the connector 143 is electrically and mechanically coupled to the head contactor 117 of the sensory information input / output electronic pen at the same time, and connected to the control board 134 to receive a signal from the sensor of the tip part 111 of the head part. Encourage delivery.

그리고 상기 홈(121)에는 다수의 홀이 형성되고, 상기 홀은 삽입되는 핀(122)의 가이드 역할을 한다. 또한 홈(121)은 구리와 같은 전도성이 높은 금속판으로 이루어지는 것이 바람직하고, 바디부의 내면에는 흡열 및 발열이 가능한 소자(133)가 부착된다. 상기 소자(133)는 펠티어셀(Peltier’s Cell)로 구성되어 전류제어를 통해 흡열 및 발열을 일으켜 금속판 접촉하고 있는 피부에 차가운 느낌과 따뜻한 느낌을 모두 전달할 수 있다.A plurality of holes are formed in the groove 121, and the holes serve as guides of the pins 122 to be inserted. In addition, the groove 121 is preferably made of a highly conductive metal plate such as copper, and the inner surface of the body portion is attached to the element 133 capable of heat absorption and heat generation. The device 133 is configured as a Peltier's Cell to generate endothermic and exothermic heat through current control to deliver both cold and warm feelings to the skin in contact with the metal plate.

또한, 상기 핀(122)은 복수개가 평면형 상에 분산되도록 구비되고, 수직방향 으로 승하강이동될 수 있으며, 상기 핀(122)은 각각 이동 높이와 속도가 변형을 일으킴으로써 사용자는 표면의 무늬나 거칠기과 같은 질감을 느낄 수 있다. 또한 상기 핀(122)은 감각정보 입출력 전자펜에 내장되면서 피부에 미세한 자극을 전달하기 위해, 작고 밀도있게 배열되는 것이 바람직하고, 이를 위해 상기 모터(132)는 저전압으로 동작될 수 있는 초소형 선형초음파모터(132)가 사용되는 것이 바람직하다. 그리고 상기 모터는 솔레노이드나 보이스코일 구동기 등으로 대체될 수 있다. In addition, the plurality of pins 122 are provided to be distributed on a planar shape, and can be moved up and down in the vertical direction, the pins 122 are caused by the deformation of the moving height and the speed, respectively, so that the user You can feel the texture like roughness. In addition, the pin 122 is embedded in the sensory information input / output electronic pen, and is preferably arranged in a small and dense form to deliver a fine stimulus to the skin. For this purpose, the motor 132 may be operated with a small linear ultrasonic wave. Preferably, the motor 132 is used. The motor may be replaced by a solenoid or a voice coil driver.

그리고 상기 핀(122)은 제어보드(134)와 회로적으로 연결되어 핀의 동작을 전기적으로 제어한다. 또한 진동정보를 이용하여 사용자에게 정보를 전달할 수 있도록, 상기 진동모터(131) 역시 제어보드(134)와 연결된다. 상기 진동모터(131)는 일반적인 실린더타입의 편심모터이며, 펜케익모터로 대체될 수 있다. 상기 제어보드(134)는 프로세서와 메모리, 전류전압증폭기, 아날로그 입출력, 디지털 입출력소 자들로 구성되어 내부의 모든 기능소자를 제어한다.The pin 122 is connected to the control board 134 in a circuit to electrically control the operation of the pin. In addition, the vibration motor 131 is also connected to the control board 134 so as to transmit information to the user using the vibration information. The vibration motor 131 is a general eccentric motor of the cylinder type, it can be replaced by a pen cake motor. The control board 134 is composed of a processor and a memory, a current voltage amplifier, analog input and output, digital input and output devices to control all the functional elements therein.

다음으로, 감각정보 입출력 전자펜과 이동통신단말기 또는 감각정보 입출력 전자펜과 감각정보 입출력 전자펜 사이의 무선통신부(137)는 블루투스 모듈을 사용하며, TCP/IP, UDP, RF등의 기타 무선통신 모듈로 대체될 수 있다. 상기 향수 저장탱크(138,139)는 복수의 탱크로 이루어지고, 각각의 탱크에는 장뇌(camphor)향, 사향(musk), 꽃향기(fragrance), 박하(mint)향, 알코올(alcohol), 악취(rot), 커피(coffee)향이 선택적으로 저장된다. 각각의 향수저장탱크에서 방출되는 향수의 양은 노즐(140)을 통해 제어된다. 도2에 나타낸 바와 같이 상기 향수저장탱크(138,139)는 향수의 재충전이 용이한 곳에 위치되는 것이 바람직하다. 소형펌프(219)는 공기흡입구(124)를 통해 공기를 빨아들여 향수를 기체와 섞어서, 분사구(125)를 통해 혼합기를 분사한다.Next, the wireless communication unit 137 between the sensory information input / output electronic pen and the mobile communication terminal or the sensory information input / output electronic pen and the sensory information input / output electronic pen uses a Bluetooth module, and other wireless communication such as TCP / IP, UDP, RF, and the like. Can be replaced with a module. The perfume storage tank (138, 139) is composed of a plurality of tanks, each tank camphor (musk), fragrance (fragrance), mint (mint) flavor, alcohol (alcohol), odor (rot) Coffee flavor is optionally stored. The amount of perfume released from each perfume storage tank is controlled through the nozzle 140. As shown in FIG. 2, the perfume storage tanks 138 and 139 are preferably located at a place where the perfume can be easily refilled. The small pump 219 sucks air through the air inlet 124, mixes perfume with gas, and injects the mixer through the injection hole 125.

도4는 본 발명에 따른 감각정보 입출력 전자펜의 개략적인 사용상태도이다. 도면에 나타낸 바와 같이, 이동통신단말기(200)는 무선통신부(210) 및 디스플레이부(220)를 포함하고, 상기 디스플레이부(220)는 위치에 따라 표면에 미세한 입자의 돌출정도, 냉온감, 물질정보가 저장되어있는 질감이 있는 그림(221)이 디스플레이된다. 4 is a schematic use state diagram of the sensory information input / output electronic pen according to the present invention. As shown in the figure, the mobile communication terminal 200 includes a wireless communication unit 210 and a display unit 220, the display unit 220, the degree of protrusion of fine particles on the surface, the sense of cold, material, depending on the position A textured picture 221 is displayed in which information is stored.

그리고, 사용자가 질감이 제시된 디스플레이부에 상기 감각정보 입출력 전자펜(100)으로 그림(221)을 문지르면 가압되는 위치에 따라 달라지는 그림상의 영역(213)의 질감정보가 이동통신단말기(200)의 무선통신부(210)를 통해 감각정보 입출력 전자펜(100)의 무선통신부(126)에 전달된다. 그리고 전달된 상기 질감정보는 핀(122) 운동을 통해 영역의 돌출정도가 손가락으로 전달된다. 또한 상기 핀(122)으로 표현하기 어려운 표면의 미세한 돌출정보는 진동모터(131)의 바이브레이션을 이용하여 표현된다. Then, when the user rubs the figure 221 with the sensory information input / output electronic pen 100 on the display unit on which the texture is presented, the texture information of the region 213 on the figure that varies depending on the pressure is applied to the wireless terminal of the mobile communication terminal 200. The sensor 210 is transmitted to the wireless communication unit 126 of the sensory information input / output electronic pen 100 through the communication unit 210. The texture information is transmitted to the finger through the pin 122 through the movement of the area. In addition, the minute protrusion information of the surface difficult to be expressed by the pin 122 is expressed using the vibration of the vibration motor 131.

그리고, 전달된 냉, 온감지 정보는 감각정보 입출력 전자펜(100)의 열전소자(133)에 의해 출력된다. 또한 물질고유의 정보는 물질이 특정 향을 가졌을 경우, 향펌프(141)를 통해 향분사구(125)로 향이 방출됨으로써 가상의 표면의 정보는 구체적인 감각을 통해 정확하고 직관적으로 표현된다. The transmitted cold and warm sense information is output by the thermoelectric element 133 of the sensory information input / output electronic pen 100. In addition, the material-specific information, when the substance has a specific fragrance, the fragrance is released to the fragrance injection sphere 125 through the fragrance pump 141, the information of the virtual surface is accurately and intuitively expressed through a specific sense.

도5는 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제1실시예를 개략적으로 나타낸 구성 및 순서도이다. 5 is a configuration and flowchart schematically showing a first embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention.

도면에 나타낸 바와 같이, 사용자는 표면정보를 저장하고 싶은 대상의 표면위에 감각정보 입출력 전자펜을 위치시키고, 표면을 긁으면 표면에 돌출된 무늬, 굳기, 표면온도인 감각정보는 팁부(111)의 압력센서(113), 온도센서(114) 및 가속도계(115)에 의해 전기적신호로 변환되어 입력된다. 그리고, 상기 입력신호는 신호처리부(116)에서 신호처리과정을 거친 후 저장되고, 사용자의 조작에 의해 신호처리부에 저장된 신호는 무선통신부(126)를 통해 이동통신단말기의 무선통신부로 전송된다. As shown in the figure, the user places the sensory information input / output electronic pen on the surface of the object to which the surface information is to be stored, and when the surface is scratched, the sensory information such as the pattern, the firmness, and the surface temperature protruding from the surface is the pressure of the tip 111. The sensor 113, the temperature sensor 114 and the accelerometer 115 is converted into an electrical signal and input. Then, the input signal is stored after the signal processing in the signal processing unit 116, the signal stored in the signal processing unit by the user's operation is transmitted to the wireless communication unit of the mobile communication terminal through the wireless communication unit 126.

그리고, 이동통신단말기로 전송된 상기 감각정보는 저장되어있다가 사용자의 요에 의해, 사용자의 전자펜으로 재전송되어 질감재현부와 열전소자로 구성되어있는 질,온감 재현부를 통해 촉감으로 출력된다. 또한 본인의 감각정보 입출력 전자펜에 저장된 질감정보를 타인의 전자펜으로 직접 전달할 수 있다. 그리고, 도4를 통해 설명한 바와 같이 전송하고자 하는 표면의 물질정보를 따로 입력하면, 물질의 향정보를 동시에 전달할 수 있다. 이와 같이 이루어짐에 따라 본 발명에 따른 감각정보 입출력 전자펜을 이용하여 임의의 표면에 대한 질감정보를 저장 및 재현할 수 있을 뿐만 아니라, 정보공유가 가능하게 된다.The sensory information transmitted to the mobile communication terminal is stored and re-transmitted to the user's electronic pen by the user's request, and is output as a tactile sense through a quality and warmth reproducing unit composed of a texture reproduction unit and a thermoelectric element. In addition, it is possible to directly transfer the texture information stored in the sensory information input and output electronic pen to another electronic pen. As described with reference to FIG. 4, when the material information of the surface to be transmitted is input separately, the fragrance information of the material may be simultaneously transmitted. As described above, the sensory information input / output electronic pen according to the present invention not only stores and reproduces texture information on an arbitrary surface, but also enables information sharing.

도6은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제2실시예를 개략적으로 나타낸 구성 및 순서도이다. 보다 구체적으로, 도6은 압력센서와 가속도센서를 구비하는 감각정보 입출력 전자펜을 이용하여 작성된 글씨정보를 전달하는 방법을 나타낸 것이다. 도면에 나타낸 바와 같이, 사용자가 감각정보 입출력 전자펜을 쥐고 임의의 표면에 글씨를 쓰면, 글씨를 쓰는 동안 발생하는 표면과의 접촉력과 팁부(111)의 움직임이 압력센서(113) 및 가속도센서(115)에 의해 각각 측정된다. 상기 압력센서(113)는 펜이 표면에 닿아있는 동안, 즉 글씨를 쓰는 경우에만 센서값이 출력되므로 가속도 센서(115)는 읽는 감각정보 입출력 전자펜의 움직임 정보 중 압력센서의 출력이 있는 부분만 해석할 수 있게 한다. 또한 3축 압력센서(113)는 표면과의 접촉력 뿐만 아니라, 팁부가 미끄러지는 방향도 읽을 수 있어, 상기 가속도센서가 읽는 방향을 보다 명확하게 해석할 수 있게 함으로써 표면에 쓴 글씨를 보다 명확하게 해석할 수 있게 한다. 6 is a configuration and flowchart schematically showing a second embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention. More specifically, FIG. 6 illustrates a method of transferring text information written using a sensory information input / output electronic pen having a pressure sensor and an acceleration sensor. As shown in the figure, when the user grabs the sensory information input / output electronic pen and writes on an arbitrary surface, the contact force and the movement of the tip 111 generated during the writing are controlled by the pressure sensor 113 and the acceleration sensor ( Respectively). The pressure sensor 113 outputs a sensor value only while the pen is touching the surface, that is, when writing a letter, so that the acceleration sensor 115 only outputs a portion of the sensor information of the sensor information input / output electronic pen to read. To be interpreted. In addition, the three-axis pressure sensor 113 can read not only the contact force with the surface, but also the direction in which the tip slides, so that the direction written by the acceleration sensor can be more clearly interpreted, thereby more clearly interpreting the text written on the surface. To do it.

그리고 해석된 문자정보는 사용자의 이동통신단말기로 전송되어 저장되거나, 타인의 이동통신단말기로 직접 전송될 수 있다. 또는 타인의 전자펜으로 직접전송하고, 전달된 문자정보는 점자와 같은 촉감문자정보로 변환되어 질감재현부를 통해 출력될 수 있다. 이와 같은 방법으로 타인으로부터의 문자 정보는 촉감 정보만으로 전송 및 수신될 수 있다.The interpreted text information may be transmitted to the mobile communication terminal of the user and stored, or may be directly transmitted to the mobile communication terminal of another person. Or directly transmitted to another person's electronic pen, the transmitted character information may be converted into tactile character information such as braille and output through the texture reproduction unit. In this way, the text information from the other person may be transmitted and received only by the tactile information.

도7은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유의 제3실시예를 개략적으로 나타낸 구성 및 순서도이다. 도면에 나타낸 바와 같이, 사용자의 이동통신단말기에 수신된 문자메세지는 촉감문자정보로 변환되어 무선통신장치를 통해 감각정보 입출력 전자펜으로 전달된다. 상기 촉감문자정보를 수신한 감각정보 입출력 전자펜은 진동장치의 진동신호로 메시지의 수신을 알리고, 사용자의 요구에 따라 문자정보를 질감재현부에서 점자와 같은 원리로 특정패턴으로 핀이 상하운동하는 촉감문자로 재현한다. 또한 이동통신단말기에서 향정보가 전송된 경우, 향정보를 수신한 감각정보 입출력 전자펜은 발향장치를 통해 향을 분사한다.7 is a configuration and flowchart schematically showing a third embodiment of information storage and information sharing using the sensory information input / output electronic pen according to the present invention. As shown in the figure, the text message received by the user's mobile communication terminal is converted into tactile text information and transmitted to the sensory information input / output electronic pen through the wireless communication device. The sensory information input / output electronic pen which receives the tactile character information informs the reception of the message by the vibration signal of the vibrator, and the tactile sense that the pin moves up and down in a specific pattern in the same manner as the braille in the texture reproducing unit according to the user's request. Reproduce by character. Also, when the fragrance information is transmitted from the mobile communication terminal, the sensory information input / output electronic pen which receives the fragrance information sprays the fragrance through the fragrance apparatus.

이와같이 구현됨에 따라, 사용자는 감각정보 입출력 전자펜을 이용하여 글씨를 쓰는 등 다른 일을 하는 동안에도 단말기를 꺼낼 필요없이 직관적인 수신문자의 확인이 가능하게 된다. 또한 수신한 문자의 내용이 상대방의 호감이나 비호감 정보 혹은 상대방이 특별히 지정한 향을 보내온 경우, 감각정보 입출력 전자펜의 발향장치를 통해 호감 또는 비호감에 해당하는 방향 또는 악취를 전송하거나 상대방이 지정한 향을 내뿜는다. 이와 같은 방법으로 문자정보뿐만 아니라 특별히 약속된 신호등을 촉감과 향기를 통해 전송할 수 있다.As implemented in this way, the user can intuitively check the received text without having to take out the terminal while performing other tasks such as writing letters using the sensory information input / output electronic pen. In addition, when the received text is sent to the other party's crush or affinity information or a specially designated scent, the sensory information input / output electronic pen's fragrance device transmits the direction or odor corresponding to the crush or unfavorable scent, or the scent specified by the other party. Flush. In this way it is possible to transmit not only text information but also specially promised traffic lights through touch and fragrance.

도8은 본 발명에 따른 감각정보 입출력 전자펜을 이용한 정보저장 및 정보공유바업의 제4실시예를 개략적으로 나타낸 구성 및 순서도이다. 도면에 나타낸 바와같이, 감각정보 입출력 전자펜을 이용하여 단말기의 화면상의 각종 아이콘을 누르 는 정보는 촉감정보로 변환되어 전달될 수 있다. 8 is a configuration and flowchart schematically showing a fourth embodiment of the information storage and information sharing task using the sensory information input / output electronic pen according to the present invention. As shown in the figure, information on pressing various icons on the screen of the terminal using the sensory information input / output electronic pen may be converted into tactile information and transmitted.

보다 구체적으로, 이동통신단말기를 사용하다 보면 단말기상의 아이콘을 정확하게 눌렀는지 시각적인 정보만으로는 시행착오를 몇 번씩 거치게 되어있다. 그러나 아이콘을 누름과 동시에 촉감으로 느낄 수 있다면 아이콘을 훨씬 더 빠르게 그리고 효과적으로 사용할 수 있다. 본 발명은 아이콘을 누르는 동안에 감각정보 입출력 전자펜을 쥐고있는 손가락으로 질감을 통한 피드백을 제공함으로써, 아이콘을 눌렀는지 여부와 어떤 아이콘을 눌렀는지 알 수 있게 된다. 사용자가 누른 아이콘이 방향, 허가, 금지등과 같은 상징적인 것인 경우에는, 방향이나 O,X등을 표시하는 정보로 변환되어 동작중인 펜으로 전달되고, 질감재현부를 통해 출력된다. More specifically, when using a mobile communication terminal, the visual information on whether the icon on the terminal is correctly pressed is required to undergo trial and error several times. However, if you can feel the touch with the icon at the same time, you can use the icon much more quickly and effectively. According to the present invention, the user can sense whether the icon is pressed and which icon is pressed by providing feedback through the texture with the finger holding the sensory information input / output electronic pen while pressing the icon. If the icon pressed by the user is symbolic such as direction, permission, prohibition, etc., it is converted into information indicating direction, O, X, and the like, and transferred to the pen in operation, and output through the texture reproducing unit.

또한 사용자가 누른 아이콘이 상징적으로 표현되지 않고 문자적 설명이 필요한 경우, 아이콘 정보가 간단한 문자로 변환되어 펜으로 전달되어 사용자가 아이콘을 눌렀는지 여부 및 어떤 아이콘을 눌렀는지를 촉감적으로 알 수 있게 된다. 그리고 아이콘이 꽃이나 과일등의 향을 가지고 있는 형상이거나, 주스나 음료등의 맛을 가지고 있는 형상일 경우, 과일이나, 음료등에 해당하는 향을 동시에 느낄 수 있게한다. 이와같은 원리는 게임 등에 동일하게 적용될 수 있다.In addition, if the icon pressed by the user is not represented symbolically and needs a textual explanation, the icon information is converted into simple characters and transferred to the pen, so that the user can tactilely know whether the user pressed the icon and which icon was pressed. . If the icon is shaped like a flower or fruit, or has a flavor such as a juice or a drink, the icon can be felt at the same time as the fruit or drink. This principle can be equally applied to games and the like.

도9는 본 발명에 따른 감각정보 입출력 전자펜의 질감제시부의 실시예를 개략적으로 나타낸 사용상태도이다. 9 is a state diagram schematically showing an embodiment of the texture display unit of the sensory information input and output electronic pen according to the present invention.

상기된 바와 같이, 본 발명에 따른 감각정보 입출력 전자펜의 질감제시부는 다수의 핀(122)의 배열된다. 그리고 각각의 핀은 수직방향으로 상하운동되며, 상기 수직방향의 변위는 조절될 수 있다. As described above, the texture display unit of the sensory information input / output electronic pen according to the present invention is arranged with a plurality of pins 122. And each pin is vertically moved in the vertical direction, the vertical displacement can be adjusted.

예를 들어 최대높이(350), 중간높이(370), 최저높이(360)로 정해질 수 있으며, 이외에도 입력 전기 신호에 따라 다양한 높이로 움직일 수 있을 뿐만 아니라, 일정한 주파수를 가지고 상하 왕복운동을 할 수 있다. 그리고, 특정 방향에 대한 정보를 전달하는 것을 목적으로 사용할 경우에는, 도9의 (a)는 위로, 도9의 (b)는 왼쪽으로, 도9의 (c)는 오른쪽위로, 도9의 (d)는 금지의 신호를 나타낸 것으로서, 이와 같은 신호를 전달할 수 있다. 또한, 별도의 진동장치(211)를 통한 바이브레이션을 동시에 활용할 수도 있다. For example, the maximum height 350, the middle height (370), the minimum height (360) can be determined, in addition to being able to move to various heights in accordance with the input electrical signal, and also to move up and down with a constant frequency Can be. In addition, when using for the purpose of transmitting information about a specific direction, Figure 9 (a) is up, Figure 9 (b) is to the left, Figure 9 (c) is to the right, Figure 9 ( d) indicates a prohibition signal and may transmit such a signal. In addition, the vibration through the separate vibration device 211 may be utilized at the same time.

또한 질감제시부의 핀 자체가 수직으로 진동될 경우, 질감제시부가 전달하고자하는 촉감정보가 정확하게 전달하게 하기 위해서는 핀이 단순히 수직으로 움직인 후 정지하는 것이 아니라, 진동되는 것이 훨씬 효과적이다. 특정 무늬만을 효과적으로 전달하기 위해서는 0.1~10Hz사이의 주파수 자극을 활용한다. 이와 같이 패턴자체가 진동하면서 정보를 전달코자하는 이유는 사람의 촉감특성상 무늬를 느끼는 신경세포수용기들이 10Hz이하의 낮은 주파수 특히 0.5~3Hz영역에서 가장 민감하기 때문이다.In addition, when the pin itself vibrates vertically, in order for the texture presenter to correctly transmit the tactile information to be transmitted, it is more effective to vibrate the pin, instead of simply moving it vertically. In order to effectively deliver only certain patterns, frequency stimuli between 0.1 and 10 Hz are used. The reason why the pattern itself vibrates to convey information is that the neuronal receptors that feel the pattern are most sensitive at low frequencies below 10 Hz, especially in the region of 0.5 to 3 Hz.

도10은 본 발명에 따른 감각정보 입출력 전자펜의 다른 실시예를 개략적으로 나타낸 사용상태도이다. 도면에 나타낸 바와 같이, 본 발명에 따른 감각정보 입출력 전자펜(100)은 힘을 전달하는 장치에 연결하여 사용될 수 있다. 보다 구체적으로, 촉각 및 후각을 표현할 수 있는 감각정보 입출력 전자펜은 힘을 전달하는 장치(400)와 연동되어 사용된다. 10 is a state diagram schematically showing another embodiment of the sensory information input / output electronic pen according to the present invention. As shown in the figure, the sensory information input / output electronic pen 100 according to the present invention may be used in connection with a device for transmitting a force. More specifically, the sensory information input / output electronic pen capable of expressing the sense of touch and smell is used in conjunction with the device 400 for transmitting force.

일반적으로, 힘을 전달하는 장치는 Force Feedback 장치로 불리고, SensAble Corp.등에서 판매하고 있는 PHNATOM과 같은 장비가 가장 대표적인 예이다. 또한 힘을 전달하는 장치는 그 구성에 있어 모터와 링크구조(410)로 이루어지고, 사용자가 링크구조의 단부(420)에 손을 대면 특정 방향으로 원하는 크기의 힘을 생성하여 전달할 수 있으며, 대개 원격 로봇 작업시에 원격지에 있는 물체를 만지는 느낌을 재현하거나 가상현실속의 물체와 접촉할 때 발생하는 힘을 재현하여 사실감 있는 가상현실을 제공하는데 사용된다. In general, the force transmitting device is called a force feedback device, and the most representative example is a device such as PHNATOM sold by SensAble Corp .. In addition, the device for transmitting a force is composed of a motor and a link structure 410 in its configuration, and when the user touches the end 420 of the link structure, it can generate and transmit a force of a desired size in a specific direction, and is usually It is used to provide realistic virtual reality by reproducing the feeling of touching the object in the remote place or reproducing the force generated when it touches the object in the virtual reality.

상기 단부(420)에 본 발명의 대상인 감각정보 입출력 전자펜(110)의 팁부(111)를 연결함으로써 힘과 질감을 동시에 전달하는 장치로 구현될 수 있다. 이와같이 구현됨에 따라 가상의 물체와 접촉하는 힘을 느낄 수 있을 뿐만 아니라, 표면의 굴곡과 같은 무늬도 느낄 수 있고, 접촉하는 가상 물체의 재질에 따라 적절한 냉온감을 느낄 수도 있다. 또한 가상의 물체가 과일과 같이 향기를 가진 물질인 경우 발향장치를 통해 향기 또한 출력될 수 있다. By connecting the tip portion 111 of the sensory information input and output electronic pen 110 of the present invention to the end 420 may be implemented as a device for transmitting the force and texture at the same time. As implemented in this way, not only the force of contact with the virtual object can be felt, but also the pattern such as the curvature of the surface, and depending on the material of the contacting virtual object, it can also feel a sense of appropriate cold. In addition, when the virtual object is a substance having a fragrance such as fruit, the fragrance may also be output through the fragrance apparatus.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의하여 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.The present invention described above is not limited to the above-described embodiment and the accompanying drawings, and it is common in the field of the present invention that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be evident to those who have knowledge of.

전술한 바와 같이, 본 발명에 의하면 이동통신단말기의 종류 및 교체 여부와 관계없이 일관되게 사용할 수 있고, 구체적이고 직관적인 감각 정보의 전달이 가능 하도록 개발된 펜 모양의 감각정보 입출력 전자펜을 이용하여 정보저장 및 공유방법을 제공하고, 감각정보 입출력 전자펜을 이용하여 촉각정보의 수집방법과 촉각 정보의 재현방법과 적용분야, 미각정보의 표현법, 후각 정보의 표현법 및 각 정보를 조합하여 전송 및 저장함으로써 인터페이스 또는 공유가 가능하고, 대상의 질감, 온감정보를 전자펜의 감각정보 재현부를 통해 출력할 수 있을 뿐만 아니라, 발향장치를 더 구비하여 향기의 재현이 가능하고, 이동통신단말기의 문자메시지 또는 아이콘 정보를 촉감 및 향기로 재현할 수 있는 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법을 제공하는 효과를 갖는다.As described above, according to the present invention by using a pen-shaped sensory information input and output electronic pen that can be used consistently regardless of the type and replacement of the mobile communication terminal, and developed to enable specific and intuitive sensory information transmission. Provides information storage and sharing method, and transmits and stores tactile information collection method, application method, expression method of taste information, expression method of taste information, and each information by using sensory information input / output electronic pen The interface or sharing is possible, and the texture and warmness information of the object can be output through the sensory information reproducing unit of the electronic pen, and the fragrance can be reproduced further by the fragrance device, and the text message or Information storage and sharing using sensory information input / output electronic pen that can reproduce icon information with touch and fragrance It has the effect of providing a method.

Claims (12)

감각정보 입력부, 신호처리부, 감각정보 재현부 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서,A method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit, 상기 감각정보 입력부를 통해 감각정보를 입력받고, Receiving sensory information through the sensory information input unit; 상기 입력된 감각정보를 상기 신호처리부를 통해 처리 및 저장하고,Process and store the input sensory information through the signal processor; 상기 감각정보를 감각정보 재현부를 통해 출력하는Outputting the sensory information through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제1항에 있어서, The method of claim 1, 상기 입력된 감각정보는 감각정보 입출력 전자펜의 무선통신부를 통해 이동통신단말기로 전송하고, The input sensory information is transmitted to the mobile communication terminal through the wireless communication unit of the sensory information input and output electronic pen, 상기 이동통신단말기는 전송된 감각정보를 저장하고,The mobile communication terminal stores the transmitted sensory information, 상기 이동통신단말기는 저장된 감각정보를 감각정보 입출력 전자펜으로 전송하고,The mobile communication terminal transmits the stored sensory information to the sensory information input and output electronic pen, 상기 전송된 감각정보는 감각정보 재현부를 통해 출력하는 단계를 더 포함하는The transmitted sensory information further comprises the step of outputting through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제1항에 있어서, The method of claim 1, 상기 입력된 감각정보는 감각정보 입출력 전자펜의 무선통신부를 통해 다른 감각정보 입출력 전자펜으로 전송하고, The input sensory information is transmitted to another sensory information input / output electronic pen through the wireless communication unit of the sensory information input / output electronic pen, 상기 감각정보 입출력 전자펜은 전송된 감각정보를 저장하고,The sensory information input / output electronic pen stores the transmitted sensory information, 상기 감각정보는 감각정보 재현부를 통해 출력하는 단계를 더 포함하는The sensory information further includes the step of outputting through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제1항에 있어서,The method of claim 1, 상기 감각정보입력부는The sensory information input unit 전자혀, 압력센서, 온도센서 및 가속도계를 포함하는Including electronic tongue, pressure sensor, temperature sensor and accelerometer 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제1항에 있어서,The method of claim 1, 상기 감각정보 재현부는 The sensory information reproduction unit 질감재현부 및 온감재현부를 포함하는Including the texture and warmth representation 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제5항에 있어서,The method of claim 5, 상기 감각정보 재현부는 The sensory information reproduction unit 향저장탱크, 공기흡입구, 분사구 및 펌프를 포함하는 발향장치를 더 포함하는Further comprising a fragrance device including an incense storage tank, an air inlet, a nozzle and a pump 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 압력, 온도 및 가속도센서를 구비하는 감각정보 입력부, 신호처리부 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서,A method of storing and sharing information using a sensory information input unit including a pressure, temperature and acceleration sensor, a sensor processor sensory information reproducer, and a sensory information input / output electronic pen including a wireless communication unit, 상기 전자펜으로 임의의 표면에 글자를 쓰고,Write letters on any surface with the electronic pen 상기 글자와 표면과의 접촉력을 통해 감각정보 입력부는 글자정보를 추출하고,The sensory information input unit extracts the character information through the contact force between the character and the surface, 상기 추출된 글자정보는 신호처리부 및 무선통신부를 통해 이동통신단말기로 글자정보를 전송하고,The extracted character information transmits the character information to the mobile communication terminal through the signal processor and the wireless communication unit, 상기 무선통신단말기는 문자정보를 재생하는The wireless communication terminal to reproduce the text information 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제7항에 있어서,The method of claim 7, wherein 상기 추출된 글자정보는 무선통신부를 통해 타인의 감각정보 입출력 전자펜으로 전송하고,The extracted character information is transmitted to the sensor information input and output electronic pen of another person through the wireless communication unit, 상기 감각정보 입출력 전자펜은 감각정보 재현부를 통해 글자정보를 촉감문자로 재현하는 단계를 더 포함하는 The sensory information input and output electronic pen further comprises the step of reproducing the character information as a tactile character through the sensory information reproduction unit; 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서,A method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit, 이동통신단말기에 수신된 문자메시지를 문자정보로 변환하여 감각정보 입출력 전자펜으로 전송하고,The text message received at the mobile communication terminal is converted into text information and sent to the sensory information input / output electronic pen, 상기 전송된 문자정보는 감각정보 재현부를 통해 출력하는The transmitted text information is output through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 제9항에 있어서,The method of claim 9, 상기 감각정보 재현부는The sensory information reproduction unit 질감재현부, 온감재현부 및 발향장치를 포함하고,Including a texture reproducing unit, a warming reproducing unit and a fragrance device, 이동통신단말기로부터 전송된 문자정보는 촉감, 온감 및 향기로 출력되는The text information transmitted from the mobile communication terminal is output as touch, warmth and fragrance. 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서,A method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit, 이동통신단말기의 아이콘 정보를 심벌, 향기 및 질감정보로 변환하여 감각정보 입출력 전자펜으로 전송하고,Convert icon information of mobile communication terminal into symbol, fragrance and texture information and transmit it to sensory information input / output electronic pen, 상기 전송된 문자정보는 감각정보 재현부를 통해 출력하는The transmitted text information is output through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen. 감각정보 입력부, 신호처리부, 감각정보 재현부, 및 무선통신부를 구비한 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법으로서,A method of storing and sharing information using a sensory information input / output electronic pen including a sensory information input unit, a signal processor, a sensory information reproducer, and a wireless communication unit, 임의의 물체에 감각정보 입력부를 접촉시키고,Touch the sensory information input unit to any object 상기 감각정보 입력부를 통해 감각정보를 추출하고,Extracting sensory information through the sensory information input unit; 상기 신호처리부를 통해 추출된 감각정보를 저장하고,Storing the sensory information extracted through the signal processor, 감각정보 재현부를 통해 추출된 감각정보를 출력하는To output the extracted sensory information through the sensory information reproducing unit 감각정보 입출력 전자펜을 이용한 정보저장 및 공유방법.Information storage and sharing method using electronic information pen.
KR1020060083752A 2006-08-31 2006-08-31 Method for information storing and co-sharing using sensory information in/output electronic pen KR100769981B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060083752A KR100769981B1 (en) 2006-08-31 2006-08-31 Method for information storing and co-sharing using sensory information in/output electronic pen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060083752A KR100769981B1 (en) 2006-08-31 2006-08-31 Method for information storing and co-sharing using sensory information in/output electronic pen

Publications (1)

Publication Number Publication Date
KR100769981B1 true KR100769981B1 (en) 2007-10-25

Family

ID=38815767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060083752A KR100769981B1 (en) 2006-08-31 2006-08-31 Method for information storing and co-sharing using sensory information in/output electronic pen

Country Status (1)

Country Link
KR (1) KR100769981B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9372661B2 (en) 2012-04-02 2016-06-21 Samsung Electronics Co., Ltd. Apparatus and method of generating a sound effect in a portable terminal
KR101660790B1 (en) * 2016-03-18 2016-09-28 박인철 Wireless stylus
US9626009B2 (en) 2012-06-04 2017-04-18 Samsung Electronics Co., Ltd Coordinate indicating device and coordinate measuring device for measuring input coordinates of coordinate indicating device
KR101752716B1 (en) * 2015-04-23 2017-07-11 (주)파트론 Method of displaying an object on display device and electronic device
US11042230B2 (en) 2019-11-06 2021-06-22 International Business Machines Corporation Cognitive stylus with sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912660A (en) 1997-01-09 1999-06-15 Virtouch Ltd. Mouse-like input/output device with display screen and method for its use
KR20020096563A (en) * 2001-06-21 2002-12-31 정승태 The touch feeling mouse
KR20050038295A (en) * 2003-10-21 2005-04-27 한국과학기술원 Mouse interface system for providing kinesthetic and tactile feedback
KR100618306B1 (en) 2004-11-17 2006-08-31 김정도 Method of representing smell information or feeling of smell transferred from video image, encoding method thereof, and decoding method thereof
KR20060130329A (en) * 2005-06-14 2006-12-19 삼성전자주식회사 Method and apparatus for providing tactile information effectively

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912660A (en) 1997-01-09 1999-06-15 Virtouch Ltd. Mouse-like input/output device with display screen and method for its use
KR20020096563A (en) * 2001-06-21 2002-12-31 정승태 The touch feeling mouse
KR20050038295A (en) * 2003-10-21 2005-04-27 한국과학기술원 Mouse interface system for providing kinesthetic and tactile feedback
KR100618306B1 (en) 2004-11-17 2006-08-31 김정도 Method of representing smell information or feeling of smell transferred from video image, encoding method thereof, and decoding method thereof
KR20060130329A (en) * 2005-06-14 2006-12-19 삼성전자주식회사 Method and apparatus for providing tactile information effectively

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9372661B2 (en) 2012-04-02 2016-06-21 Samsung Electronics Co., Ltd. Apparatus and method of generating a sound effect in a portable terminal
US9626009B2 (en) 2012-06-04 2017-04-18 Samsung Electronics Co., Ltd Coordinate indicating device and coordinate measuring device for measuring input coordinates of coordinate indicating device
KR101752716B1 (en) * 2015-04-23 2017-07-11 (주)파트론 Method of displaying an object on display device and electronic device
KR101660790B1 (en) * 2016-03-18 2016-09-28 박인철 Wireless stylus
WO2017159957A1 (en) * 2016-03-18 2017-09-21 박인철 Wireless electronic pen
US9817492B2 (en) 2016-03-18 2017-11-14 Inchul PARK Wireless electronic pen set
US11042230B2 (en) 2019-11-06 2021-06-22 International Business Machines Corporation Cognitive stylus with sensors

Similar Documents

Publication Publication Date Title
KR100769980B1 (en) Sensory information in/output electronic pen and method for outputting smell information using the same
CN104714687B (en) System and method for optical transmission of haptic display parameters
US10213166B2 (en) Systems and methods for providing enhanced haptic feedback
Jang et al. Haptic edge display for mobile tactile interaction
US10466791B2 (en) Interactivity model for shared feedback on mobile devices
TWI306051B (en) Robotic apparatus with surface information displaying and interaction capability
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US9501149B2 (en) System for haptically representing sensor input
KR100769981B1 (en) Method for information storing and co-sharing using sensory information in/output electronic pen
CN209486630U (en) Stylus
JP6319328B2 (en) Educational tactile sensation providing apparatus and system
US20120229400A1 (en) Interactivity model for shared feedback on mobile devices
CN102362242A (en) Data input device with tactile feedback
CN108509028A (en) The system and method touched for virtual emotion
KR20170015467A (en) Tactile sensation data processing device, tactile sensation providing system, and tactile sensation data processing method
Dobson et al. Creating visceral personal and social interactions in mediated spaces
Hsieh et al. Developing hand-worn input and haptic support for real-world target finding
Heikkinen et al. Enhancing personal communication with spatial haptics: Two scenario-based experiments on gestural interaction
CN107479687A (en) For waiting for an opportunity the touch feedback of display
O'Modhrain Touch and go—designing haptic feedback for a hand-held mobile device
KR100947032B1 (en) Active haptic module using working fluid, control nethod and haptic device thereof
TWI669655B (en) Nail-mounted tactile displaying device
JP2018060486A (en) Input device and converter

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 12