KR20210063892A - Information input/output apparatus - Google Patents

Information input/output apparatus Download PDF

Info

Publication number
KR20210063892A
KR20210063892A KR1020190152532A KR20190152532A KR20210063892A KR 20210063892 A KR20210063892 A KR 20210063892A KR 1020190152532 A KR1020190152532 A KR 1020190152532A KR 20190152532 A KR20190152532 A KR 20190152532A KR 20210063892 A KR20210063892 A KR 20210063892A
Authority
KR
South Korea
Prior art keywords
user
output device
information input
vibrating
information
Prior art date
Application number
KR1020190152532A
Other languages
Korean (ko)
Inventor
주상현
Original Assignee
(주)엠포러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠포러스 filed Critical (주)엠포러스
Priority to KR1020190152532A priority Critical patent/KR20210063892A/en
Publication of KR20210063892A publication Critical patent/KR20210063892A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays

Abstract

Disclosed is an information input/output device for body contact which is interlocked with a user terminal. According to one embodiment of the present invention, the information input/output device for the body contact includes: a vibrating panel comprising a plurality of vibrating elements in contact with a user body; a control unit which vibrates the vibration elements corresponding to the pattern of a mark among the plurality of vibration elements based on the information of the mark received from a user terminal; and an input unit which generates information input through at least one of the plurality of vibrating elements or a separate button distinguished from the vibrating panel based on user manipulation. Accordingly, the present invention supports a user to recognize a pattern of the mark as it is.

Description

신체 접촉용 정보 입출력 장치{INFORMATION INPUT/OUTPUT APPARATUS}Information input/output device for body contact {INFORMATION INPUT/OUTPUT APPARATUS}

아래의 설명은 신체 접촉용 정보 입출력 장치 및 그 동작 방법에 관한 것이다.The following description relates to an information input/output device for body contact and an operating method thereof.

문자(Letter), 숫자(Number) 및 부호(Symbol)를 포함하는 기호가 사용자에게 인지되는 방식으로는, 시각을 활용하는 시각 기반 방식, 기호에 대응하는 음성 신호를 활용하는 청각 기반 방식 및 기호에 대응하는 점자를 활용하는 촉각 기반 방식이 있다. 이러한 인지 방식 중 시각 기반 방식이 가장 일반적으로 사용되고 있으나, 시각 장애인의 경우 시각 기반 방식을 이용할 수 없기 때문에, 시각 장애인을 위한 다른 방식의 연구 개발이 요구된다.Methods in which symbols including letters, numbers, and symbols are recognized by users include a visual-based method using vision, an auditory-based method using a voice signal corresponding to the symbol, and a symbol. There is a tactile-based approach that uses the corresponding Braille. Among these cognitive methods, the vision-based method is most commonly used, but since the visually-impaired cannot use the vision-based method, research and development of other methods for the visually impaired is required.

한편, 청각 기반 방식은 해당 기호가 음성 신호로 변환되어 출력됨을 전제로 하여, 사용자의 주위에 인접한 다른 사람들 역시 해당 음성 신호를 들을 수 있기 때문에, 사생활 보호 문제가 대두되어 제한적으로 사용되고 있는 형편이다. 물론, 사용자만이 기호에 해당하는 음성 신호를 듣도록 이어폰을 사용하는 방법도 있으나, 이어폰의 잦은 사용은 사용자의 청각 능력을 저하시키는 문제점을 야기하므로 청각 기반 방식은 한계를 갖고 있다.Meanwhile, in the auditory-based method, on the premise that the corresponding symbol is converted into a voice signal and output, other people close to the user can also hear the corresponding voice signal, so the privacy protection problem is raised and is being used limitedly. Of course, there is also a method of using earphones so that only the user listens to a voice signal corresponding to his or her preference, but since frequent use of earphones causes a problem of lowering the user's hearing ability, the auditory-based method has limitations.

촉각 기반 방식은, 점자를 활용하게 되는데, 실제 시각 장애인의 경우 15%만이 점자를 이해하고 있는 형편이기 때문에, 점자를 활용하는 촉각 기반 방식 역시 한계를 갖고 있다.The tactile-based method uses Braille, but since only 15% of the visually impaired actually understand Braille, the tactile-based method using Braille also has limitations.

이에, 촉각 방식이 갖는 한계를 극복한 기호 인지 방식이 제안될 필요가 있다.Accordingly, there is a need to propose a symbol recognition method that overcomes the limitations of the tactile method.

한편, 정보 입력 장치 및 정보 출력 장치는, 정보 수용을 시각 및 청각에 주로 의존하고 정보 입력을 손을 사용하는 것에 의존하는 특성에 따라 각기 분리되어 구현되는 것이 일반적이었다.On the other hand, the information input device and the information output device are generally implemented separately according to the characteristics that the reception of information mainly depends on sight and hearing and the input of information depends on the use of the hand.

그러나 시각 장애인의 경우 정보 수용 역시 촉각 방식인 손을 사용하는 것에 의존하기 때문에 정보 입력 장치와 출력 장치가 별도로 구분될 필요가 없다.However, in the case of the visually impaired, there is no need to separate the information input device and the output device because the reception of information also depends on the use of the hand, which is a tactile method.

따라서, 아래의 실시예들은 촉각 방식이 갖는 한계를 극복한 기호 인지 방식을 적용하는 가운데, 정보 출력과 입력을 일체화한 장치를 제안하고자 한다.Accordingly, the following embodiments intend to propose a device that integrates information output and input while applying a symbol recognition method that overcomes the limitations of the tactile method.

일 실시예들은, 사용자 신체에 접촉되는 진동 패널을 구성하는 진동 소자들을 기호의 패턴에 따라 진동시킴으로써 사용자로 하여금 기호의 패턴 그대로를 인지하도록 지원하고, 진동 패널을 통하여 사용자로부터 입력되는 정보를 생성하는 입력부를 포함함으로써 정보의 출력과 입력을 일체화한 신체 접촉용 정보 입출력 장치 및 그 동작 방법을 제공한다.In one embodiment, by vibrating the vibrating elements constituting the vibrating panel in contact with the user's body according to the pattern of the symbol, supporting the user to recognize the pattern of the symbol as it is, and generating information input from the user through the vibration panel. Provided are an information input/output device for body contact that integrates output and input of information by including an input unit, and an operating method thereof.

일 실시예에 따르면, 사용자 단말과 연동되는 신체 접촉용 정보 입출력 장치는, 사용자 신체에 접촉되는 복수의 진동 소자들로 구성되는 진동 패널; 상기 사용자 단말로부터 수신되는 기호(Mark)의 정보에 기초하여, 상기 복수의 진동 소자들 중 상기 기호의 패턴에 대응하는 진동 소자들을 진동시키는 제어부; 및 상기 사용자의 조작에 기초하여 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼을 통하여 입력되는 정보를 생성하는 입력부를 포함한다.According to an embodiment, an information input/output device for body contact that is interlocked with a user terminal includes: a vibrating panel including a plurality of vibrating elements in contact with a user's body; a control unit which vibrates the vibration elements corresponding to the pattern of the symbol among the plurality of vibration elements based on the information of the symbol (Mark) received from the user terminal; and an input unit generating information input through at least one of the plurality of vibrating elements or a separate button distinguished from the vibrating panel based on the user's manipulation.

일측에 따르면, 상기 입력부는, 상기 적어도 하나의 진동 소자에서 입력되는 상기 사용자의 조작을 감지하거나, 상기 별도의 버튼에서 입력되는 상기 사용자의 조작을 감지하는 것을 특징으로 할 수 있다.According to one side, the input unit may be characterized in that it detects the user's manipulation input from the at least one vibration element or detects the user's manipulation input from the separate button.

다른 일측에 따르면, 상기 제어부는, 상기 입력부에서 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 것을 특징으로 할 수 있다.According to another aspect, the control unit may control the vibration panel based on the information generated by the input unit.

또 다른 일측에 따르면, 상기 제어부는, 상기 기호의 패턴에 대응하는 진동 소자들을 상기 기호의 필순(Stroke order)에 따라 진동시키는 것을 특징으로 할 수 있다.According to another aspect, the control unit may be characterized in that the vibrating elements corresponding to the pattern of the symbol vibrate according to the stroke order of the symbol.

또 다른 일측에 따르면, 상기 신체 접촉용 정보 입출력 장치는, 상기 사용자 신체에 착용 또는 부착되도록 구현되는 것을 특징으로 할 수 있다.According to another aspect, the information input/output device for body contact may be implemented to be worn or attached to the user's body.

또 다른 일측에 따르면, 상기 신체 접촉용 정보 입출력 장치는, 상기 사용자가 사용하는 물체에 결합 또는 부착된 채 상기 사용자에 의해 사용될 때 상기 사용자 신체와 접촉되도록 구현되는 것을 특징으로 할 수 있다.According to another aspect, the information input/output device for body contact may be implemented so as to be in contact with the user's body when used by the user while being coupled or attached to an object used by the user.

일 실시예에 따르면, 사용자 신체에 접촉되는 복수의 진동 소자들로 구성되는 진동 패널을 포함한 채, 사용자 단말과 연동되는 신체 접촉용 정보 입출력 장치의 동작 방법은, 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부 및 상기 사용자 단말로부터 기호(Mark)의 정보가 수신되는지 여부를 판단하는 단계; 상기 적어도 하나의 진동 소자 또는 상기 별도의 버튼에서 상기 사용자의 조작이 발생되는 경우, 상기 적어도 하나의 진동 소자 또는 상기 별도의 버튼을 통하여 입력되는 정보를 생성하는 단계; 및 상기 사용자 단말로부터 기호(Mark)의 정보가 수신되는 경우, 상기 복수의 진동 소자들 중 상기 기호의 패턴에 대응하는 진동 소자들을 진동시키는 단계를 포함한다.According to an embodiment, a method of operating an information input/output device for body contact that is interlocked with a user terminal, including a vibrating panel composed of a plurality of vibration elements in contact with the user's body, includes at least one of the plurality of vibration elements. determining whether the user's manipulation occurs in a vibration element of a vibration element or a separate button distinct from the vibration panel and whether information of a mark is received from the user terminal; generating information inputted through the at least one vibrating element or the separate button when the user's manipulation occurs on the at least one vibrating element or the separate button; and vibrating vibrating elements corresponding to the pattern of the sign among the plurality of vibrating elements when information of a mark is received from the user terminal.

일측에 따르면, 상기 판단하는 단계는, 상기 적어도 하나의 진동 소자에서 입력되는 상기 사용자의 조작을 감지하는 단계; 또는 상기 별도의 버튼에서 입력되는 상기 사용자의 조작을 감지하는 단계 중 적어도 어느 하나의 단계를 포함하는 것을 특징으로 할 수 있다.According to one side, the determining may include: detecting the user's manipulation input from the at least one vibration element; Alternatively, the method may include at least one step of detecting the user's manipulation input from the separate button.

다른 일측에 따르면, 상기 진동시키는 단계는, 상기 생성하는 단계를 통해 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 단계를 포함하는 것을 특징으로 할 수 있다.According to another aspect, the vibrating may include controlling the vibrating panel based on information generated through the generating.

또 다른 일측에 따르면, 상기 신체 접촉용 정보 입출력 장치의 동작 방법은, 상기 생성하는 단계를 통해 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 단계를 더 포함하는 것을 특징으로 할 수 있다.According to another aspect, the method of operating the information input/output device for body contact may further include controlling the vibration panel based on the information generated through the generating.

또 다른 일측에 따르면, 상기 진동시키는 단계는, 상기 기호의 패턴에 대응하는 진동 소자들을 상기 기호의 필순(Stroke order)에 따라 진동시키는 단계인 것을 특징으로 할 수 있다.According to another aspect, the vibrating step may be characterized in that the vibrating elements corresponding to the pattern of the sign are vibrated according to the stroke order of the sign.

또 다른 일측에 따르면, 상기 판단하는 단계는, 상기 신체 접촉용 정보 입출력 장치가 상기 사용자 신체에 착용 또는 부착되도록 구현된 경우, 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부를 미리 설정된 주기에 따라 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.According to another aspect, in the determining step, when the information input/output device for body contact is implemented to be worn or attached to the user's body, at least one of the plurality of vibrating elements is distinguished from the vibrating element or the vibrating panel. It may be characterized in that it comprises the step of determining whether the user's manipulation occurs in a separate button according to a preset period.

또 다른 일측에 따르면, 상기 판단하는 단계는, 상기 신체 접촉용 정보 입출력 장치가 상기 사용자가 사용하는 물체에 결합 또는 부착되도록 구현되는 경우, 상기 신체 접촉용 정보 입출력 장치가 상기 사용자에 의해 사용됨에 의해 상기 사용자 신체와 접촉될 때 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부를 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.According to another aspect, in the determining step, when the information input/output device for body contact is implemented to be coupled or attached to an object used by the user, the information input/output device for body contact is used by the user. Determining whether the user's manipulation occurs in at least one of the plurality of vibrating elements or a separate button distinguished from the vibrating panel when in contact with the user's body have.

일 실시예들은, 사용자 신체에 접촉되는 진동 패널을 구성하는 진동 소자들을 기호의 패턴에 따라 진동시킴으로써 사용자로 하여금 기호의 패턴 그대로를 인지하도록 지원하고, 진동 패널을 통하여 사용자로부터 입력되는 정보를 생성하는 입력부를 포함함으로써 정보의 출력과 입력을 일체화한 신체 접촉용 정보 입출력 장치 및 그 동작 방법을 제공할 수 있다.In one embodiment, by vibrating the vibrating elements constituting the vibrating panel in contact with the user's body according to the pattern of the symbol, supporting the user to recognize the pattern of the symbol as it is, and generating information input from the user through the vibration panel. By including an input unit, it is possible to provide an information input/output device for body contact that integrates output and input of information, and an operating method thereof.

도 1은 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 신체 접촉용 정보 입출력 장치가 기호의 필순에 따라 진동 소자들을 진동시키는 것을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 설명하기 위한 도면이다.
도 4는 도 3에 도시된 신체 접촉용 정보 입출력 장치를 나타낸 측면도이다.
도 5는 다른 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 신체 접촉용 정보 입출력 장치의 동작 방법을 나타낸 플로우 차트이다.1 is a block diagram illustrating an information input/output device for body contact according to an exemplary embodiment.
FIG. 2 is a diagram for explaining that the information input/output device for body contact vibrates vibrating elements according to the order of symbols according to an exemplary embodiment;
3 is a diagram for explaining an information input/output device for body contact according to an exemplary embodiment.
FIG. 4 is a side view illustrating the information input/output device for body contact shown in FIG. 3 .
5 is a diagram for explaining an information input/output device for body contact according to another exemplary embodiment.
6 is a flowchart illustrating a method of operating an information input/output device for body contact according to an exemplary embodiment.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the examples. In addition, like reference numerals in each figure denote like members.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms used in this specification are terms used to properly express preferred embodiments of the present invention, which may vary depending on the intention of a viewer or operator, or customs in the field to which the present invention belongs. Therefore, definitions of these terms should be made based on the contents throughout the present specification.

도 1은 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 나타낸 블록도이고, 도 2는 일 실시예에 따른 신체 접촉용 정보 입출력 장치가 기호의 필순에 따라 진동 소자들을 진동시키는 것을 설명하기 위한 도면이다.1 is a block diagram illustrating an information input/output device for body contact according to an embodiment, and FIG. 2 is a diagram for explaining that the information input/output device for body contact according to an embodiment vibrates vibrating elements according to the order of symbols to be.

도 1 내지 2를 참조하면, 일 실시예에 따른 신체 접촉용 정보 입출력 장치(110)는 사용자 단말(120)과 연동되는 전자기기로서, 진동 패널(111), 제어부(112) 및 입력부(113)를 포함한 채, 정보 출력 서비스 및 정보 입력 서비스를 사용자에게 제공한다. 이하, 정보 출력 서비스는 사용자 단말(120)로부터 수신되는 정보인 기호(Mark)가 진동 패널(111)을 이용한 촉각 방식으로 사용자에게 인지되도록 지원하는 서비스를 의미하며, 정보 입력 서비스는 사용자가 신체 접촉용 정보 입출력 장치(110)를 제어하고자 하는 정보를 진동 패널(111)을 통해 입력 받을 수 있도록 지원하는 서비스를 의미한다. 또한, 기호는 특정 뜻을 나타내기 위해 사용되는 매체로서, 문자(예컨대, 한글 문자, 알파벳 등), 숫자 또는 부호(예컨대, 하트 표시, 스마일 표시 등) 등을 의미한다.Referring to FIGS. 1 and 2 , the information input/output device 110 for body contact according to an embodiment is an electronic device interworking with the user terminal 120 , and includes a vibration panel 111 , a control unit 112 , and an input unit 113 . and provides an information output service and an information input service to the user. Hereinafter, the information output service refers to a service that supports the user to recognize a mark, which is information received from the user terminal 120 , in a tactile manner using the vibration panel 111 , and the information input service refers to a service that allows the user to make physical contact. It means a service that supports to receive information to control the information input/output device 110 for use through the vibration panel 111 . In addition, a symbol is a medium used to express a specific meaning, and means a character (eg, Hangul character, alphabet, etc.), a number or a sign (eg, a heart display, a smile display, etc.).

도면에서는 신체 접촉용 정보 입출력 장치(110)가 사용자 신체 중 팔에 착용되는 암(Arm) 밴드인 것으로 도시되었으나, 이에 제한되거나 한정되지 않고 진동 패널(111)을 구성하는 복수의 진동 소자들(130)이 사용자 신체에 접촉되도록 사용자 신체에 착용 또는 부착되는 다양한 형태로 구현될 수 있다.Although the figure shows that the information input/output device 110 for body contact is an arm band worn on an arm of a user's body, the present invention is not limited thereto and a plurality of vibrating elements 130 constituting the vibrating panel 111 are not limited thereto. ) may be implemented in various forms that are worn or attached to the user's body so as to be in contact with the user's body.

또한, 신체 접촉용 정보 입출력 장치(110)는 사용자가 사용하는 물체(예컨대, 오토바이, 자전거, 킥보드 등의 모빌리티, 이동식 카트, 휠체어)에 결합 또는 부착된 채 사용자에 의해 사용될 때 사용자 신체와 접촉되도록 구현될 수 있다. 이러한 경우, 신체 접촉용 정보 입출력 장치(110)는 진동 패널(111) 중 복수의 진동 소자들(130)이 형성된 면의 반대면 상에 탈부착을 위한 점착부를 더 구비할 수 있다. 예컨대, 신체 접촉용 정보 입출력 장치(110)는 오토바이의 핸들에 부착됨으로써 사용자가 오토바이를 사용할 때 사용자의 손바닥에 접촉될 수 있다.In addition, the information input/output device 110 for body contact is coupled to or attached to an object used by the user (eg, mobility such as a motorcycle, a bicycle, a kickboard, a mobile cart, a wheelchair) so as to be in contact with the user's body when used by the user can be implemented. In this case, the information input/output device for body contact 110 may further include an adhesive part for attachment and detachment on a surface opposite to the surface on which the plurality of vibration elements 130 of the vibration panel 111 are formed. For example, the information input/output device 110 for body contact may be attached to a handlebar of a motorcycle, so that the user can contact the user's palm when using the motorcycle.

진동 패널(111)을 구성하는 복수의 진동 소자들(130)은, 어레이 형태로 구현되어 사용자 신체에 접촉될 때 사용자가 인식할 수 있는 진동 주파수 범위의 진동을 발생시키는 진동 모터를 각각 포함함으로써, 제어부(112)의 제어에 따라 개별적으로 동작할 수 있다.The plurality of vibration elements 130 constituting the vibration panel 111 each include a vibration motor that is implemented in an array form and generates vibration in a vibration frequency range that can be recognized by the user when in contact with the user's body, It may operate individually under the control of the controller 112 .

여기서, 복수의 진동 소자들(130) 각각은 다양한 주파수 범위의 진동을 발생시킬 수 있도록 구성될 수 있다. 예를 들어, 복수의 진동 소자들(130) 각각은 5 내지 15Hz 주파수 범위의 진동, 20 내지 50Hz 주파수 범위의 진동 및 60 내지 400Hz 주파수 범위의 진동 모두를 발생시킬 수 있도록 구성될 수 있다. 또한 도면에는 도시되지 않았지만, 진동 패널(111)의 일측에는 복수의 진동 소자들(130)로 전원을 공급하는 배터리(도면에는 도시되지 않음)가 구비될 수 있다.Here, each of the plurality of vibration elements 130 may be configured to generate vibrations in various frequency ranges. For example, each of the plurality of vibration elements 130 may be configured to generate all of a vibration in a frequency range of 5 to 15 Hz, a vibration in a frequency range of 20 to 50 Hz, and a vibration in a frequency range of 60 to 400 Hz. Also, although not shown in the drawing, a battery (not shown in the drawing) for supplying power to the plurality of vibrating elements 130 may be provided on one side of the vibrating panel 111 .

제어부(112)는 진동 패널(111)의 일측에 구비된 채, 사용자 단말(120)로부터 기호의 정보를 수신하고, 수신되는 기호의 정보에 기초하여 복수의 진동 소자들(130) 중 기호의 패턴에 대응하는 진동 소자들을 진동시킨다.The control unit 112 is provided on one side of the vibration panel 111 , and receives symbol information from the user terminal 120 , and a pattern of a symbol among the plurality of vibration elements 130 based on the received symbol information. Vibrating the vibrating elements corresponding to .

이하, 기호는 "가", "A" 등의 문자, "1", "2" 등의 숫자 또는 "♡", "∑" 등의 부호를 의미하고, 기호의 패턴은 "가", "A" 등의 문자가 나타내는 형상, "1", "2" 등의 숫자가 나타내는 형상 또는 "♡", "∑" 등의 부호가 나타내는 형상을 의미한다. 또한, 기호의 정보는 "가", "A" 등의 문자, "1", "2" 등의 숫자 또는 "♡", "∑" 등의 부호를 의미하는 기호의 식별 정보(예컨대, 기호 별로 미리 설정된 코드)를 의미한다. 따라서, 제어부(112)는 복수의 기호의 정보들과 복수의 기호의 정보들 각각이 나타내는 기호(또는 기호의 패턴)를 서로 매칭하여 저장 및 유지하는 데이터베이스를 미리 구축해둠으로써, 기호 인식 서비스를 사용자에게 제공하는 과정에서 해당 데이터베이스를 활용할 수 있다. 보다 상세하게, 제어부(112)는 사용자 단말(120)로부터 기호의 정보를 수신하고, 데이터베이스로부터 수신된 기호의 정보에 대응하는 기호를 추출한 뒤, 해당 기호의 패턴을 확인하여 복수의 진동 소자들(130) 중 수신된 기호의 정보가 나타내는 기호의 패턴에 대응하는 진동 소자들을 진동시킬 수 있다.Hereinafter, the symbol means a letter such as “A” or “A”, a number such as “1” or “2”, or a sign such as “♡”, “∑”, and the pattern of the symbol is “A”, “A”, etc. It means a shape represented by a letter such as ", a shape represented by a number such as "1" or "2", or a shape represented by a symbol such as "♡" or "∑". In addition, the information of the symbol includes identification information of a symbol that means a letter such as “A” or “A”, a number such as “1” or “2”, or a symbol such as “♡” or “∑” (eg, for each symbol). preset code). Accordingly, the control unit 112 establishes in advance a database for storing and maintaining a plurality of symbol information and a symbol (or pattern of a symbol) represented by each of the plurality of symbol information by matching with each other, thereby providing the symbol recognition service to the user. You can use the database in the process of providing it to In more detail, the control unit 112 receives the symbol information from the user terminal 120, extracts a symbol corresponding to the received symbol information from the database, and then checks the pattern of the symbol to determine the pattern of a plurality of vibrating elements ( 130) may vibrate the vibrating elements corresponding to the pattern of the symbol indicated by the received symbol information.

예를 들어, 사용자 단말(120)에서 사용자 입력이 발생되면(예컨대, 사용자가 사용자 단말(120)의 UI 상 특정 문자를 나타내는 버튼을 터치한 경우), 사용자 입력에 대응하는 기호의 정보가 사용자 단말(120)로부터 제어부(112)로 전달되게 된다. 이에, 제어부(112)는 사용자 단말(120)로부터 수신되는 기호의 정보가 나타내는 기호(예컨대, 특정 문자)를 데이터베이스를 토대로 확인하여, 복수의 진동 소자들(130) 중 기호의 패턴(예컨대, 특정 문자의 형상)에 대응하는 진동 소자들을 진동시킬 수 있다.For example, when a user input is generated in the user terminal 120 (eg, when the user touches a button representing a specific character on the UI of the user terminal 120 ), information of a symbol corresponding to the user input is displayed in the user terminal It is transmitted from 120 to the control unit 112 . Accordingly, the control unit 112 checks the symbol (eg, a specific character) indicated by the symbol information received from the user terminal 120 based on the database, and a pattern of the symbol (eg, a specific character) among the plurality of vibration elements 130 . Vibration elements corresponding to the shape of the character) can be vibrated.

다른 예를 들면, 사용자 단말(120)이 위치하는 공간에 구비된 신호 발생기가 발생시키는 신호 또는 사용자 단말(120)과 통신하는 상대방 단말(미도시)에서 송신하는 신호가 사용자 단말(120)로 수신되면, 사용자 단말(120)은 신호에 포함되는 기호의 정보를 추출하고, 해당 기호의 정보를 제어부(112)로 전달할 수 있다. 이에, 제어부(112)는 사용자 단말(120)로부터 수신되는 기호의 정보가 나타내는 기호를 확인하여, 복수의 진동 소자들(130) 중 기호의 패턴에 대응하는 진동 소자들을 진동시킬 수 있다.For another example, a signal generated by a signal generator provided in a space in which the user terminal 120 is located or a signal transmitted from a counterpart terminal (not shown) communicating with the user terminal 120 is received by the user terminal 120 . If so, the user terminal 120 may extract information on the symbol included in the signal and transmit the information on the symbol to the controller 112 . Accordingly, the controller 112 may check the symbol indicated by the symbol information received from the user terminal 120 to vibrate the vibration elements corresponding to the pattern of the symbol among the plurality of vibration elements 130 .

즉, 제어부(112)가 사용자 단말(120)로부터 수신하는 기호의 정보는, 사용자 단말(120)이 위치하는 공간에 구비된 신호 발생기에서 발생시키는 신호 또는 사용자 단말(120)과 통신하는 상대방 단말(미도시)에서 송신하는 신호를 기초로 사용자 단말(120)에 의해 획득되거나, 사용자 단말(120)에서 입력되는 사용자 입력에 의해 획득될 수 있다.That is, the information of the symbol that the control unit 112 receives from the user terminal 120 is a signal generated by a signal generator provided in a space in which the user terminal 120 is located, or a counterpart terminal ( It may be obtained by the user terminal 120 based on a signal transmitted from the user terminal 120 , or may be obtained by a user input input from the user terminal 120 .

이 때, 제어부(112)는 사용자 단말(120)로부터 수신되는 기호의 정보에 기초하여, 복수의 진동 소자들(130) 중 기호의 패턴에 대응하는 진동 소자들을 기호의 필순(Stroke order)에 따라 진동시킬 수 있다. 이처럼 제어부(112)는 복수의 진동 소자들(130) 중 수신된 기호의 정보가 나타내는 기호의 패턴에 대응하는 진동 소자들을 진동시키는 과정에서, 해당 기호의 필순(Stroke order)을 고려함으로써, 사용자의 기호 인식 정확도를 향상시킬 수 있다. 이하, 기호의 필순은 기호가 필기, 작성되는 차례를 의미한다. 예를 들어, 제어부(112)는 상술한 데이터베이스-복수의 기호의 정보들과 복수의 기호의 정보들 각각이 나타내는 기호(또는 기호의 패턴)를 서로 매칭하여 저장 및 유지하는 데이터베이스-에 복수의 기호의 정보들과 복수의 기호의 정보들 각각의 필순을 서로 매칭하여 저장 및 유지함으로써, 해당 데이터베이스로부터 기호의 정보에 대응하는 필순을 추출하고, 추출된 필순에 따라 진동 소자들을 순차적으로 진동시킬 수 있다.At this time, based on the symbol information received from the user terminal 120 , the controller 112 selects the vibration elements corresponding to the pattern of the symbol among the plurality of vibration elements 130 according to the stroke order of the symbol. can vibrate. As such, in the process of vibrating the vibration elements corresponding to the pattern of the symbol indicated by the information of the received symbol among the plurality of vibration elements 130 , the control unit 112 considers the stroke order of the corresponding symbol. It is possible to improve the symbol recognition accuracy. Hereinafter, the writing order of the symbols means the order in which the symbols are written and written. For example, the controller 112 stores and maintains a plurality of symbols in the above-described database - a database for storing and maintaining information on a plurality of symbols and a symbol (or pattern of symbols) represented by each of the information on the plurality of symbols by matching each other. By storing and maintaining the information of the information and the order of each of the plurality of symbols by matching each other, the order of writing corresponding to the information of the symbol can be extracted from the database, and the vibrating elements can be sequentially vibrated according to the extracted order of strokes. .

예를 들어, 신체 접촉용 정보 입출력 장치(110)는 사용자 단말(120)로부터 수신되는 기호의 정보가 나타내는 기호가 한글 문자인 경우, 한글 문자를 초성, 중성 및 종성 별로 분리하여, 분리된 초성, 중성 및 종성 각각의 패턴에 따라 독립적이며 순차적으로 적어도 일부 진동 소자들(복수의 진동 소자들(130) 중 한글 문자 초성, 중성 및 종성 각각의 패턴에 대응하는 진동 소자들)(131, 132,133)를 진동시킬 수 있다For example, the information input/output device for body contact 110 separates the Hangul characters into initial consonants, middle consonants, and final consonants when the sign indicated by the information of the sign received from the user terminal 120 is a Hangul character, Independently and sequentially according to each pattern of the neutral and the final consonant at least some vibrating elements (vibration elements corresponding to each pattern of the first consonant, neutral, and final consonant of the Korean character among the plurality of vibrating elements 130) (131, 132, 133) can vibrate

보다 상세하게, 사용자 단말(120)로부터 수신되는 기호의 정보가 한글 문자 "눈"을 나타내는 경우, 한글 문자 "눈"은 초성 "ㄴ", 중성 "ㅜ" 및 종성 "ㄴ"으로 분리될 수 있다. 이에, 신체 접촉용 정보 입출력 장치(110)는 도 2와 같이 복수의 진동 소자들(130) 중 한글 문자의 초성 "ㄴ"의 패턴(형상)에 대응하는 진동 소자들(131)를 진동시켜 사용자가 한글 문자의 초성 "ㄴ"을 인지하도록 한 뒤, 복수의 진동 소자들(130) 중 한글 문자의 중성 "ㅜ"의 패턴(형상)에 대응하는 진동 소자들(132)를 진동시켜 사용자가 한글 문자의 중성 "ㅜ"을 인지하도록 할 수 있다. 이어서, 신체 접촉용 정보 입출력 장치(110)는 복수의 진동 소자들(130) 중 한글 문자의 종성 "ㄴ"의 패턴(형상)에 대응하는 진동 소자들(133)를 진동시켜 사용자가 한글 문자의 종성 "ㄴ"을 인지하도록 할 수 있다.In more detail, when the symbol information received from the user terminal 120 indicates the Korean character “eye”, the Korean character “eye” may be divided into a leading consonant “b”, a neutral “ㅜ”, and a final consonant “b”. . Accordingly, the information input/output device 110 for body contact vibrates the vibrating elements 131 corresponding to the pattern (shape) of the initial consonant "b" of the Korean character among the plurality of vibrating elements 130 as shown in FIG. After causing to recognize the initial consonant "ㄴ" of the Hangul character, the user vibrates the vibrating elements 132 corresponding to the pattern (shape) of the neutral "ㅜ" of the Hangul character among the plurality of vibrating elements 130 It can be made to recognize the neutral "ㅜ" in the character. Then, the information input/output device for body contact 110 vibrates the vibration elements 133 corresponding to the pattern (shape) of the last letter “b” of the Korean character among the plurality of vibration elements 130 to allow the user to change the shape of the Korean character. It can be made to recognize the final "b".

이처럼, 신체 접촉용 정보 입출력 장치(110)는 한글 문자를 초성, 중성 및 종성 별로 독립적이며 순차적으로 각각의 패턴에 따라 적어도 일부 진동 소자(131, 132, 133)를 진동시킴으로써, 사용자의 한글 문자 인식 정확도를 향상시킬 수 있다.As such, the information input/output device 110 for body contact recognizes the user's Hangul characters by independently and sequentially vibrating at least some vibrating elements 131 , 132 , 133 according to each pattern of the Hangul characters for each initial, middle, and final consonant. accuracy can be improved.

또한, 신체 접촉용 정보 입출력 장치(110)는 한글 문자의 초성, 중성 및 종성 각각의 패턴에 대응하는 적어도 일부 진동 소자들(131, 132, 133)를 진동시키는 과정에서, 한글 문자의 필순에 따라 적어도 일부 진동 소자들(131, 132, 133)를 순차적으로 진동시킬 수도 있다. 예를 들어, 신체 접촉용 정보 입출력 장치(110)는 초성 "ㄴ"의 패턴(형상)에 대응하는 진동 소자들(131)를 진동시키는 과정에서, 초성 "ㄴ"의 필순에 따라 진동 소자들(131)를 순차적으로 진동시킬 수 있다. 따라서, 사용자의 기호 인식 정확도가 향상될 수 있다.In addition, in the process of vibrating at least some vibrating elements 131 , 132 , and 133 corresponding to each pattern of the initial, middle, and final consonants of the Korean characters, the information input/output device 110 for body contact, according to the stroke order of the Hangul characters. At least some of the vibrating elements 131 , 132 , and 133 may be sequentially vibrated. For example, in the process of vibrating the vibrating elements 131 corresponding to the pattern (shape) of the initial consonant "b", the information input/output device 110 for body contact vibrates the vibrating elements ( 131) can be sequentially vibrated. Accordingly, the user's symbol recognition accuracy may be improved.

이러한 신체 접촉용 정보 입출력 장치(110)는 사용자 단말(120)과 네트워크(도면에는 도시되지 않음)를 통하여 연동되어 데이터를 송수신할 수 있다.The information input/output device 110 for body contact may transmit/receive data by interworking with the user terminal 120 through a network (not shown in the drawing).

여기서, 네트워크는 신체 접촉용 정보 입출력 장치(110)와 사용자 단말(120) 사이의 통신 링크를 제공하는데 사용되는 매체로서, TCP/IP(Transmission Control Protocol Internet Protocol) 프로토콜 스위트(suite of protocols)를 사용하는 네트워크들, 게이트웨이들의 월드와이드 컬렉션 및 블루투스(Bluetooth) 링크를 의미할 수 있다. 일부 예들에서, 네트워크는 인트라넷, LAN(local area network) 또는 WAN(wide area network)을 포함하거나 또는 그 일부일 수 있다. 또한, 일부 예들에서, 네트워크는 인터넷의 일부일 수 있다.Here, the network is a medium used to provide a communication link between the information input/output device 110 for body contact and the user terminal 120, and uses a Transmission Control Protocol Internet Protocol (TCP/IP) protocol suite. networks, a worldwide collection of gateways, and a Bluetooth link. In some examples, the network may include or be part of an intranet, a local area network (LAN), or a wide area network (WAN). Also, in some examples, the network may be part of the Internet.

사용자 단말(120)은 PC, 노트북, 스마트폰(smart phone), 태블릿(tablet) 등으로, 상술한 신체 접촉용 정보 입출력 장치(110)가 제공하는 기호 인식 서비스를 위한 웹/모바일 사이트의 접속 또는 기호 인식 서비스 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이에, 사용자 단말(120)은 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.The user terminal 120 is a PC, a notebook computer, a smart phone, a tablet, etc., and is connected to a web/mobile site for a symbol recognition service provided by the above-described information input/output device for body contact 110 , or It may refer to any terminal device capable of installing and executing a symbol recognition service-only application. Accordingly, the user terminal 120 may perform overall service operations such as service screen configuration, data input, data transmission/reception, and data storage under the control of a web/mobile site or a dedicated application.

특히, 사용자 단말(120)은 사용자로부터 사용자 입력으로 기호를 입력 받아 획득하고 획득된 기호의 정보를 신체 접촉용 정보 입출력 장치(110)로 전달하는 동작, 사용자 단말(120)이 위치하는 공간에 구비된 신호 발생기에서 발생시키는 신호를 수신하고 수신된 신호로부터 기호의 정보를 추출 및 획득하여 신체 접촉용 정보 입출력 장치(110)로 전달하는 동작 또는 사용자 단말(120)과 통신하는 상대방 단말(미도시)에서 송신하는 신호를 수신하고 수신된 신호에서 기호의 정보를 추출 및 획득하여 신체 접촉용 정보 입출력 장치(110)로 전달하는 동작을 수행할 수 있다.In particular, the user terminal 120 receives and obtains a symbol as a user input from the user, and transmits the obtained symbol information to the information input/output device for body contact 110 , provided in the space where the user terminal 120 is located An operation of receiving a signal generated by a signal generator, extracting and acquiring information of a symbol from the received signal, and transmitting the information to the information input/output device 110 for body contact, or a counterpart terminal communicating with the user terminal 120 (not shown) may perform an operation of receiving a signal transmitted from the , extracting and acquiring symbol information from the received signal, and transmitting the information to the body contact information input/output device 110 .

입력부(113)는 사용자의 조작에 기초하여 복수의 진동 소자들(130) 중 적어도 하나의 진동 소자를 통하여 입력되는 정보를 생성한다. 여기서, 입력부(113)는 진동 패널(111)과 전기적으로 연결됨으로써 진동 패널(111)의 적어도 하나의 진동 소자에서 입력되는 사용자의 조작을 감지하고, 이를 바탕으로 적어도 하나의 진동 소자에서 입력되는 정보를 생성할 수 있다. 즉, 입력부(113)는 진동 패널(111)의 적어도 하나의 진동 소자에서 발생되는 사용자의 입력에 응답하여 정보(적어도 하나의 진동 소자에서 입력이 발생되었다는 것을 나타내는 정보)를 생성하는, 일종의 정보 입력 기능을 수행할 수 있다.The input unit 113 generates information input through at least one vibration element among the plurality of vibration elements 130 based on a user's manipulation. Here, the input unit 113 is electrically connected to the vibrating panel 111 to detect a user's manipulation input from at least one vibrating element of the vibrating panel 111, and based on this, information input from at least one vibrating element. can create That is, the input unit 113 is a kind of information input that generates information (information indicating that an input is generated from at least one vibration element) in response to a user input generated from at least one vibration element of the vibration panel 111 . function can be performed.

이 때, 입력부(113)가 진동 패널(111)의 적어도 하나의 진동 소자에서 입력되는 사용자의 조작을 감지하는 것은 미리 설정된 주기에 따라 수행되거나, 신체 접촉용 정보 입출력 장치(110)가 사용자 신체에 접촉될 때만 수행될 수 있다.At this time, the input unit 113 detecting the user's manipulation input from at least one vibrating element of the vibrating panel 111 is performed according to a preset cycle, or the information input/output device 110 for body contact is applied to the user's body. It can only be carried out when contacted.

이처럼 입력부(113)에서 생성한 정보는, 제어부(112)로 전달됨으로써 제어부(112)로 하여금 해당 정보에 기초하여 진동 패널(111)을 제어하도록 할 수 있다. 이하, 제어부(112)가 입력부(113)에서 생성되는 정보에 기초하여 진동 패널(111)을 제어한다는 것은, 진동 패널(111)을 구성하는 복수의 진동 소자들(130) 각각의 진동과 관련된 것(일례로, 진동 세기, 진동 시간, 진동 간격, 진동의 시작 및 종료)을 제어하는 것은 물론, 진동 패널(111)의 온/오프를 제어하는 것을 포함할 수 있다. 따라서, 입력부(113)에서 생성되는 정보가 진동 패널(111)의 온/오프를 제어하는 것을 의도하는 정보인 경우, 제어부(112)는 전술된 기호 표시 동작(기호의 패턴에 대응하는 진동 소자들을 진동시키는 동작)과 무관하게, 입력부(113)에서 생성한 정보에 기초하여 진동 패널(111)을 온/오프할 수 있으며, 입력부(113)에서 생성되는 정보가 진동 패널(111)을 구성하는 복수의 진동 소자들(130) 각각의 진동 세기를 조절하는 것을 의도하는 정보인 경우, 제어부(112)는 전술된 기호 표시 동작을 수행하는 과정에서, 입력부(113)에서 생성한 정보에 기초하여 진동 세기를 조절할 수 있다.As such, the information generated by the input unit 113 is transmitted to the control unit 112 so that the control unit 112 can control the vibration panel 111 based on the information. Hereinafter, when the controller 112 controls the vibration panel 111 based on the information generated by the input unit 113 , it is related to the vibration of each of the plurality of vibration elements 130 constituting the vibration panel 111 . It may include controlling on/off of the vibration panel 111 as well as controlling (eg, vibration intensity, vibration time, vibration interval, start and end of vibration). Accordingly, when the information generated by the input unit 113 is information intended to control the on/off of the vibration panel 111 , the control unit 112 performs the above-described symbol display operation (the vibration elements corresponding to the symbol pattern). The vibration panel 111 may be turned on/off based on the information generated by the input unit 113 regardless of the operation of vibrating), and the information generated by the input unit 113 may be a plurality of components constituting the vibration panel 111 . In the case of information intended to adjust the vibration intensity of each of the vibration elements 130 of the , the control unit 112 in the process of performing the above-described symbol display operation, the vibration intensity based on the information generated by the input unit 113 can be adjusted.

이와 같이 입력부(113)가 사용자의 조작에 기초하여 복수의 진동 소자들(130) 중 적어도 하나의 진동 소자를 통하여 입력되는 정보를 생성하기 위해서는, 사용자가 적어도 하나의 진동 소자에 대한 조작을 입력할 수 있어야 한다. 즉, 적어도 하나의 진동 소자를 포함하는 복수의 진동 소자들(130)은, 사용자 신체에 접촉됨과 동시에 사용자의 손에 의해 조작 가능하도록 위치해야 한다.In this way, in order for the input unit 113 to generate information input through at least one of the plurality of vibrating elements 130 based on the user's manipulation, the user may input a manipulation for the at least one vibrating element. should be able That is, the plurality of vibrating elements 130 including at least one vibrating element should be positioned so as to be in contact with the user's body and operable by the user's hand.

예를 들어, 복수의 진동 소자들(130)은 진동 패널(111)의 하우징을 관통하며 진동 패널(111)의 양면으로 돌출되는 구조로 구현됨으로써, 진동 패널(111)의 일면으로 돌출되는 부분이 사용자 신체에 접촉되고 진동 패널(111)의 반대 일면으로 돌출되는 부분이 사용자의 손에 의해 직접적으로 조작될 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.For example, the plurality of vibrating elements 130 penetrate the housing of the vibrating panel 111 and are implemented in a structure that protrudes from both sides of the vibrating panel 111 , so that the portion protruding from one surface of the vibrating panel 111 is A portion that is in contact with the user's body and protrudes from the opposite surface of the vibrating panel 111 may be directly manipulated by the user's hand. A detailed description thereof will be described with reference to FIG. 5 .

다른 예를 들면, 복수의 진동 소자들(130)은 사용자의 손에 의해 조작되는 것이 터치 패널을 통해 간접적으로 이루어지는 구조를 갖도록 구현될 수도 있다. 더 구체적인 예를 들면, 복수의 진동 소자들(130)이 진동 패널(111)의 일면으로 돌출되도록 구현되는 가운데, 진동 패널(111)의 반대 일면이 터치 패널로 구성됨으로써, 진동 패널(111)의 일면으로 돌출되는 부분은 사용자 신체에 접촉되고, 진동 패널(111)의 반대 일면 상 이루어지는 사용자의 조작은 터치 패널을 통한 간접적인 방식으로 복수의 진동 소자들(130)로 전달될 수 있다. 이에 대한 상세한 설명은 도 3 내지 4를 참조하여 기재하기로 한다.For another example, the plurality of vibration elements 130 may be implemented to have a structure in which manipulation by a user's hand is indirectly performed through a touch panel. As a more specific example, while the plurality of vibration elements 130 are implemented to protrude from one surface of the vibration panel 111 , the opposite surface of the vibration panel 111 is configured as a touch panel, thereby A portion protruding from one surface may be in contact with the user's body, and a user's manipulation made on the opposite surface of the vibration panel 111 may be transmitted to the plurality of vibration elements 130 in an indirect manner through the touch panel. A detailed description thereof will be described with reference to FIGS. 3 to 4 .

또한, 이상 입력부(113)가 사용자의 조작에 기초하여 복수의 진동 소자들(130) 중 적어도 하나의 진동 소자를 통하여 입력되는 정보를 생성하는 것으로 설명되었으나, 입력부(113)는 진동 패널(111)과 구분되는 별도의 버튼(미도시)을 통하여 입력되는 정보를 생성할 수도 있다. 보다 상세하게, 입력부(113)는 별도의 버튼과 전기적으로 연결됨으로써 별도의 버튼에서 입력되는 사용자의 조작을 감지하고, 이를 바탕으로 별도의 버튼에서 입력되는 정보를 생성할 수 있다. 즉, 입력부(113)는 별도의 버튼에서 발생되는 사용자의 입력에 응답하여 정보(별도의 버튼에서 입력이 발생되었다는 것을 나타내는 정보)를 생성하는, 일종의 정보 입력 기능을 수행할 수 있다.In addition, although it has been described that the input unit 113 generates information input through at least one vibration element among the plurality of vibration elements 130 based on a user's manipulation, the input unit 113 is the vibration panel 111 . It is also possible to generate information input through a separate button (not shown) distinguished from . In more detail, the input unit 113 may detect a user's manipulation input from the separate button by being electrically connected to the separate button, and generate information input from the separate button based on this. That is, the input unit 113 may perform a kind of information input function of generating information (information indicating that an input is generated from a separate button) in response to a user input generated from a separate button.

마찬가지로, 별도의 버튼에서 입력되는 정보가 생성되면, 해당 정보는 제어부(112)로 전달되어, 제어부(112)로 하여금 해당 정보에 기초하여 진동 패널(111)을 제어하도록 할 수 있다. 이에 대한 상세한 설명은 전술되었으므로 생략하기로 한다.Similarly, when information input from a separate button is generated, the information is transmitted to the control unit 112 , so that the control unit 112 can control the vibration panel 111 based on the information. Since the detailed description thereof has been described above, it will be omitted.

도 3은 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 설명하기 위한 도면이고, 도 4는 도 3에 도시된 신체 접촉용 정보 입출력 장치를 나타낸 측면도이다.3 is a view for explaining an information input/output device for body contact according to an exemplary embodiment, and FIG. 4 is a side view illustrating the information input/output device for body contact shown in FIG. 3 .

도 4를 참조하면, 일 실시예에 따른 신체 접촉용 정보 입출력 장치(300)는 정보 출력은 직접적인 방식으로 실시하고, 정보 입력은 간접적인 방식으로 실시하는 구조를 가질 수 있다.Referring to FIG. 4 , the information input/output device 300 for body contact according to an embodiment may have a structure in which information is output in a direct manner and information is input in an indirect manner.

예를 들어, 신체 접촉용 정보 입출력 장치(300)는 복수의 진동 소자들(311)이 진동 패널(310)의 일면으로 돌출되어 사용자 신체에 직접적으로 접촉됨으로써 복수의 진동 소자들(311)의 진동을 통해 정보 출력을 사용자 신체로 직접적으로 수행하는 구조를 갖고, 진동 패널(310)의 반대 일면이 터치 패널(312)로 구성됨으로써 사용자의 조작이 터치 패널(312)를 통해 복수의 진동 소자들(311)로 간접적으로 전달되는 구조(정보 입력이 터치 패널(312)를 통해 복수의 진동 소자들(311)로 전달되는 간접적 구조)를 갖게 될 수 있다.For example, in the information input/output device 300 for body contact, the plurality of vibrating elements 311 protrude from one surface of the vibrating panel 310 and directly contact the user's body, thereby causing vibration of the plurality of vibrating elements 311 . It has a structure in which information is output directly to the user's body through the , and the opposite side of the vibrating panel 310 is composed of the touch panel 312 , so that the user's operation is performed through the touch panel 312 through a plurality of vibrating elements ( 311 ) may have a structure (indirect structure in which information input is transmitted to the plurality of vibration elements 311 through the touch panel 312 ).

도 5는 다른 일 실시예에 따른 신체 접촉용 정보 입출력 장치를 설명하기 위한 도면이다.5 is a diagram for explaining an information input/output device for body contact according to another exemplary embodiment.

도 5를 참조하면, 다른 일 실시예에 따른 신체 접촉용 정보 입출력 장치(500)는 정보 출력과 정보 입력 모두 직접적인 방식으로 실시하는 구조를 가질 수 있다.Referring to FIG. 5 , the information input/output device 500 for body contact according to another embodiment may have a structure in which both information output and information input are performed in a direct manner.

예를 들어, 신체 접촉용 정보 입출력 장치(500)는 복수의 진동 소자들(511)이 진동 패널(510)의 서로 마주보는 양면으로 돌출됨으로써, 복수의 진동 소자들(511)이 진동 패널(510)의 일면으로 돌출된 부분이 사용자 신체에 직접적으로 접촉되는 동시에, 복수의 진동 소자들(511)이 진동 패널(510)의 반대 일면으로 돌출된 부분에서 사용자의 조작이 직접적으로 이루어지는 구조를 갖게 될 수 있다. 이에, 신체 접촉용 정보 입출력 장치(500)는 정보 출력 및 정보 입력 모두 복수의 진동 소자들(511)을 통해 직접적으로 이루어지는 구조를 가질 수 있다.For example, in the body-contact information input/output device 500 , the plurality of vibration elements 511 protrude from opposite surfaces of the vibration panel 510 , so that the plurality of vibration elements 511 are formed on the vibration panel 510 . ), the portion protruding from one surface is in direct contact with the user's body, and at the same time, the plurality of vibration elements 511 have a structure in which the user's manipulation is directly performed at the portion protruding from the opposite surface of the vibration panel 510. can Accordingly, the information input/output device 500 for body contact may have a structure in which both information output and information input are directly performed through a plurality of vibration elements 511 .

도 6은 일 실시예에 따른 신체 접촉용 정보 입출력 장치의 동작 방법을 나타낸 플로우 차트이다.6 is a flowchart illustrating a method of operating an information input/output device for body contact according to an exemplary embodiment.

도 6을 참조하면, 일 실시예에 따른 신체 접촉용 정보 입출력 장치의 동작 방법은 도 1 내지 5를 참조하여 상술된 신체 접촉용 정보 입출력 장치(정확하게는, 제어부 및 입력부)에 의해 수행된다.Referring to FIG. 6 , the method of operating the information input/output device for body contact according to an exemplary embodiment is performed by the information input/output device for body contact (precisely, the controller and the input unit) described above with reference to FIGS. 1 to 5 .

우선, 단계(S610)에서 신체 접촉용 정보 입출력 장치는, 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 진동 패널과 구분되는 별도의 버튼에서 사용자의 조작이 발생되는지 여부 및 사용자 단말로부터 기호(Mark)의 정보가 수신되는지 여부를 판단할 수 있다.First, in step S610, the information input/output device for body contact determines whether the user's manipulation occurs in at least one of the plurality of vibration elements or a separate button distinguished from the vibration panel and whether the user's manipulation occurs from the user terminal (Mark ) can be determined whether the information is received.

예를 들어, 단계(S610)에서 신체 접촉용 정보 입출력 장치는, 적어도 하나의 진동 소자에서 입력되는 사용자의 조작을 감지하거나, 별도의 버튼에서 입력되는 사용자의 조작을 감지함으로써, 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 진동 패널과 구분되는 별도의 버튼에서 사용자의 조작이 발생되는지 여부를 판단할 수 있다.For example, in step S610, the information input/output device for body contact detects a user's manipulation input from at least one vibrating element or detects a user's manipulation input from a separate button, so that the plurality of vibrating elements It may be determined whether a user's manipulation occurs in at least one of the vibrating elements or a separate button distinguished from the vibrating panel.

이 때, 단계(S610)는 미리 설정된 주기에 따라 수행되거나, 신체 접촉용 정보 입출력 장치가 사용자 신체에 접촉될 때만 선택적으로 수행될 수 있다. 예를 들어, 신체 접촉용 정보 입출력 장치가 사용자 신체에 착용 또는 부착되도록 구현된 경우, 신체 접촉용 정보 입출력 장치는 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 진동 패널과 구분되는 별도의 버튼에서 사용자의 조작이 발생되는지 여부를 미리 설정된 주기에 따라 감지 및 판단할 수 있다. 다른 예를 들면, 신체 접촉용 정보 입출력 장치가 사용자가 사용하는 물체에 결합 또는 부착되도록 구현되는 경우, 신체 접촉용 정보 입출력 장치는 사용자에 의해 사용됨에 의해 사용자의 신체와 접촉될 때에만 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 진동 패널과 구분되는 별도의 버튼에서 사용자의 조작이 발생되는지 여부를 감지 및 판단할 수 있다.In this case, step S610 may be performed according to a preset cycle or may be selectively performed only when the information input/output device for body contact comes into contact with the user's body. For example, when the information input/output device for body contact is implemented to be worn or attached to the user's body, the information input/output device for body contact may be configured as at least one vibration element among the plurality of vibration elements or a separate button separated from the vibration panel. Whether or not a user's manipulation occurs may be detected and determined according to a preset period. As another example, when the information input/output device for body contact is implemented to be coupled or attached to an object used by the user, the information input/output device for body contact is used by the user and only when in contact with the user's body a plurality of vibrations It is possible to detect and determine whether a user's manipulation occurs in at least one vibrating element among the elements or a separate button distinguished from the vibrating panel.

이어서, 단계(S620)에서 신체 접촉용 정보 입출력 장치는, 적어도 하나의 진동 소자 또는 별도의 버튼에서 사용자의 조작이 발생되는 경우, 적어도 하나의 진동 소자 또는 별도의 버튼을 통하여 입력되는 정보를 생성할 수 있다.Next, in step S620 , the information input/output device for body contact generates information input through at least one vibrating element or a separate button when a user's manipulation occurs on the at least one vibrating element or a separate button. can

그 후, 단계(S630)에서 신체 접촉용 정보 입출력 장치는 사용자 단말로부터 기호(Mark)의 정보가 수신되는 경우, 복수의 진동 소자들 중 기호의 패턴에 대응하는 진동 소자들을 진동시킬 수 있다. 일례로, 단계(S630)에서 신체 접촉용 정보 입출력 장치는 기호의 패턴에 대응하는 진동 소자들을 기호의 필순(Stroke order)에 따라 진동시킬 수 있다.Thereafter, in step S630 , when information of a mark is received from the user terminal, the apparatus for input/output of body contact may vibrate the vibrating elements corresponding to the pattern of the sign among the plurality of vibrating elements. For example, in step S630 , the information input/output device for body contact may vibrate the vibrating elements corresponding to the pattern of the sign according to the stroke order of the sign.

이 때, 단계(S630)에서 신체 접촉용 정보 입출력 장치는, 단계(S620)에서 생성되는 정보에 기초하여 진동 패널을 제어할 수 있다. 일례로, 단계(S620)에서 생성되는 정보가 복수의 진동 소자들 각각의 진동 세기와 관련된 정보를 포함하는 경우, 단계(S630)에서 신체 접촉용 정보 입출력 장치는 복수의 진동 소자들 중 기호의 패턴에 대응하는 진동 소자들을 해당 정보에 포함되는 진동 세기로 진동시킬 수 있다.In this case, in step S630 , the information input/output device for body contact may control the vibration panel based on the information generated in step S620 . For example, when the information generated in step S620 includes information related to the intensity of each of the vibrations of the plurality of vibration elements, the information input/output device for body contact in step S630 is a pattern of a symbol among the plurality of vibration elements. Vibration elements corresponding to may vibrate with a vibration intensity included in the corresponding information.

이상, 단계(S620)가 단계(S630)에 영향을 미치도록 서로 유기적으로 수행되는 것으로 설명되었으나, 이에 제한되거나 한정되지 않고 서로 독립적이며 무관하게 수행될 수도 있다. 예컨대, 단계(S620)에서 생성되는 정보가 진동 패널의 온/오프와 관련된 정보를 포함하는 경우, 단계(S630)는 단계(S620)에서 생성되는 정보와 무관하게 수행될 수 있으며, 단계(S630)가 수행되고 난 뒤에야 비로소 신체 접촉용 정보 입출력 장치는 단계(S620)에서 생성되는 정보에 따라 진동 패널의 온/오프를 제어할 수 있다. 이러한 경우, 신체 접촉용 정보 입출력 장치의 동작 방법은, 단계(S630)와 무관한 별도의 단계로서, 단계(S620)에서 생성되는 정보에 기초하여 진동 패널을 제어하는 추가적인 단계(미도시)를 더 포함할 수 있다.In the above, although it has been described that step S620 is organically performed with each other so as to affect step S630, it is not limited or limited thereto, and may be performed independently and independently of each other. For example, when the information generated in step S620 includes information related to on/off of the vibration panel, step S630 may be performed regardless of the information generated in step S620, and step S630. Only after is performed, the information input/output device for body contact can control the on/off of the vibration panel according to the information generated in step S620 . In this case, the method of operating the information input/output device for body contact further includes an additional step (not shown) of controlling the vibration panel based on the information generated in step S620 as a separate step independent of step S630 . may include

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and drawings as described above, various modifications and variations can be made from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims (13)

사용자 단말과 연동되는 신체 접촉용 정보 입출력 장치에 있어서,
사용자 신체에 접촉되는 복수의 진동 소자들로 구성되는 진동 패널;
상기 사용자 단말로부터 수신되는 기호(Mark)의 정보에 기초하여, 상기 복수의 진동 소자들 중 상기 기호의 패턴에 대응하는 진동 소자들을 진동시키는 제어부; 및
상기 사용자의 조작에 기초하여 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼을 통하여 입력되는 정보를 생성하는 입력부
를 포함하는 신체 접촉용 정보 입출력 장치.In the information input/output device for body contact interlocking with a user terminal,
a vibrating panel composed of a plurality of vibrating elements in contact with the user's body;
a control unit which vibrates the vibration elements corresponding to the pattern of the symbol among the plurality of vibration elements based on the information of the symbol (Mark) received from the user terminal; and
An input unit generating information input through at least one of the plurality of vibrating elements or a separate button distinguished from the vibrating panel based on the user's manipulation
Information input and output device for body contact comprising a. 제1항에 있어서,
상기 입력부는,
상기 적어도 하나의 진동 소자에서 입력되는 상기 사용자의 조작을 감지하거나, 상기 별도의 버튼에서 입력되는 상기 사용자의 조작을 감지하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치.The method of claim 1,
The input unit,
The information input/output device for body contact, characterized in that detecting the user's manipulation inputted from the at least one vibration element or detecting the user's manipulation inputted from the separate button. 제1항에 있어서,
상기 제어부는,
상기 입력부에서 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치.The method of claim 1,
The control unit,
The information input/output device for body contact, characterized in that the vibration panel is controlled based on the information generated by the input unit. 제1항에 있어서,
상기 제어부는,
상기 기호의 패턴에 대응하는 진동 소자들을 상기 기호의 필순(Stroke order)에 따라 진동시키는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치.The method of claim 1,
The control unit,
The information input/output device for body contact, characterized in that the vibration elements corresponding to the pattern of the symbol vibrate according to the stroke order of the symbol. 제1항에 있어서,
상기 신체 접촉용 정보 입출력 장치는,
상기 사용자 신체에 착용 또는 부착되도록 구현되는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치.The method of claim 1,
The information input/output device for body contact,
An information input/output device for body contact, characterized in that it is implemented to be worn or attached to the user's body. 제1항에 있어서,
상기 신체 접촉용 정보 입출력 장치는,
상기 사용자가 사용하는 물체에 결합 또는 부착된 채 상기 사용자에 의해 사용될 때 상기 사용자 신체와 접촉되도록 구현되는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치.The method of claim 1,
The information input/output device for body contact,
The information input/output device for body contact, characterized in that when used by the user while being coupled to or attached to an object used by the user, the device is implemented so as to be in contact with the user's body. 사용자 신체에 접촉되는 복수의 진동 소자들로 구성되는 진동 패널을 포함한 채, 사용자 단말과 연동되는 신체 접촉용 정보 입출력 장치의 동작 방법에 있어서,
상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부 및 상기 사용자 단말로부터 기호(Mark)의 정보가 수신되는지 여부를 판단하는 단계;
상기 적어도 하나의 진동 소자 또는 상기 별도의 버튼에서 상기 사용자의 조작이 발생되는 경우, 상기 적어도 하나의 진동 소자 또는 상기 별도의 버튼을 통하여 입력되는 정보를 생성하는 단계; 및
상기 사용자 단말로부터 기호(Mark)의 정보가 수신되는 경우, 상기 복수의 진동 소자들 중 상기 기호의 패턴에 대응하는 진동 소자들을 진동시키는 단계
를 포함하는 신체 접촉용 정보 입출력 장치의 동작 방법.A method of operating an information input/output device for body contact that is interlocked with a user terminal, including a vibrating panel composed of a plurality of vibrating elements in contact with a user's body, the method comprising:
Determining whether the user's manipulation occurs in at least one of the plurality of vibrating elements or a separate button distinguished from the vibrating panel and whether information of a mark is received from the user terminal ;
generating information inputted through the at least one vibrating element or the separate button when the user's manipulation occurs on the at least one vibrating element or the separate button; and
When the information of the symbol (Mark) is received from the user terminal, vibrating the vibration elements corresponding to the pattern of the symbol among the plurality of vibration elements;
A method of operating an information input/output device for body contact comprising a. 제7항에 있어서,
상기 판단하는 단계는,
상기 적어도 하나의 진동 소자에서 입력되는 상기 사용자의 조작을 감지하는 단계; 또는
상기 별도의 버튼에서 입력되는 상기 사용자의 조작을 감지하는 단계
중 적어도 어느 하나의 단계를 포함하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
The determining step,
detecting the user's manipulation input from the at least one vibrating element; or
detecting the user's manipulation input from the separate button
An operating method of an information input/output device for body contact, comprising at least one of the steps of: 제7항에 있어서,
상기 진동시키는 단계는,
상기 생성하는 단계를 통해 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 단계
를 포함하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
The vibrating step is
controlling the vibration panel based on the information generated through the generating step
A method of operating an information input/output device for body contact, comprising: 제7항에 있어서,
상기 생성하는 단계를 통해 생성되는 정보에 기초하여 상기 진동 패널을 제어하는 단계
를 더 포함하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
controlling the vibration panel based on the information generated through the generating step
The method of operating an information input/output device for body contact, characterized in that it further comprises. 제7항에 있어서,
상기 진동시키는 단계는,
상기 기호의 패턴에 대응하는 진동 소자들을 상기 기호의 필순(Stroke order)에 따라 진동시키는 단계인 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
The vibrating step is
and vibrating the vibrating elements corresponding to the pattern of the sign according to the stroke order of the sign. 제7항에 있어서,
상기 판단하는 단계는,
상기 신체 접촉용 정보 입출력 장치가 상기 사용자 신체에 착용 또는 부착되도록 구현된 경우, 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부를 미리 설정된 주기에 따라 판단하는 단계
를 포함하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
The determining step,
When the information input/output device for body contact is implemented to be worn or attached to the user's body, whether the user's manipulation occurs in at least one of the plurality of vibrating elements or a separate button distinct from the vibrating panel Determining whether or not according to a preset period
A method of operating an information input/output device for body contact, comprising: 제7항에 있어서,
상기 판단하는 단계는,
상기 신체 접촉용 정보 입출력 장치가 상기 사용자가 사용하는 물체에 결합 또는 부착되도록 구현되는 경우, 상기 신체 접촉용 정보 입출력 장치가 상기 사용자에 의해 사용됨에 의해 상기 사용자 신체와 접촉될 때 상기 복수의 진동 소자들 중 적어도 하나의 진동 소자 또는 상기 진동 패널과 구분되는 별도의 버튼에서 상기 사용자의 조작이 발생되는지 여부를 판단하는 단계
를 포함하는 것을 특징으로 하는 신체 접촉용 정보 입출력 장치의 동작 방법.The method of claim 7,
The determining step,
When the information input/output device for body contact is implemented to be coupled or attached to an object used by the user, the plurality of vibration elements when the information input/output device for body contact is used by the user and comes into contact with the user's body Determining whether the user's manipulation occurs in at least one of the vibrating elements or a separate button distinguished from the vibrating panel
A method of operating an information input/output device for body contact, comprising:
KR1020190152532A 2019-11-25 2019-11-25 Information input/output apparatus KR20210063892A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152532A KR20210063892A (en) 2019-11-25 2019-11-25 Information input/output apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152532A KR20210063892A (en) 2019-11-25 2019-11-25 Information input/output apparatus

Publications (1)

Publication Number Publication Date
KR20210063892A true KR20210063892A (en) 2021-06-02

Family

ID=76372829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152532A KR20210063892A (en) 2019-11-25 2019-11-25 Information input/output apparatus

Country Status (1)

Country Link
KR (1) KR20210063892A (en)

Similar Documents

Publication Publication Date Title
EP3751569A1 (en) Multi-person voice separation method and apparatus
CN104850222B (en) A kind of instruction identification method and electric terminal
US20180217667A1 (en) Wearable haptic pattern display device for blind person
CN109729222A (en) A kind of short distance searches the method and system of wearable device
KR101868448B1 (en) A device for providing haptic patterns on smart devices
WO2018124564A1 (en) Vibrational braille system and method for implementing vibrational braille on basis of touchscreen
CN108475476B (en) Apparatus and method in the form of a glove for transmitting and receiving information by braille
KR20160135072A (en) Mobile terminal and method for controlling the same
KR20210141052A (en) Recognition accuracy improving method and apparatus for physical contact
KR20080057651A (en) Sound recognition system and method for aurally impaired people
KR20210063892A (en) Information input/output apparatus
KR20210141054A (en) Tactile information input/output interfdace and apparatus
CN104902389B (en) A kind of information processing method and electronic equipment
KR20210141051A (en) Apparatus for transmitting information through tactile and method thereof
KR20160013657A (en) Watch for the deaf
KR20210063889A (en) Mark recognition apparatus with structure for improving recognition accuracy
KR20210063890A (en) Operation method of mark recognition apparatus for improving recognition accuracy
RU2651444C2 (en) Device and method for receiving and transmitting information by braille letters
Juneja et al. Design and development of a low cost and reliable writing aid for visually impaired based on Morse code communication
EP4131037A1 (en) Verification method, electronic device and computer-readable storage medium
KR101045384B1 (en) The Braille Unit using RF Communication
US20160155362A1 (en) Audio data conversion
KR20220006438A (en) Mark recognition apparatus for improving recognition accuracy and operation method thereof
KR20190019268A (en) Mark recognition apparatus for contacting body and operation method thereof
CN108280189B (en) Voice question searching method and system based on intelligent pen