WO2021201356A1 - 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법 - Google Patents

접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법 Download PDF

Info

Publication number
WO2021201356A1
WO2021201356A1 PCT/KR2020/013838 KR2020013838W WO2021201356A1 WO 2021201356 A1 WO2021201356 A1 WO 2021201356A1 KR 2020013838 W KR2020013838 W KR 2020013838W WO 2021201356 A1 WO2021201356 A1 WO 2021201356A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch input
touch
input
input signal
signal
Prior art date
Application number
PCT/KR2020/013838
Other languages
English (en)
French (fr)
Inventor
김은아
김정훈
Original Assignee
김은아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김은아 filed Critical 김은아
Publication of WO2021201356A1 publication Critical patent/WO2021201356A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • the present invention relates to a system and method for converting an input signal from a touch-sensitive input device into a variable tactile effect so that a signal input through the touch-sensitive input device is fed back to a user as a tactile effect.
  • devices such as mobile phones, personal data assistants (PDAs), laptop computers, game consoles, and navigation devices use data input devices to select and input desired functions.
  • PDAs personal data assistants
  • laptop computers laptop computers
  • game consoles game consoles
  • navigation devices use data input devices to select and input desired functions.
  • the data input device is roughly divided into a keypad method (including a keyboard) for inputting corresponding data by pressing a key with a finger or the like, and a touch input device such as a touch pad or a touch panel for recognizing corresponding data by lightly touching a contact surface.
  • a keypad method including a keyboard
  • a touch input device such as a touch pad or a touch panel for recognizing corresponding data by lightly touching a contact surface.
  • an input method of the contact input device there are a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and the like.
  • the resistive method determines the position by sensing the change in current and resistance when the screen is pressed.
  • a conductive compound is coated on the liquid crystal to allow current to flow continuously, and a sensor is installed on the edge of the finger to determine the position. When it touches, it detects the movement of electrons to the point of contact and detects the position.
  • Such a touch input device uses a touch pen or a human finger, and the types of the double touch pen include a pressure-sensitive type, a capacitive type, an electromagnetic resonance type, an active electric type, and the like.
  • AES Active Electrostatic Style
  • EMR Electro Magnetic Resonance
  • Conventional tactile feedback is a form of providing only 2 to 3 simple vibrations of vibration according to an input signal from a pressure sensor, or a vibration pattern prepared in advance for each situation is stored in a memory to provide a vibration effect and stored vibration whenever necessary. It is a form of providing a pattern to the user, which is set in advance or only a single constant vibration is provided.
  • an object of the present invention is a system for converting an input signal from a touch sensing input device capable of providing a tactile feedback suitable for signal input to a user by sensing a change in contact area or pressure when inputting a touch panel into a variable tactile effect. and to provide a method.
  • the present invention provides a system for converting an input signal from a touch-sensitive input device into a variable tactile effect.
  • (10) is a touch sensor 11 for detecting a touch input of a user's finger or pen, and a touch input for checking the type of touch input using the capacitance and pressure values sensed by the touch sensor 11
  • a signal sensing unit 12 a finger touch input unit 13 that receives a touch input signal by determining that the touch input is a touch input by a user's finger by the touch input signal sensing unit 12, and the touch input signal
  • the sensing unit 12 determines that the touch input is a touch input by the touch pen and receives the touch input signal, and the input is performed by the finger touch input unit 13 and the pen touch input unit 14 .
  • the touch input management unit 15 that manages the change value of the touch input such as the strength and weakness of the touch input, the coordinate movement, and the increase and decrease of the area, and the touch input management unit 15.
  • a controller 20 for generating a vibration frequency by converting within a frequency band of 20 to 450 Hz, a driving circuit 40 for controlling the generated vibration frequency, and a driving circuit 40 for the vibration frequency of the controller 20 It is characterized in that it is composed of an electroactive transducer 50 that is transmitted through and provides tactile feedback.
  • the present invention can provide real-time tactile feedback suitable for signal input to the user by sensing a change in contact area or pressure when inputting a touch panel, and when providing tactile feedback, a vibration signal is generated within the sensible frequency band. It has the effect of providing a sense of touch that can feel the sense of simultaneity and realism when inputting a signal.
  • FIG. 1 is a block diagram illustrating a system for converting an input signal from a touch-sensitive input device into a variable tactile effect according to an embodiment of the present invention
  • FIG. 2 is a detailed configuration diagram of a controller according to an embodiment of the present invention.
  • 3 to 4 are views for explaining the change in vibration force according to the touch area and area increase/decrease by the finger touch input unit of the present invention
  • 5 to 6 are views for explaining a change in the amount of vibration according to the touch pressure and pressure increase/decrease by the pen touch input unit of the present invention
  • FIG. 7 is a view for explaining a method of amplifying each frequency by an amplifying unit according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of converting an input signal from a touch sensing type input device into a variable tactile effect according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the overall configuration of a system for converting an input signal from a touch-sensitive input device into a variable tactile effect according to an embodiment of the present invention.
  • the present invention includes a touch sensing unit 10 for detecting signal generation of a touch input, wherein the touch sensing unit 10 includes a touch sensing sensor 11 for sensing a touch input of a user's finger or pen, and the touch The touch input signal detection unit 12 for confirming the type of touch input using the capacitance and the pressure value sensed by the detection sensor 11, and the touch input signal is detected by the touch input signal detection unit 12 by the user's finger
  • the finger touch input unit 13 that determines that it is a touch input by means of a touch input and receives a touch input signal, and the touch input signal detection unit 12 determines that the touch input is a touch input by a touch pen and receives a touch input signal
  • a pen touch input unit 14 and a touch input management unit ( 15) a controller 20 that selects a valid touch input from among the touch input signals input to the touch input management unit 15 and converts it to within a sensible frequency band of 20 to 450 Hz to generate a vibration frequency; and the generated vibration frequency It is composed of
  • the touch sensor 11 detects a touch input by a user's finger or pen by a sensor, and senses the position, area, pressure, speed, etc. of the touch input using an electrostatic amount and pressure.
  • a high value is maintained when a touch input does not occur on the touch panel, and a low value is output when a touch input occurs, and vice versa.
  • the position of the touch input is checked by using a matrix-type sensor, etc., where the touch panel is touched, the area is detected by changing the capacitance or resistance value, and the pressure is measured by using the pressure sensor of the pen. It is confirmed using a touch-sensitive touch panel.
  • the touch sensor 11 detects the type of touch, the strength of the touch, and the movement of the touch.
  • the touch input signal sensing unit 12 determines the type of touch input input through the touch sensing sensor 11, and in the present invention, whether the touch input is a touch input by a user's finger or a touch input by a touch pen. will check
  • the touch input signal sensing unit 12 receives a touch input signal by the touch sensing sensor 11, and at this time, receives the area value of the touch input and determines the type of the touch input through this.
  • the type of the touch input in classifying the type of the touch input, may be classified using the pressure value together with the area value of the touch panel.
  • the touch input signal from the touch panel After receiving the touch input signal from the touch panel, if the received pressure value does not reach a preset threshold, it is recognized that it is a touch input by the user's finger, and when it exceeds the preset threshold, it is recognized as a touch input by the touch pen will do
  • the touch input exceeds the set area or pressure, it is determined as a touch input by the user's finger, and when the touch input does not reach the set area or exceeds the pressure, it is determined as a touch input by the touch pen.
  • the recognition of the touch input by the user's finger as the touch input by the user's finger and the touch input by the touch pen as described above is to determine whether the touch input input during the conversion of the vibration frequency, which will be described later, is calculated as an area value, or as a pressure value. To determine whether to calculate
  • a vibration frequency is converted based on the touch area, and a touch input by a touch pen is converted into a vibration frequency based on the touch pressure.
  • the finger touch input unit 13 generates a signal according to the resistance value of the contact area or the size of the capacitance when the touch input is determined as a touch input by the user's finger by the touch input signal sensing unit 12 to input the touch input. By sensing the area of , the input is received as a touch input signal.
  • the pen touch input unit 14 generates a signal due to a pressure difference between sensors sensed by the touch pen when the touch input is determined to be a touch input by the touch pen by the touch input signal sensing unit 12, thereby providing the pressure of the touch input. , and a touch input signal is received.
  • the touch input input through the finger touch input unit 13 and the pen touch input unit 14 is a signal corresponding to the type of touch determined in advance by the touch input signal sensing unit 12, for example, a touch input signal.
  • the touch input input to the touch sensor 11 by the sensing unit 12 is a user's finger
  • the touch input is performed through the finger touch input unit 13, and in the case of a touch pen, the pen touch input unit 14 to make a touch input.
  • an input signal is generated by sensing the location of the touch input area, increase/decrease of area, and coordinate movement.
  • a touch input signal is generated by sensing the position, increase/decrease in pressure, and coordinate movement.
  • the touch input signal generated according to the type of touch input is managed through the touch input management unit 15, and various touch input signals managed by the touch input management unit 15 are converted to the type of touch input by a multiplexer (multiplexer). And the form is divided and output and transmitted to the controller 20 .
  • the multiplexer selectively outputs one signal from among a plurality of input signals.
  • the user wants to input from among various touch input signals such as the type of touch input managed by the touch input management unit 15, strength and weakness, and coordinate movement. Touch input is selected.
  • the output signal is transmitted to the controller 20 to generate a vibration frequency corresponding to the touch input.
  • the controller 20 converts the touch input input to the touch input management unit 15 to within a sensible frequency band of 20 to 450 Hz to generate a vibration frequency.
  • the controller 20 includes a processor 21, It is composed of an output calculation unit 22 , a filtering unit 23 , and a memory 24 .
  • the processor 21 selectively outputs and transmits a touch input managed by the touch input management unit 15 by a multiplexer, and converts the output touch input into a vibration frequency.
  • the processor 21 is provided with an output calculation unit 22 that converts the output touch input into a vibration frequency and outputs it, and the output calculation unit 22 converts the touch input signal into a sensible frequency band of 20 to 450 Hz and is proportional. By converting it into an adaptive system, it is possible to provide a tactile feedback according to the touch input to the user.
  • the output calculator 22 generates an output signal by a preset conversion program so that the vibration frequency corresponding to the touch input signal such as area and pressure, position, area and pressure increase, decrease, and coordinate movement of the touch input is output. do.
  • the output calculator 22 can be programmed in a look-up table method.
  • the lookup table refers to a matching table for shortening the processing time according to data conversion by storing information on specific values input to quickly convert specific data into other types of data and corresponding values for converting them in table form in advance. .
  • conversion programming can be configured using a look-up table so that a touch input signal is converted to a vibration frequency corresponding thereto, thereby shortening the processing time for converting a touch input signal to a vibration frequency, thereby providing real-time tactile feedback.
  • a filtering unit for determining a touch input satisfying a preset effective touch input among the input touch input signals. (23) is constructed.
  • the filtering unit 23 selectively determines valid touch inputs from among the touch inputs input to the touch input management unit 15 and selects only valid touch inputs, excluding invalid touch inputs, and converts them into vibration frequencies.
  • the filtering unit 23 compares the set value range of the effective touch input stored in advance in the memory 24 and excludes the touch input out of the range from the valid touch input.
  • the touch area due to resistance or capacitance and the touch pressure due to pressure exceed the maximum threshold preset in the memory. If you do, it is not recognized as a valid touch input.
  • the touch input is judged as a touch input due to the user's carelessness and is excluded from the valid touch input.
  • the initial touch area does not reach the minimum threshold, it is recognized as a touch input by the touch pen rather than the user's finger. It is excluded from valid touch input.
  • a pinch gesture when a plurality of touch input signals, such as two or three fingers, are simultaneously input, they are divided according to the number of touch input signals and converted to output a vibration frequency.
  • the touch area or touch pressure is recognized as a set maximum value and a vibration frequency can be generated, so that a tactile feedback that does not match the user's intention can be provided.
  • the touch area or the sensed value of the touch input is converted to the number of touch input signals without adding up all of their touch areas or touch pressures and converting them into vibration frequencies. After conversion, it is converted into vibration frequency.
  • the touch input in which the touch signal input at the time of the first touch of the touch input exceeds the minimum and maximum thresholds, is filtered by the filtering unit 23 to be converted into a vibration frequency so as not to be provided.
  • 3 to 4 show changes in the amount of vibration provided through the vibration frequency converted by the area position, area increase, decrease, and coordinate movement of the touch input input through the finger touch input unit 13 of the present invention.
  • the finger touch input unit 13 receives the area value of the touch input and converts it into a vibration frequency through it, and as shown in FIG. 3 , after recognizing the coordinates when the first touch input is generated, as the area of the touch input increases, the feedback is returned. Power is also increased.
  • the vibration force can also provide tactile feedback according to the increase in area value and movement of the coordinates of the touch input in response thereto.
  • 5 to 6 show changes in the amount of vibration provided through the vibration frequency converted by the pressure position, pressure increase, decrease, and coordinate movement of the touch input input through the pen touch input unit 14 of the present invention.
  • the pen touch input unit 14 receives the pressure value of the touch input and converts it to a vibration frequency through it, and as shown in FIG. 5 , after recognizing the coordinates when the first touch input is generated, the input is fed back as the pressure of the touch input increases. Power is also increased.
  • the vibration force is also linked to the increase and movement of the pressure value of the touch input to provide tactile feedback.
  • the touch input signal input by the touch area and the touch pressure is converted into a vibration frequency in the 20-450 Hz band, which is the sensible frequency that the skin of the person feels most sensitive through the output calculation unit 22.
  • the converted vibration frequency is amplified through the amplifying unit 30 to provide a sense of vibration to the user.
  • the electroactive transducer 50 vibrates less at low frequencies, so the amount of vibration is small and the sense of vibration is weakened, and at high frequencies it vibrates too quickly. As this becomes narrower, an unbalance phenomenon occurs in which the sense of vibration decreases.
  • the amplification unit 30 of the present invention strengthens the amplification and strengthens the amplification because the skin feels the vibration weaker as it goes down from 200 Hz, which is the midpoint of the perceived frequency band of 20 to 450 Hz, to 20 Hz. As the band goes up, the amplification gradually increases.
  • the output signal whose amplification is adjusted for each converted vibration frequency is transmitted to the electroactive converter 50 through the driving circuit 40 to provide the user with a sense of touch suitable for the amplified frequency, at this time, the electroactive converter 50 can be installed with a wide band adjusted to vibrate according to the perceived band.
  • the driving circuit 40 controls a vibration frequency suitable for a touch input signal, and provides the vibration frequency to the electroactive transducer 50 providing tactile feedback.
  • the electroactive transducer 50 generates a physical tactile sense by the vibration frequency provided from the driving circuit 40, and the present invention provides realistic and real-time tactile feedback corresponding to a touch input.
  • a vibration motor used as a conventional vibration generator cannot reproduce a wide range of frequencies, and in the case of a general vibration motor, the maximum vibration is generated only at a certain frequency, but the bandwidth is narrow and only a simple alarm function is provided.
  • the electroactive transducer 50 may be an actuator, and in addition to this, a linear resonant actuator (LRA), a stepper motor, a solenoid motor, etc. may be used.
  • LRA linear resonant actuator
  • a stepper motor a stepper motor
  • a solenoid motor a solenoid motor
  • the response time for the human tactile nerve to feel the sense of simultaneity should be within 10 ms, so it is better to selectively use an actuator suitable for it.
  • the electroactive transducer 50 may be an EAP actuator using an electroactive polymer (EAP), or a piezoelectric actuator using a piezoelectric element.
  • EAP electroactive polymer
  • piezoelectric actuator using a piezoelectric element.
  • the electroactive transducer 50 should provide a wide sensation in the range of 20 to 450 Hz, which is the frequency at which the human body most sensitively senses tactile sense, and the controller 20 processes the touch input signal and transmits it through the driving circuit 40 . Even if the electroactive transducer 50 fails to generate a sense of vibration that matches the received vibration frequency, it is impossible to deliver realistic various tactile sensations to the user.
  • a piezo actuator having a response speed of 5 ms or less and a wide resonant frequency band is configured to generate an immediate and realistic tactile signal.
  • a first touch input is sensed in a state in which a touch input input through the touch panel is detected, it is determined whether the input touch input is a finger touch by a user's finger or a pen touch by a touch pen.
  • the touch input When the touch input is generated, it is determined whether the touch input is a finger touch input or a pen touch input by using an area value and a pressure value sensed by the touch panel.
  • a circuit inside the pen when activated and a signal is sent to the touch panel, it is recognized as a pen touch, and when there is no signal, it is recognized as a finger touch.
  • the area of the touch input sensed according to the change in resistance and capacitance of the touch panel exceeds the set minimum threshold, it is judged as a finger touch input. If it does not reach the minimum threshold, it is judged as a pen touch input. If not, it waits for touch input again.
  • the touch input is determined as a finger touch input
  • the user's finger touch area value sensed on the touch panel is sensed as an input signal
  • the touch input is determined as the pen touch input
  • the pressure value sensed by the touch pen is touched. Detect as an input signal.
  • the touch input signal corresponds to a preset effective touch input range, and when the initial touch input does not reach the minimum threshold or exceeds the maximum threshold, it is determined as an erroneous touch input and an input signal is not generated.
  • each touch input signal area value or pressure value
  • the increase/decrease data of the touch input is acquired.
  • the coordinate movement of the touch input is searched for, and when the coordinate movement of the touch input is detected, the movement data of the touch input is acquired.
  • area touch input information such as the location, touch area increase, and coordinate movement by the touch input is sensed as an input signal
  • touch input is determined as a pen touch input
  • the pressure touch input information such as the position sensed by the touch pen, increase and decrease of touch pressure, and coordinate movement are sensed as input signals.
  • the method of determining whether a valid touch input is a valid touch input is to set a preset effective touch input range and compare the input with the inputted touch input, so that a touch input that exceeds the set valid touch input range is determined as an incorrect input signal and excluded from the input signal. do.
  • the preset effective touch input range sets the minimum or maximum touch area, and the minimum or maximum touch pressure.
  • the range is excluded from the touch input, and the touch input outside the above range is excluded during the touch input.
  • the input signal is generated only within the range limit.
  • the input touch input signal is converted into an optimal tangible band vibration frequency to provide a tactile feedback corresponding to the touch input.
  • the converted vibration frequency is converted into a vibration frequency in the 20-450 Hz band, which is the sensible frequency that human skin is most sensitive to. is converted to an oscillation frequency.
  • the converted vibration frequency adjusts the amplification for each frequency in order to provide the user with an optimal sense of vibration, and transmits the vibration frequency whose amplification is adjusted for each frequency to the electroactive transducer 50 through the driving circuit 40 to transmit the touch input. Corresponding tactile feedback is provided to the user.
  • the present invention can be used for touch screen mobile (Touch screen mibile) such as smartphones, tablet PCs, remote controls, all game devices equipped with touch screens or touch panels, VR/AR devices, etc., and various game machines including console game controllers It can be used for touch-type panels of all electronic equipment, such as touch-sensitive TVs, touch-sensitive screens integrated in electronic devices (eg ATMs, kiosks, including switches of household appliances).
  • touch screen mobile Touch screen mibile
  • touch screen mibile such as smartphones, tablet PCs, remote controls, all game devices equipped with touch screens or touch panels, VR/AR devices, etc.
  • various game machines including console game controllers
  • touch-type panels of all electronic equipment such as touch-sensitive TVs, touch-sensitive screens integrated in electronic devices (eg ATMs, kiosks, including switches of household appliances).
  • the touch panel of a medical device the touch panel of various robots, a touch panel embedded in a transportation means such as a vehicle, a ship, a train, an aircraft, etc. It can provide a sense of confirming the input execution as a variable vibration.

Abstract

본 발명은 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템에 있어서, 접촉감지식 입력장치를 통해 입력되는 신호를 사용자에게 촉각효과로 피드백하여 제공함으로써 터치패널의 입력시 접촉면적이나 압력 변화 등을 감지하고 사용자에게 신호입력에 맞는 실시간 촉각피드백을 제공할 수 있으며, 촉각피드백 제공시 체감주파수 대역 내에서 진동신호를 생성함에 따라 터치패널의 신호입력시 동시감과 사실감을 느낄 수 있는 터치감각을 제공할 수 있는 효과가 있다.

Description

접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법
본 발명은 접촉감지식 입력장치를 통해 입력되는 신호를 사용자에게 촉각효과로 피드백하여 제공되도록 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법에 관한 것이다.
일반적으로 휴대폰, 개인정보단말기(PDA), 노트북, 게임기, 내비게이션 등의 기기에서는 데이터 입력장치를 사용하여 원하는 기능을 선택하고, 입력하게 된다.
특히, 데이터 입력 장치는 키를 손가락 등으로 눌러 해당 데이터를 입력하는 키패드 방식(키보드 포함)과 접촉면을 가볍게 접촉함으로써 해당 데이터를 인식하는 터치패드 또는 터치패널과 같은 접촉식 입력장치로 대별된다.
접촉식 입력장치의 입력방법으로 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등이 있다.
이 중 저항막 방식은 화면을 눌렀을 때 전류 및 저항의 변화를 센서가 감지하여 위치를 결정하는 것이며, 정전용량 방식은 액정에 전도성 화합물을 코팅하여 전류를 지속적으로 흐르게 하고 가장자리에 센서를 설치하여 손가락이 닿으면 전자가 접촉 지점으로 이동하는 것을 감지해 위치를 검출하는 것이다.
이러한 접촉식 입력장치는 사람의 손가락으로 터치를 하거나 터치펜을 이용하게 되며, 이중 터치펜의 종류로는 감압식, 정전식, 전자기 공명식, 능동전기식 등이 있다.
능동전기식(AES, Active Electrostatic Style)은 자체전원이 있는 터치펜을 이용하여 기존의 정전식 터치패널에 사용하는 방법이고, 전자기 공명식(EMR, Electro Magnetic Resonance)은 패널과 펜의 자기장 공명에 의한 방법이고, 감압식은 압력차이를 인식하여 작동하는 것이고, 정전식은 정전용량의 변화를 이용하여 감지하는 방법이다.
최근에는 상기 방법들에 의해 접촉식 입력장치의 신호입력이 이루어지는 경우 사용자에게 입력신호에 따른 촉각피드백을 제공하고 있다.
종래의 촉각피드백으로는 압력센서의 입력신호에 따라 진동을 2~3단계의 단순진동만을 제공하는 형태이거나 진동효과를 제공하기 위해 상황별로 미리 제작된 진동패턴을 메모리에 저장시킨 후 필요시마다 저장된 진동패턴을 사용자에게 제공하는 형태이며, 이는 미리 설정되거나 단발의 일정한 진동만 제공될 뿐이다.
이 역시 진동모터의 반응속도가 느려 사용자가 터치입력과 동시에 촉각 피드백을 제공받기에는 부족해 동시감을 느낄 수 없는 문제가 있다.
따라서 본 발명의 목적은 터치패널의 입력시 접촉면적이나 압력 변화 등을 감지하여 사용자에게 신호입력에 맞는 촉각피드백을 제공할 수 있는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법을 제공하는데에 있다.
상기의 목적에 따른 본 발명은 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템에 있어서, 터치입력의 신호발생을 감지하는 터치감지부(10)가 구성되되, 상기 터치감지부(10)는 사용자의 손가락이나 펜의 터치입력을 감지하는 터치감지센서(11)와, 상기 터치감지센서(11)에 감지된 정전량과 압력값을 이용하여 터치입력의 종류를 확인하는 터치입력신호감지부(12)와, 상기 터치입력신호감지부(12)에 의해 터치입력이 사용자의 손가락에 의한 터치입력임을 판단하여 터치입력신호를 입력받는 핑거터치입력부(13)와, 상기 터치입력신호감지부(12)에 의해 터치입력이 터치펜에 의한 터치입력임을 판단하여 터치입력 신호를 입력받는 펜터치입력부(14)와, 상기 핑거터치입력부(13)와 펜터치입력부(14)에 의해 입력되는 터치입력의 강약, 좌표이동, 면적증감과 같은 터치입력의 변화값을 관리하는 터치입력관리부(15)와, 상기 터치입력관리부(15)에 입력된 터치입력신호 중 유효한 터치입력을 선별하여 체감주파수 대역인 20~450㎐ 이내로 변환하여 진동주파수를 생성하는 제어기(20)와, 생성된 진동주파수를 제어하는 구동회로(40)와, 상기 제어기(20)의 진동주파수를 구동회로(40)를 통해 전달받아 촉각피드백을 제공하는 전기활성변환기(50)로 구성됨을 특징으로 한다.
본 발명은 터치패널의 입력시 접촉면적이나 압력 변화 등을 감지하고 사용자에게 신호입력에 맞는 실시간 촉각피드백을 제공할 수 있으며, 촉각피드백 제공시 체감주파수 대역 내에서 진동신호를 생성함에 따라 터치패널의 신호입력시 동시감과 사실감을 느낄 수 있는 터치감각을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템을 설명하는 블록도,
도 2는 본 발명의 실시 예에 따른 제어기의 상세구성도,
도면 3 내지 도 4는 본 발명의 핑거터치입력부에 의한 터치면적 및 면적증감에 따른 진동력 변화를 설명하는 도면,
도 5 내지 도 6은 본 발명의 펜터치입력부에 의한 터치압력 및 압력증감에 따른 진동량 변화를 설명하는 도면,
도 7은 본 발명의 실시 예에 따른 증폭부에 의해 주파수별로 증폭하는 방식을 설명하는 도면,
도 8은 본 발명의 실시 예에 따른 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법을 설명하는 흐름도이다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템의 전체구성을 나타내는 블록도이다.
본 발명은 터치입력의 신호발생을 감지하는 터치감지부(10)가 구성되되, 상기 터치감지부(10)는 사용자의 손가락이나 펜의 터치입력을 감지하는 터치감지센서(11)와, 상기 터치감지센서(11)에 감지된 정전량과 압력값을 이용하여 터치입력의 종류를 확인하는 터치입력신호감지부(12)와, 상기 터치입력신호감지부(12)에 의해 터치입력이 사용자의 손가락에 의한 터치입력임을 판단하여 터치입력신호를 입력받는 핑거터치입력부(13)와, 상기 터치입력신호감지부(12)에 의해 터치입력이 터치펜에 의한 터치입력임을 판단하여 터치입력 신호를 입력받는 펜터치입력부(14)와, 상기 핑거터치입력부(13)와 펜터치입력부(14)에 의해 입력되는 터치입력의 강약, 좌표이동, 면적증감과 같은 터치입력의 변화값을 관리하는 터치입력관리부(15)와, 상기 터치입력관리부(15)에 입력된 터치입력신호 중 유효한 터치입력을 선별하여 체감주파수 대역인 20~450㎐ 이내로 변환하여 진동주파수를 생성하는 제어기(20)와, 생성된 진동주파수를 제어하는 구동회로(40)와, 상기 제어기(20)의 진동주파수를 구동회로(40)를 통해 전달받아 촉각피드백을 제공하는 전기활성변환기(50)로 구성된다.
상기 터치감지센서(11)는 사용자의 손가락이나 펜 등에 의한 터치입력을 센서에 의해 감지하고 정전량과 압력 등을 이용해 터치입력의 위치, 면적, 압력, 속도 등을 감지한다.
터치패널에 터치입력이 발생했는지를 감지하기 위하여 터치패널에 터치입력이 발생하지 않을 때에는 High값을 유지하다가 터치입력이 발생될 경우 Low값을 출력하도록 하며, 그 반대로 구현할 수도 있다.
터치입력의 위치는 매트릭스(matrix) 형태의 센서 등으로 터치패널을 터치한 위치를 확인하고, 면적은 정전용량이나 저항값의 변화를 통해 터치량을 감지하며, 압력은 펜의 압력센서를 이용하거나 터치감응식 터치패널을 이용하여 확인하게 된다.
또한, 상기 터치감지센서(11)는 외부의 접촉이 발생되는 경우 터치의 종류와 터치의 강약, 터치의 이동을 감지하게 된다.
상기 터치입력신호감지부(12)는 터치감지센서(11)를 통해 입력되는 터치입력의 종류를 판단하게 되며, 본 발명에서는 터치입력이 사용자의 손가락에 의한 터치입력인지 터치펜에 의한 터치입력인지를 확인하게 된다.
이를 위해 터치입력신호감지부(12)에서는 터치감지센서(11)에 의한 터치입력신호를 전달받게 되며, 이때 터치입력의 면적값을 제공받아 이를 통해 터치입력의 종류를 판단한다.
제공받은 터치입력의 면적값이 미리 설정된 최소 임계치에 미치지 못하면 이는 터치펜에 의한 터치입력임을 인식하게 되고, 미리 설정된 최소 임계치를 초과하는 터치입력의 면적값이 확인되면 사람의 손가락에 의한 터치입력으로 인식하게 된다.
본 발명의 다른 실시 예로서 터치입력의 종류를 구분함에 있어 터치패널의 면적값과 함께 압력값을 이용하여 터치입력의 종류를 구분할 수 있다.
터치패널로부터 터치입력신호를 수신한 후 수신된 압력값이 미리 설정된 임계치에 미치지 못하면 이는 사용자의 손가락에 의한 터치입력임을 인식하게 되고, 미리 설정된 임계치를 초과하게 되면 이는 터치펜에 의한 터치입력임을 인식하게 된다.
즉, 터치입력이 설정된 면적을 초과하거나 압력에 미달하는 경우 사용자의 손가락에 의한 터치입력으로 판단하고, 터치입력이 설정된 면적에 미달하거나 압력을 초과하는 경우 터치펜에 의한 터치입력으로 판단하게 된다.
또한, 터치펜에 내장된 센서가 터치패널과 자기공명하면 바로 펜터치로 인식하게 된다.
상기에서와 같이 터치패널의 터치입력을 사용자의 손가락에 의한 터치입력과 터치펜에 의한 터치입력으로 구분하여 인식하는 것은 후술하는 진동주파수의 변환시 입력되는 터치입력을 면적값으로 계산할 것인지, 압력값으로 계산할 것인지를 구분하기 위함이다.
사용자의 손가락에 의한 터치입력시에는 터치면적을 기준으로 진동주파수로 변환하게 되며, 터치펜에 의한 터치입력시에는 터치압력을 기준으로 진동주파수로 변환하게 된다.
상기 핑거터치입력부(13)는 터치입력신호감지부(12)에 의해 터치입력이 사용자의 손가락에 의한 터치입력으로 판단된 경우 접촉면적의 저항값이나 정전용량의 크기에 따른 신호를 생성하여 터치입력의 면적을 감지함으로써 터치입력신호로 입력받는다.
상기 펜터치입력부(14)는 터치입력신호감지부(12)에 의해 터치입력이 터치펜에 의한 터치입력으로 판단된 경우 터치펜이 감지하는 센서의 압력차이로 인한 신호를 생성함으로써 터치입력의 압력을 감지하여 터치입력신호를 입력받게 된다.
핑거터치입력부(13)와 펜터치입력부(14)를 통해 입력되는 터치입력은 터치입력신호감지부(12)에 의해 미리 판단된 터치의 종류에 맞는 신호가 입력되는 것이며, 예를 들어 터치입력신호감지부(12)에 의해 터치감지센서(11)에 입력되는 터치입력이 사용자의 손가락인 경우에는 핑거터치입력부(13)를 통해 터치입력이 이루어지고, 터치펜인 경우에는 펜터치입력부(14)를 통해 터치입력이 이루어지도록 한다.
핑거터치입력부(13)를 통한 터치입력시에는 터치입력 면적의 위치, 면적의 증감 및 좌표이동을 감지하여 입력신호를 생성하게 되고, 펜터치입력부(14)를 통한 터치입력시에는 터치입력 압력의 위치, 압력의 증감 및 좌표이동을 감지하여 터치입력신호를 생성하게 된다.
터치입력의 종류에 따라 생성된 터치입력신호는 터치입력관리부(15)를 통해 관리되며, 터치입력관리부(15)에서 관리되는 다양한 터치입력신호를 멀티플렉서(Multiplexer, 다중화장치)에 의해 터치입력의 종류 및 형태를 구분하여 출력하여 제어기(20)로 전송된다.
멀티플렉서는 여러개의 입력신호 중에서 하나의 신호를 선택적으로 출력하는 것으로, 본 발명에서는 터치입력관리부(15)에서 관리되는 터치입력의 종류, 강약, 좌표이동과 같은 다양한 터치입력신호 중에서 사용자가 입력하고자 하는 터치입력을 선택하게 된다.
출력되는 신호는 제어기(20)로 전달되어 터치입력에 대응하는 진동주파수를 생성한다.
상기 제어기(20)는 터치입력관리부(15)에 입력된 터치입력를 체감주파수 대역인 20~450㎐ 이내로 변환하여 진동주파수를 생성하는 것으로, 도 2를 참조하면 제어기(20)는 처리기(21), 출력계산부(22), 필터링부(23), 메모리(24)로 구성된다.
상기 처리기(21)는 터치입력관리부(15)에서 관리되는 터치입력이 멀티플렉서에 의해 선택적으로 출력되어 전달되며, 출력되는 터치입력을 진동주파수로 변환하게 된다.
처리기(21)에는 출력되는 터치입력을 진동주파수로 변환하여 출력하는 출력계산부(22)가 설치되며, 출력계산부(22)는 터치입력 신호를 체감주파수 대역인 20~450㎐로 환산하여 비례적으로 변환함으로써 터치입력에 따른 촉각피드백을 사용자에게 제공할 수 있도록 한다.
이는 사용자로부터 터치입력신호를 입력받을 때 사용자 의도에 맞는 촉각피드백을 제공하기 위해 설정된 수치정보에 기초하여 터치입력을 진동신호로 비례적으로 변환시키는 것이다.
즉, 출력계산부(22)는 터치입력의 면적과 압력, 위치, 면적과 압력의 증감 및 좌표이동과 같은 터치입력신호에 대응되는 진동주파수가 출력되도록 미리 설정된 변환프로그램에 의해 출력신호를 생성하게 된다.
상기 출력계산부(22)의 일 실시 예로서 룩업테이블(Look Up Table) 방식으로 프로그래밍할 수 있다.
룩업테이블은 특정테이터를 다른 형태의 데이터로 빠르게 변환시키기 위해 입력되는 특정값과 이를 변환시키기 위한 대응값에 대한 정보를 미리 표형태로 저장함으로써 데이터 변환에 따른 처리시간을 단축시키기 위한 매칭표를 말한다.
본 발명에서는 터치입력신호가 이에 대응하는 진동주파수로 변환되도록 룩업테이블을 이용하여 변환 프로그래밍을 구성할 수 있으며, 이로 인해 터치입력신호를 진동주파수로 변환되는 처리시간을 단축할 수 있어 실시간 촉각피드백을 제공할 수 있게 된다.
이때, 터치입력관리부(15)에 입력된 터치입력신호 중에서 유효한 터치입력만을 진동주파수로 변환하여야 하며, 이를 위해 입력되는 터치입력신호 중 미리 설정된 유효 터치입력에 만족하는 터치입력을 판단하기 위한 필터링부(23)가 구성된다.
상기 필터링부(23)는 터치입력관리부(15)에 입력되는 터치입력 중에서 유효한 터치입력을 선별적으로 판단하여 유효하지 않은 터치입력은 제외하고 유효한 터치입력만을 선별하여 진동주파수로 변환되도록 한다.
필터링부(23)는 메모리(24)에 미리 저장된 유효 터치입력의 설정값 범위와 비교하여 이를 벗어난 터치입력은 유효한 터치입력에서 제외시키게 된다.
메모리(24)에 설정되는 유효한 터치입력 설정값은 유효한 터치입력임을 판단하기 위한 다양한 기준값이 저장된다.
예를 들어, 사용자가 터치패널에 일반적인 탭, 프레스, 드래그, 핀치 등과 같은 터치제스처를 입력할 때 1차로 저항이나 정전용량에 의한 터치면적과 압력에 의한 터치압력이 메모리에 미리 설정된 최대 임계치를 초과하게 되면 이는 유효한 터치입력으로 인식하지 않도록 한다.
터치면적과 터치압력이 메모리(24)에 미리 설정된 최소 임계치에 미치지 못하거나 최초 접촉의 이동속도가 최고 임계치를 초과하면 사용자의 부주의에 의한 터치입력으로 판단하여 유효한 터치입력에서 제외시키게 된다.
이때, 최초 터치면적이 최소 임계치에 미치지 못하게 되면 사용자의 손가락이 아닌 터치펜에 의한 터치입력으로 인식하게 되며, 최초 터치입력 시 터치압력이 최대 임계치를 초과하는 경우에는 잘못된 터치펜의 사용임을 확인하여 유효한 터치입력에서 제외시키게 된다.
핀치 제스처(pinch gesture)의 경우에는 두손가락, 세손가락 등 복수개의 터치입력신호가 동시에 입력되면 이를 터치입력신호의 개수에 따라 나누어 환산하여 진동주파수를 출력한다.
복수개의 터치입력신호로 인식되는 경우 터치면적이나 터치압력이 설정된 최대치로 인식되어 진동주파수가 생성될 수 있음에 따라 사용자의 의도와 맞지 않는 촉각피드백이 제공될 수 있다.
본 발명에서는 터치패널에 서로 다른 좌표에서 복수개의 터치입력신호가 인식되면 이들의 터치면적이나 터치압력을 모두 합산하여 진동주파수로 변환하지 않고 터치면적이나 터치입력의 센싱값을 터치입력신호의 개수로 나누어 환산한 후 이를 진동주파수로 변환하게 된다.
한편, 최초 터치입력이 최소, 최대 임계치를 벗어난 상태에서 연속적인 터치입력이 발생되는 경우 연속적인 터치입력이 임계치 내로 진입하게 되면 이는 유효한 터치입력으로 인식하여 진동주파수를 생성하도록 한다.
앞서 설명한 바와 같이 터치입력의 최초 접촉시에 입력되는 터치신호가 최소, 최대 임계치를 벗어나는 터치입력은 필터링부(23)에 의해 필터링되어 진동주파수로 변환되어 제공되지 않도록 한다.
최초 유효한 터치입력이 발생된 후 연속하여 터치입력이 발생되는 경우에는 연속적으로 입력되는 터치신호가 메모리(24)에 미리 설정된 최소, 최대 임계치를 벗어나게 되면 최소, 최대 임계치를 벗어나는 터치면적과 터치압력은 필터링되어 제거됨으로써 최소, 최대 범위 이내의 유효한 터치입력만 입력된다.
도 3 내지 도 4는 본 발명의 핑거터치입력부(13)를 통해 입력되는 터치입력의 면적위치, 면적증감 및 좌표이동에 의해 변환된 진동주파수를 통해 제공되는 진동량의 변화를 나타낸다.
핑거터치입력부(13)는 터치입력의 면적값을 입력받아 이를 통해 진동주파수로 변환되도록 하며, 도 3에서와 같이 최초 터치입력의 발생시 좌표를 인식한 후 터치입력의 면적이 증가함에 따라 피드백되는 진동력도 증가되도록 한다.
또한, 도 4에서와 같이 최초 터치입력 후 면적의 증감과 좌표이동의 발생이 감지되면 그에 대응하여 진동력 역시 터치입력의 면적값의 증감과 좌표의 이동에 맞게 촉각피드백이 제공될 수 있도록 한다.
도 5 내지 도 6은 본 발명의 펜터치입력부(14)를 통해 입력되는 터치입력의 압력위치, 압력증감 및 좌표이동에 의해 변환된 진동주파수를 통해 제공되는 진동량의 변화를 나타낸다.
펜터치입력부(14)는 터치입력의 압력값을 입력받아 이를 통해 진동주파수로 변환되도록 하며, 도 5에서와 같이 최초 터치입력의 발생시 좌표를 인식한 후 터치입력의 압력이 증가함에 따라 피드백되는 진동력도 증가되도록 한다.
또한, 도 6에서와 같이 최초 터치입력 후 압력의 증감과 좌표이동의 발생이 감지되면 그에 대응하여 진동력 역시 터치입력의 압력값의 증감과 좌표의 이동에 연동하여 촉각피드백이 제공될 수 있도록 한다.
본 발명에서는 상기에서와 같이 터치면적과 터치압력에 의해 입력되는 터치입력신호를 출력계산부(22)를 통해 사람의 피부가 가장 민감하게 느끼는 체감주파수인 20~450㎐ 대역의 진동주파수로 변환하게 되며, 변환된 진동주파수는 증폭부(30)를 통해 증폭되어 사용자에게 진동감각을 제공하게 된다.
단순하게 체감대역으로 변조된 진동주파수를 전기활성변환기(50)에 전달만 하면 전기활성변환기(50)는 낮은 주파수에서는 적게 진동하기 때문에 진동량이 작아 진동감각이 약해지고 높은 주파수에서는 너무 빠르게 진동하게 되어 진동폭이 좁아지므로 진동체감이 하락하는 언밸런스 현상이 발생하게 된다.
도 7을 참고하면, 본 발명의 증폭부(30)는 체감 주파수대역인 20~450㎐의 중간점인 200㎐에서 20㎐로 내려갈수록 피부가 진동을 약하게 느끼므로 증폭을 강화시키고 200~300㎐ 대역은 위로 갈수록 증폭을 서서히 증가시키게 된다.
300~450㎐까지는 진동이 빨라짐에 따라 진동의 횟수는 늘어나지만 피부가 진동을 느끼는 체감도는 떨어지므로 피부의 진동 체감도 상승 또는 유지를 위해 200~300㎐ 대역의 증폭률 범위 내에서 주파수별로 증폭을 조절하게 된다.
변환된 진동주파수별로 증폭이 조정된 출력신호는 구동회로(40)를 통해 전기활성변환기(50)에 전달되어 증폭된 주파수에 맞는 터치감각을 사용자에게 제공하게 되며, 이때, 전기활성변환기(50)는 체감대역에 맞게 진동하도록 광대역으로 조정되어 설치될 수 있다.
다시 도 1을 참조하면, 상기 구동회로(40)는 터치입력신호에 맞는 진동주파수를 제어하며, 촉각피드백을 제공하는 전기활성변환기(50)에 진동주파수를 제공한다.
상기 전기활성변환기(50)는 구동회로(40)로부터 제공된 진동주파수에 의해 물리적 촉각을 생성하게 되며, 본 발명에서는 터치입력에 대응하는 사실적이고 실시간 촉각피드백을 제공하게 된다.
종래의 진동발생장치로 사용되는 진동모터는 넓은 대역의 주파수를 재생할 수 없는 것이며, 일반적인 진동모터의 경우 일정주파수에서만 최대진동을 발생하게 되는데 그 대역폭(Bandwidth)이 좁아 단순한 알람기능만을 제공하는 것이다.
본 발명에서는 20~450㎐의 광대역을 모두 커버하는 가변성이 충족되는 전기활성변환기(50)를 구성함으로써 종래의 진동모터보다 훨씬 다양한 촉각피드백을 제공할 수 있는 것이다.
본 발명의 일 실시 예로서 전기활성변환기(50)는 엑추에이터(Actuator)일 수 있으며, 이 외에도 LRA(Linear Resonant actuator), 스테퍼 모터(Stepper motor), 솔레노이드 모터(Solenoid motor) 등이 사용될 수 있다.
본 발명에서는 입력되는 터치입력신호에 대응하는 촉각신호를 사용자에게 전달하기 위한 것임에 따라 넓은 공진대역을 가짐과 함께 빠른 응답속도(Response time)를 갖는 엑추에이터를 사용하여야 한다.
사람의 촉각 신경이 동시감을 느끼는 시간은 응답속도가 10ms이내여야 함에 따라 이에 맞는 엑추에이터를 선택적으로 사용하는 것이 좋다.
본 발명의 바람직한 실시 예로서 전기활성변환기(50)는 전기활성고분자(Electric Active Polymer, EAP)를 이용한 EAP 엑추에이터, 압전소자를 이용한 피에조 엑추에이터(Piezoelectric Actuator)일 수 있다.
전기활성변환기(50)는 인체가 가장 민감하게 촉각을 느끼게 되는 주파수인 20~450㎐ 대역의 감각을 넓게 제공하여야 하며, 제어기(20)가 터치입력신호를 처리하여 구동회로(40)를 통해 전달한다 해도 전기활성변환기(50)가 수신한 진동주파수에 맞는 진동감각을 발생시키지 못하게 되면 사실감있는 다양한 촉각을 사용자에게 전달하지 못하게 된다.
이를 위해 본 발명에서는 응답속도가 5ms 이내이고 넓은 공진 주파수 대역을 갖는 피에조 엑추에이터를 구성하여 즉각적이고 사실감있는 촉각신호를 발생시킬 수 있도록 한다.
이하에서는 도 8을 참조하여 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법을 설명한다.
먼저 터치패널을 통해 입력되는 터치입력이 감지되기를 대기한 상태에서 최초 터치입력이 감지되면 입력되는 터치입력이 사용자의 손가락에 의한 핑거터치인지 터치펜에 의한 펜터치인지를 판단한다.
터치입력의 발생시 터치패널에서 감지되는 면적값과 압력값을 이용하여 핑거터치입력인지 펜터치입력인지를 판단하게 된다.
또는, 먼저 펜내부의 회로가 활성화되어 터치패널에 신호를 보내면 펜터치로 인식하고 신호가 없는 경우에는 핑거터치로 인식하도록 할 수 있다.
터치패널의 저항값과 정전용량의 변화에 따라 감지되는 터치입력의 면적이 설정된 최소 임계치를 초과하게 되면 핑거터치입력으로 판단하고 최소 임계치에 미치지 못하면 펜터치입력으로 판단하며, 최초 터치입력신호가 유효하지 않은 경우에는 다시 터치입력을 대기한다.
최초 터치입력의 유효판단은 미리 설정된 터치면적과 터치압력의 최소 임계치에 미치지 못하거나 최대 임계치를 벗어나는 경우 잘못된 터치입력으로 판단하여 터치입력신호를 무시하고 다시 터치입력을 대기하도록 한다.
터치입력이 핑거터치입력으로 판단된 경우에는 터치패널에 감지되는 사용자의 핑거터치 면적값을 입력신호로 감지하며, 터치입력이 펜터치입력으로 판단된 경우에는 터치펜에 의해 감지되는 압력값을 터치입력신호로 감지한다.
이때 터치입력신호가 미리 설정된 유효 터치입력 범위에 해당하는 지를 판단하게 되며, 최초 터치입력이 최소 임계치에 미치지 못하거나 최대 임계치를 벗어나는 경우 잘못된 터치입력으로 판단하여 입력신호를 생성하지 않도록 한다.
터치입력이 핑거터치입력 또는 펜터치입력으로 판단되면 각각의 터치입력신호(면적값 또는 압력값)을 입력받게 되고, 최초의 터치입력신호를 입력받은 후 터치입력의 증감이 있는지를 탐색하여 터치입력의 증감이 감지되면 터치입력의 증감데이터를 획득한다.
이때, 터치입력의 증감이 감지되지 않는 경우에는 터치입력의 이동이 감지되는지를 판단한다.
터치입력의 증감데이터를 획득한 후 터치입력의 좌표이동을 탐색하여 터치입력의 좌표이동이 감지되면 터치입력의 이동데이터를 획득한다.
이때, 터치입력의 좌표이동이 감지되지 않는 경우에는 터치입력의 유효성을 판단한다.
터치입력의 면적이나 압력의 증감과 좌표이동이 순차적으로 감지된 후에는 입력되는 터치입력이 유효한 입력신호인지를 판단하게 된다.
즉, 터치입력이 핑거터치입력으로 판단된 경우에는 터치입력에 의한 위치, 터치면적의 증감과 좌표이동과 같은 면적 터치입력정보를 입력신호로 감지하며, 터치입력이 펜터치입력으로 판단된 경우에는 터치펜에 의해 감지되는 위치, 터치압력의 증감과 좌표이동과 같은 압력 터치입력정보를 입력신호로 감지한다.
유효한 터치입력인지를 판단하는 방법은 미리 설정된 유효 터치입력 범위를 설정한 후 입력되는 터치입력과 이를 비교하여 설정된 유효 터치입력범위를 벗어나는 터치입력은 잘못된 입력신호로 판단하여 입력신호에서 이를 제외시키도록 한다.
미리 설정된 유효 터치입력 범위는 최소 또는 최대 터치면적, 최소 또는 최대 터치압력을 설정하게 되며, 최초 터치입력시 상기 범위를 벗어나는 경우에는 터치입력에서 제외시키게 되고 터치입력 진행중에 상기 범위를 벗어나는 터치입력이 감지되면 범위 한도내에서만 입력신호가 생성되도록 한다.
유효한 터치입력을 선별적으로 판단한 후 터치입력에 대응하는 촉각피드백을 제공하기 위해 입력되는 터치입력신호를 최적의 체감대역 진동주파수로 변환한다.
변환되는 진동주파수는 사람의 피부가 가장 민감하게 느끼는 체감주파수인 20~450㎐ 대역의 진동주파수로 변환하게 되며, 터치입력의 입력신호에 대응하는 촉각피드백이 제공될 수 있도록 실시간으로 입력되는 터치입력을 진동주파수로 변환하게 된다.
변환된 진동주파수는 사용자에게 최적의 진동감각을 제공하기 위해 주파수별로 증폭을 조절하며, 주파수별로 증폭이 조절된 진동주파수를 구동회로(40)를 통해 전기활성변환기(50)에 전달하여 터치입력에 대응하는 촉각피드백을 사용자에게 제공하게 된다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위 및 그 특허청구범위와 균등한 것에 의해 정해 져야 한다.
본 발명은 스마트폰, 태블릿 PC, 리모컨, 터치스크린 또는 터치패널을 장착하는 모든 게임기기, VR/AR기기 등과 같은 터치스크린 모바일(Touch screen mibile)에 사용될 수 있으며, 콘솔 게임컨트롤러를 포괄하는 각종게임기기나 접촉감지식 TV, 전자기기 안에 통합설치된 터치감지식 스크린(예를 들면 ATM, 키오스크, 가정용 전자제품의 스위치를 포함)과 같은 모든 전자장비의 터치형 패널 등에 사용될 수 있다.
또한, 의료용 기기의 터치패널, 각종 로봇의 터치패널, 차량, 선박, 기차, 항공기와 같은 운송수단에 매립된 터치패널이나 화면, 핸들, 기어, 의자를 포함하는 수감장치들에 설치하여 사용자의 터치입력실행을 가변 진동으로 확인하는 감각을 제공할 수 있다.

Claims (11)

  1. 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템에 있어서,
    터치입력의 신호발생을 감지하는 터치감지부(10)가 구성되되,
    상기 터치감지부(10)는 사용자의 손가락이나 펜의 터치입력을 감지하는 터치감지센서(11)와,
    상기 터치감지센서(11)에 감지된 정전량과 압력값을 이용하여 터치입력의 종류를 확인하는 터치입력신호감지부(12)와,
    상기 터치입력신호감지부(12)에 의해 터치입력이 사용자의 손가락에 의한 터치입력임을 판단하여 터치입력신호를 입력받는 핑거터치입력부(13)와,
    상기 터치입력신호감지부(12)에 의해 터치입력이 터치펜에 의한 터치입력임을 판단하여 터치입력 신호를 입력받는 펜터치입력부(14)와,
    상기 핑거터치입력부(13)와 펜터치입력부(14)에 의해 입력되는 터치입력의 강약, 좌표이동, 면적증감과 같은 터치입력의 변화값을 관리하는 터치입력관리부(15)와,
    상기 터치입력관리부(15)에 입력된 터치입력신호 중 유효한 터치입력을 선별하여 체감주파수 대역인 20~450㎐ 이내로 변환하여 진동주파수를 생성하는 제어기(20)와,
    생성된 진동주파수를 제어하는 구동회로(40)와,
    상기 제어기(20)의 진동주파수를 구동회로(40)를 통해 전달받아 촉각피드백을 제공하는 전기활성변환기(50)로 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  2. 제1항에 있어서,
    제어기(20)는 터치입력관리부(15)에서 관리되는 터치입력이 멀티플렉서에 의해 선택적으로 출력되게 하여 출력되는 터치입력신호를 진동주파수로 변환시키는 처리기(21)가 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  3. 제1항에 있어서,
    제어기(20)는 터치입력의 면적과 압력, 위치, 면적과 압력의 증감 및 좌표이동과 같은 터치입력신호에 대응되는 진동주파수가 출력되도록 미리 설정된 변환프로그램에 의해 출력신호를 생성되게 하는 출력계산부(22)가 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  4. 제3항에 있어서,
    출력계산부(22)는 룩업테이블(Look Up Table)로 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  5. 제1항에 있어서,
    제어기(20)는 터치입력관리부(15)에 입력된 터치입력신호 중에서 유효한 터치입력만을 진동주파수로 변환하기 위해 터치입력관리부(15)에 입력되는 터치입력를 메모리(24)에 미리 저장된 유효 터치입력의 설정값 범위와 비교하여 유효한 터치입력을 선별적으로 판단하여 유효하지 못한 터치입력은 제외하고 유효한 터치입력만 입력신호로 생성되게 하는 필터링부(23)가 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  6. 제1항에 있어서,
    제어기(20)에 의해 생성된 진동주파수를 체감 주파수대역인 20~450㎐의 중간점인 200㎐에서 20㎐로 내려갈수록 피부가 진동을 약하게 느끼므로 증폭을 강화시키고 200~300㎐ 대역은 위로 갈수록 증폭을 서서히 증가시키도록 제어하는 증폭부(30)가 구성됨을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템.
  7. 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법에 있어서,
    터치패널을 통한 터치입력을 대기하는 단계,
    대기 상태에서 최초 터치입력이 감지되면 입력되는 터치입력이 핑거터치입력인지 펜터치입력인지를 판단하는 단계,
    터치입력이 핑거터치입력으로 판단된 경우에는 터치패널에 감지되는 사용자의 핑거터치 면적값을 터치입력신호로 감지하고, 터치입력이 펜터치입력으로 판단된 경우에는 터치펜에 의해 감지되는 압력값을 터치입력신호로 감지하는 단계,
    터치입력이 핑거터치입력 또는 펜터치입력으로 판단되면 터치입력신호을 입력받은 후 터치입력의 증감이 있는지를 탐색하는 단계,
    감지된 터치입력의 증감데이터를 획득하는 단계,
    터치입력의 증감을 감지한 후 터치입력의 좌표이동이 있는지를 탐색하는 단계,
    감지된 터치입력의 이동 데이터를 획득하는 단계,
    터치입력의 면적이나 압력의 증감과 좌표이동을 탐지한 후 입력되는 터치입력이 유효한 입력신호인지를 판단하는 단계,
    유효한 터치입력을 선별적으로 판단한 후 터치입력에 대응하는 촉각피드백을 제공하기 위해 입력되는 터치입력을 체감대역의 진동주파수로 변환하는 단계,
    변환된 진동주파수를 사용자에게 진동감각을 제공하기 위해 주파수별로 증폭률을 조절하는 단계,
    주파수별로 증폭이 조절된 진동주파수를 구동회로(40)를 통해 전기활성변환기(50)에 전달하여 터치입력에 대응하는 촉각피드백을 사용자에게 제공하는 단계로 이루어짐을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법.
  8. 제7항에 있어서,
    최초 터치입력을 판단하는 단계에서,
    터치패널의 저항값과 정전용량의 변화에 따라 감지되는 터치입력의 면적이 설정된 최소 임계치를 초과하게 되면 핑거터치입력으로 판단하고 최소 임계치에 미치지 못하면 펜터치입력으로 판단하는 단계를 포함하여 이루어짐을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법.
  9. 제7항에 있어서,
    최초 터치입력을 판단하는 단계에서,
    최초 터치입력이 미리 설정된 터치면적과 터치압력의 최소 임계치에 미치지 못하거나 최대 임계치를 벗어나는 경우 잘못된 터치입력으로 판단하여 최초 터치입력신호를 무시하고 다시 터치입력을 대기하는 것을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법.
  10. 제7항에 있어서,
    유효한 입력신호인지를 판단하는 단계에서,
    미리 설정된 유효 터치입력 범위를 설정한 후 입력되는 터치입력과 미리 설정된 유효 터치입력 범위를 비교하여 설정된 유효 터치입력범위를 벗어나는 터치입력은 잘못된 입력신호로 판단하여 제외시키는 단계를 포함하여 이루어짐을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법.
  11. 제7항에 있어서,
    터치입력을 체감대역의 진동주파수대역으로 변환하는 단계에서,
    변환되는 진동주파수는 사람의 피부가 가장 민감하게 느끼는 체감주파수인 20~450㎐ 대역의 진동주파수로 실시간 변환하는 단계로 이루어짐을 특징으로 하는 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 방법.
PCT/KR2020/013838 2020-03-31 2020-10-12 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법 WO2021201356A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200038784A KR102257614B1 (ko) 2020-03-31 2020-03-31 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법
KR10-2020-0038784 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021201356A1 true WO2021201356A1 (ko) 2021-10-07

Family

ID=76140157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013838 WO2021201356A1 (ko) 2020-03-31 2020-10-12 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102257614B1 (ko)
WO (1) WO2021201356A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174121A1 (en) * 2002-01-28 2003-09-18 Sony Corporation Mobile apparatus having tactile feedback function
KR20150128403A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
JP2016012376A (ja) * 2015-10-21 2016-01-21 Kddi株式会社 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム
KR20160045082A (ko) * 2013-08-22 2016-04-26 퀄컴 인코포레이티드 접지 독립적 햅틱 전자진동을 위한 피드백
KR20160090647A (ko) * 2015-01-22 2016-08-01 김정훈 실시간 진동 피드백을 제공하는 스마트 입력장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100981269B1 (ko) 2008-02-14 2010-09-10 한국표준과학연구원 촉각센서를 이용한 촉감피드백용 터치패드장치
KR100981268B1 (ko) * 2008-02-15 2010-09-10 한국표준과학연구원 촉각센서를 이용한 터치스크린장치
JP5203797B2 (ja) * 2008-05-13 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及び情報処理装置の表示情報編集方法
KR20140114242A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174121A1 (en) * 2002-01-28 2003-09-18 Sony Corporation Mobile apparatus having tactile feedback function
KR20160045082A (ko) * 2013-08-22 2016-04-26 퀄컴 인코포레이티드 접지 독립적 햅틱 전자진동을 위한 피드백
KR20150128403A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
KR20160090647A (ko) * 2015-01-22 2016-08-01 김정훈 실시간 진동 피드백을 제공하는 스마트 입력장치
JP2016012376A (ja) * 2015-10-21 2016-01-21 Kddi株式会社 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム

Also Published As

Publication number Publication date
KR102257614B1 (ko) 2021-05-28

Similar Documents

Publication Publication Date Title
EP2778847B1 (en) Contactor-based haptic feedback generation
CN103294300B (zh) 传感器管理设备、方法和计算机程序产品
WO2014051231A1 (en) Display device and control method thereof
US8310444B2 (en) Projected field haptic actuation
EP2261780B1 (en) Dual sensor touchscreen system and method of operating one
US8698766B2 (en) System integration of tactile feedback and touchscreen controller for near-zero latency haptics playout
US20140210781A1 (en) Digitizer system
US20170336903A1 (en) Touch and pressure sensitive surface with haptic methods for blind probe alignment
WO2016126078A1 (ko) 터치종류 판별방법 및 이를 수행하는 터치 입력 장치
WO2014051201A1 (en) Portable device and control method thereof
TW201926009A (zh) 觸控鍵盤系統與其觸控處理裝置和方法
WO2016072823A2 (ko) 루프 형태의 택타일 멀티터치 입력장치, 제스처와 그 방법
TW201541314A (zh) 用於手勢控制之系統與方法
EP2736233B1 (en) Method for controlling portable device by using humidity sensor and portable device thereof
WO2012075732A1 (zh) 一种应用于数字终端的输入方法及装置
WO2019156437A1 (ko) 터치입력장치의 블랙화면모드에서 압력으로 인한 지문 센싱 방법 및 터치입력장치
WO2017091039A1 (ko) 사용자 입력을 획득하기 위한 방법 및 전자장치
CN101711380A (zh) 具有精确输入能力的设备
KR20150049312A (ko) 촉각 피드백을 제공하기 위한 전자 장치, 스타일러스 펜 및 방법
CN102427354B (zh) 具有电流模拟触感反馈的按键开关以及触敏显示器
WO2018124564A1 (ko) 진동점자시스템 및 터치스크린 기반 진동점자 구현방법
WO2018169209A1 (ko) 입력 장치, 전자 시스템 및 그 제어 방법
WO2015030312A1 (en) Display device generating tactile feedback and method for controlling the same
WO2021201356A1 (ko) 접촉감지식 입력장치로부터의 입력신호를 가변 촉각효과로 변환하는 시스템 및 방법
EP4131037A1 (en) Verification method, electronic device and computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929321

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20929321

Country of ref document: EP

Kind code of ref document: A1