KR20200092456A - Apparatus and method of correcting touch sensor input - Google Patents
Apparatus and method of correcting touch sensor input Download PDFInfo
- Publication number
- KR20200092456A KR20200092456A KR1020190001491A KR20190001491A KR20200092456A KR 20200092456 A KR20200092456 A KR 20200092456A KR 1020190001491 A KR1020190001491 A KR 1020190001491A KR 20190001491 A KR20190001491 A KR 20190001491A KR 20200092456 A KR20200092456 A KR 20200092456A
- Authority
- KR
- South Korea
- Prior art keywords
- touch
- signal
- measurement
- unit
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005259 measurement Methods 0.000 claims abstract description 145
- 238000010801 machine learning Methods 0.000 claims abstract description 29
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims description 23
- 230000005236 sound signal Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 딥러닝 기반 터치센서 측정 오류 보정 장치 및 방법에 관한 것으로서, 보다 상세하게는 정전식 터치센서의 측정 오류를 보정하기 위한 딥러닝 기반 터치센서 측정 오류 보정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for correcting a measurement error of a touch sensor based on a deep learning, and more particularly, to an apparatus and method for calibrating a touch sensor measurement error based on a deep learning to correct a measurement error of a capacitive touch sensor.
도 1, 도 8, 도 16 및 도 20에 일부 도시된 바와 같이 정전식 터치센서만을 이용하는 경우에는 터치 입력 환경에 따라 정전식 터치센서에서 측정한 터치 측정값에 오차가 발생된다. 이러한 오차는 예를들어 2번의 터치를 한번의 터치로 인식하거나 또는 2번의 터치 중 어느 한 터치를 인식하지 못하는 문제로 귀결된다. 따라서 정전식 터치센서의 터치 오작동을 보완할 수 있는 장치의 필요성이 대두된다. 다만 후술하는 선행특허문헌에서는 대부분 터치 오작동의 문제를 해결하기 위해 터치 민감도를 향상시키는 방향으로 기술 개발이 이루어지고 있으나 이러한 민감도를 향상시키는 기술도 터치 센서가 가지고 있는 근본적인 문제점을 해결해 주는 것은 아니다.When only the capacitive touch sensor is used as illustrated in FIGS. 1, 8, 16, and 20, an error occurs in a touch measurement value measured by the capacitive touch sensor according to a touch input environment. Such an error results in, for example, a problem in which two touches are recognized as one touch, or one of the two touches is not recognized. Therefore, there is a need for a device capable of compensating for a touch malfunction of the capacitive touch sensor. However, most of the prior patent documents described below have been developed in the direction of improving the touch sensitivity in order to solve the problem of touch malfunction, but the technology for improving the sensitivity does not solve the fundamental problem of the touch sensor.
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 정전식 터치 센서의 오류를 보정함으로써 정전식 터치센서의 터치 민감도 또는 터치 미작동 오류를 보정할 수 있는 발명을 제공하는데 그 목적이 있다.Therefore, the present invention was created to solve the above-described problems, and provides an invention capable of correcting a touch sensitivity or a touch malfunction error of the capacitive touch sensor by correcting an error of the capacitive touch sensor. There is this.
그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 본 발명의 목적은, 휴대용 단말기의 터치 스크린에 터치 입력시에 터치 입력에 따른 정전용량 측정값에 상응하는 터치 측정신호를 생성 및 출력하는 정전식 터치 센서부, 터치 입력시에 사용자의 터치에 의해 추가적으로 발생되는 터치 보정신호를 생성 및 출력하는 오류보정 센서부, 시간축을 따라 시퀀스 값을 가지는 터치 보정신호를 기초로 터치 입력에 따라 지도학습하는 시퀀스 기반 기계 학습부, 시퀀스 기반 기계 학습부를 통해 학습된 데이터를 바탕으로 터치 측정신호와는 별개의 터치 보정신호에 상응하는 학습된 터치 예측신호를 생성하는 터치 예측신호 생성부, 및 터치 측정신호와 학습된 터치 예측신호를 서로 비교하여 터치 측정신호의 오류를 보정하는 터치 오류 판단부를 포함하는 것을 특징으로 하는 휴대용 단말기의 터치센서 측정 오류 보정 장치를 제공함으로써 달성될 수 있다.The above-described object of the present invention is a capacitive touch sensor unit for generating and outputting a touch measurement signal corresponding to a capacitance measurement value according to a touch input when a touch is input to a touch screen of a portable terminal, a user's touch during touch input Through the error correction sensor unit that generates and outputs a touch correction signal additionally generated by the sequence, based on the touch correction signal having a sequence value along the time axis, a sequence-based machine learning unit that learns maps based on touch input, and a sequence-based machine learning unit Based on the learned data, a touch prediction signal generator for generating a learned touch prediction signal corresponding to a touch correction signal separate from the touch measurement signal, and a touch measurement signal by comparing the touch measurement signal with the learned touch prediction signal It can be achieved by providing a touch sensor measurement error correction device of a portable terminal characterized in that it comprises a touch error determination unit for correcting the error.
또한, 오류보정 센서부는 터치 보정신호인 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 생성한다.In addition, the error correction sensor unit generates at least one of an acceleration signal, an angular velocity signal, a sound signal, and a vibration signal, which are touch correction signals.
또한, 시퀀스 기반 기계 학습부는 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 바탕으로 지도학습을 한다. 시퀀스 기반 기계 학습부의 학습 결과는 시퀀스 기반 신경망을 구성하는 weight/bias의 행렬 형태의 파라미터 숫자들의 집합으로 구성되며, 필요에 따라 재학습되어 휴대용 단말기를 포함한 인터페이스 기기 장치에 업데이트 될 수 있다.In addition, the sequence-based machine learning unit performs supervised learning based on at least one of an acceleration signal, an angular velocity signal, a sound signal, and a vibration signal. The learning result of the sequence-based machine learning unit is composed of a set of parameter numbers in a matrix form of weight/bias constituting the sequence-based neural network, and can be re-learned as necessary to be updated in an interface device device including a portable terminal.
또한, 터치 오류 판단부는 오류보정 센서부로부터 입력되는 실시간 센서신호를 미리 학습된 시퀀스 기반 신경망의 파라미터와 정해진 연산을 통해 학습된 터치 예측신호를 만들고 측정된 터치 측정신호와 학습된 터치 예측신호를 서로 비교하여 터치 미입력 여부를 비교 판단하는 터치 비교부, 및 터치 비교부의 판단에 따라 터치 미입력으로 판단한 경우에는 학습된 터치 예측신호를 기초로 터치 측정신호의 오류를 보정하는 터치 오류 보정부를 포함한다. In addition, the touch error determination unit generates a touch prediction signal trained through parameters and a predetermined operation of a sequence-based neural network that has previously learned the real-time sensor signal input from the error correction sensor unit, and measures the measured touch measurement signal and the learned touch prediction signal. And a touch comparison unit for comparing and determining whether a touch is not input, and a touch error correction unit for correcting an error of the touch measurement signal based on the learned touch prediction signal when it is determined that the touch comparison unit is not touch.
또한, 터치 비교부의 판단에 따라 터치 입력의 경우에는 터치 측정신호 또는 학습된 터치 예측신호 중 어느 하나를 출력하고, 터치 미입력의 경우에는 보정된 터치 측정신호를 출력하는 터치 신호 출력부를 더 포함한다.Further, according to the determination of the touch comparison unit, the touch signal output unit further outputs either a touch measurement signal or a learned touch prediction signal in the case of a touch input, and a corrected touch measurement signal in the case of a non-touch input.
또한, 터치 비교부는 터치 측정신호를 기준으로 학습된 터치 예측신호를 비교하여 터치 측정신호에 따른 터치 미입력 여부를 비교 판단한다.Also, the touch comparison unit compares and determines whether the touch is not input according to the touch measurement signal by comparing the touch prediction signal learned based on the touch measurement signal.
또한, 인터페이스 기기 장치에 터치센서가 없거나 또는 구비된 정전식 터치센서의 측정 값을 보완하고자 하는 경우(터치센서 측정값의 신뢰성 부족으로 인해)에 오류보정 센서부를 통해 입력된 신호를 시퀀스 기반 신경망의 파라미터와 정해진 연산을 통해 가상의 학습된 터치 예측값을 만들어 실제 측정된 터치값으로 대체 사용하거나 측정 터치값에 가상의 터치 예측값을 적용하여 오류를 보정할 수 있다.In addition, when the interface device device does not have a touch sensor or wants to supplement the measured value of the provided electrostatic touch sensor (due to the lack of reliability of the touch sensor measurement value), the signal input through the error correction sensor unit of the sequence-based neural network An error can be corrected by creating a virtual learned touch prediction value through a parameter and a predetermined operation and replacing it with an actual measured touch value or applying a virtual touch prediction value to the measured touch value.
한편, 본 발명의 목적은 휴대용 단말기의 터치 스크린에 터치 입력시에 터치 입력에 따른 정전용량 측정값에 상응하는 터치 측정신호를 정전식 터치 센서부가 생성하고, 터치 입력시에 사용자의 터치에 의해 추가적으로 발생되는 터치 보정신호를 오류보정 센서부가 생성하는 단계, 시퀀스 기반 기계 학습부를 통해 학습된 데이터를 바탕으로 터치 측정신호와는 별개의 터치 보정신호에 상응하는 학습된 터치 예측신호를 터치 예측신호 생성부가 생성하는 단계, 및 터치 측정신호와 학습된 터치 예측신호를 서로 비교하여 터치 측정신호의 오류를 터치 오류 판단부가 판별하고, 터치 측정신호의 오류를 학습된 터치 예측신호를 기초로 보정하는 단계를 포함하는 것을 특징으로 하는 휴대용 단말기의 터치센서 측정 오류 보정 방법을 제공함으로써 달성될 수 있다.On the other hand, an object of the present invention is a capacitive touch sensor unit generates a touch measurement signal corresponding to a capacitance measurement value according to a touch input when a touch is input to a touch screen of a portable terminal, and additionally by a user's touch when a touch is input. The error correction sensor unit generates the generated touch correction signal, and the touch prediction signal generation unit generates a learned touch prediction signal corresponding to a touch correction signal separate from the touch measurement signal based on the data learned through the sequence-based machine learning unit. Generating, and comparing the touch measurement signal and the learned touch prediction signal to each other to determine an error of the touch measurement signal, and correcting the error of the touch measurement signal based on the learned touch prediction signal. It can be achieved by providing a touch sensor measurement error correction method of a portable terminal characterized in that the.
또한, 시퀀스 기반 기계 학습부는 시간축을 따라 시퀀스 값을 가지는 터치 보정신호를 기초로 터치 입력에 따라 지도학습 한다.In addition, the sequence-based machine learning unit performs supervised learning based on a touch input based on a touch correction signal having a sequence value along a time axis.
또한, 오류보정 센서부는 터치 보정신호인 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 생성한다.In addition, the error correction sensor unit generates at least one of an acceleration signal, an angular velocity signal, a sound signal, and a vibration signal, which are touch correction signals.
또한, 시쿼스 기반 기계 학습부는 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 바탕으로 지도학습을 한다.In addition, the machine learning unit based on Sequus performs supervised learning based on at least one of an acceleration signal, an angular velocity signal, a sound signal, and a vibration signal.
또한, 터치 오류 판단부는 터치 측정신호와 학습된 터치 예측신호를 서로 비교하여 터치 미입력 여부를 터치 비교부가 비교 판단하는 단계, 및 터치 비교부의 판단에 따라 터치 미입력으로 판단한 경우에는 학습된 터치 예측신호를 기초로 터치 측정신호의 오류를 터치 오류 보정부가 보정하는 단계를 수행한다.In addition, the touch error determination unit compares the touch measurement signal and the learned touch prediction signal with each other, and the touch comparison unit compares and determines whether the touch is not input, or when the touch comparison unit determines that the touch comparison is not input, the learned touch prediction signal. The touch error correction unit corrects an error of the touch measurement signal based on the basis.
또한, 터치 신호 출력부는 터치 비교부의 판단에 따라 터치 입력의 경우에는 터치 측정신호 또는 학습된 터치 예측신호 중 어느 하나를 출력하고, 터치 미입력의 경우에는 보정된 터치 측정신호를 출력한다.Also, the touch signal output unit outputs either a touch measurement signal or a learned touch prediction signal in the case of a touch input according to the determination of the touch comparison unit, and outputs a corrected touch measurement signal in the case of a non-touch input.
또한, 터치 비교부는 터치 측정신호를 기준으로 학습된 터치 예측신호를 비교하여 터치 측정신호에 따른 터치 미입력 여부를 비교 판단한다.Also, the touch comparison unit compares and determines whether the touch is not input according to the touch measurement signal by comparing the touch prediction signal learned based on the touch measurement signal.
전술한 바와 같은 본 발명에 의하면 정전식 터치 센서의 오류를 보정함으로써 정전식 터치센서의 터치 민감도 또는 터치 미작동 오류를 보완할 수 있는 효과가 있다.According to the present invention as described above, by correcting the error of the capacitive touch sensor, there is an effect of compensating for the touch sensitivity or the touch non-operation error of the capacitive touch sensor.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1 및 도 2는 본 발명의 일실시예에 따른 휴대용 단말기의 터치센서 측정 오류 보정 장치에 대한 개략적인 구성을 나타낸 도면이고,
도 3은 본 발명의 일실시예에 따른 휴대용 단말기의 터치센서 측정 오류 보정 방법을 순차적으로 나타낸 도면이고,
도 4 내지 도 7은 본 발명의 실시예 1에 따른 가속도 센서에 의해 생성된 학습된 터치 예측값과 터치 센서부에 의해 측정된 터치 측정값이 동일한 것을 나타낸 것으로서, 도 7의 학습된 터치 예측값은 도 6의 학습된 터치 예측값을 보정 또는 정규화하여 나타낸 것이고,
도 8 내지 도 11은 본 발명의 실시예 1에 따른 가속도 센서에 의해 생성된 학습된 터치 예측값과 터치 센서부에 의해 측정된 터치 측정값이 동일하지 않은 것을 나타낸 것으로서, 도 11의 학습된 터치 예측값은 도 10의 학습된 터치 예측값을 보정 또는 정규화하여 나타낸 것이고,
도 12 내지 도 15는 본 발명의 실시예 2에 따른 소리 센서에 의해 생성된 학습된 터치 예측값과 터치 센서부에 의해 측정된 터치 측정값이 동일한 것을 나타낸 것으로서, 도 15의 학습된 터치 예측값은 도 14의 학습된 터치 예측값을 보정 또는 정규화하여 나타낸 것이고,
도 16 내지 도 19는 본 발명의 실시예 2에 따른 소리 센서에 의해 생성된 학습된 터치 예측값과 터치 센서부에 의해 측정된 터치 측정값이 동일하지 않아 2번의 터치 중 최선의 터치를 인식하지 못하는 것을 나타낸 도면이고,
도 20 내지 도 23은 본 발명의 실시예 3에 따른 소리 센서에 의해 생성된 학습된 터치 예측값과 터치 센서부에 의해 측정된 터치 측정값이 동일하지 않아 2번의 터치가 1번의 롱 터치로 잘못 인식되는 것을 나타낸 도면이다.The following drawings attached to this specification are intended to illustrate one preferred embodiment of the present invention, and serve to further understand the technical spirit of the present invention together with the detailed description of the present invention, so the present invention is limited to those described in those drawings. It should not be construed limitedly.
1 and 2 is a view showing a schematic configuration of a touch sensor measurement error correction device of a portable terminal according to an embodiment of the present invention,
3 is a view sequentially showing a method for correcting a measurement error of a touch sensor of a portable terminal according to an embodiment of the present invention,
4 to 7 illustrate that the learned touch prediction value generated by the acceleration sensor according to the first embodiment of the present invention and the touch measurement value measured by the touch sensor unit are the same, and the learned touch prediction value of FIG. 7 is illustrated in FIG. Corrected or normalized the predicted touch predicted value of 6,
8 to 11 show that the learned touch prediction value generated by the acceleration sensor according to the first embodiment of the present invention and the touch measurement value measured by the touch sensor unit are not the same, and the learned touch prediction value of FIG. 11 is illustrated. Is corrected or normalized to the learned touch prediction value of FIG. 10,
12 to 15 show that the learned touch prediction value generated by the sound sensor according to the second embodiment of the present invention and the touch measurement value measured by the touch sensor unit are the same, and the learned touch prediction value of FIG. 15 is shown in FIG. Corrected or normalized to the learned touch prediction value of 14, and
16 to 19 do not recognize the best touch of the two touches because the learned touch prediction value generated by the sound sensor according to the second embodiment of the present invention and the touch measurement value measured by the touch sensor unit are not the same. It is a drawing showing
20 to 23 are two touches are incorrectly recognized as one long touch because the learned touch prediction value generated by the sound sensor according to the third embodiment of the present invention and the touch measurement value measured by the touch sensor unit are not the same. It is a diagram showing what can be done.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. In addition, one embodiment described below does not unduly limit the content of the present invention as set forth in the claims, and the entire configuration described in this embodiment cannot be said to be essential as a solution to the present invention. In addition, descriptions that are apparent to those skilled in the art and those skilled in the art may be omitted, and descriptions of the omitted components (methods) and functions may be sufficiently referenced without departing from the technical spirit of the present invention.
본 발명의 일실시예에 따른 휴대용 단말기의 터치센서 측정 오류 보정 장치 및 방법은 휴대용 단말기를 포함한 터치스크린을 구비하는 인터페이스 기기에 설치된 정정용량 방식의 터치센서의 터치 민감도 또는 센서 미작동에 따른 터치센서의 입력 오류를 보정하여 정확한 터치 동작을 인식하도록 한 발명이다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 휴대용 단말기의 터치센서 측정 오류 보정 장치 및 방법에 대해 자세히 설명하기로 한다. 특히 본 발명은 다차원 시계열 센서 신호를 기계학습(RNN 기반 supervised learning)을 통해 예측해냄으로써 터치 센서를 실제 사용하지 않아도 해당 시점의 터치 센서 값을 시계열 센서 신호를 바탕으로 예측해 내는 센서 가상화 기술에 관한 것이다.The touch sensor measurement error correction device and method of a portable terminal according to an embodiment of the present invention include a touch sensitivity of a touch sensor of a corrected capacitive touch sensor installed on an interface device having a touch screen including a portable terminal, or a touch sensor due to sensor malfunction It is an invention to correct an input error of to recognize an accurate touch operation. Hereinafter, an apparatus and method for calibrating a touch sensor measurement error in a portable terminal according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In particular, the present invention relates to a sensor virtualization technology that predicts a touch sensor value at a time based on a time series sensor signal without actually using a touch sensor by predicting a multidimensional time series sensor signal through machine learning (RNN-based supervised learning).
<휴대용 단말기의 터치센서 측정 오류 보정 장치><Touch sensor measurement error correction device for portable terminals>
본 발명의 일실시예에 따른 터치 센서부(110)는 정전용량 방식으로 사용자의 터치를 감지하는 센서부이다. 사용자는 휴대용 단말기에 명령신호를 입력하기 위해 휴대용 단말기의 터치스크린에 사용자의 손가락을 포함한 다양한 입력장치를 접촉시킨다. 이때, 터치 센서부(110)는 사용자의 터치에 따른 정전용량 값을 감지하여 사용자의 터치를 인식한다. 이러한 터치 센서부(110)는 기존의 정전용량 방식의 휴대용 단말기의 일반적인 구성이다. 휴대용 단말기에 설치된 터치 센서부(110)는 터치센서의 민감도 또는 터치센서의 미작동 등 사용자의 다양한 사용 환경에 따라 인식 오류를 일으킨다. 이러한 오류를 보정하기 위해 본 발명에서는 오류보정 센서부(120)를 추가적으로 구성한다.The
본 발명의 일실시예에 따른 오류보정 센서부(120)는 도 1 및 도 2에 도시된 바와 같이 터치 센서부(110)의 오류를 보정하기 위해 사용자가 터치 스크린에 터치 입력할 때 추가적으로 발생되는 신호를 감지한다. 오류보정 센서부(120)는 가속도 센서부, 각속도 센서부, 소리 센서부, 진동 센서부 등 터치 입력시에 생성되는 신호를 감지하는 센서이다. 즉, 사용자가 휴대용 단말기의 터치 스크린에 손가락을 사용하여 터치 입력을 하면 터치 센서부(110)의 정전용량 값이 변하는 것과 동시에 터치 입력에 따라 추가적으로 휴대용 단말기의 가속도, 각속도, 소리, 또는 진동 값이 변할 수 있다. 일예로서 사용자가 터치 스크린을 수회에 걸쳐 두드리면 두드림에 따라 휴대용 단말기의 가속도, 각속도가 변할 수 있고 또는 두드림 소리, 두드림에 따른 진동 값이 변할 수 있다. 이러한 터치 입력시에 터치 센서부(110)에서 감지하는 정전용량 값 이외의 휴대용 단말기에서 변화되는 추가적인 신호 값을 검출하여 터치 센서부(110)의 오류를 보정한다. 한편, 오류보정 센서부(120)는 상술한 각각의 센서부 모두를 활용할 수도 있고 또는 필요에 따라 어느 하나 또는 복수의 센서부를 혼용 활용하여 터치 센서부(110)의 오류를 보정할 수 있다. 상술한 오류보정 센서부(120)는 정전용량 방식의 터치 센서부(110)의 오류를 보정하기 위해 터치 입력에 대응하여 추가적으로 발생 생성되는 신호를 감지하는 것으로서 본 발명에서 설명되지 않은 다양한 센서가 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 활용될 수 있다. The error
본 발명의 일실시예에 따른 시퀀스 기반 기계 학습부(210)는 3축(또는 3차원) 측정값을 입력 값으로 하여 딥러닝 기반의 지도학습(또는 교사학습, Supervised learning)을 반복 수행한다. 이때, 시퀀스 기반 기계 학습부(210)의 3축 측정값은 오류보정 센서부(120) 중 어느 하나가 될 수 있으며, 일예로서 가속도 센서부의 3축 측정값이 입력 값이 될 수 있으며, 입력 값에 대응되는 시퀀스 기반 기계 학습부(210)의 출력 값은 터치 센서부의 정전용량 측정값이 될 수 있다. 즉, 시퀀스 기반 기계 학습부(210)는 기계 학습부에 입력되는 입력 값과 사용자가 원하는 출력 값을 바탕으로 지도학습하고, 지도학습 데이터를 바탕으로 입력 값이 입력되었을 때 원하는 출력 값을 도출할 수 있다. 즉, 가속도 신호, 각속도 신호, 소리 신호, 또는 진동 신호의 측정값(입력 값)과 터치 센서부의 터치 측정값(출력 값)을 바탕으로 지도학습을 수행하고, 지도학습이 충분히 이루어진 경우에 이 데이터를 바탕으로 가속도 신호, 각속도 신호, 소리 신호, 또는 진동 신호가 사용자의 터치에 의해 생성되어 입력되면 터치 예측신호 생성부(220)가 터치 센서부(110)의 터치 측정신호를 보정할 수 있는 학습된 터치 예측신호를 생성한다. 시퀀스 기반 기계 학습부(210) 및 터치 예측신호 생성부(220)는 기계 학습부에 포함될 수 있다. The sequence-based machine learning unit 210 according to an embodiment of the present invention repeatedly performs deep learning-based supervised learning (or teacher learning, supervised learning) using a 3-axis (or 3-dimensional) measurement as an input value. At this time, the 3-axis measurement value of the sequence-based machine learning unit 210 may be any one of the error
한편, 터치 예측신호 생성부(220)가 생성하는 학습된 터치 예측신호(비교대상 터치신호)는 상술한 가속도 신호, 각속도 신호, 소리 신호, 또는 진동 신호의 학습에 의해 예측 생성된 터치값이다. 이에 비해 터치 센서부(110)는 사용자의 터치에 따라 생성되는 정전용량 값을 측정한 터치 측정값(기준 터치신호)이다. 이 터치 측정값의 오류를 보정하기 위해 학습된 터치 예측값을 기계 학습부에 의해 학습하여 생성할 수 있다. Meanwhile, the learned touch prediction signal (comparison target touch signal) generated by the touch prediction signal generator 220 is a touch value predicted and generated by learning the acceleration signal, angular velocity signal, sound signal, or vibration signal. On the other hand, the
시퀀스 기반 기계 학습부(210)는 시간 축을 따라 시퀀스 값을 가지는 지도학습 기반 머신 러닝으로서 sequence to sequence를 다루는 머신 러닝이다. 이러한 머신 러닝 학습방법으로는 일예로서 RNN 학습방법, LSTM 학습방법, GRU 학습방법 등이 있으며 이러한 학습방법은 종래의 설명에 갈음하기로 한다. The sequence-based machine learning unit 210 is a machine learning that deals with sequence to sequence as supervised learning-based machine learning having a sequence value along a time axis. Examples of such a machine learning learning method include an RNN learning method, an LSTM learning method, and a GRU learning method, and these learning methods will replace the conventional description.
본 발명의 일실시예에 따른 터치 오류 판단부(230)는 터치 비교부 및 터치 오류 보정부를 포함하며, 터치 센서부(110)에서 측정된 터치 측정값과 학습된 터치 예측값을 서로 비교하고, 비교 여부에 따라 터치 측정값의 오류를 판별하고 보정한다. 좀 더 상세히 설명하면, 터치 비교부는 터치 측정값과 학습된 터치 예측값을 서로 비교하여 터치 미입력 여부를 비교 판단한다. 비교 판단시에 터치 측정값과 학습된 터치 예측값이 동일하면 터치 입력으로 판단하고, 동일하지 않으면 터치 미입력으로 판단한다(이때 동일한지는 일예로서 터치 횟수로 가정할 수 있다). 일예로서 사용자가 터치 스크린을 일정간격을 두고 2번 터치한 경우에 터치 간격에 따라 터치 측정값은 1번의 터치가 이루어진 값을 가지며, 학습된 터치 예측값은 기계적 학습에 의해 2번의 터치가 이루어진 예측값을 가질 수 있다. 이러한 경우에 터치 비교부는 터치 미입력으로 판단한다. 만약 터치 측정값이 2번의 터치 측정값을 가지면 터치 비교부는 터치 입력으로 판단한다. 터치 오류 보정부는 터치 비교부의 판단에 따라 터치 미입력으로 판단한 경우에는 학습된 터치 예측값을 기초로 터치 측정값의 오류를 보정한다. 상술한 터치 비교부 및 터치 오류 보정부는 설명의 편의를 위하여 기능상 분리 설명하였을 뿐 서로 통합되어 구현될 수 있다.The touch
본 발명의 일실시예에 따른 터치 신호 출력부는 터치 비교부의 판단에 따라 터치 입력의 경우에는 터치 측정값 또는 학습된 터치 예측값 중 어느 하나를 출력하고, 터치 미입력의 경우에는 보정된 터치 측정값을 출력한다. 휴대용 단말기의 제어부(300)는 터치 신호 출력부(240)로부터 어느 하나의 터치 출력 값을 입력받아 이에 따른 제어를 수행한다. 휴대용 단말기의 제어부(300)는 일예로서 오퍼레이팅 시스템이 될 수 있다.The touch signal output unit according to an embodiment of the present invention outputs either a touch measurement value or a learned touch prediction value in the case of a touch input according to the determination of the touch comparison unit, and outputs a corrected touch measurement value in the case of no touch input. do. The
<휴대용 단말기의 터치센서 측정 오류 보정 방법><How to correct errors in touch sensor measurement of portable terminals>
본 발명의 일실시예에 따른 휴대용 단말기의 터치센서 측정 오류 보정 방법은 도 3을 참조하며 상세히 설명하면, 휴대용 단말기의 터치 스크린에 사용자가 터치 입력을 하면 터치 센서부가 터치 입력에 따른 정전용량 측정값에 상응하는 터치 측정신호를 생성한다. 이와 동시에 오류보정 센서부가 사용자의 터치에 의해 추가적으로 발생되는 터치 보정신호를 생성한다. 터치 측정신호는 터치 센서부에 의해 측정된 터치 센서 값이고, 터치 보정신호는 가속도 센서부, 각속도 센서부, 소리 센서부 또는 진동 센서부에서 측정된 각각의 감지값이다. A method of correcting a measurement error of a touch sensor of a portable terminal according to an embodiment of the present invention will be described with reference to FIG. 3, and when a user touches the touch screen of the portable terminal, the touch sensor unit measures the capacitance according to the touch input. A touch measurement signal corresponding to is generated. At the same time, the error correction sensor unit generates a touch correction signal additionally generated by the user's touch. The touch measurement signal is a touch sensor value measured by the touch sensor unit, and the touch correction signal is each sensed value measured by the acceleration sensor unit, angular velocity sensor unit, sound sensor unit, or vibration sensor unit.
다음으로, 시퀀스 기반 기계 학습부를 통해 학습된 데이터를 바탕으로 터치 측정신호와는 별개의 터치 보정신호에 상응하는 학습된 터치 예측신호를 터치 예측신호 생성부가 생성한다. 학습된 터치 예측신호는 학습에 의해 생성된 터치 예측값이고, 터치 측정신호는 터치 센서부에 의해 측정된 터치 측정값이다. 이때, 터치 예측값은 상술한 가속도 신호, 각속도 신호, 소리 신호, 및 진동 신호 중 어느 하나를 이용하여 학습에 의해 생성될 수도 있고, 복수의 신호를 혼합하여 학습에 의해 생성될 수도 있다.Next, based on the data learned through the sequence-based machine learning unit, the touch prediction signal generation unit generates a learned touch prediction signal corresponding to a touch correction signal separate from the touch measurement signal. The learned touch prediction signal is a touch prediction value generated by learning, and the touch measurement signal is a touch measurement value measured by the touch sensor unit. At this time, the touch prediction value may be generated by learning using any one of the acceleration signal, angular velocity signal, sound signal, and vibration signal described above, or may be generated by learning by mixing a plurality of signals.
다음으로, 터치 오류 판단부는 터치 측정값과 학습된 터치 예측값을 서로 비교하여 터치 입력 또는 터치 미입력의 터치 측정값의 오류를 판별하고, 터치 측정값의 오류를 학습된 터치 예측값을 기초로 보정한다.Next, the touch error determination unit compares the touch measurement value with the learned touch prediction value to determine the error of the touch measurement value of the touch input or the non-touch input, and corrects the error of the touch measurement value based on the learned touch prediction value.
다음으로, 터치 미입력의 경우에 터치 신호 출력부는 보정된 터치 측정신호를 제어부로 출력하고, 터치 입력의 경우에는 터치 신호 출력부는 터치 측정값 또는 학습된 터치 예측값 중 어느 하나를 제어부로 출력한다.Next, in the case of non-touch input, the touch signal output unit outputs the corrected touch measurement signal to the control unit, and in the case of touch input, the touch signal output unit outputs either the touch measurement value or the learned touch prediction value to the control unit.
<실시예 1><Example 1>
도 4 내지 도 11을 참고하여 가속도 센서를 입력 값으로 하여 학습한 결과를 설명하기로 한다. 각 도면의 X축은 샘플횟수를 나타내며, Y축은 신호의 강도를 나타낸다. 도 4 내지 도 7은 터치 센서부(110)에 의해 측정된 터치 측정값과 터치 예측신호 생성부(220)에 의해 학습된 터치 예측값이 동일하여(이때 동일한지는 일예로서 터치 횟수로 가정할 수 있다) 터치 비교부가 "터치 입력"으로 판단하고, 서로 동일한 터치 횟수를 나타낸다. 즉, 터치 측정값이 측정 오류를 일으키지 않은 경우이다. With reference to FIGS. 4 to 11, the result of learning using the acceleration sensor as an input value will be described. The X-axis of each figure represents the number of samples, and the Y-axis represents the signal strength. 4 to 7 show that the touch measurement value measured by the
좀 더 자세히 설명하면, 도 4에 도시된 바와 같이 가속도 센서는 X,Y,Z의 3축 측정값을 사용자의 터치 입력에 따라 터치 센서부(110)의 터치 측정값과 별개로 추가적으로 생성한다. 도 4의 위에서 4번째 도면은 터치 센서부(110)에 의해 측정된 터치 측정값(11)을 나타내고, 5번째 도면은 터치 예측신호 생성부(220)에 의해 생성된 학습된 터치 예측값(12)을 나타낸다. 터치 측정값과 학습된 터치 예측값은 서로 동일하며 각각 2번의 터치가 이루어졌음을 나타낸다. 도 5 내지 도 7은 이러한 터치 측정값(11)과 학습된 터치 예측값(12)이 서로 동일함을 보여준다.In more detail, as illustrated in FIG. 4, the acceleration sensor additionally generates three-axis measurement values of X, Y, and Z separately from touch measurement values of the
도 4 내지 도 7에 비해 도 8 내지 도 11은 가속도 센서에 의해 측정된 터치 측정값의 오류를 보정하는 것을 설명하기 위해 도시한 도면이다. 도 8 내지 도 11은 터치 센서부(110)에 의해 측정된 터치 측정값과 터치 예측신호 생성부(220)에 의해 학습된 터치 예측값이 동일하지 않아(이때 동일한지는 일예로서 터치 횟수로 가정할 수 있다) 터치 비교부가 "터치 미입력"으로 판단하고, 터치 오류 보정부가 터치 측정값의 오류를 학습된 터치 예측값을 기초로 보정한다.8 to 11 compared to FIGS. 4 to 7 are diagrams for explaining correction of an error in a touch measurement value measured by an acceleration sensor. 8 to 11 show that the touch measurement value measured by the
좀 더 자세히 설명하면, 도 8에 도시된 바와 같이 가속도 센서는 X,Y,Z의 3축 측정값을 사용자의 터치 입력에 따라 터치 센서부(110)의 터치 측정값과 별개로 추가적으로 생성한다. 도 8의 위에서 4번째 도면은 터치 센서부(110)에 의해 측정된 터치 측정값(11)을 나타내고, 5번째 도면은 터치 예측신호 생성부(220)에 의해 생성된 학습된 터치 예측값(12)을 나타낸다. 터치 측정값에 따르면 터치가 1번 이루어진 것을 알 수 있으며, 학습된 터치 예측값에 따른 터치가 2번 이루어진 것을 알 수 있다. 실제로 사용자는 터치 스크린에 2번의 터치 접촉을 한 예이며 따라서 터치 측정값은 오류가 존재한다. 이러한 오류는 터치 스크린에서 2번 터치가 이루어지는 동안에 터치 손가락이 1번 터치와 2번 터치 사이에 멀리 떨어지지 않고 가까이 터치 스크린에 접촉하면서 터치한 경우에 발생할 수 있으며 터치 센서의 민감도에 따른 터치 오류이다. 이러한 터치 측정값의 오류를 보정하기 위해 도 10 및 도 11에 도시된 바와 같이 학습된 터치 예측값을 학습을 통해 생성함으로써 터치 측정값의 오류를 보정할 수 있다. 즉, 도 9와 같이 터치 측정값(11)에 의해서는 1번의 터치로 인식되는 오류를 보정하기 위해 학습된 터치 예측값(12)을 터치 측정값에 보간 삽입하여 보정함으로써 터치 측정신호의 오류를 보정한다. 이때, 터치 측정값에 보간 삽입하지 않고 다른 예로서 터치 측정값을 학습된 터치 예측값으로 대체하여 출력할 수도 있다. In more detail, as illustrated in FIG. 8, the acceleration sensor additionally generates three-axis measurement values of X, Y, and Z separately from touch measurement values of the
<실시예 2><Example 2>
도 12 내지 도 15를 참고하여 소리 센서(또는 오디오 센서)를 입력 값으로 하여 학습한 결과를 설명하기로 한다. 도 12 내지 도 15는 터치 센서부(110)에 의해 측정된 터치 측정값과 터치 예측신호 생성부(220)에 의해 학습된 터치 예측값이 동일하여(이때 동일한지는 일예로서 터치 횟수로 가정할 수 있다) 터치 비교부가 "터치 입력"으로 판단하고, 서로 동일한 터치 횟수를 나타낸다. 즉, 터치 측정값이 측정 오류를 일으키지 않은 경우이다.With reference to FIGS. 12 to 15, a result of learning using a sound sensor (or audio sensor) as an input value will be described. 12 to 15 show that the touch measurement value measured by the
도 12 내지 도 15와 달리 도 16 내지 도 19는 터치 측정값(11)의 오류를 나타낸 것이다. 즉, 도 16 내지 도 18에 도시된 바와 같이 터치 측정값(11)은 1번의 터치를 나타낸 값이고, 학습된 터치 예측값(12)은 2번의 터치가 이루어졌음을 나타낸 값이다. 이때 실제로 사용자는 터치 스크린에 2번의 터치 접촉을 한 예이며 따라서 터치 측정값은 오류가 존재한다. 이러한 오류 예는 터치가 약하게 이루어지거나 전극 등이 잘못 배열되어 터치 값이 1이 아니고 0으로 인식되어 터치 센서가 동작되지 않은 경우에 발생될 수 있다. 이러한 오류는 도 19에 도시되고 앞서 설명한 바와 같이 학습된 터치 예측값(12)을 통해 보정될 수 있다. Unlike FIGS. 12 to 15, FIGS. 16 to 19 show an error of the
<실시예 3><Example 3>
도 20 내지 도 23은 소리 센서를 사용할 때 나타나는 터치 측정값(11)의 오류를 나타낸 도면으로서 앞서 설명한 실시예 1의 도 8과 동일한 오류를 나타낸다. 실시예 3에서도 학습된 터치 예측값(12)을 통해 터치 측정값(11)이 보정될 수 있다. 나머지 설명은 실시예 1 내지 실시예 2의 설명에 갈음하기로 한다.20 to 23 are views showing an error of the
본 발명을 설명함에 있어 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.In the description of the present invention, descriptions that are obvious to those skilled in the art and those skilled in the art may be omitted, and descriptions of the omitted components (methods) and functions may be sufficiently referenced without departing from the technical spirit of the present invention. Will be able to.
상술한 각부의 구성 및 기능에 대한 설명은 설명의 편의를 위하여 서로 분리하여 설명하였을 뿐 필요에 따라 어느 한 구성 및 기능이 다른 구성요소로 통합되어 구현되거나, 또는 더 세분화되어 구현될 수도 있다.Descriptions of the components and functions of the above-described parts have been described separately from each other for convenience of description, and if necessary, any one component and function may be implemented by being integrated into other components, or may be implemented by being further subdivided.
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다. 또한, 본 발명과 관련된 공지 기능 및 그 구성 또는 본 발명의 각 구성에 대한 결합관계에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.As described above, with reference to one embodiment of the present invention, the present invention is not limited to this, and various modifications and applications are possible. That is, those skilled in the art will readily understand that many modifications are possible without departing from the gist of the present invention. In addition, it should be noted that when it is determined that a detailed description of a known function related to the present invention and its configuration or a coupling relationship for each configuration of the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description is omitted. something to do.
11 : 터치 측정값
12 : 학습된 터치 예측값
110 : 터치 센서부
120 : 오류보정 센서부
210 : 시퀀스 기반 기계 학습부
220 : 터치 예측신호 생성부
230 : 터치 오류 판단부
231 : 터치 비교부
232 : 터치 오류 보정부
240 : 터치 신호 출력부
300 : 제어부11: Touch measurement value
12: learned touch prediction value
110: touch sensor unit
120: error correction sensor unit
210: sequence-based machine learning unit
220: touch prediction signal generator
230: touch error determination unit
231: touch comparison unit
232: touch error correction unit
240: touch signal output
300: control unit
Claims (13)
상기 터치 입력시에 사용자의 터치에 의해 추가적으로 발생되는 터치 보정신호를 생성 및 출력하는 오류보정 센서부,
시간축을 따라 시퀀스 값을 가지는 상기 터치 보정신호를 기초로 상기 터치 입력에 따라 지도학습 하는 시퀀스 기반 기계 학습부를 통해 학습된 데이터를 바탕으로 상기 터치 측정신호와는 별개의 상기 터치 보정신호에 상응하는 학습된 터치 예측신호를 생성하는 터치 예측신호 생성부, 및
상기 터치 측정신호와 상기 학습된 터치 예측신호를 서로 비교하여 상기 터치 측정신호의 오류를 보정하는 터치 오류 판단부를 포함하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
A capacitive touch sensor unit for generating and outputting a touch measurement signal corresponding to a capacitance measurement value according to the touch input when a touch is input to the touch screen of the portable terminal,
An error correction sensor unit for generating and outputting a touch correction signal additionally generated by a user's touch upon the touch input,
Learning corresponding to the touch correction signal separate from the touch measurement signal based on the data learned through the sequence-based machine learning unit for supervised learning based on the touch input based on the touch correction signal having a sequence value along a time axis. A touch prediction signal generator for generating a touch prediction signal, and
And a touch error determination unit that corrects an error of the touch measurement signal by comparing the touch measurement signal with the learned touch prediction signal.
상기 오류보정 센서부는,
상기 터치 보정신호인 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 생성하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
According to claim 1,
The error correction sensor unit,
Deep learning based touch sensor measurement error correction device, characterized in that at least one of the acceleration signal, the angular velocity signal, the sound signal and the vibration signal that is the touch correction signal.
상기 시퀀스 기반 기계 학습부는,
상기 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 바탕으로 지도학습을 하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
According to claim 2,
The sequence-based machine learning unit,
Deep learning based touch sensor measurement error correction device, characterized in that supervised learning based on at least one of the acceleration signal, angular velocity signal, sound signal and vibration signal.
상기 터치 오류 판단부는,
상기 터치 측정신호와 상기 학습된 터치 예측신호를 서로 비교하여 터치 미입력 여부를 비교 판단하는 터치 비교부, 및
상기 터치 비교부의 판단에 따라 터치 미입력으로 판단한 경우에는 상기 학습된 터치 예측신호를 기초로 터치 측정신호의 오류를 보정하는 터치 오류 보정부를 포함하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
According to claim 1,
The touch error determination unit,
A touch comparison unit comparing and comparing the touch measurement signal with the learned touch prediction signal to determine whether there is no touch, and
A deep learning-based touch sensor measurement error correction device comprising a touch error correction unit that corrects an error of a touch measurement signal based on the learned touch prediction signal when it is determined that the touch comparison unit determines that the touch is not input. .
상기 터치 비교부의 판단에 따라 터치 입력의 경우에는 상기 터치 측정신호 또는 학습된 터치 예측신호 중 어느 하나를 출력하고, 터치 미입력의 경우에는 보정된 터치 측정신호를 출력하는 터치 신호 출력부를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
The method of claim 4,
According to the determination of the touch comparison unit, in the case of a touch input, further comprising a touch signal output unit that outputs either the touch measurement signal or the learned touch prediction signal, and in the case of no touch input, outputs a corrected touch measurement signal. Deep learning based touch sensor measurement error correction device.
상기 터치 비교부는,
상기 터치 측정신호를 기준으로 상기 학습된 터치 예측신호를 비교하여 상기 터치 측정신호에 따른 터치 미입력 여부를 비교 판단하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 장치.
The method of claim 4,
The touch comparison unit,
A deep learning-based touch sensor measurement error correction device, comparing and comparing the learned touch prediction signal based on the touch measurement signal to determine whether there is no touch according to the touch measurement signal.
시퀀스 기반 기계 학습부를 통해 학습된 데이터를 바탕으로 상기 터치 측정신호와는 별개의 상기 터치 보정신호에 상응하는 학습된 터치 예측신호를 터치 예측신호 생성부가 생성하는 단계, 및
상기 터치 측정신호와 상기 학습된 터치 예측신호를 서로 비교하여 상기 터치 측정신호의 오류를 터치 오류 판단부가 판별하고, 상기 터치 측정신호의 오류를 상기 학습된 터치 예측신호를 기초로 보정하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
When a touch is input to a touch screen of a portable terminal, a capacitive touch sensor unit generates a touch measurement signal corresponding to a capacitance measurement value according to the touch input, and a touch correction signal additionally generated by a user's touch when the touch is input. Generating the error correction sensor unit,
Generating a touch prediction signal generated by the touch prediction signal generation unit corresponding to the touch correction signal separate from the touch measurement signal based on the data learned through the sequence-based machine learning unit, and
And comparing the touch measurement signal and the learned touch prediction signal to each other to determine an error of the touch measurement signal, and correcting an error of the touch measurement signal based on the learned touch prediction signal. Deep learning based touch sensor measurement error correction method characterized in that.
상기 시퀀스 기반 기계 학습부는,
시간축을 따라 시퀀스 값을 가지는 상기 터치 보정신호를 기초로 상기 터치 입력에 따라 지도학습하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
The method of claim 7,
The sequence-based machine learning unit,
A deep learning-based touch sensor measurement error correction method characterized in that supervised learning is performed according to the touch input based on the touch correction signal having a sequence value along a time axis.
상기 오류보정 센서부는,
상기 터치 보정신호인 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 생성하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
The method of claim 8,
The error correction sensor unit,
A method for correcting a measurement error of a touch sensor based on deep learning, characterized in that at least one of the acceleration signal, the angular velocity signal, the sound signal, and the vibration signal, which are the touch correction signals, is generated.
상기 시쿼스 기반 기계 학습부는,
상기 가속도 신호, 각속도 신호, 소리 신호 및 진동 신호 중 적어도 어느 하나의 신호를 바탕으로 지도학습을 하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
The method of claim 9,
The Sequus-based machine learning unit,
Deep learning based touch sensor measurement error correction method, characterized in that supervised learning based on at least one of the acceleration signal, angular velocity signal, sound signal and vibration signal.
상기 터치 오류 판단부는,
상기 터치 측정신호와 상기 학습된 터치 예측신호를 서로 비교하여 터치 미입력 여부를 터치 비교부가 비교 판단하는 단계, 및
상기 터치 비교부의 판단에 따라 터치 미입력으로 판단한 경우에는 상기 학습된 터치 예측신호를 기초로 터치 측정신호의 오류를 터치 오류 보정부가 보정하는 단계를 수행하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
The method of claim 8,
The touch error determination unit,
Comparing the touch measurement signal and the learned touch prediction signal with each other, and comparing and determining whether a touch is not input, and
When it is determined that the touch comparison unit determines that the touch is not input, the deep error-based touch sensor measurement error is characterized in that the touch error correction unit corrects the error of the touch measurement signal based on the learned touch prediction signal. Calibration method.
터치 신호 출력부는,
상기 터치 비교부의 판단에 따라 터치 입력의 경우에는 상기 터치 측정신호 또는 학습된 터치 예측신호 중 어느 하나를 출력하고, 터치 미입력의 경우에는 보정된 터치 측정신호를 출력하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.
The method of claim 11,
The touch signal output section,
Based on the determination of the touch comparison unit, in the case of a touch input, either the touch measurement signal or the learned touch prediction signal is output, and in the case of a non-touch input, a corrected touch measurement signal is output. Correction method for touch sensor measurement error.
상기 터치 비교부는,
상기 터치 측정신호를 기준으로 상기 학습된 터치 예측신호를 비교하여 상기 터치 측정신호에 따른 터치 미입력 여부를 비교 판단하는 것을 특징으로 하는 딥러닝 기반의 터치센서 측정 오류 보정 방법.The method of claim 11,
The touch comparison unit,
A deep learning-based touch sensor measurement error correction method comprising comparing the learned touch prediction signal based on the touch measurement signal to determine whether there is no touch according to the touch measurement signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190001491A KR102163143B1 (en) | 2019-01-07 | 2019-01-07 | Apparatus and method of correcting touch sensor input |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190001491A KR102163143B1 (en) | 2019-01-07 | 2019-01-07 | Apparatus and method of correcting touch sensor input |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200092456A true KR20200092456A (en) | 2020-08-04 |
| KR102163143B1 KR102163143B1 (en) | 2020-10-08 |
Family
ID=72048966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190001491A KR102163143B1 (en) | 2019-01-07 | 2019-01-07 | Apparatus and method of correcting touch sensor input |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102163143B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065682A1 (en) * | 2020-09-23 | 2022-03-31 | 삼성전자주식회사 | Wearable device and control method therefor |
| CN117076932A (en) * | 2023-10-13 | 2023-11-17 | 源予半导体南京有限公司 | High-sensitivity capacitance change detection method, system, electronic device and storage medium |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100800439B1 (en) | 2006-09-12 | 2008-02-04 | 엘지전자 주식회사 | Method for compensating a input error of touchpad, and terminal thereof |
| JP2008242958A (en) * | 2007-03-28 | 2008-10-09 | Kddi Corp | Input device by touch panel and method |
| KR20130012484A (en) * | 2011-07-25 | 2013-02-04 | 한국과학기술원 | Method for estimatting touch pressure of mobile device using acceleration sensor |
| KR20130092228A (en) | 2012-02-10 | 2013-08-20 | 삼성전자주식회사 | Apparatus and method for compensating touch error in electronic device with touch screen |
| KR20130103254A (en) * | 2012-03-10 | 2013-09-23 | 조동혁 | The touch screen and key which can measure the coordinate and strength of touch position by deflection or viration sensors |
| KR20140070211A (en) | 2012-11-30 | 2014-06-10 | 삼성전기주식회사 | Apparatus and method for sensing touch input |
| KR20140133070A (en) | 2013-05-09 | 2014-11-19 | 삼성디스플레이 주식회사 | Touch sensing device and driving method thereof |
| KR101483305B1 (en) | 2008-06-26 | 2015-01-15 | 주식회사 케이티 | Method of Input Error Control Processing of Mobile Equipment and Mobile Equipment performing the same |
| KR101537684B1 (en) | 2008-05-20 | 2015-07-20 | 엘지전자 주식회사 | Mobile terminal and method of calibration sensitivity of proximity touch therefor |
| KR101762278B1 (en) | 2016-02-05 | 2017-07-31 | 주식회사 하이딥 | Touch pressure sensitivity compensation method and computer readable recording medium |
| KR101820307B1 (en) | 2015-10-30 | 2018-01-23 | 주식회사 하이딥 | Touch detector performing pressure detection accuracy correction method and touch input device including the same |
| KR20180081353A (en) * | 2017-01-06 | 2018-07-16 | 삼성전자주식회사 | Electronic device and operating method thereof |
| KR20180117952A (en) * | 2017-04-20 | 2018-10-30 | 한국생산기술연구원 | 3 dimensional touch sensing apparatus usnig deep learning and method for sensing 3 dimensional touch usnig the same |
-
2019
- 2019-01-07 KR KR1020190001491A patent/KR102163143B1/en active IP Right Grant
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100800439B1 (en) | 2006-09-12 | 2008-02-04 | 엘지전자 주식회사 | Method for compensating a input error of touchpad, and terminal thereof |
| JP2008242958A (en) * | 2007-03-28 | 2008-10-09 | Kddi Corp | Input device by touch panel and method |
| KR101537684B1 (en) | 2008-05-20 | 2015-07-20 | 엘지전자 주식회사 | Mobile terminal and method of calibration sensitivity of proximity touch therefor |
| KR101483305B1 (en) | 2008-06-26 | 2015-01-15 | 주식회사 케이티 | Method of Input Error Control Processing of Mobile Equipment and Mobile Equipment performing the same |
| KR20130012484A (en) * | 2011-07-25 | 2013-02-04 | 한국과학기술원 | Method for estimatting touch pressure of mobile device using acceleration sensor |
| KR20130092228A (en) | 2012-02-10 | 2013-08-20 | 삼성전자주식회사 | Apparatus and method for compensating touch error in electronic device with touch screen |
| KR20130103254A (en) * | 2012-03-10 | 2013-09-23 | 조동혁 | The touch screen and key which can measure the coordinate and strength of touch position by deflection or viration sensors |
| KR20140070211A (en) | 2012-11-30 | 2014-06-10 | 삼성전기주식회사 | Apparatus and method for sensing touch input |
| KR20140133070A (en) | 2013-05-09 | 2014-11-19 | 삼성디스플레이 주식회사 | Touch sensing device and driving method thereof |
| KR101820307B1 (en) | 2015-10-30 | 2018-01-23 | 주식회사 하이딥 | Touch detector performing pressure detection accuracy correction method and touch input device including the same |
| KR101762278B1 (en) | 2016-02-05 | 2017-07-31 | 주식회사 하이딥 | Touch pressure sensitivity compensation method and computer readable recording medium |
| KR20180081353A (en) * | 2017-01-06 | 2018-07-16 | 삼성전자주식회사 | Electronic device and operating method thereof |
| KR20180117952A (en) * | 2017-04-20 | 2018-10-30 | 한국생산기술연구원 | 3 dimensional touch sensing apparatus usnig deep learning and method for sensing 3 dimensional touch usnig the same |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022065682A1 (en) * | 2020-09-23 | 2022-03-31 | 삼성전자주식회사 | Wearable device and control method therefor |
| CN117076932A (en) * | 2023-10-13 | 2023-11-17 | 源予半导体南京有限公司 | High-sensitivity capacitance change detection method, system, electronic device and storage medium |
| CN117076932B (en) * | 2023-10-13 | 2024-01-26 | 源予半导体南京有限公司 | High-sensitivity capacitance change detection method, system, electronic device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102163143B1 (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9207801B2 (en) | Force sensing input device and method for determining force information | |
| CN101689080B (en) | Improvements in or relating to user interfaces and associated apparatus and methods | |
| KR101007049B1 (en) | Input device comprising resistive touch panel and calculating method of touch position thereof | |
| US9152287B2 (en) | System and method for dual-touch gesture classification in resistive touch screens | |
| US20200371634A1 (en) | Touch panel device | |
| KR102605388B1 (en) | Bend sensing circuit, foldable display device and method for driving thereof | |
| US9552111B2 (en) | Touch sensing device and method of identifying a touched position | |
| US20110063249A1 (en) | Touch sensing apparatus and touch sensing method | |
| US20170242539A1 (en) | Use based force auto-calibration | |
| US10488987B2 (en) | Touch panel apparatus | |
| KR20130113181A (en) | Touch sensing device and control method thereof | |
| JP2009048233A (en) | Touch panel input device | |
| US9582113B2 (en) | Method and apparatus for improving coordinate accuracy of a touch panel | |
| EP2128744A2 (en) | Pointing device and method for determining rotational angle of pointing device | |
| KR20200092456A (en) | Apparatus and method of correcting touch sensor input | |
| EP4216043A2 (en) | Open close detection of foldable phone lid angle calculation | |
| US20220334671A1 (en) | Touch screen controller for determining relationship between a user's hand and a housing of an electronic device | |
| JP5336341B2 (en) | Touch panel device | |
| CN111189564B (en) | Pressure measuring device | |
| TWI416396B (en) | Touch point detecting method | |
| US9811229B2 (en) | Capacitive touch sensing | |
| US20220229519A1 (en) | Touch-sensitive apparatus and method | |
| WO2014017077A1 (en) | Touch input device control device, and touch input device control method | |
| EP1630652B1 (en) | Coordinate positioning device with anti-noise method | |
| US9495054B2 (en) | Touch control system and coordinate correction method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |