KR102537133B1 - An input-latency reduction method based on a prediction of a position - Google Patents
An input-latency reduction method based on a prediction of a position Download PDFInfo
- Publication number
- KR102537133B1 KR102537133B1 KR1020160092833A KR20160092833A KR102537133B1 KR 102537133 B1 KR102537133 B1 KR 102537133B1 KR 1020160092833 A KR1020160092833 A KR 1020160092833A KR 20160092833 A KR20160092833 A KR 20160092833A KR 102537133 B1 KR102537133 B1 KR 102537133B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- input
- coordinate
- predicted
- prediction
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
좌표를 입력받아 화면에 디스플레이(display)하는 장치에 있어서, 실제 입력장치의 위치와 디스플레이되는 좌표 사이에 지연 시간이 존재하며 지연 시간을 줄이기 위한 다양한 방법들이 시도되고 있다. 본 발명의 다양한 실시예는 과거의 입력 좌표들로부터 미래의 좌표를 예측하는 방법들과, 예측 좌표를 화면에 표시하여 지연시간을 줄이는 경우 발생할 수 있는 문제들을 해결하는 방법들을 제시할 수 있다.In a device that receives coordinates and displays them on a screen, a delay time exists between a location of an actual input device and displayed coordinates, and various methods for reducing the delay time have been attempted. Various embodiments of the present invention may suggest methods for predicting future coordinates from past input coordinates and methods for solving problems that may occur when delay time is reduced by displaying the predicted coordinates on a screen.
Description
좌표를 입력받아 화면에 디스플레이(display)하는 장치에 있어서, 실제 입력장치의 위치와 디스플레이되는 좌표 사이에 지연 시간이 존재하며 지연 시간을 줄이기 위한 다양한 방법들이 시도되고 있다. 본 발명의 다양한 실시예는 과거의 입력 좌표들로부터 미래의 좌표를 예측하는 방법들과, 예측 좌표를 화면에 표시하여 지연시간을 줄이는 경우 발생할 수 있는 문제들을 해결하는 방법들을 제시할 수 있다.In a device that receives coordinates and displays them on a screen, a delay time exists between a location of an actual input device and displayed coordinates, and various methods for reducing the delay time have been attempted. Various embodiments of the present invention may suggest methods for predicting future coordinates from past input coordinates and methods for solving problems that may occur when delay time is reduced by displaying the predicted coordinates on a screen.
기존 예측 좌표와 실제 좌표의 오차를 줄이기 위해 상황에 따라 측정 좌표/예측 좌표 중 택하는 방법이나(US20130181908A1, MS), 예측 좌표를 후보정 (US20150062021A1, NVIDA) 하는 방법이 사용되었다.In order to reduce the error between the existing predicted coordinates and actual coordinates, depending on the situation, a method of selecting between measured coordinates and predicted coordinates (US20130181908A1, MS) or post-correction of predicted coordinates (US20150062021A1, NVIDA) was used.
Display 장치에 손, stylus 등을 이용하여 터치 좌표를 입력하면 좌표를 찾고 화면에 표시하기 위해 시간이 필요하며 이에 따라 실제 터치된 좌표와 화면에 표시된 좌표 사이에 시간 지연이 발생하는 문제점이 존재한다. 이를 해결하기 위해 미래의 입력 좌표를 예측하여 시간 지연을 줄일 수 있다. (도 2) 하지만, 좌표를 예측하는 알고리즘의 성능이 나쁜 경우 실제 좌표 궤적과 예측 좌표 사이의 오차가 크게 발생하는 문제가 있어 종래 기술의 경우 예측 좌표 사용에 제한이 있었다. 또한, 펜이 움직이며 화면에서 떨어지는 경우 펜이 떨어진 이후의 위치를 미리 예측하여 화면에 표시함으로써 큰 오차를 발생시키는 경우가 존재한다. When touch coordinates are input to the display device using a hand, stylus, etc., time is required to find the coordinates and display them on the screen, resulting in a time delay between the actually touched coordinates and the coordinates displayed on the screen. To solve this problem, time delay can be reduced by predicting future input coordinates. (FIG. 2) However, if the performance of the algorithm for predicting coordinates is poor, there is a problem in that a large error occurs between the actual coordinate trajectory and the predicted coordinate, so in the case of the prior art, the use of the predicted coordinate is limited. In addition, when the pen moves and falls off the screen, a position after the pen falls is predicted in advance and displayed on the screen, resulting in a large error.
본 발명의 다양한 실시예에 따르면 예측 좌표의 오차를 줄이고 예측 좌표에 오차가 발생하는 경우에도 예측 좌표를 일시적으로만 화면에 표시하도록 하여 실제 사용자의 불편함을 최소화할 수 있다. According to various embodiments of the present invention, it is possible to minimize an actual user's discomfort by reducing an error in predicted coordinates and displaying the predicted coordinates only temporarily on the screen even when an error occurs in the predicted coordinates.
본 발명의 다양한 실시예들은, 크게 좌표 예측 단계(101)와 좌표 표시 단계(102)로 구분하여, 좌표 예측 단계에서는 입력받은 현재 좌표 및 저장되어 있는 과거 좌표에 기반하여 미래 좌표를 예측할 수 있으며, 좌표 표시 단계에서는 예측 좌표를 표시하거나 이전에 표시된 예측 좌표를 수정 혹은 삭제하고 새로 입력된 좌표 및 새로 예측된 좌표를 디스플레이 장치에 표시할 수 있다. Various embodiments of the present invention are largely divided into a
본 발명의 다양한 실시예들에 의하면, 좌표 예측을 통해 화면에 표시되는 좌표와 실제 입력 사이의 lag을 줄일 수 있으며, 고성능 좌표 예측 알고리즘을 통해 예측 에러를 최소화하고 좌표 예측 시간을 상황에 따라 조절하여 일정 수준 이상의 예측성능을 항상 달성하도록 할 수 있다. 또한, 예측 좌표는 일시적으로 화면에 표시되어 매번 화면이 갱신될 때마다 이전 예측 좌표는 제외되어 예측 좌표로 인한 궤적의 왜곡이 발생하지 않도록 할 수 있다.According to various embodiments of the present invention, it is possible to reduce the lag between the coordinates displayed on the screen and the actual input through coordinate prediction, minimize prediction errors through a high-performance coordinate prediction algorithm, and adjust the coordinate prediction time according to the situation. A certain level of predictive performance can always be achieved. In addition, the predicted coordinates may be temporarily displayed on the screen so that the distortion of the trajectory due to the predicted coordinates may not occur by excluding previous predicted coordinates whenever the screen is updated.
도 1은 본 발명의 일 실시예에 따른 좌표 예측 방법에 관한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 좌표 입력 장치의 구성도이다.
도 3 및 도 4는 본 발명의 실시예들에 따른 적응 필터를 이용하는 방법에 관한 도면이다.
도 5는 본 발명의 일 실시예에 따라 필압을 이용하여 좌표를 예측하는 방법에 관한 순서도이다.
도 6은 본 발명의 일 실시예에 따라 측정 데이터를 선처리하여 좌표를 예측하는 방법에 관한 순서도이다.
도 7은 본 발명의 일 실시예에 따라 예측 좌표를 후처리하여 좌표를 예측하는 방법에 관한 순서도이다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치의 구성도이다.
도 9 및 도 10은 본 발명의 다양한 실시예에 따라 예측 좌표가 포함된 이미지를 처리하는 동작에 관한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 구동회로 내부 구성도이다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 구동회로의 운용 방법을 도시한 순서도이다.
도 13은 본 발명의 일 실시예에 따른 예측 좌표의 전달을 도시한 구성도이다. 1 is a flowchart of a method for predicting coordinates according to an embodiment of the present invention.
2 is a configuration diagram of a coordinate input device according to an embodiment of the present invention.
3 and 4 are diagrams of a method of using an adaptive filter according to embodiments of the present invention.
5 is a flowchart of a method of predicting coordinates using pen pressure according to an embodiment of the present invention.
6 is a flowchart of a method of predicting coordinates by pre-processing measurement data according to an embodiment of the present invention.
7 is a flowchart of a method of predicting coordinates by post-processing predicted coordinates according to an embodiment of the present invention.
8 is a configuration diagram of an electronic device according to various embodiments of the present disclosure.
9 and 10 are flowcharts of processing an image including predicted coordinates according to various embodiments of the present disclosure.
11 is an internal configuration diagram of a display driving circuit according to an embodiment of the present invention.
12 is a flowchart illustrating a method of operating a display driving circuit according to an embodiment of the present invention.
13 is a configuration diagram illustrating transmission of predicted coordinates according to an embodiment of the present invention.
도 2는 디지타이저나 터치 스크린등의 좌표 측정이 가능한 장치(202)를 통해 스타일러스 펜이나 손 터치 등의 좌표 입력 장치(201)의 위치 정보를 측정하여 디스플레이 패널 등의 화면(205)에 표시하는 장치의 예시를 보여준다. 좌표를 측정하는데 걸리는 시간과 화면에 표시하는 데 필요한 시간 때문에 실제 스타일러스 펜이나 손터치의 위치와 화면에 표시되는 좌표 사이에 시간 지연(206)이 발생하게 된다.2 is a device that measures positional information of a
좌표 입력 장치 201은 손이나 전도봉과 같이 전도성 물질로 이루어진 물체일 수 있으며, 또는 전기 신호를 발생시키거나 자기신호를 발생시키는 장치일 수 있다.The
좌표측정이 가능한 장치 202는 자기장을 감지하는 루프코일로 이루어진 센서보드를 포함할 수 있고 메탈메쉬나 ITO와 같이 전기 신호를 감지할 수 있는 전극으로 이루어져 있을 수 있다. The
프로세서 203은 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예에서, 프로세서 203은 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 커뮤니케이션 프로세서(communication processor(CP), 센서 허브(sensor hub) 등을 포함할 수 있다.The
디스플레이 구동 회로 204는 디스플레이 패널 205를 통해 이미지를 출력하기 위한 구동회로일 수 있으며, 디스플레이 패널 205는 이미지, 텍스트 등의 화면을 출력할 수 있다. 디스플레이 패널 205은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 디스플레이 패널 205은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.The
이러한 시간 지연(206)을 감소시키기 위해, 도 1과 같이 좌표 예측을 통해 얻은 예측 좌표를 미리 화면에 표시하도록 할 수 있다. 좌표 예측 단계(101)에서는 디지타이저나 터치스크린 등의 좌표 측정이 가능한 장치(202)로부터 스타일러스 펜이나 손터치의 측정 좌표 및 필압 등의 정보를 입력받아 다음 입력 좌표 또는 기 설정된 시간 후의 좌표를 예측할 수 있고 좌표 표시 단계(102)에서는 측정한 좌표와 예측한 좌표를 화면에 표시할 수 있다. In order to reduce this
좌표 예측단계에서 입력받은 좌표로부터 다음 좌표를 예측하기 위해서 좌표의 궤적을 N차 다항식으로 회귀하여 다음 위치를 추정할 수 있다. 예를 들어 1차의 경우 직선, 2차의 경우 포물선 형태의 궤적으로 좌표를 예측할 수 있으며 이것은 각각 1차의 경우는 좌표의 이동 속도, 2차의 경우는 좌표의 속도 및 가속도를 추정하여 다음 좌표를 예측하는 것과 동일할 수 있다. 좌표의 속도는 현재 좌표와 이전 좌표의 차이를 이용하여 얻을 수 있고, 좌표의 가속도는 현재의 속도와 이전의 속도 차이를 이용하여 얻을 수 있다. 입력 좌표에 측정 오차가 포함되어 있는 경우 속도 및 가속도 추정 값에 오차가 발생할 수 있으며 이를 개선하기 위해 속도 및 가속도를 이전 속도 및 이전 가속도와 평균 내어 사용할 수 있고 이는 FIR filter나 IIR 필터로 구현할 수 있다. 또한, 속도 및 가속도를 평균 내는 대신 현재 좌표와 n 개 이전의 좌표를 이용하여 n 번 좌표 이동시의 평균 속도를 바로 구할 수 있으며 평균 가속도도 동일한 방식으로 구할 수 있다. In order to predict the next coordinate from the coordinates input in the coordinate prediction step, the next position can be estimated by regressing the trajectory of the coordinate with an N-order polynomial. For example, coordinates can be predicted with a linear trajectory in the case of the first order and a parabolic trajectory in the case of the second order. It can be the same as predicting . The coordinate velocity can be obtained using the difference between the current coordinate and the previous coordinate, and the acceleration of the coordinate can be obtained using the difference between the current velocity and the previous velocity. If the input coordinates contain measurement errors, errors may occur in the velocity and acceleration estimation values. To improve this, the average of the velocity and acceleration with the previous velocity and acceleration can be used, which can be implemented as an FIR filter or an IIR filter. . In addition, instead of averaging the velocity and acceleration, the average velocity at the time of moving the coordinates n times using the current coordinate and n previous coordinates can be directly obtained, and the average acceleration can also be obtained in the same way.
또 다른 방법으로 Kalman filter를 이용하여 속도 및 가속도를 추정할 수 있다. 복잡한 움직임을 예측하기 위해서 차수가 올라가야 하며 차수가 높을수록 측정오차(또는 노이즈)에 대해 민감해지며 계산량이 증가하게 된다.As another method, the velocity and acceleration can be estimated using the Kalman filter. In order to predict complex motion, the degree must be increased, and the higher the degree, the more sensitive to measurement error (or noise) and the greater the amount of calculation.
타원 등의 움직임을 예측하기 위해서는 x축 y축의 correlation을 고려해야 하며 이는 x축, y축 좌표 계산을 독립적으로 할 수 없어 회귀곡선 추정의 복잡도가 제곱으로 증가함을 의미한다. 이 경우는 각속도 등을 추정하여 사용하는 것으로 구현할 수 있다.In order to predict the motion of an ellipse, etc., the correlation of the x-axis and the y-axis must be considered, which means that the complexity of regression curve estimation increases squarely because the x-axis and y-axis coordinate calculations cannot be independently calculated. In this case, it can be implemented by estimating and using the angular velocity.
좌표를 예측하는 또 다른 방법으로 적응 필터를 이용할 수 있다. 적응 필터는 입력된 좌표로부터 다음 좌표를 출력하는 선형 필터를 얻는 것을 목적으로 한다(도 3). 이러한 선형 필터를 얻은 후에는 현재 좌표를 입력으로 하여 다음 좌표를 얻고, 이 동작을 반복 수행하여 원하는 시간 후의 좌표를 얻을 수 있다(도 4).Another way to predict coordinates is to use an adaptive filter. The purpose of the adaptive filter is to obtain a linear filter outputting the next coordinate from the input coordinate (FIG. 3). After obtaining such a linear filter, the current coordinates are used as input to obtain the next coordinates, and by repeating this operation, the coordinates after a desired time can be obtained (FIG. 4).
적응필터는 다음 좌표를 과거 M 개의 좌표의 weighted sum으로 나타내며 각 좌표의 weight 값을 예측 오차를 이용하여 update 할 수 있다. 이때 적응 필터의 입력으로 x, y 좌표를 모두 사용함으로써 직선, 포물선, 타원 등의 움직임에 모두 대응할 수 있다. 도 4의 입력 벡터 u(n)은 1개 이상의 x 좌표와 1개 이상의 y 좌표를 포함할 수 있다. 그러나 적응필터 알고리즘은 local minimum 에 빠지는 문제가 있을 수 있으며 이에 따라 좌표 예측에 실패할 수 있다. 그러나 이는 좌표 움직임의 특성을 반영한 고유의 제한조건을 만족하도록 적응필터 update 알고리즘을 설계하여 해결할 수 있다. 또한, 적응 필터의 경우 filter가 converge 하는 transient 시간이 필요하다는 단점이 존재할 수 있다. 이 문제는 variable step size 등의 최신 기법이나 초반 iteration 횟수를 늘리는 방법 등으로 극복할 수 있으며 처음 좌표가 입력되고 일정 시간 동안 예측 좌표를 사용하지 않거나 위에서 언급한 다항식 등을 이용하여 추정한 좌표를 사용할 수 있다.The adaptive filter represents the next coordinate as a weighted sum of M coordinates in the past, and the weight value of each coordinate can be updated using the prediction error. At this time, by using both x and y coordinates as inputs of the adaptive filter, it is possible to respond to all motions such as a straight line, a parabola, and an ellipse. The input vector u(n) of FIG. 4 may include one or more x coordinates and one or more y coordinates. However, the adaptive filter algorithm may have a problem of falling into the local minimum, and thus, coordinate prediction may fail. However, this can be solved by designing an adaptive filter update algorithm to satisfy the unique constraints reflecting the characteristics of coordinate motion. In addition, in the case of an adaptive filter, there may be a disadvantage that the filter requires a transient time to converge. This problem can be overcome with the latest techniques such as variable step size or a method of increasing the number of iterations at the beginning. After the first coordinates are entered, the predicted coordinates are not used for a certain period of time, or the coordinates estimated using the polynomial mentioned above can be used. can
예측 좌표의 정확도를 높이기 위해 여러 가지 방법을 사용할 수 있으며 일 실시예로 좌표를 예측하는 알고리즘에서 미리 알려진 궤적 혹은 형태에 대한 정보를 이용하는 방법이 사용될 수 있다. 일반적으로 사용자가 자주 사용하는 궤적 혹은 형태를 미리 입력해두고 유사한 궤적 혹은 형태에 해당하는 경우 저장된 궤적 혹은 형태를 이용하여 예측 정확도를 높이거나 좌표 예측 시간을 길게 가져갈 수 있으며, 미리 입력된 궤적 혹은 형태 중 일치하는 것이 없으면 좌표 예측 시간을 짧게 하거나 좌표 예측을 하지 않도록 할 수 있다. 미리 입력된 궤적 혹은 형태 정보는 전자 장치의 메모리에 저장될 수도 있고, 좌표 입력 장치의 제어 모듈에 저장될 수도 있고 외부 장치(예: 서버 등)에 저장될 수도 있다.Various methods can be used to increase the accuracy of the predicted coordinates, and in one embodiment, a method using information about a previously known trajectory or shape may be used in an algorithm for predicting coordinates. In general, if a user frequently enters a trajectory or shape in advance and corresponds to a similar trajectory or shape, the prediction accuracy can be increased or the coordinate prediction time can be lengthened by using the stored trajectory or shape, and the previously entered trajectory or shape If none of them match, you can shorten the coordinate prediction time or disable coordinate prediction. Pre-input trajectory or shape information may be stored in a memory of an electronic device, a control module of a coordinate input device, or an external device (eg, a server).
위 설명한 좌표 예측 방법으로 좌표를 예측하더라도 좌표 예측 성능(추정 정확도)이 동일하지 않을 수 있다. 좌표 예측 성능은 좌표 예측 시간, 입력 좌표의 품질, 속도, 가속도, 각속도 등의 값에 영향을 받을 수 있다. 예를 들어, 같은 시간을 예측하는 경우에도 가속도나 각속도가 크면 상대적으로 예측 정확도가 떨어질 수 있다. 따라서 일정한 성능을 얻기 위해서는 가속도, 각속도 등의 값에 따라 좌표 예측하는 시간을 조절할 필요가 있다. Even if coordinates are predicted by the coordinate prediction method described above, coordinate prediction performance (estimation accuracy) may not be the same. Coordinate prediction performance may be affected by values such as coordinate prediction time, quality of input coordinates, speed, acceleration, and angular velocity. For example, even when predicting the same time, if the acceleration or angular velocity is large, the prediction accuracy may be relatively low. Therefore, in order to obtain a certain performance, it is necessary to adjust the coordinate prediction time according to values such as acceleration and angular velocity.
표 1은 좌표 예측 성능에 영향을 주는 요소를 좌표 예측에 유리한 것과 불리한 것으로 나누어 표시한 것이다. 표 1에 기술한 내용 외에도 다양한 요소를 이용하여 좌표 예측 시간 조절에 사용할 수 있다.Table 1 shows the factors that affect coordinate prediction performance by dividing them into favorable and unfavorable coordinate prediction performance. In addition to the contents described in Table 1, various factors can be used to adjust the coordinate prediction time.
좌표 및 좌표가 아닌 별도의 정보에 기초하여 좌표 예측 알고리즘을 변경하거나 좌표 예측 정도를 조절함으로써 좌표 입력 장치의 종류 및 특성에 맞는 예측 좌표를 생성할 수 있다. 도 5는 필압을 이용하여 좌표예측 알고리즘과 파라미터(예:좌표 이동 속도, 가속도, 각속도, 필압 변화 속도, 필압 변화 가속도, 이전 추정 좌표와 측정 좌표 사이의 오차 등)를 선택하여 사용하는 예를 보여준다. stylus 펜 입력의 경우, 필압 정보가 부가적으로 존재할 수 있으며 필압이 0이 되면 stylus가 화면에서 떨어졌다는 것을 의미할 수 있다. 이런 경우 필압의 변화를 추적하여 예측 정도를 조절함으로써 펜이 좌표 입력 장치로부터 떨어지는 시점에 예측 좌표가 실제 펜의 궤적을 벗어나는 문제를 해결할 수 있으며, 예측 시간에서의 필압 값을 예측하여 좌표 예측 알고리즘의 파라미터를 조절할 수 있고, 예측 좌표 사용 유무를 판단할 수도 있다. 또한, 일 실시예에 따라 필압이 0으로 stylus가 호버링 상태에 있는 경우에는 좌표 예측을 하지 않도록 할 수도 있다.Predicted coordinates suitable for the type and characteristics of a coordinate input device may be generated by changing a coordinate prediction algorithm or adjusting a coordinate prediction degree based on coordinates and separate information other than coordinates. 5 shows an example of selecting and using a coordinate prediction algorithm and parameters (e.g., coordinate movement speed, acceleration, angular velocity, pen pressure change speed, pen pressure change acceleration, error between previously estimated coordinates and measured coordinates, etc.) using pen pressure . In the case of stylus pen input, pen pressure information may additionally exist, and when the pen pressure becomes 0, it may mean that the stylus is removed from the screen. In this case, by tracking the change in pen pressure and adjusting the prediction degree, it is possible to solve the problem that the predicted coordinates deviate from the trajectory of the actual pen at the point when the pen is separated from the coordinate input device, and predict the pen pressure value at the prediction time to improve the coordinate prediction algorithm. Parameters can be adjusted, and whether or not predicted coordinates are used can be determined. Also, according to an embodiment, coordinate prediction may not be performed when the pen pressure is 0 and the stylus is in a hovering state.
본 발명의 다양한 실시예에 따라, 좌표를 입력하는 장치(손, stylus)를 종류에 따라 구분하여 좌표 예측 적용 여부를 결정하거나 좌표 예측 알고리즘 혹은 좌표 예측 시간을 변경할 수 있다. 또한, ID가 지윈 되는 stylus의 경우 ID 별로 좌표 예측 적용 여부 또는 좌표 예측 알고리즘 종류를 변경할 수도 있다. 예를 들어 손 터치를 통한 글쓰기나 그리기 작업시 터치 면적이 넓어서 좌표 예측을 통한 지연시간 감소 효과가 크지 않으므로 좌표 예측을 사용하지 않도록 설정하거나 짧은 시간만큼만 예측하도록 하고, passive stylus의 경우 일반적으로 측정되는 좌표에 jitter가 많이 포함되므로 입력 노이즈에 강인한 알고리즘을 선택하며, 배터리가 들어간 active stylus는 측정 좌표가 정확하고 노이즈가 작으므로, 상대적으로 긴 시간을 예측하도록 하여 latency를 크게 줄이도록 할 수 있다. 도 1과 같이 측정된 data로부터 좌표 입력 장치의 종류를 구분하거나 필압 등의 값을 이용하여 예측 알고리즘의 파라메타를 바꾸거나 예측 알고리즘을 바꾸도록 하여 현재 입력 장치에 가장 적합한 예측 알고리즘이 동작하도록 할 수 있다.According to various embodiments of the present invention, a coordinate input device (hand, stylus) may be classified according to a type to determine whether to apply coordinate prediction or to change a coordinate prediction algorithm or coordinate prediction time. In addition, in the case of a stylus that supports ID, whether to apply coordinate prediction or the type of coordinate prediction algorithm can be changed for each ID. For example, when writing or drawing by hand touch, since the touch area is large, the latency reduction effect through coordinate prediction is not large, so disable coordinate prediction or make it predict only for a short time. Since the coordinates contain a lot of jitter, an algorithm that is robust to input noise is selected, and the battery-powered active stylus has accurate measured coordinates and low noise, so it can predict a relatively long time and greatly reduce latency. As shown in FIG. 1, the type of coordinate input device is distinguished from the measured data, or the parameters of the prediction algorithm are changed using values such as pen pressure, or the prediction algorithm is changed so that the prediction algorithm most suitable for the current input device operates. .
본 발명의 일 실시예에 따라 예측 좌표의 품질을 향상시키기 위한 다른 방법으로 예측 알고리즘 입력 좌표를 선 처리 하거나 예측한 좌표를 후처리 할 수 있다.According to an embodiment of the present invention, as another method for improving the quality of the predicted coordinates, the input coordinates of the prediction algorithm may be pre-processed or the predicted coordinates may be post-processed.
도 6은 측정 data를 선처리하여 좌표 예측 입력값으로 사용하는 예시를 보여준다. 입력 좌표에 노이즈가 많은 경우 입력좌표를 스무딩하거나 현재의 궤적에서 크게 벗어나는 좌표를 제외하는 등의 선처리 후 예측 알고리즘의 입력으로 사용할 수도 있다. 또는 입력 좌표가 갑자기 변하거나 버튼 입력 등의 정보가 주어지는 경우 비정상 좌표를 예측단계의 입력에서 제외할 수 있으며 해당 입력이 주어지는 경우 좌표 예측 알고리즘을 변경하거나 리셋하도록 할 수 있다.6 shows an example of pre-processing measurement data and using it as a coordinate prediction input value. If there is a lot of noise in the input coordinates, it can be used as an input for the prediction algorithm after preprocessing such as smoothing the input coordinates or excluding coordinates that deviate greatly from the current trajectory. Alternatively, when input coordinates suddenly change or information such as button input is given, abnormal coordinates can be excluded from the input of the prediction step, and when the corresponding input is given, the coordinate prediction algorithm can be changed or reset.
도 7는 예측 좌표를 후처리하여 예측 좌표의 정확도, 선형성 등의 품질을 향상시키는 예시를 보여준다. 예측 좌표의 품질을 향상시키기 위한 후처리로는 예측 좌표를 스무딩하거나 회귀 곡선으로 렌더링할 수 있으며 위 좌표 예측을 위한 입력 값으로 이전 예측 좌표를 포함 시킬 수 있다. 별도로 도시하지 않았으나 선처리와 후처리를 모두 사용할 수도 있다. 7 shows an example of improving the quality of the predicted coordinates, such as accuracy and linearity, by post-processing the predicted coordinates. As post-processing to improve the quality of the predicted coordinates, the predicted coordinates can be smoothed or rendered as a regression curve, and the previous predicted coordinates can be included as input values for the above coordinate prediction. Although not separately shown, both pre-processing and post-processing may be used.
좌표 입력 장치의 위치 혹은 측정된 좌표 값에 따라 예측 알고리즘을 변경하거나 예측 알고리즘의 파라미터를 변경하여 예측 좌표의 품질을 향상시킬 수 있다. 예를 들어, 터치 스크린 패널(TSP)이나 디지타이저와 같은 좌표를 측정하기 위한 센서의 특성에 따라 위치별로 좌표를 측정하는 메커니즘이 바뀌거나 측정되는 좌표의 품질(예:지터의 양, 센싱 주파수 등)에 차이가 발생할 수 있다. 예를 들어 화면의 외곽에서는 일반적으로 측정되는 좌표의 품질이 나쁘며 중심부에서 외곽으로 선을 그을 때 특정 영역에서 비선형적인 좌표 틀어짐 현상이 나타나는 경우가 있다. 이런 경우 화면의 외곽지역과 중심지역을 나누고 영역에 따라 예측 알고리즘을 바꾸거나 예측 알고리즘의 파라미터를 바꾸도록 할 수 있다. 또 다른 예를 들어, 디스플레이 장치의 구동 방식에 따라 화면 상단과 하단 또는 좌단과 우단의 화면이 갱신되는 시간 차이는 수 ms(millisecond)에서 수십 ms 까지 발생할 수 있다. 예를 들어 화면 상단에서는 50 ms 의 latency 가, 화면 하단에서는 60 ms 의 latency 가 발생 할 수 있으며, 이 경우 똑같이 50 ms 이후의 좌표를 예측하더라도 하단에서는 10 ms 의 latency가 여전히 발생할 수 있다. 따라서 디스플레이 장치의 특성에 따라 화면 위치에 따른 예측 시간에 차이를 두어 화면 위치에 관계없는 일관된 사용자 경험을 제공할 수 있다.The quality of the predicted coordinates may be improved by changing the prediction algorithm or parameters of the prediction algorithm according to the location of the coordinate input device or the measured coordinate value. For example, depending on the characteristics of a sensor for measuring coordinates, such as a touch screen panel (TSP) or digitizer, the mechanism for measuring coordinates by location changes or the quality of the coordinates being measured (e.g., amount of jitter, sensing frequency, etc.) difference may occur. For example, the quality of generally measured coordinates is poor at the periphery of the screen, and when a line is drawn from the center to the periphery, a non-linear coordinate distortion may occur in a specific area. In this case, it is possible to divide the outer area and the center area of the screen, and change the prediction algorithm or parameters of the prediction algorithm according to the area. For another example, the time difference between the top and bottom screens or the left and right screens may vary from several milliseconds (ms) to several tens of ms depending on the driving method of the display device. For example, a latency of 50 ms may occur at the top of the screen and a latency of 60 ms at the bottom of the screen. Therefore, it is possible to provide a consistent user experience regardless of the screen position by making a difference in the predicted time according to the screen position according to the characteristics of the display device.
충분히 긴 시간을 예측하는 경우 예측 좌표와 실제 궤적 상의 차이는 피하기 어려우나, 이 경우 예측 좌표를 일시적으로 화면에 표시하고 실제 좌표가 입력되면 실제 좌표로 대체하는 방법으로 화면에 표시되는 좌표 품질을 향상시킬 수 있다. 도 8은 다양한 실시예에 따른 전자 장치의 블록를 도시한다. 좌표 측정 장치에서 측정된 좌표는 프로세서에서 이미지로 가공되어 디스플레이 구동회로로 전달되고 디스플레이 구동회로에서 디스플레이 장치에 이미지를 표시하게 된다. 좌표 예측부에서는 좌표측정장치를 통해 받은 좌표를 포함한 데이터를 이용하여 다음 좌표를 예측할 수 있다. 또한, 프로세서에서는 측정 좌표 및 예측 좌표를 이용하여 디스플레이 구동회로로 전달할 이미지를 생성할 수 있다. 좌표 예측부는 프로세서 혹은 좌표 측정 장치에 포함될 수 있다.In the case of predicting a sufficiently long time, it is difficult to avoid the difference between the predicted coordinates and the actual trajectory. can 8 illustrates blocks of an electronic device according to various embodiments. The coordinates measured by the coordinate measuring device are processed into images by the processor and transmitted to the display driving circuit, and the display driving circuit displays the image on the display device. The coordinate prediction unit may predict the next coordinate using data including coordinates received through the coordinate measuring device. Also, the processor may generate an image to be transmitted to the display driving circuit using the measured coordinates and the predicted coordinates. The coordinate prediction unit may be included in a processor or a coordinate measuring device.
도 9는 프로세서에서 예측좌표가 포함된 이미지를 생성하고 새로운 측정 좌표가 주어지면 이전 예측 좌표가 그려진 부분을 제거하는 동작을 구현하는 예를 보여준다. 디스플레이 구동 회로로 전달할 이미지는 좌표 측정 장치로부터 새로운 좌표를 입력받으면 저장되어 있던 이미지 위에 입력 좌표를 그린 후 이어서 예측 좌표를 그려서 생성할 수 있다. 이때 예측 좌표를 그리기 전 이미지를 별도로 저장하여 다음 좌표를 입력받을 때 불러와서 사용할 수 있다. 이렇게 함으로써 새로운 좌표가 들어올 때마다 이전에 그려진 예측 좌표는 지워질 수 있다.9 shows an example of implementing an operation of generating an image including predicted coordinates in a processor and removing a part where the previous predicted coordinates are drawn when new measured coordinates are given. An image to be transmitted to the display driving circuit may be generated by drawing the predicted coordinates after drawing the input coordinates on the stored image when new coordinates are received from the coordinate measuring device. At this time, the image before drawing the predicted coordinates can be saved separately and used when the next coordinates are received. By doing this, whenever a new coordinate comes in, previously drawn predicted coordinates can be erased.
도 10은 프로세서에서 예측좌표가 포함된 이미지를 생성하고 새로운 측정 좌표가 주어지면 이전 예측 좌표가 그려진 부분을 제거하는 동작을 구현하는 또 다른 예시를 보여준다. 새로운 좌표가 입력되면 이미지 1에 그리게 되고 예측 좌표는 새로운 좌표가 입력될 때 생성된 이미지 1을 복사한 이미지 2에 그리도록 한 뒤 이미지 2를 디스플레이 구동회로를 통하여 화면에 표시하도록 하여, 이전에 그려진 예측 좌표가 지워지도록 할 수 있다.10 shows another example of implementing an operation of generating an image including predicted coordinates in a processor and removing a part where the previous predicted coordinates are drawn when new measured coordinates are given. When new coordinates are input,
한편, 항상 예측 좌표를 이용하여 미리 그려진 내용을 지우고 실제 측정 좌표와 새롭게 얻은 예측 좌표를 화면에 그릴 수 있지만, 별도의 트리거에 의해 측정 좌표로 덮어쓰는 동작을 수행하도록 할 수도 있다. 별도의 트리거는 사용자의 입력이나 타이머 이벤트 등이 될 수 있다. 예를 들어 타이머 이벤트를 별도의 트리거로 사용하는 경우 60Hz로 예측 좌표를 이용하여 좌표를 그린 이미지를 디스플레이 구동회로로 전송하며 30Hz로 실제 측정 좌표로 덮어쓰는 동작을 수행할 수 있다.On the other hand, it is always possible to erase previously drawn contents using predicted coordinates and draw actual measured coordinates and newly obtained predicted coordinates on the screen, but an operation of overwriting with measured coordinates may be performed by a separate trigger. A separate trigger may be a user's input or a timer event. For example, when a timer event is used as a separate trigger, an image with coordinates drawn using predicted coordinates at 60Hz is transmitted to the display driving circuit, and an operation of overwriting with actual measured coordinates can be performed at 30Hz.
다양한 실시 예에 따르면 좌표 입력장치의 종류에 따라 측정 좌표로 덮어쓰는 동작을 하지 않도록 할 수 있다. 예를 들어 손 터치의 경우 측정 좌표로 덮어쓰는 동작을 하지 않도록 하고 스타일러스 펜 좌표 입력의 경우는 측정좌표로 덮어쓰는 동작을 하도록 할 수 있다. 또는 사용하는 애플리케이션에 따라 측정좌표로 덮어쓰는 동작을 하도록 할 수 있다. 화면에 글씨를 쓰거나 그림을 그리는 특정 애플리케이션에서만 측정좌표로 덮어쓰는 동작을 하도록 설정할 수 있다. 측정 좌표로 덮어쓰지 않는 경우는 도 9에서 입력 좌표를 그리는 과정을 생략하고 예측 좌표를 그린 후(903) 이미지를 저장하도록 구현할 수 있으며, 도 10에서도 이미지 1을 사용하지 않고 예측좌표만 그리도록 구현할 수 있다.According to various embodiments, an operation of overwriting with measurement coordinates may be prevented depending on the type of the coordinate input device. For example, in the case of a hand touch, an operation of overwriting with measured coordinates can be prevented, and in the case of a stylus pen coordinate input, an operation of overwriting with measured coordinates can be made. Or, depending on the application to be used, the operation of overwriting with the measured coordinates can be performed. It can be set to overwrite with measured coordinates only in a specific application that draws or writes on the screen. If the measured coordinates are not overwritten, the process of drawing the input coordinates in FIG. 9 can be omitted, and the predicted coordinates can be drawn (903) and then the image can be saved. In FIG. 10, only the predicted coordinates can be drawn without using
예측 좌표를 화면에 표시하는 동작을 프로세서에서 예측 좌표가 그려진 이미지를 디스플레이 구동회로에 보내는 대신 예측 좌표를 직접 디스플레이 구동회로로 전달하여 디스플레이 구동회로 내부에서 효과적으로 구현할 수 있다. 도 11은 한가지 예시를 보여주며 디스플레이 구동 회로는 서브 디스플레이 구동회로를 포함할 수 있다. 디스플레이 구동회로는 프로세서로부터 제1채널을 통해 이미지 데이터를 제공받아 디스플레이 구동회로에 포함된 메모리(미도시)에 저장하고, 이미지 프로세싱을 통해 처리된 이미지를 출력할 수 있다. 서브 디스플레이 구동 회로는 프로세서로부터 제2채널을 통해 제공되는 제어 신호를 기반으로, 메인 이미지와 함께 출력될 부가 이미지를 스스로 생성할 수 있다. 부가 이미지는 디스플레이 패널 일부 영역 또는 지정된 영역에 출력되는 예측 좌표에 대응되는 이미지일 수 있다. 제2채널을 통해 제공되는 제어 신호는 예측 좌표 외에 선 색상, 선 굵기 등이 포함될 수 있다. 다양한 실시 예에 따르면, 제1채널을 통해 전송되는 데이터는 지정된 알고리즘으로 처리된 데이터로 압축된 이미지일 수 있으며 프로세서에는 압축을 위한 인코더가 포함될 수 있고 디스플레이 구동 회로에는 디코더가 포함될 수 있다.The operation of displaying the predicted coordinates on the screen can be effectively implemented inside the display driving circuit by directly transferring the predicted coordinates to the display driving circuit instead of sending the image with the predicted coordinates drawn from the processor to the display driving circuit. 11 shows an example and the display driving circuit may include a sub display driving circuit. The display driving circuit may receive image data from the processor through the first channel, store the image data in a memory (not shown) included in the display driving circuit, and output the processed image through image processing. The sub display driving circuit may itself generate an additional image to be output together with the main image based on a control signal provided from the processor through the second channel. The additional image may be an image corresponding to predicted coordinates output to a partial area or a designated area of the display panel. The control signal provided through the second channel may include line color, line thickness, etc. in addition to predicted coordinates. According to various embodiments, data transmitted through the first channel may be an image compressed with data processed by a designated algorithm, a processor may include an encoder for compression, and a display driving circuit may include a decoder.
도 12는 프로세서로부터 예측 좌표를 포함한 제어신호를 제2채널로 전송받는 디스플레이 구동회로의 운용 방법을 설명하는 순서도이다. 도 12에 따르면 측정 좌표를 이용하여 생성된 이미지가 제1채널을 통해 디스플레이 구동회로에서 수신되고, 예측좌표를 포함한 제어신호가 제2채널을 통해 디스플레이 구동회로에서 수신된 뒤, 수신된 제어 신호에 따른 부가 이미지를 생성하고, 제1채널을 통해 수신한 메인이미지와 생성된 부가 이미지를 병합하여 출력할 수 있다. 이를 통해 예측 좌표를 화면에 표시하고 새 측정좌표가 입력될 때 이전에 표시한 예측 좌표를 지우는 동작이 수행될 수 있다.12 is a flowchart illustrating a method of operating a display driving circuit that receives a control signal including predicted coordinates from a processor through a second channel. According to FIG. 12, an image generated using measured coordinates is received from the display driving circuit through a first channel, a control signal including predicted coordinates is received from the display driving circuit through a second channel, and then the received control signal An additional image according to the method may be generated, and the main image received through the first channel and the generated additional image may be merged and output. Through this, an operation of displaying the predicted coordinates on the screen and erasing the previously displayed predicted coordinates when new measurement coordinates are input can be performed.
한편, 예측 좌표 표시 시에 실제 좌표와 색을 다르게 하거나 점선으로 표시하거나 그라데이션과 같은 그래픽 처리를 하여 예측 좌표가 일시적으로 표시되고 사라짐으로 인해 발생할 수 있는 불편함을 줄일 수도 있다. 이때 예측 좌표 표시는 상기 언급한 바와 같이 프로세서에서 병합 이미지를 생성하거나 디스플레이 구동회로에서 부가 이미지를 생성 후 병합할 수 있다.Meanwhile, when the predicted coordinates are displayed, discomfort that may occur due to the temporary display and disappearance of the predicted coordinates may be reduced by displaying the predicted coordinates in a different color from the actual coordinates, displaying them in a dotted line, or performing a graphic process such as a gradation. In this case, as mentioned above, the predicted coordinate display may generate a merged image in a processor or generate an additional image in a display driving circuit and then merge them.
다양한 실시 예에 따르면, 다양한 애플리케이션에서 다양한 목적으로 예측 좌표를 사용하기 위해 예측 시간에 따른 여러 좌표를 생성할 수 있으며 이렇게 생성된 좌표들에 index를 부여하여 애플리케이션에서 원하는 정도로 예측된 좌표를 사용하도록 할 수 있다. 예를 들어 자판을 입력하는 애플리케이션에서는 예측 좌표를 사용하지 않거나 4 ms 정도 예측된 좌표를 사용하도록 하고, 손 글씨를 입력하는 애플리케이션에서는 30 ms 예측된 좌표를 사용하도록 할 수 있다.According to various embodiments, in order to use the predicted coordinates for various purposes in various applications, various coordinates may be generated according to the prediction time, and an index may be assigned to the coordinates generated in this way so that the application may use the predicted coordinates to a desired degree. can For example, a keyboard input application may not use predicted coordinates or use predicted coordinates of about 4 ms, and a handwriting input application may use 30 ms predicted coordinates.
도 13은 본 발명의 일 실시 예에 따라, 프로세서의 부담을 줄이기 위해 좌표 측정 장치(TSP를 포함하는 IC 또는 디지타이저 등)에서 측정 좌표를 포함하여 1개 이상의 예측 좌표를 계산한 뒤 디스플레이 장치로 전달하는 예시를 도시한다. 디스플레이 장치의 프로세서는 입력받은 좌표 중 어떤 좌표를 출력할 것인지 어떤 방식으로 출력할 것인지만을 판단할 수 있으며, 이 동작은 각 애플리케이션에서 자동 혹은 수동으로 선택하도록 할 수 있다.13 is a diagram showing one or more predicted coordinates including measured coordinates calculated in a coordinate measurement device (such as an IC or digitizer including a TSP) and transmitted to a display device in order to reduce the burden on a processor according to an embodiment of the present invention. shows an example of The processor of the display device can determine only which coordinates to output among the inputted coordinates and how to output them, and this operation can be automatically or manually selected in each application.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 통상의 기술자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and characteristics of the present invention have been described based on the embodiments according to the present invention, but the present invention is not limited thereto, and various changes or modifications can be made within the spirit and scope of the present invention. It is apparent to those skilled in the art, and therefore such changes or modifications are intended to fall within the scope of the appended claims.
Claims (16)
상기 입력 장치에 입력되는 입력 좌표를 측정하는 좌표 측정 단계;
상기 측정 단계로부터 현재 측정되는 현재 입력 좌표와 이전까지 측정된 입력 좌표를 통해, 다음 입력될 입력 좌표를 예측하는 좌표 예측 단계; 및
상기 디스플레이 장치에 표시된 이전 예측 좌표를 수정하고, 새로운 입력 좌표 및 상기 수정된 예측 좌표를 상기 디스플레이 장치에 표시하는 단계를 포함하며,
다음 입력될 입력 좌표를 예측하는 좌표 예측 단계는
처음 입력 좌표가 입력되고 일정 시간 동안 예측 좌표를 사용하지 않다가 일정 시간이 지난 후 좌표를 예측하는 동작;
상기 디스플레이 장치의 사용자가 일정한 빈도수를 초과하여 사용한 입력 궤적 또는 형태를 미리 저장하는 동작;
새로운 입력 좌표들의 궤적 또는 형태가 미리 저장된 궤적 또는 형태와 지정된 수준을 초과하여 일치함에 기반하여 미리 저장된 궤적 또는 형태를 이용하여 예측을 수행하고;및
새로운 입력 좌표들의 궤적 또는 형태가 미리 저장된 궤적 또는 형태와 지정된 수준을 초과하여 일치하지 않음에 기반하여 미리 저장된 궤적 또는 형태를 이용하지 않는 동작을 더 포함하는 방법.
A coordinate display method of a display device for displaying coordinates of an input input to an input device on a screen,
a coordinate measurement step of measuring input coordinates input to the input device;
a coordinate prediction step of predicting input coordinates to be input next through the current input coordinates currently measured from the measuring step and the input coordinates previously measured; and
Correcting previously predicted coordinates displayed on the display device and displaying new input coordinates and the corrected predicted coordinates on the display device;
The coordinate prediction step of predicting the input coordinates to be input next is
an operation of predicting coordinates after a certain time elapses after first input coordinates are input and predicted coordinates are not used for a certain period of time;
pre-saving an input trajectory or shape used by the user of the display device exceeding a predetermined frequency;
Prediction is performed using the previously stored trajectory or shape based on whether the trajectory or shape of the new input coordinates coincides with the previously stored trajectory or shape beyond a specified level; and
The method further comprising not using the previously stored trajectory or shape based on the fact that the trajectory or shape of the new input coordinates does not match the previously stored trajectory or shape beyond a specified level.
상기 좌표 예측 단계는 상기 입력 장치에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법. According to claim 1,
In the step of estimating the coordinates, a prediction algorithm is changed according to the input device.
상기 좌표 예측 단계는 상기 좌표의 이동 궤적 또는 이동 각속도에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법.According to claim 1,
In the coordinate prediction step, a prediction algorithm is changed according to a movement trajectory or a movement angular velocity of the coordinates.
상기 좌표 예측 단계는 상기 측정된 적어도 하나의 좌표에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법.According to claim 1,
In the coordinate prediction step, a prediction algorithm is changed according to the measured at least one coordinate.
상기 좌표 예측 단계는 상기 측정된 좌표 중 이상점(outlier)을 감지하여 제외하거나 수정하는 단계를 포함하는 것을 특징으로 하는 방법.According to claim 1,
The method of claim 1 , wherein the step of estimating the coordinates comprises detecting and excluding or correcting outliers among the measured coordinates.
상기 좌표 예측 단계로부터 예측되는 좌표는, 적어도 하나의 다른 예측 시간을 가지는 예측 좌표로 상기 예측 시간에 따른 인덱스 값을 가지는 것을 특징으로 하는 방법.According to claim 1,
The coordinates predicted from the coordinate prediction step are predicted coordinates having at least one different prediction time and have an index value according to the prediction time.
상기 좌표 예측 단계로부터 예측되는 좌표는, 상기 현재 입력 좌표, 이전까지 측정된 적어도 하나의 입력 좌표 및 적어도 하나의 이전 예측 좌표를 기초로 하여 얻어지는 것을 특징으로 하는 방법. According to claim 1,
The coordinates predicted from the coordinate prediction step are obtained based on the current input coordinates, at least one previously measured input coordinate, and at least one previously predicted coordinate.
상기 이전 예측 좌표를 수정하는 단계는 상기 이전 예측 좌표를 좌표 궤적에서 제외하는 단계를 포함하는 것을 특징으로 하는 방법. According to claim 1,
Wherein the step of modifying the previously predicted coordinates comprises excluding the previously predicted coordinates from a coordinate trajectory.
상기 이전 예측 좌표를 수정하는 단계는 상기 이전 예측 좌표를 상기 현재 입력 좌표에 기초하여 수정하는 것을 특징으로 하는 방법. According to claim 1,
Wherein the modifying the previously predicted coordinates modifies the previously predicted coordinates based on the current input coordinates.
상기 수정된 예측 좌표를 표시하는 단계는 최종 예측 좌표를 입력 좌표 이후의 좌표로 좌표 궤적에 추가하여 상기 디스플레이 장치에 표시하는 것을 특징으로 하는 방법.According to claim 1,
The displaying of the modified predicted coordinates is characterized in that the final predicted coordinates are added to the coordinate trajectory as coordinates subsequent to the input coordinates and displayed on the display device.
상기 예측 좌표를 표시하는 단계는 상기 예측 좌표 중 적어도 하나를 각 예측 좌표의 인덱스에 따라 순차적으로 좌표 궤적에 추가하여 상기 디스플레이 장치에 표시하는 것을 특징으로 하는 방법.According to claim 1,
In the displaying of the predicted coordinates, at least one of the predicted coordinates is sequentially added to the coordinate trajectory according to an index of each predicted coordinate and displayed on the display device.
상기 좌표를 예측하는 단계는 상기 입력의 필압 또는 필압의 변화에 따라 예측을 결정하는 것을 특징으로 하는 방법. According to claim 1,
Wherein the step of estimating the coordinates determines the prediction according to the pen pressure of the input or a change in the pen pressure.
상기 예측 좌표를 표시하는 단계는 상기 입력의 필압 또는 필압의 변화에 따라 상기 예측 좌표의 사용 여부를 결정하여 표시하는 것을 특징으로 하는 방법.
According to claim 1,
The step of displaying the predicted coordinates may include determining whether or not to use the predicted coordinates according to a pen pressure of the input or a change in pen pressure, and displaying the predicted coordinates.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160092833A KR102537133B1 (en) | 2016-07-21 | 2016-07-21 | An input-latency reduction method based on a prediction of a position |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160092833A KR102537133B1 (en) | 2016-07-21 | 2016-07-21 | An input-latency reduction method based on a prediction of a position |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180010555A KR20180010555A (en) | 2018-01-31 |
| KR102537133B1 true KR102537133B1 (en) | 2023-05-30 |
Family
ID=61083268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160092833A KR102537133B1 (en) | 2016-07-21 | 2016-07-21 | An input-latency reduction method based on a prediction of a position |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102537133B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004894A (en) * | 2020-07-03 | 2022-01-12 | 삼성전자주식회사 | Device and method for reducing display output latency |
| KR20220109250A (en) * | 2021-01-28 | 2022-08-04 | 삼성전자주식회사 | An electronic device for determining whether to apply a prediction algorithm using acceleration of touch input and/or angular acceleration of the touch input and control method thereof |
| US11960345B2 (en) | 2021-05-25 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for controlling operational modes for XR devices for performance optimization |
| KR20230018096A (en) | 2021-07-29 | 2023-02-07 | 삼성전자주식회사 | Electronic device and the method for input coordinate prediction |
| KR20230059333A (en) | 2021-10-26 | 2023-05-03 | 주식회사 엘엑스세미콘 | Touch sensing apparatus, touch sensing display system including the touch sensing apparatus and touch sensing method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016126476A (en) * | 2014-12-26 | 2016-07-11 | 株式会社リコー | Handwriting system and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890576B (en) * | 2011-07-22 | 2016-03-02 | 宸鸿科技(厦门)有限公司 | Touch screen touch track detection method and pick-up unit |
| KR101916706B1 (en) * | 2011-09-30 | 2019-01-24 | 삼성전자주식회사 | Method and apparatus for scrolling screen according to touch input in a mobile terminal |
| KR102043148B1 (en) * | 2013-02-19 | 2019-11-11 | 엘지전자 주식회사 | Mobile terminal and touch coordinate predicting method thereof |
-
2016
- 2016-07-21 KR KR1020160092833A patent/KR102537133B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016126476A (en) * | 2014-12-26 | 2016-07-11 | 株式会社リコー | Handwriting system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180010555A (en) | 2018-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102537133B1 (en) | An input-latency reduction method based on a prediction of a position | |
| US10969905B2 (en) | Interactive displays | |
| US10354423B2 (en) | Calculating device, graph display method of calculating device, and storage medium retaining graph display program | |
| US20150091832A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6022137B1 (en) | Coordinate correction apparatus, coordinate correction method, and coordinate correction program | |
| KR20210069491A (en) | Electronic apparatus and Method for controlling the display apparatus thereof | |
| JP6564249B2 (en) | Touch panel and operation determination method | |
| US20220413637A1 (en) | Method and Device for Predicting Drawn Point of Stylus | |
| KR20140100547A (en) | Full 3d interaction on mobile devices | |
| KR20170067669A (en) | Method and apparatus for predicting touch location of electronic device | |
| CN104391646A (en) | Method and device for adjusting object attribute information | |
| JP6911834B2 (en) | Information processing equipment, information processing methods, and programs | |
| TWI493438B (en) | Touch control method | |
| WO2017206777A1 (en) | Wearable device and control method, and smart control system | |
| TWI485582B (en) | Method for correcting touch position | |
| US10261608B2 (en) | Cursor control method and cursor control system | |
| EP2725469B1 (en) | Information-processing device, program, information-processing method, and information-processing system | |
| US9239649B2 (en) | Method for correcting touch position | |
| US9612683B2 (en) | Operation method of touch screen with zooming-in function and touch screen device | |
| US9927917B2 (en) | Model-based touch event location adjustment | |
| WO2015049934A1 (en) | Information processing device, information processing method, and program | |
| JP2015032261A (en) | Display device and control method | |
| CN112685279A (en) | Script recording method and device and terminal equipment | |
| JP6655880B2 (en) | Display control device, display control method and program | |
| WO2016111062A1 (en) | Touch panel and operation determining method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |