KR20180010555A - 좌표 예측을 통한 좌표 출력 지연시간 감소 방법 - Google Patents

Abstract

좌표를 입력받아 화면에 디스플레이(display)하는 장치에 있어서, 실제 입력장치의 위치와 디스플레이되는 좌표 사이에 지연 시간이 존재하며 지연 시간을 줄이기 위한 다양한 방법들이 시도되고 있다. 본 발명의 다양한 실시예는 과거의 입력 좌표들로부터 미래의 좌표를 예측하는 방법들과, 예측 좌표를 화면에 표시하여 지연시간을 줄이는 경우 발생할 수 있는 문제들을 해결하는 방법들을 제시할 수 있다.

Description

좌표 예측을 통한 좌표 출력 지연시간 감소 방법{An input-latency reduction method based on a prediction of a position}

좌표를 입력받아 화면에 디스플레이(display)하는 장치에 있어서, 실제 입력장치의 위치와 디스플레이되는 좌표 사이에 지연 시간이 존재하며 지연 시간을 줄이기 위한 다양한 방법들이 시도되고 있다. 본 발명의 다양한 실시예는 과거의 입력 좌표들로부터 미래의 좌표를 예측하는 방법들과, 예측 좌표를 화면에 표시하여 지연시간을 줄이는 경우 발생할 수 있는 문제들을 해결하는 방법들을 제시할 수 있다.

기존 예측 좌표와 실제 좌표의 오차를 줄이기 위해 상황에 따라 측정 좌표/예측 좌표 중 택하는 방법이나(US20130181908A1, MS), 예측 좌표를 후보정 (US20150062021A1, NVIDA) 하는 방법이 사용되었다.

Display 장치에 손, stylus 등을 이용하여 터치 좌표를 입력하면 좌표를 찾고 화면에 표시하기 위해 시간이 필요하며 이에 따라 실제 터치된 좌표와 화면에 표시된 좌표 사이에 시간 지연이 발생하는 문제점이 존재한다. 이를 해결하기 위해 미래의 입력 좌표를 예측하여 시간 지연을 줄일 수 있다. (도 2) 하지만, 좌표를 예측하는 알고리즘의 성능이 나쁜 경우 실제 좌표 궤적과 예측 좌표 사이의 오차가 크게 발생하는 문제가 있어 종래 기술의 경우 예측 좌표 사용에 제한이 있었다. 또한, 펜이 움직이며 화면에서 떨어지는 경우 펜이 떨어진 이후의 위치를 미리 예측하여 화면에 표시함으로써 큰 오차를 발생시키는 경우가 존재한다.

본 발명의 다양한 실시예에 따르면 예측 좌표의 오차를 줄이고 예측 좌표에 오차가 발생하는 경우에도 예측 좌표를 일시적으로만 화면에 표시하도록 하여 실제 사용자의 불편함을 최소화할 수 있다.

본 발명의 다양한 실시예들은, 크게 좌표 예측 단계(101)와 좌표 표시 단계(102)로 구분하여, 좌표 예측 단계에서는 입력받은 현재 좌표 및 저장되어 있는 과거 좌표에 기반하여 미래 좌표를 예측할 수 있으며, 좌표 표시 단계에서는 예측 좌표를 표시하거나 이전에 표시된 예측 좌표를 수정 혹은 삭제하고 새로 입력된 좌표 및 새로 예측된 좌표를 디스플레이 장치에 표시할 수 있다.

본 발명의 다양한 실시예들에 의하면, 좌표 예측을 통해 화면에 표시되는 좌표와 실제 입력 사이의 lag을 줄일 수 있으며, 고성능 좌표 예측 알고리즘을 통해 예측 에러를 최소화하고 좌표 예측 시간을 상황에 따라 조절하여 일정 수준 이상의 예측성능을 항상 달성하도록 할 수 있다. 또한, 예측 좌표는 일시적으로 화면에 표시되어 매번 화면이 갱신될 때마다 이전 예측 좌표는 제외되어 예측 좌표로 인한 궤적의 왜곡이 발생하지 않도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 좌표 예측 방법에 관한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 좌표 입력 장치의 구성도이다.
도 3 및 도 4는 본 발명의 실시예들에 따른 적응 필터를 이용하는 방법에 관한 도면이다.
도 5는 본 발명의 일 실시예에 따라 필압을 이용하여 좌표를 예측하는 방법에 관한 순서도이다.
도 6은 본 발명의 일 실시예에 따라 측정 데이터를 선처리하여 좌표를 예측하는 방법에 관한 순서도이다.
도 7은 본 발명의 일 실시예에 따라 예측 좌표를 후처리하여 좌표를 예측하는 방법에 관한 순서도이다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치의 구성도이다.
도 9 및 도 10은 본 발명의 다양한 실시예에 따라 예측 좌표가 포함된 이미지를 처리하는 동작에 관한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 구동회로 내부 구성도이다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 구동회로의 운용 방법을 도시한 순서도이다.
도 13은 본 발명의 일 실시예에 따른 예측 좌표의 전달을 도시한 구성도이다.

도 2는 디지타이저나 터치 스크린등의 좌표 측정이 가능한 장치(202)를 통해 스타일러스 펜이나 손 터치 등의 좌표 입력 장치(201)의 위치 정보를 측정하여 디스플레이 패널 등의 화면(205)에 표시하는 장치의 예시를 보여준다. 좌표를 측정하는데 걸리는 시간과 화면에 표시하는 데 필요한 시간 때문에 실제 스타일러스 펜이나 손터치의 위치와 화면에 표시되는 좌표 사이에 시간 지연(206)이 발생하게 된다.

좌표 입력 장치 201은 손이나 전도봉과 같이 전도성 물질로 이루어진 물체일 수 있으며, 또는 전기 신호를 발생시키거나 자기신호를 발생시키는 장치일 수 있다.

좌표측정이 가능한 장치 202는 자기장을 감지하는 루프코일로 이루어진 센서보드를 포함할 수 있고 메탈메쉬나 ITO와 같이 전기 신호를 감지할 수 있는 전극으로 이루어져 있을 수 있다.

프로세서 203은 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예에서, 프로세서 203은 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 커뮤니케이션 프로세서(communication processor(CP), 센서 허브(sensor hub) 등을 포함할 수 있다.

디스플레이 구동 회로 204는 디스플레이 패널 205를 통해 이미지를 출력하기 위한 구동회로일 수 있으며, 디스플레이 패널 205는 이미지, 텍스트 등의 화면을 출력할 수 있다. 디스플레이 패널 205은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 디스플레이 패널 205은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다.

이러한 시간 지연(206)을 감소시키기 위해, 도 1과 같이 좌표 예측을 통해 얻은 예측 좌표를 미리 화면에 표시하도록 할 수 있다. 좌표 예측 단계(101)에서는 디지타이저나 터치스크린 등의 좌표 측정이 가능한 장치(202)로부터 스타일러스 펜이나 손터치의 측정 좌표 및 필압 등의 정보를 입력받아 다음 입력 좌표 또는 기 설정된 시간 후의 좌표를 예측할 수 있고 좌표 표시 단계(102)에서는 측정한 좌표와 예측한 좌표를 화면에 표시할 수 있다.

좌표 예측단계에서 입력받은 좌표로부터 다음 좌표를 예측하기 위해서 좌표의 궤적을 N차 다항식으로 회귀하여 다음 위치를 추정할 수 있다. 예를 들어 1차의 경우 직선, 2차의 경우 포물선 형태의 궤적으로 좌표를 예측할 수 있으며 이것은 각각 1차의 경우는 좌표의 이동 속도, 2차의 경우는 좌표의 속도 및 가속도를 추정하여 다음 좌표를 예측하는 것과 동일할 수 있다. 좌표의 속도는 현재 좌표와 이전 좌표의 차이를 이용하여 얻을 수 있고, 좌표의 가속도는 현재의 속도와 이전의 속도 차이를 이용하여 얻을 수 있다. 입력 좌표에 측정 오차가 포함되어 있는 경우 속도 및 가속도 추정 값에 오차가 발생할 수 있으며 이를 개선하기 위해 속도 및 가속도를 이전 속도 및 이전 가속도와 평균 내어 사용할 수 있고 이는 FIR filter나 IIR 필터로 구현할 수 있다. 또한, 속도 및 가속도를 평균 내는 대신 현재 좌표와 n 개 이전의 좌표를 이용하여 n 번 좌표 이동시의 평균 속도를 바로 구할 수 있으며 평균 가속도도 동일한 방식으로 구할 수 있다.

또 다른 방법으로 Kalman filter를 이용하여 속도 및 가속도를 추정할 수 있다. 복잡한 움직임을 예측하기 위해서 차수가 올라가야 하며 차수가 높을수록 측정오차(또는 노이즈)에 대해 민감해지며 계산량이 증가하게 된다.

타원 등의 움직임을 예측하기 위해서는 x축 y축의 correlation을 고려해야 하며 이는 x축, y축 좌표 계산을 독립적으로 할 수 없어 회귀곡선 추정의 복잡도가 제곱으로 증가함을 의미한다. 이 경우는 각속도 등을 추정하여 사용하는 것으로 구현할 수 있다.

좌표를 예측하는 또 다른 방법으로 적응 필터를 이용할 수 있다. 적응 필터는 입력된 좌표로부터 다음 좌표를 출력하는 선형 필터를 얻는 것을 목적으로 한다(도 3). 이러한 선형 필터를 얻은 후에는 현재 좌표를 입력으로 하여 다음 좌표를 얻고, 이 동작을 반복 수행하여 원하는 시간 후의 좌표를 얻을 수 있다(도 4).

적응필터는 다음 좌표를 과거 M 개의 좌표의 weighted sum으로 나타내며 각 좌표의 weight 값을 예측 오차를 이용하여 update 할 수 있다. 이때 적응 필터의 입력으로 x, y 좌표를 모두 사용함으로써 직선, 포물선, 타원 등의 움직임에 모두 대응할 수 있다. 도 4의 입력 벡터 u(n)은 1개 이상의 x 좌표와 1개 이상의 y 좌표를 포함할 수 있다. 그러나 적응필터 알고리즘은 local minimum 에 빠지는 문제가 있을 수 있으며 이에 따라 좌표 예측에 실패할 수 있다. 그러나 이는 좌표 움직임의 특성을 반영한 고유의 제한조건을 만족하도록 적응필터 update 알고리즘을 설계하여 해결할 수 있다. 또한, 적응 필터의 경우 filter가 converge 하는 transient 시간이 필요하다는 단점이 존재할 수 있다. 이 문제는 variable step size 등의 최신 기법이나 초반 iteration 횟수를 늘리는 방법 등으로 극복할 수 있으며 처음 좌표가 입력되고 일정 시간 동안 예측 좌표를 사용하지 않거나 위에서 언급한 다항식 등을 이용하여 추정한 좌표를 사용할 수 있다.

예측 좌표의 정확도를 높이기 위해 여러 가지 방법을 사용할 수 있으며 일 실시예로 좌표를 예측하는 알고리즘에서 미리 알려진 궤적 혹은 형태에 대한 정보를 이용하는 방법이 사용될 수 있다. 일반적으로 사용자가 자주 사용하는 궤적 혹은 형태를 미리 입력해두고 유사한 궤적 혹은 형태에 해당하는 경우 저장된 궤적 혹은 형태를 이용하여 예측 정확도를 높이거나 좌표 예측 시간을 길게 가져갈 수 있으며, 미리 입력된 궤적 혹은 형태 중 일치하는 것이 없으면 좌표 예측 시간을 짧게 하거나 좌표 예측을 하지 않도록 할 수 있다. 미리 입력된 궤적 혹은 형태 정보는 전자 장치의 메모리에 저장될 수도 있고, 좌표 입력 장치의 제어 모듈에 저장될 수도 있고 외부 장치(예: 서버 등)에 저장될 수도 있다.

위 설명한 좌표 예측 방법으로 좌표를 예측하더라도 좌표 예측 성능(추정 정확도)이 동일하지 않을 수 있다. 좌표 예측 성능은 좌표 예측 시간, 입력 좌표의 품질, 속도, 가속도, 각속도 등의 값에 영향을 받을 수 있다. 예를 들어, 같은 시간을 예측하는 경우에도 가속도나 각속도가 크면 상대적으로 예측 정확도가 떨어질 수 있다. 따라서 일정한 성능을 얻기 위해서는 가속도, 각속도 등의 값에 따라 좌표 예측하는 시간을 조절할 필요가 있다.

표 1은 좌표 예측 성능에 영향을 주는 요소를 좌표 예측에 유리한 것과 불리한 것으로 나누어 표시한 것이다. 표 1에 기술한 내용 외에도 다양한 요소를 이용하여 좌표 예측 시간 조절에 사용할 수 있다.

좌표 및 좌표가 아닌 별도의 정보에 기초하여 좌표 예측 알고리즘을 변경하거나 좌표 예측 정도를 조절함으로써 좌표 입력 장치의 종류 및 특성에 맞는 예측 좌표를 생성할 수 있다. 도 5는 필압을 이용하여 좌표예측 알고리즘과 파라미터(예:좌표 이동 속도, 가속도, 각속도, 필압 변화 속도, 필압 변화 가속도, 이전 추정 좌표와 측정 좌표 사이의 오차 등)를 선택하여 사용하는 예를 보여준다. stylus 펜 입력의 경우, 필압 정보가 부가적으로 존재할 수 있으며 필압이 0이 되면 stylus가 화면에서 떨어졌다는 것을 의미할 수 있다. 이런 경우 필압의 변화를 추적하여 예측 정도를 조절함으로써 펜이 좌표 입력 장치로부터 떨어지는 시점에 예측 좌표가 실제 펜의 궤적을 벗어나는 문제를 해결할 수 있으며, 예측 시간에서의 필압 값을 예측하여 좌표 예측 알고리즘의 파라미터를 조절할 수 있고, 예측 좌표 사용 유무를 판단할 수도 있다. 또한, 일 실시예에 따라 필압이 0으로 stylus가 호버링 상태에 있는 경우에는 좌표 예측을 하지 않도록 할 수도 있다.

본 발명의 다양한 실시예에 따라, 좌표를 입력하는 장치(손, stylus)를 종류에 따라 구분하여 좌표 예측 적용 여부를 결정하거나 좌표 예측 알고리즘 혹은 좌표 예측 시간을 변경할 수 있다. 또한, ID가 지윈 되는 stylus의 경우 ID 별로 좌표 예측 적용 여부 또는 좌표 예측 알고리즘 종류를 변경할 수도 있다. 예를 들어 손 터치를 통한 글쓰기나 그리기 작업시 터치 면적이 넓어서 좌표 예측을 통한 지연시간 감소 효과가 크지 않으므로 좌표 예측을 사용하지 않도록 설정하거나 짧은 시간만큼만 예측하도록 하고, passive stylus의 경우 일반적으로 측정되는 좌표에 jitter가 많이 포함되므로 입력 노이즈에 강인한 알고리즘을 선택하며, 배터리가 들어간 active stylus는 측정 좌표가 정확하고 노이즈가 작으므로, 상대적으로 긴 시간을 예측하도록 하여 latency를 크게 줄이도록 할 수 있다. 도 1과 같이 측정된 data로부터 좌표 입력 장치의 종류를 구분하거나 필압 등의 값을 이용하여 예측 알고리즘의 파라메타를 바꾸거나 예측 알고리즘을 바꾸도록 하여 현재 입력 장치에 가장 적합한 예측 알고리즘이 동작하도록 할 수 있다.

본 발명의 일 실시예에 따라 예측 좌표의 품질을 향상시키기 위한 다른 방법으로 예측 알고리즘 입력 좌표를 선 처리 하거나 예측한 좌표를 후처리 할 수 있다.

도 6은 측정 data를 선처리하여 좌표 예측 입력값으로 사용하는 예시를 보여준다. 입력 좌표에 노이즈가 많은 경우 입력좌표를 스무딩하거나 현재의 궤적에서 크게 벗어나는 좌표를 제외하는 등의 선처리 후 예측 알고리즘의 입력으로 사용할 수도 있다. 또는 입력 좌표가 갑자기 변하거나 버튼 입력 등의 정보가 주어지는 경우 비정상 좌표를 예측단계의 입력에서 제외할 수 있으며 해당 입력이 주어지는 경우 좌표 예측 알고리즘을 변경하거나 리셋하도록 할 수 있다.

도 7는 예측 좌표를 후처리하여 예측 좌표의 정확도, 선형성 등의 품질을 향상시키는 예시를 보여준다. 예측 좌표의 품질을 향상시키기 위한 후처리로는 예측 좌표를 스무딩하거나 회귀 곡선으로 렌더링할 수 있으며 위 좌표 예측을 위한 입력 값으로 이전 예측 좌표를 포함 시킬 수 있다. 별도로 도시하지 않았으나 선처리와 후처리를 모두 사용할 수도 있다.

좌표 입력 장치의 위치 혹은 측정된 좌표 값에 따라 예측 알고리즘을 변경하거나 예측 알고리즘의 파라미터를 변경하여 예측 좌표의 품질을 향상시킬 수 있다. 예를 들어, 터치 스크린 패널(TSP)이나 디지타이저와 같은 좌표를 측정하기 위한 센서의 특성에 따라 위치별로 좌표를 측정하는 메커니즘이 바뀌거나 측정되는 좌표의 품질(예:지터의 양, 센싱 주파수 등)에 차이가 발생할 수 있다. 예를 들어 화면의 외곽에서는 일반적으로 측정되는 좌표의 품질이 나쁘며 중심부에서 외곽으로 선을 그을 때 특정 영역에서 비선형적인 좌표 틀어짐 현상이 나타나는 경우가 있다. 이런 경우 화면의 외곽지역과 중심지역을 나누고 영역에 따라 예측 알고리즘을 바꾸거나 예측 알고리즘의 파라미터를 바꾸도록 할 수 있다. 또 다른 예를 들어, 디스플레이 장치의 구동 방식에 따라 화면 상단과 하단 또는 좌단과 우단의 화면이 갱신되는 시간 차이는 수 ms(millisecond)에서 수십 ms 까지 발생할 수 있다. 예를 들어 화면 상단에서는 50 ms 의 latency 가, 화면 하단에서는 60 ms 의 latency 가 발생 할 수 있으며, 이 경우 똑같이 50 ms 이후의 좌표를 예측하더라도 하단에서는 10 ms 의 latency가 여전히 발생할 수 있다. 따라서 디스플레이 장치의 특성에 따라 화면 위치에 따른 예측 시간에 차이를 두어 화면 위치에 관계없는 일관된 사용자 경험을 제공할 수 있다.

충분히 긴 시간을 예측하는 경우 예측 좌표와 실제 궤적 상의 차이는 피하기 어려우나, 이 경우 예측 좌표를 일시적으로 화면에 표시하고 실제 좌표가 입력되면 실제 좌표로 대체하는 방법으로 화면에 표시되는 좌표 품질을 향상시킬 수 있다. 도 8은 다양한 실시예에 따른 전자 장치의 블록를 도시한다. 좌표 측정 장치에서 측정된 좌표는 프로세서에서 이미지로 가공되어 디스플레이 구동회로로 전달되고 디스플레이 구동회로에서 디스플레이 장치에 이미지를 표시하게 된다. 좌표 예측부에서는 좌표측정장치를 통해 받은 좌표를 포함한 데이터를 이용하여 다음 좌표를 예측할 수 있다. 또한, 프로세서에서는 측정 좌표 및 예측 좌표를 이용하여 디스플레이 구동회로로 전달할 이미지를 생성할 수 있다. 좌표 예측부는 프로세서 혹은 좌표 측정 장치에 포함될 수 있다.

도 9는 프로세서에서 예측좌표가 포함된 이미지를 생성하고 새로운 측정 좌표가 주어지면 이전 예측 좌표가 그려진 부분을 제거하는 동작을 구현하는 예를 보여준다. 디스플레이 구동 회로로 전달할 이미지는 좌표 측정 장치로부터 새로운 좌표를 입력받으면 저장되어 있던 이미지 위에 입력 좌표를 그린 후 이어서 예측 좌표를 그려서 생성할 수 있다. 이때 예측 좌표를 그리기 전 이미지를 별도로 저장하여 다음 좌표를 입력받을 때 불러와서 사용할 수 있다. 이렇게 함으로써 새로운 좌표가 들어올 때마다 이전에 그려진 예측 좌표는 지워질 수 있다.

도 10은 프로세서에서 예측좌표가 포함된 이미지를 생성하고 새로운 측정 좌표가 주어지면 이전 예측 좌표가 그려진 부분을 제거하는 동작을 구현하는 또 다른 예시를 보여준다. 새로운 좌표가 입력되면 이미지 1에 그리게 되고 예측 좌표는 새로운 좌표가 입력될 때 생성된 이미지 1을 복사한 이미지 2에 그리도록 한 뒤 이미지 2를 디스플레이 구동회로를 통하여 화면에 표시하도록 하여, 이전에 그려진 예측 좌표가 지워지도록 할 수 있다.

한편, 항상 예측 좌표를 이용하여 미리 그려진 내용을 지우고 실제 측정 좌표와 새롭게 얻은 예측 좌표를 화면에 그릴 수 있지만, 별도의 트리거에 의해 측정 좌표로 덮어쓰는 동작을 수행하도록 할 수도 있다. 별도의 트리거는 사용자의 입력이나 타이머 이벤트 등이 될 수 있다. 예를 들어 타이머 이벤트를 별도의 트리거로 사용하는 경우 60Hz로 예측 좌표를 이용하여 좌표를 그린 이미지를 디스플레이 구동회로로 전송하며 30Hz로 실제 측정 좌표로 덮어쓰는 동작을 수행할 수 있다.

다양한 실시 예에 따르면 좌표 입력장치의 종류에 따라 측정 좌표로 덮어쓰는 동작을 하지 않도록 할 수 있다. 예를 들어 손 터치의 경우 측정 좌표로 덮어쓰는 동작을 하지 않도록 하고 스타일러스 펜 좌표 입력의 경우는 측정좌표로 덮어쓰는 동작을 하도록 할 수 있다. 또는 사용하는 애플리케이션에 따라 측정좌표로 덮어쓰는 동작을 하도록 할 수 있다. 화면에 글씨를 쓰거나 그림을 그리는 특정 애플리케이션에서만 측정좌표로 덮어쓰는 동작을 하도록 설정할 수 있다. 측정 좌표로 덮어쓰지 않는 경우는 도 9에서 입력 좌표를 그리는 과정을 생략하고 예측 좌표를 그린 후(903) 이미지를 저장하도록 구현할 수 있으며, 도 10에서도 이미지 1을 사용하지 않고 예측좌표만 그리도록 구현할 수 있다.

예측 좌표를 화면에 표시하는 동작을 프로세서에서 예측 좌표가 그려진 이미지를 디스플레이 구동회로에 보내는 대신 예측 좌표를 직접 디스플레이 구동회로로 전달하여 디스플레이 구동회로 내부에서 효과적으로 구현할 수 있다. 도 11은 한가지 예시를 보여주며 디스플레이 구동 회로는 서브 디스플레이 구동회로를 포함할 수 있다. 디스플레이 구동회로는 프로세서로부터 제1채널을 통해 이미지 데이터를 제공받아 디스플레이 구동회로에 포함된 메모리(미도시)에 저장하고, 이미지 프로세싱을 통해 처리된 이미지를 출력할 수 있다. 서브 디스플레이 구동 회로는 프로세서로부터 제2채널을 통해 제공되는 제어 신호를 기반으로, 메인 이미지와 함께 출력될 부가 이미지를 스스로 생성할 수 있다. 부가 이미지는 디스플레이 패널 일부 영역 또는 지정된 영역에 출력되는 예측 좌표에 대응되는 이미지일 수 있다. 제2채널을 통해 제공되는 제어 신호는 예측 좌표 외에 선 색상, 선 굵기 등이 포함될 수 있다. 다양한 실시 예에 따르면, 제1채널을 통해 전송되는 데이터는 지정된 알고리즘으로 처리된 데이터로 압축된 이미지일 수 있으며 프로세서에는 압축을 위한 인코더가 포함될 수 있고 디스플레이 구동 회로에는 디코더가 포함될 수 있다.

도 12는 프로세서로부터 예측 좌표를 포함한 제어신호를 제2채널로 전송받는 디스플레이 구동회로의 운용 방법을 설명하는 순서도이다. 도 12에 따르면 측정 좌표를 이용하여 생성된 이미지가 제1채널을 통해 디스플레이 구동회로에서 수신되고, 예측좌표를 포함한 제어신호가 제2채널을 통해 디스플레이 구동회로에서 수신된 뒤, 수신된 제어 신호에 따른 부가 이미지를 생성하고, 제1채널을 통해 수신한 메인이미지와 생성된 부가 이미지를 병합하여 출력할 수 있다. 이를 통해 예측 좌표를 화면에 표시하고 새 측정좌표가 입력될 때 이전에 표시한 예측 좌표를 지우는 동작이 수행될 수 있다.

한편, 예측 좌표 표시 시에 실제 좌표와 색을 다르게 하거나 점선으로 표시하거나 그라데이션과 같은 그래픽 처리를 하여 예측 좌표가 일시적으로 표시되고 사라짐으로 인해 발생할 수 있는 불편함을 줄일 수도 있다. 이때 예측 좌표 표시는 상기 언급한 바와 같이 프로세서에서 병합 이미지를 생성하거나 디스플레이 구동회로에서 부가 이미지를 생성 후 병합할 수 있다.

다양한 실시 예에 따르면, 다양한 애플리케이션에서 다양한 목적으로 예측 좌표를 사용하기 위해 예측 시간에 따른 여러 좌표를 생성할 수 있으며 이렇게 생성된 좌표들에 index를 부여하여 애플리케이션에서 원하는 정도로 예측된 좌표를 사용하도록 할 수 있다. 예를 들어 자판을 입력하는 애플리케이션에서는 예측 좌표를 사용하지 않거나 4 ms 정도 예측된 좌표를 사용하도록 하고, 손 글씨를 입력하는 애플리케이션에서는 30 ms 예측된 좌표를 사용하도록 할 수 있다.

도 13은 본 발명의 일 실시 예에 따라, 프로세서의 부담을 줄이기 위해 좌표 측정 장치(TSP를 포함하는 IC 또는 디지타이저 등)에서 측정 좌표를 포함하여 1개 이상의 예측 좌표를 계산한 뒤 디스플레이 장치로 전달하는 예시를 도시한다. 디스플레이 장치의 프로세서는 입력받은 좌표 중 어떤 좌표를 출력할 것인지 어떤 방식으로 출력할 것인지만을 판단할 수 있으며, 이 동작은 각 애플리케이션에서 자동 혹은 수동으로 선택하도록 할 수 있다.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 통상의 기술자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

Claims (16)

1. 입력 장치에 입력되는 입력의 좌표를 화면에 표시하는 디스플레이 장치의 좌표 표시 방법에 있어서,
   상기 입력 장치에 입력되는 입력 좌표를 측정하는 좌표 측정 단계;
   상기 측정 단계로부터 현재 측정되는 현재 입력 좌표와 이전까지 측정된 입력 좌표를 통해, 다음 입력될 입력 좌표를 예측하는 좌표 예측 단계; 및
   상기 디스플레이 장치에 표시된 이전 예측 좌표를 수정하고, 새로운 입력 좌표 및 상기 수정된 예측 좌표를 상기 디스플레이 장치에 표시하는 단계를 포함하는 방법.
2. 제 1항에 있어서,
   상기 좌표 예측 단계는 상기 입력 장치에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법.
3. 제 1항에 있어서,
   상기 좌표 예측 단계는 상기 좌표의 이동 궤적 또는 이동 각속도에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법.
4. 제 1항에 있어서,
   상기 좌표 예측 단계는 상기 측정된 적어도 하나의 좌표에 따라 예측 알고리즘이 변경되는 것을 특징으로 하는 방법.
5. 제 1항에 있어서,
   상기 좌표 예측 단계는 상기 측정된 좌표 중 이상점(outlier)을 감지하여 제외하거나 수정하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 제 1항에 있어서,
   상기 좌표 예측 단계로부터 예측되는 좌표는, 적어도 하나의 다른 예측 시간을 가지는 예측 좌표로 상기 예측 시간에 따른 인덱스 값을 가지는 것을 특징으로 하는 방법.
7. 제 1항에 있어서,
   상기 좌표 예측 단계로부터 예측되는 좌표는, 상기 현재 입력 좌표, 이전까지 측정된 적어도 하나의 입력 좌표 및 적어도 하나의 이전 예측 좌표를 기초로 하여 얻어지는 것을 특징으로 하는 방법.
8. 제 1항에 있어서,
   상기 이전 예측 좌표를 수정하는 단계는 상기 이전 예측 좌표를 좌표 궤적에서 제외하는 단계를 포함하는 것을 특징으로 하는 방법.
9. 제 1항에 있어서,
   상기 이전 예측 좌표를 수정하는 단계는 상기 이전 예측 좌표를 상기 현재 입력 좌표에 기초하여 수정하는 것을 특징으로 하는 방법.
10. 제 1항에 있어서,
    상기 수정된 예측 좌표를 표시하는 단계는 최종 예측 좌표를 입력 좌표 이후의 좌표로 좌표 궤적에 추가하여 상기 디스플레이 장치에 표시하는 것을 특징으로 하는 방법.
11. 제 1항에 있어서,
    상기 예측 좌표를 표시하는 단계는 상기 예측 좌표 중 적어도 하나를 각 예측 좌표의 인덱스에 따라 순차적으로 좌표 궤적에 추가하여 상기 디스플레이 장치에 표시하는 것을 특징으로 하는 방법.
12. 제 1항에 있어서,
    상기 좌표를 예측하는 단계는 상기 입력의 필압 또는 필압의 변화에 따라 예측을 결정하는 것을 특징으로 하는 방법.
13. 제 1항에 있어서,
    상기 예측 좌표를 표시하는 단계는 상기 입력의 필압 또는 필압의 변화에 따라 상기 예측 좌표의 사용 여부를 결정하여 표시하는 것을 특징으로 하는 방법.
14. 좌표 입력 장치로부터 인덱스를 포함하는 복수 개의 좌표를 출력하는 좌표 측정 장치와, 상기 인덱스 중 선택한 인덱스의 좌표를 화면에 표시하는 디스플레이 장치를 포함하는 좌표 표시 장치.
15. 제 14항에 있어서,
    상기 디스플레이 장치는 이전 화면에서 선택한 상기 인덱스의 좌표를 수정하고 새로운 좌표를 상기 디스플레이의 화면에 표시하는 것을 특징으로 하는 좌표 표시 장치.
16. 제 14항에 있어서,
    상기 좌표 측정 장치는 상기 인덱스를 포함하는 좌표 및 추가 정보를 출력하는 것을 특징으로 하는 좌표 표시 장치.
    

Images