KR20170084118A - 레이턴시를 최소화하기 위해 입력 센싱, 렌더링, 및 디스플레이할 시기를 정하는 시스템 및 방법 - Google Patents

레이턴시를 최소화하기 위해 입력 센싱, 렌더링, 및 디스플레이할 시기를 정하는 시스템 및 방법 Download PDF

Info

Publication number
KR20170084118A
KR20170084118A KR1020177014089A KR20177014089A KR20170084118A KR 20170084118 A KR20170084118 A KR 20170084118A KR 1020177014089 A KR1020177014089 A KR 1020177014089A KR 20177014089 A KR20177014089 A KR 20177014089A KR 20170084118 A KR20170084118 A KR 20170084118A
Authority
KR
South Korea
Prior art keywords
touch
time
determining
data
frame
Prior art date
Application number
KR1020177014089A
Other languages
English (en)
Inventor
데 아라우호 브루노 로드리게스
리카르도 호르게 호타 코스타
클리프턴 포린스
Original Assignee
텍추얼 랩스 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텍추얼 랩스 컴퍼니 filed Critical 텍추얼 랩스 컴퍼니
Publication of KR20170084118A publication Critical patent/KR20170084118A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 명세서에는 터치 데이터를 터치 샘플링 레이트로 생성할 수 있는 터치 센싱 시스템을 갖고, 프레임을 리프레시 레이트로 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 시스템 및 방법이 개시된다. 일 실시형태에 있어서, 상기 시스템은 (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위한 일정시기, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위한 일정시기, 및 (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기 중 적어도 하나를 추정한다. 상기 시스템은 적어도 어느 정도 상기 추정값에 기초하여, (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하고, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기(Tc)를 결정한다. 상기 시스템은 상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정한다. 샘플링 시작 시간은 적어도 어느 정도 Tr 및 Tc에 기초하여 계산된다. 상기 터치 센싱 시스템의 샘플링은 상기 샘플링 시작 시간에 상기 터치 센싱 시스템의 샘플링을 개시하여 샘플링된 터치 데이터를 얻는다. 터치 이벤트 데이터는 상기 샘플링된 터치 데이터로부터 계산되고, 상기 시점(Tr) 전에 상기 프레임 버퍼에 상기 이벤트 데이터를 반영하는 프레임을 렌더링한다. 이어서, 상기 디스플레이는 상기 프레임 버퍼로부터 리프레싱된다.

Description

레이턴시를 최소화하기 위해 입력 센싱, 렌더링, 및 디스플레이할 시기를 정하는 시스템 및 방법{SYSTEM AND METHOD FOR TIMING INPUT SENSING, RENDERING, AND DISPLAY TO MINIMIZE LATENCY}
본 발명의 상기 및 다른 목적, 특징 및 장점은 첨부된 도면에 도시된 바람직한 실시형태의 이하의 더욱 상세한 설명으로부터 명백해질 것이며, 여기서 참조 부호는 여러 도면에 걸쳐서 동일한 부분을 참조한다. 도면은 반드시 일정한 비율로 나타내어지는 것은 아니며, 대신에 본 발명의 원리를 설명하는 것에 중점을 둔다.
도 1은 종래의 이중 버퍼링된 솔루션을 나타내는 도면을 나타낸다.
도 2 및 도 3은 종래의 렌더링 방법을 나타내는 도면을 나타낸다.
도 4 및 도 5는 더 신속하게 렌더링하고, 스크린을 더 신속하게 리프레싱함으로써 래그를 감소시키기 위한 솔루션의 실시형태를 도시하는 도면을 나타낸다.
도 6은 GUI의 렌더링할 시기를 정하는 시스템이 제공되는 본 발명에 개시된 시스템 및 방법의 일 실시형태를 도시하는 도면을 나타낸다.
이하, 첨부된 도면에 도시된 실시예를 참조하여 본 발명의 바람직한 실시형태에 대해 상세하게 설명할 것이다. 이하의 설명 및 도면은 예시적인 것이며, 제한적인 것으로 해석되어서는 안된다. 완전한 이해를 제공하기 위해 많은 구체적인 세부사항이 설명된다. 그러나, 특정 경우에 있어서, 설명이 모호해지는 것을 회피하기 위해 공지의 또는 종래의 세부사항은 설명되지 않는다. 본 발명에 있어서의 하나 또는 일 실시형태에 대한 참조는 반드시 동일한 실시형태를 참조하는 것은 아니고, 또한 이러한 참조는 적어도 하나를 의미한다.
본 명세서에 있어서, "일 실시형태" 또는 "상기 실시형태"에 대한 참조는 상기 실시형태와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 명세서의 적어도 일 실시형태에 포함되어 있는 것을 의미한다. 본 명세서의 다양한 곳에서의 "일 실시형태에 있어서"라는 문구의 출현은 반드시 동일한 실시형태를 모두 지칭하는 것은 아니며, 또한 다른 실시형태와 상호 배타적인 별도의 또는 대안적인 실시형태인 것은 아니다. 또한, 다른 것들이 아닌 일부 실시형태에 의해 나타내어질 수 있는 다양한 특징들이 설명된다. 마찬가지로, 다른 실시형태가 아닌 일부 실시형태에 대한 요구사항이 있을 수 있는 다양한 요구사항이 설명된다.
이하, 본 발명은 레이턴시를 최소화하기 위해 입력 센싱, 렌더링 및 디스플레이할 시기를 정하기 위한 방법 및 장치의 블록도 및 동작도를 참조하여 설명된다. 블록도 또는 동작도의 각 블록, 및 블록도 또는 동작도의 블록의 조합은 아날로그 또는 디지털 하드웨어 및 컴퓨터 프로그램 명령에 의해 구현될 수 있는 것으로 이해된다. 이들 컴퓨터 프로그램 명령은 컴퓨터 판독 가능 매체에 저장될 수 있으며, 범용 컴퓨터, 특수 목적 컴퓨터, ASIC, 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 컴퓨터의 또는 다른 프로그램 가능 데이터 프로세싱 장치를 통해 실행되는 명령이 블록도 또는 동작 블록 또는 블록(들)에서 명시된 기능/동작을 구현한다. 일부 대체 구현예에 있어서, 블록에서 언급된 기능/동작은 동작 설명에서 언급된 순서를 벗어나 발생할 수 있다. 예를 들면, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 또는 관련된 기능/작용에 따라 블록이 역순으로 실행되는 경우가 있을 수 있다.
인터렉티브 장치는 입력 감각, 처리 및 렌더링 작업 및 출력 디스플레이를 포함한 다수의 부품의 구성으로 볼 수 있다. 입력 감각(예를 들면: 손가락 터치)을 시각적인 응답으로 변환하는데 필요한 파이프라인은 즉각적인 것이 아니고, 각각의 동작은 정보를 처리하는데 필요한 시간, 또는 디스플레이의 경우에는 디스플레이가 전체 스크린 또는 그 일부를 리드로우하는데 사용하는 빈도와 같은 다수의 이유로 레이턴시를 발생시킨다. 따라서, 이들 작업이 동시에 동작하는 경우라도, 가능한 한 시스템은 가장 느린 동작만큼만 신속하다. 예를 들면, 디스플레이는 60Hz마다 한 번씩만 리프레싱할 수 있으며, 즉 다음의 리프레시 주기 전에 모든 것이 더 신속한(또는 이용 가능한) 경우에는 시스템은 디스플레이가 새로운 정보를 디스플레이할 준비가 될 때까지 대기해야 한다.
본 발명의 목적은 레이턴시(즉, 시스템에의 사용자의 입력과 그 입력에 대한 시스템의 그래픽 응답 사이의 시간)를 감소시키는 것에 있다. 또한, 본 발명의 목적은 입력 캡쳐를 동기화하고, 디스플레이 리프레시에 의해 처리함으로써 가장 최근의 입력 정보를 디스플레이 가능하게 하는 것에 있다. 현재, 모든 입력 정보는 가능한 한 신속하게 처리되고, 다음의 리프레시 주기를 대기하는 경우가 종종 있다. 이것만으로도 대기 시간이 발생하고, 전반적인 시스템 레이턴시에 반영된다. 본 발명에 개시된 방법의 일 실시형태에 따르면, 시스템은 렌더링하는 시점에만 언제 다음의 리프레시가 행해질 것인지를 고려하여 가장 최신의 이벤트를 설명하도록 한다.
일 실시형태에 있어서, 디스플레이를 리프레싱하는 시간 및 입력 센서를 샘플링하고 터치 포인트를 계산하는데 필요한 시간이 공지된다. 따라서, 입력 센싱은 리프레시가 곧 시작될 때에 종료 시점과 일치하도록 지연된다. 일 실시형태에 있어서, 렌더링은 가능한 마지막 순간에 시작되어 완료되고, 출력은 다음 디스플레이 리프레시를 위해 준비된다. 이 JIT(just-in-time) 렌더링은 가장 최근의 입력 이벤트에 액세스할 수 있고, 따라서 얻어진 디스플레이는 최소의 레이턴시 양을 갖는 그래픽을 포함할 수 있다.
또 다른 실시형태에 있어서, 리프레싱하는 시간 또는 입력 센서를 샘플링하는 시간은 어 프라이오리로 알려져 있지 않아 측정이 필요하다. 측정은 키 타임스탬프에 기초하여 실행되고, 이것은 시간적 순서 및 순서화를 보장할 수 있다. 측정을 통해, 입력 샘플 레이트와 디스플레이 리프레시 레이트를 알게 되며, 레이턴시를 최소화하기 위해 상술한 바와 같이 그래픽의 랜더링할 시기를 정할 수 있다.
또 다른 실시형태에 있어서, 이러한 측정은 외부 측정 용품 및 사용자 입력(또는 상수로서 규정됨)을 이용하여 감지된다.
또 다른 실시형태에 있어서, 이들 측정은 시스템 작업 부하에 따라 다양하며, 측정값이 정확하지 않아 디스플레이 대기를 줄이려는 시도에 불과하다. 출력을 렌더링하는데 필요한 시간은 출력 및 경쟁 시스템 활동의 복잡성의 함수(보다 복잡한 출력은 일반적으로 렌더링하는데 보다 많은 시간이 필요하고, CPU 또는 GPU에 대한 경쟁 활동은 렌더링을 감속시키는 등)이다. 이 실시형태에 있어서, 시스템은 출력 복합성의 모델; 주요 시스템 구성요소에 대한 경쟁 활동의 지식; 이전의 프레임을 렌더링하는데 필요한 시간; 및 과거에 비슷한 출력을 렌더링하는데 필요한 시간 중 일부 조합에 기초하여 렌더링 시간을 추정한다.
또 다른 실시형태에 있어서, 시스템은 디스플레이가 수직 리프레시를 완료하고, 적절한 버퍼에 렌더링할 수 있게 되는 즉시 출력을 렌더링한다. 렌더링이 완료된 후, 새로운 수직 리프레시까지 시스템은 입력 센서에 의한 추가적인 입력 이벤트 샘플에 기초하여 이 렌더링을 업데이트한다. 예를 들면, 시스템은 GUI의 뷰를 렌더링하고, 이어서 렌더링을 디스플레이해야 하는 시간까지 추가적인 입력 이벤트에 기초하여 트랜슬레이션할 수 있다.
도 1은 이전의 이중-버퍼링된 솔루션을 나타낸다. 이러한 솔루션에 있어서, 디스플레이는 디스플레이 및 렌더링에 사용되는 2개의 버퍼(A 및 B) 사이에 "플리핑" 또는 "스와핑"한다. 버퍼 A가 가시화될 때에, 장치는 버퍼 B로 렌더링된다. 미리 결정된 레이트로, 시스템은 B가 현재 가시적이며 A가 렌더링될 수 있도록 버퍼를 플리핑/스와핑한다. 버퍼가 오프스크린일 때에 클리어 및 렌더링된다.
도 2 및 도 3은 종래의 렌더링 방법을 나타낸다. GUI는 가장 최근의 입력 데이터 및 애플리케이션 상태를 이용하여 렌더링된다. 레이턴시(래그)는 GUI가 렌더링될 때와 그것이 최종적으로 스크린 상에 디스플레이될 때의 애플리케이션 상태(출력을 포함함) 사이에 차이가 있을 때에 발생한다. 도 3에 있어서, 렌더링 A의 래그는 렌더링 A의 시작과 스크린 상의 렌더링 A의 결과를 디스플레이하는 수직 리프레시 사이의 시간으로서 나타내어진다.
도 4 및 도 5는 더 신속하게 렌더링하고, 스크린을 더 신속하게 리프레싱함으로써 래그를 감소시키는 솔루션의 실시형태를 나타낸다. 예를 들면, 시스템에 더 신속한 GPU 또는 이와 같은 개선이 포함될 수 있으며, 더 신속한 리프레시 레이트(예를 들면, 60Hz 보다는 100Hz)로 디스플레이를 실행할 수 있다. 이러한 방식으로, 렌더링된 그래픽은 더 신속하게 생성되고, 사용자에게 스크린 상에 더 신속하게 디스플레이되고, 따라서 사용자에게 렌더링의 시작과 GUI의 디스플레이 사이의 시간을 감소시킨다. 버퍼를 클리어하고, 스크린의 수직 리프레시 사이의 GUI를 렌더링하는 시간이 있는 한, 이 접근법은 렌더링 엔진을 더 많이 사용하고, 신속한 디스플레이를 위해 보다 많은 비용을 지불함으로써 래그를 감소시킨다.
도 6은 GUI의 렌더링이 가능한 한 수직 리프레시에 가깝게 완료되도록 시기를 정하는 본 발명의 시스템 및 방법의 일 실시형태를 나타낸다. 이 방식으로, 렌더링은 사용자로부터의 가장 최근의 이용 가능한 입력 및 가장 최근의 이용 가능한 애플리케이션 상태를 이용하여 렌더링된 이미지를 생성함으로써 래그를 감소시킬 수 있다.
일 실시형태에 있어서, 터치 데이터를 터치 샘플링 레이트로 생성할 수 있는 터치 센싱 시스템을 갖고, 프레임을 리프레시 레이트로 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 시스템 및 방법이 제공된다. 상기 시스템은 (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위한 일정시기, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위한 일정시기, 및 (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기 중 적어도 하나를 추정한다. 상기 시스템은 적어도 어느 정도 상기 추정값에 기초하여, (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하고, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기(Tc)를 결정한다. 상기 시스템은 상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정한다. 샘플링 시작 시간은 적어도 어느 정도 Tr 및 Tc에 기초하여 계산된다. 상기 터치 센싱 시스템의 샘플링은 상기 샘플링 시작 시간에서 개시되어 샘플링된 터치 데이터를 얻는다. 터치 이벤트 데이터는 상기 샘플링된 터치 데이터로부터 계산되고, 상기 터치 이벤트 데이터를 반영하는 프레임은 상기 시간(Tr) 전에 프레임 버퍼에 렌더링된다. 이어서, 상기 디스플레이는 프레임 버퍼로부터 리프레싱된다.
일 실시형태에 있어서, 상기 시스템은 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, 프레임 버퍼에 프레임을 렌더링하기 위해 필요한 일정시기(Tc) 및 상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정한다. 상기 터치 센싱 시스템은 샘플링되어 샘플링된 터치 데이터를 생성한다. 터치 이벤트 데이터는 상기 샘플링된 터치 데이터로부터 계산되고, 이 계산 단계의 시작은 적어도 (Tr-Tc)만큼 이른 시점에서 발생하도록 지연된다. 프레임은 시점(Tr) 전에 프레임 버퍼에 렌더링되고, 이어서 디스플레이 시스템이 프레임 버퍼로부터 리프레싱된다.
일 실시형태에 있어서, (a) 터치 데이터를 터치 샘플링 레이트로 생성하고, 샘플링 동기를 가질 수 있는 터치 센싱 시스템, 및 (b) 리프레시 동기를 갖는 리프레시 레이트로 프레임을 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 방법이 제공된다. 터치 센서 출력의 샘플링은 샘플링 동기에 개시되고, 샘플링된 출력은 샘플링 레이트로 샘플링 버퍼에 위치된다. 복수개의 디스플레이 버퍼 중 하나에 렌더링되는 프레임은 리프레시 동기에 개시되고, 렌더링된 프레임에 대응하는 디스플레이 이미지가 리프레시 동기에 디스플레이된다. 샘플링 버퍼에 출력을 수집하기 위한 추정 시간에 대응하는 일정시기(Tc)가 결정되고, 수집된 출력으로부터 터치 이벤트 데이터를 계산하기 위한 추정 시간에 대응하는 일정시기(Tm)가 결정되고, 또한 상기 터치 이벤트 데이터에 대응하는 프레임을 렌더링하기 위한 추정 시간에 대응하는 일정시기(Tr)이 결정된다. 시작 시간은 리프레시 동기, Tc, Tm 및 Tr에 기초하여 계산되고, 샘플링된 버퍼에 있어서의 출력의 수집은 상기 시작 시간에 개시된다. 이어서, 터치 이벤트 데이터는 수집된 출력으로부터 계산되고, 상기 터치 이벤트 데이터에 대응하는 프레임이 렌더링된다.
본 명세서 전반에 걸쳐, 용어 "터치", "터치들" 또는 다른 설명어들은 사용자의 손가락, 스타일러스, 객체 또는 신체 일부가 센서에 의해 감지되는 이벤트 또는 일정시기를 설명하는데 사용될 수 있다. 일부 실시형태에 있어서, 이들 감지는 사용자가 센서 또는 그것이 구현되는 장치와 물리적으로 접촉할 때에만 발생한다. 다른 실시형태에 있어서, 센서는 터치 표면 위의 거리를 호버링하거나 터치 감응 장치로부터 분리된 "터치들"의 감지를 허용하도록 조정될 수 있다. 따라서, 감지된 물리적 접촉에 대한 의존을 의미하는 이 설명 내에서의 언어의 사용은 설명된 기술이 단지 그러한 실시형태에만 적용된다는 것을 것을 의미하지 않으며, 사실은 여기에 설명된 내용 전부는 아니더라도 거의 모두가 "터치" 및 "호버" 센서와 동등하게 적용될 수 있다. 본 명세서에서 사용된 바와 같이, 명사로 사용될 때에 어구 "터치 이벤트" 및 단어 "터치"는 근접 터치 및 근접 터치 이벤트, 또는 센서를 사용하여 식별될 수 있는 임의의 다른 제스쳐를 포함한다.
본 발명에 개시된 적어도 일부 양태는 적어도 부분적으로 소프트웨어로 구현될 수 있다. 즉, 본 발명의 기술은 마이크로프로세서와 같은 프로세서에 응답하여 특수 용도 컴퓨터 시스템 또는 범용 컴퓨터 시스템, 또는 다른 데이터 처리 시스템에서 실행될 수 있으며, ROM, 휘발성 RAM, 비휘발성 메모리, 캐시, 또는 원격 저장 장치에 포함되는 일련의 명령을 실행시킬 수 있다.
실시형태를 구현하기 위해 실행되는 루틴은 운영 시스템, 펌웨어, ROM, 미들웨어, 서비스 전달 플랫폼, SDK(소프트웨어 개발 키트) 컴포넌트, 웹 서비스, 또는 다른 특정 애플리케이션, 컴포넌트, 프로그램, 객체, 모듈 또는 "컴퓨터 프로그램"이라고 불리는 일련의 명령의 일부로서 구현될 수 있다. 이들 루틴에 대한 호출 인터페이스는 API(응용 프로그램 인터페이스)로서 소프트웨어 개발 커뮤니티에 노출될 수 있다. 통상, 컴퓨터 프로그램은 컴퓨터에 있어서의 각종 메모리 및 저장 장치에 다양한 시간에 설정된 하나 이상의 명령을 포함하고, 컴퓨터에 있어서의 하나 이상의 프로세서에 의해 판독되고 실행될 때에 컴퓨터가 각종 양태를 포함하는 요소를 실행하는데 필요한 동작을 행하게 한다.
기계 판독 가능 매체는 데이터 처리 시스템에 의해 실행될 때에 시스템이 다양한 방법을 행하도록 소프트웨어 및 데이터를 저장하는데 사용될 수 있다. 실행 가능한 소프트웨어 및 데이터는, 예를 들면 ROM, 휘발성 RAM, 비휘발성 메모리 및/또는 캐시를 포함한 다양한 위치에 저장될 수 있다. 이 소프트웨어 및/또는 데이터의 일부는 이들 저장 장치 중 어느 하나에 저장될 수 있다. 또한, 데이터 및 명령은 중앙 집중식 서버 또는 피어-투-피어 네트워크로부터 얻어질 수 있다. 상이한 시간 및 상이한 통신 세션 또는 동일한 통신 세션에서 상이한 중앙 집중식 서버 및/또는 피어-투-피어 네트워크로부터 데이터 및 명령의 상이한 부분이 얻어질 수 있다. 데이터 및 명령은 애플리케이션의 실행 전에 전체적으로 얻어질 수 있다. 대안적으로, 데이터 및 명령의 일부는 실행에 필요한 시점에만 동적으로 얻어질 수 있다. 따라서, 특정 시점의 경우에는 데이터 및 명령이 전체적으로 기계 판독 가능 매체에 있어야 할 필요는 없다.
컴퓨터 판독 가능 매체의 예는 휘발성 및 비휘발성 메모리 장치, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리 장치, 플로피 및 기타 제거 가능 디스크, 자기 디스크 저장 매체, 광학 저장 매체(예를 들면, 콤팩트 디스크 판독 전용 메모리(CD ROMS), 디지털 다기능 디스크(DVD) 등) 등과 같은 기록 가능 및 비기록 가능 유형 매체를 포함하지만, 이들에 제한되지 않는다.
일반적으로, 기계 판독 가능 매체는 기계(예를 들면, 컴퓨터, 네트워크 장치, 개인 휴대정보 단말기, 제조 툴, 하나 이상의 프로세서 세트를 구비한 임의의 장치)에 의해 액세스 가능한 형태로 정보를 제공(예를 들면, 저장)하는 임의의 기구를 포함한다.
각종 실시형태에 있어서, 하드와이어드 회로는 기술을 구현하기 위해 소프트웨어 명령과 조합하여 사용될 수 있다. 따라서, 본 발명의 기술은 하드웨어 회로 및 소프트웨어의 특정 조합이나 데이터 처리 시스템에 의해 실행되는 명령에 대한 임의의 특정 소스에 제한되지 않는다.
상기 실시형태 및 바람직한 예는 본 발명의 예시이다. 본 발명에 있어서, 모든 가능한 조합 또는 실시형태를 개괄하거나 규정하는 것으로 반드시 의도되는 것은 아니다. 본 발명자는 당업자가 본 발명의 적어도 하나의 실시형태를 실시할 수 있도록 충분한 정보를 개시한다. 상기 설명 및 도면은 단지 본 발명의 예시일 뿐이며, 이하의 청구범위에서 규정된 본 발명의 범위를 벗어나는 일 없이 요소, 구조 및 방법의 변경이 가능하다. 예를 들면, 상술한 요소 및/또는 단계 및/또는 특정 순서의 이하의 청구범위는 본 발명으로부터 벗어나는 일 없이 상이한 순서로 실시될 수 있다. 따라서, 본 발명은 그 실시형태를 참조하여 특별히 도시되고 설명되지만, 본 발명의 사상 및 범위를 벗어나는 일 없이 형태 및 세부사항에 있어서의 각종 변경이 이루어질 수 있는 것으로 당업자에 의해 이해될 것이다.

Claims (34)

  1. 터치 데이터를 터치 샘플링 레이트로 생성할 수 있는 터치 센싱 시스템을 갖고, 상기 터치 센싱 시스템에 입력을 반영하는 프레임을 리프레시 레이트로 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 방법으로서:
    (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위한 일정시기, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하는 일정시기, 및 (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기 중 적어도 하나를 추정하는 단계;
    적어도 어느 정도 상기 추정값에 기초하여, (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하고, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기(Tc)를 결정하는 단계;
    상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정하는 단계;
    적어도 어느 정도 Tr 및 Tc에 기초하여 샘플링 시작 시간을 계산하는 단계;
    상기 샘플링 시작 시간에 상기 터치 센싱 시스템의 샘플링을 개시하여 샘플링된 터치 데이터를 얻는 단계;
    상기 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하는 단계;
    상기 시점(Tr) 전에 상기 프레임 버퍼에 상기 터치 이벤트 데이터를 반영하는 프레임을 렌더링하는 단계; 및
    상기 프레임 버퍼로부터 상기 디스플레이 시스템을 리프레싱하는 단계를 포함하는 레이턴시의 감소 방법.
  2. 제 1 항에 있어서,
    상기 프레임 버퍼로부터 상기 디스플레이 시스템을 리프레싱하는 단계는 이중 버퍼의 제 1 및 제 2 버퍼를 스와핑하는 것을 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 일정시기를 결정하는 단계는 (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위한 일정시기, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위한 일정시기, 및 (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기 중 적어도 하나를 측정하는 것을 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 일정시기를 결정하는 단계는 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하고, 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, 상기 프레임 버퍼에 이전의 프레임을 렌더링하기 위해 미리 요구된 일정시기를 측정하는 것을 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 일정시기를 결정하는 단계는 상기 디스플레이 시스템의 리프레시 레이트를 측정하는 것을 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 일정시기를 결정하는 단계는 반복적으로 행해지는 방법.
  7. 제 1 항에 있어서,
    상기 시점(Tr)을 결정하는 단계는 타임스탬프 및 상기 리프레시 레이트를 이용하여 행해지는 방법.
  8. 제 1 항에 있어서,
    상기 일정시기를 결정하는 단계는 어 프라이오리로 일정시기를 결정하는 것을 포함하는 방법.
  9. 제 8 항에 있어서,
    어 프라이오리로 일정시기를 결정하는 단계는 측정을 이용하지 않고 일정시기를 결정하는 것을 포함하는 방법.
  10. 제 1 항에 있어서,
    상기 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기는 상기 프레임을 렌더링하고, 상기 프레임 버퍼에 상기 프레임에 대한 데이터를 기록하는 것을 완료하기 위한 일정시기를 포함하는 방법.
  11. 제 1 항에 있어서,
    렌더링의 개시는 렌더링이 완료되고, 상기 렌더링된 출력이 디스플레이 시스템 리프레시 전에 소정의 일정시기 내에 준비될 때까지 지연되는 방법.
  12. 터치 데이터를 터치 샘플링 레이트로 생성할 수 있는 터치 센싱 시스템 및 상기 터치 센싱 시스템에 입력을 반영하는 프레임을 리프레시 레이트로 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 방법으로서:
    샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, 프레임 버퍼에 프레임을 렌더링하기 위해 필요한 일정시기(Tc)를 결정하는 단계;
    상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정하는 단계;
    상기 터치 센싱 시스템을 샘플링하여 샘플링된 터치 데이터를 생성하는 단계;
    상기 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하는 단계로서, 상기 계산 단계의 시작은 적어도 (Tr-Tc)만큼 이른 시점에서 발생하도록 지연되는 단계;
    상기 시점(Tr) 전에 상기 프레임 버퍼에 프레임을 렌더링하는 단계; 및
    상기 프레임 버퍼로부터 상기 디스플레이 시스템을 리프레싱하는 단계를 포함하는 레이턴시의 감소 방법.
  13. 제 12 항에 있어서,
    상기 프레임 버퍼로부터 상기 디스플레이 시스템을 리프레싱하는 단계는 이중 버퍼의 제 1 및 제 2 버퍼를 스와핑하는 것을 포함하는 방법.
  14. 제 12 항에 있어서,
    상기 일정시기를 결정하는 단계는 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위해 미리 요구된 일정시기를 측정하는 것을 포함하는 방법.
  15. 제 12 항에 있어서,
    상기 일정시기를 결정하는 단계는 상기 디스플레이 시스템의 리프레시 레이트를 측정하는 것을 포함하는 방법.
  16. 제 12 항에 있어서,
    상기 일정시기를 결정하는 단계는 반복적으로 행해지는 방법.
  17. 제 12 항에 있어서,
    상기 시점(Tr)을 결정하는 단계는 타임스탬프 및 상기 리프레시 레이트를 이용하여 행해지는 방법.
  18. 제 12 항에 있어서,
    상기 일정시기를 결정하는 단계는 어 프라이오리로 일정시기를 결정하는 것을 포함하는 방법.
  19. 제 18 항에 있어서,
    상기 어 프라이오리로 일정시기를 결정하는 단계는 측정을 이용하지 않고 일정시기를 결정하는 것을 포함하는 방법.
  20. 제 12 항에 있어서,
    상기 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기는 상기 프레임을 렌더링하고, 상기 프레임 버퍼에 상기 프레임에 대한 데이터를 기록하는 것을 완료하기 위한 일정시기를 포함하는 방법.
  21. 제 12 항에 있어서,
    렌더링의 개시는 렌더링이 완료되고, 상기 렌더링된 출력이 디스플레이 시스템 리프레시 전에 소정의 일정시기 내에 준비될 때까지 지연되는 방법.
  22. (a) 터치 데이터를 터치 샘플링 레이트로 생성하고, 샘플링 동기를 가질 수 있는 터치 센싱 시스템, 및
    (b) 리프레시 동기를 갖는 리프레시 레이트로 프레임을 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득 및 관련된 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 방법으로서:
    샘플링 동기 상에서 터치 센서 출력의 샘플링을 개시하고, 샘플링 레이트로 샘플링 버퍼에 샘플링된 출력을 위치시키는 단계;
    리프레시 동기 상에서 복수의 디스플레이 버퍼 중 하나에 프레임 렌더링을 개시하는 단계;
    리프레시 동기 상에서 렌더링된 프레임에 대응하는 디스플레이 이미지를 터치 스크린 상에 디스플레이하는 단계;
    상기 샘플링 버퍼에 상기 출력을 수집하기 위한 추정 시간에 대응하는 일정시기(Tc)를 결정하는 단계;
    수집된 출력으로부터 터치 이벤트 데이터를 계산하기 위한 추정 시간에 대응하는 일정시기(Tm)를 결정하는 단계;
    상기 터치 이벤트 데이터에 대응하는 프레임을 렌더링하기 위한 추정 시간에 대응하는 일정시기(Tr)를 결정하는 단계;
    상기 리프레시 동기, Tc, Tm, 및 Tr에 기초하여 시작 시간을 계산하는 단계; 및
    상기 시작 시간에 상기 샘플링 버퍼에서의 상기 출력을 수집하는 것을 개시하고, 이어서 수집된 출력으로부터 터치 이벤트 데이터를 계산하고, 상기 터치 이벤트 데이터에 대응하는 프레임을 렌더링하는 단계를 포함하는 레이턴시의 감소 방법.
  23. 제 22 항에 있어서,
    상기 일정시기(Tc)를 결정하는 단계는 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위해 미리 요구된 일정시기를 측정하는 것을 포함하는 방법.
  24. 제 22 항에 있어서,
    상기 일정시기(Tm)를 결정하는 단계는 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위해 미리 요구된 일정시기를 측정하는 것을 포함하는 방법.
  25. 제 22 항에 있어서,
    상기 일정시기(Tr)를 결정하는 단계는 상기 프레임 버퍼에 이전의 프레임을 렌더링하기 위해 미리 요구된 일정시기를 측정하는 것을 포함하는 방법.
  26. 제 22 항에 있어서,
    상기 일정시기(Tc)를 결정하는 단계, 상기 일정시기(Tm)을 결정하는 단계, 또는 상기 일정시기(Tr)를 결정하는 단계 중 적어도 하나는 상기 디스플레이 시스템의 리프레시 레이트를 측정하는 것을 포함하는 방법.
  27. 제 22 항에 있어서,
    상기 일정시기를 결정하는 단계는 반복적으로 행해지는 방법.
  28. 제 22 항에 있어서,
    상기 시점(Tr)을 결정하는 단계는 타임스탬프 및 상기 리프레시 레이트를 이용하여 행해지는 방법.
  29. 제 22 항에 있어서,
    상기 일정시기를 결정하는 단계 중 적어도 하나는 어 프라이오리로 일정시기를 결정하는 것을 포함하는 방법.
  30. 제 29 항에 있어서,
    상기 어 프라이오리로 일정시기를 결정하는 단계는 측정을 이용하지 않고 일정시기를 결정하는 것을 포함하는 방법.
  31. 제 22 항에 있어서,
    상기 프레임의 렌더링을 위한 일정시기는 상기 프레임을 렌더링하고, 상기 프레임 버퍼에 상기 프레임에 대한 데이터를 기록하는 것을 완료하기 위한 일정시기를 포함하는 방법.
  32. 제 22 항에 있어서,
    렌더링의 개시는 렌더링이 완료되고, 상기 렌더링된 출력이 디스플레이 시스템 리프레시 전에 소정의 일정시기 내에 준비될 때까지 지연되는 방법.
  33. 터치 센싱 시스템을 갖는 터치 감응 장치의 디스플레이 상에 디스플레이되는 터치 이벤트 데이터의 생성과 이에 대응하는 디스플레이 이미지 사이의 레이턴시를 감소시키기 위한 방법으로서:
    샘플링 레이트로 발생하는 샘플링 동기 신호에 대한 터치 센서의 샘플링을 개시하고, 이어서 샘플링된 터치 데이터에 기초하여 터치 이벤트 데이터를 계산하는 단계;
    렌더링을 행하기 위한 추정 시간에 대응하는 일정시기를 결정하는 단계;
    리프레시 레이트 및 상기 결정된 일정시기로 발생하는 리프레시 동기 신호에 기초하여 웨이크 시간을 계산하는 단계; 및
    상기 웨이크 시간에 상기 터치 감응 장치 상에서 실행하는 애플리케이션에 상기 터치 이벤트 데이터를 전달하여 렌더링을 행하는 단계;
    리프레시 동기 신호에 따라 상기 렌더링에 대응하는 디스플레이 이미지를 터치 스크린 상에 디스플레이하는 단계를 포함하는 레이턴시의 감소 방법.
  34. 터치 데이터를 터치 샘플링 레이트로 생성할 수 있는 터치 센싱 시스템 및 상기 터치 센싱 시스템에 입력을 반영하는 프레임을 리프레시 레이트로 디스플레이하는 디스플레이 시스템을 갖는 터치 감응 장치에 있어서, 터치 데이터의 획득과 관련 렌더링 작업의 처리 사이의 레이턴시를 감소시키기 위한 방법으로서:
    (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하기 위한 일정시기, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하기 위한 일정시기, 및 (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기 중 적어도 하나를 추정하는 단계;
    적어도 어느 정도 상기 추정값에 기초하여, (a) 상기 터치 센싱 시스템으로부터 터치 데이터를 샘플링하고, (b) 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하고, (c) 프레임 버퍼에 프레임을 렌더링하기 위한 일정시기(Tc)를 결정하는 단계;
    상기 디스플레이 시스템이 상기 프레임 버퍼로부터 리프레싱될 수 있는 시점(Tr)을 결정하는 단계;
    Tr 및 Tc에 기초하여 샘플링 시작 시간을 계산하는 단계;
    상기 샘플링 시작 시간에 상기 터치 센싱 시스템의 샘플링을 개시하여 샘플링된 터치 데이터를 얻는 단계;
    상기 샘플링된 터치 데이터로부터 터치 이벤트 데이터를 계산하는 단계;
    상기 시점(Tr) 전에 상기 프레임 버퍼에 상기 터치 이벤트 데이터를 반영하는 프레임을 렌더링하는 단계; 및
    상기 프레임 버퍼로부터 상기 디스플레이 시스템을 리프레싱하는 단계를 포함하는 레이턴시의 감소 방법.
KR1020177014089A 2014-11-18 2015-11-18 레이턴시를 최소화하기 위해 입력 센싱, 렌더링, 및 디스플레이할 시기를 정하는 시스템 및 방법 KR20170084118A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462081261P 2014-11-18 2014-11-18
US62/081,261 2014-11-18
PCT/US2015/061364 WO2016081615A1 (en) 2014-11-18 2015-11-18 System and method for timing input sensing, rendering, and display to minimize latency

Publications (1)

Publication Number Publication Date
KR20170084118A true KR20170084118A (ko) 2017-07-19

Family

ID=56014520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177014089A KR20170084118A (ko) 2014-11-18 2015-11-18 레이턴시를 최소화하기 위해 입력 센싱, 렌더링, 및 디스플레이할 시기를 정하는 시스템 및 방법

Country Status (12)

Country Link
US (3) US9971443B2 (ko)
EP (1) EP3221777B1 (ko)
JP (1) JP2018503155A (ko)
KR (1) KR20170084118A (ko)
CN (1) CN107077252B (ko)
AU (1) AU2015350016A1 (ko)
BR (1) BR112017010463A2 (ko)
CA (1) CA2965733A1 (ko)
IL (1) IL251915B (ko)
MX (1) MX2017006365A (ko)
SG (1) SG11201703438YA (ko)
WO (1) WO2016081615A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160064024A (ko) * 2014-11-26 2016-06-07 삼성디스플레이 주식회사 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법
WO2022004945A1 (ko) * 2020-07-03 2022-01-06 삼성전자 주식회사 터치 입력의 디스플레이 출력 지연을 줄이는 디바이스 및 방법
WO2022158866A1 (ko) * 2021-01-20 2022-07-28 삼성전자 주식회사 전자 장치 및 전자 장치의 전자 펜 포인터 표시 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971443B2 (en) * 2014-11-18 2018-05-15 Tactual Labs Co. System and method for timing input sensing, rendering, and display to minimize latency
WO2016200740A1 (en) * 2015-06-07 2016-12-15 Apple Inc. Latency reduction for detached content
US10732411B2 (en) * 2016-12-12 2020-08-04 Samsung Electronics Co., Ltd Methods and devices for processing motion-based image
US10832632B2 (en) * 2018-03-14 2020-11-10 Samsung Display Co., Ltd. Low power architecture for mobile displays
CN110609645B (zh) 2019-06-25 2021-01-29 华为技术有限公司 一种基于垂直同步信号的控制方法及电子设备
CN113126791B (zh) * 2019-12-31 2022-11-22 荣耀终端有限公司 一种时间戳记录设备、系统、方法、介质及装置
GB202012559D0 (en) 2020-08-12 2020-09-23 Samsung Electronics Co Ltd Reducing latency between receiving user input and displaying resulting frame
CN111984181A (zh) * 2020-09-09 2020-11-24 Oppo（重庆）智能科技有限公司 一种画面刷新方法、装置、终端设备及存储介质
TWI766619B (zh) * 2021-03-17 2022-06-01 元太科技工業股份有限公司 電子紙顯示裝置及其操作方法
CN113407138B (zh) * 2021-06-30 2022-07-29 腾讯科技（深圳）有限公司 应用程序的画面处理方法、装置、电子设备及存储介质
CN114115688B (zh) * 2021-11-23 2023-08-01 北京字节跳动网络技术有限公司 抑制显示抖动的方法及装置、电子设备、存储介质
KR20230099898A (ko) 2021-12-28 2023-07-05 삼성전자주식회사 측위를 위한 센싱 시점을 독립적으로 관리 및 이용하는 방법 및 전자 장치
CN114647336A (zh) * 2022-03-15 2022-06-21 Oppo广东移动通信有限公司 一种点击延时测量方法、装置、存储介质及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101615973B1 (ko) * 2010-07-20 2016-05-02 엘지전자 주식회사 영상표시장치 및 그 동작방법
TWI506606B (zh) * 2010-11-05 2015-11-01 Novatek Microelectronics Corp 觸控顯示裝置的觸控控制器及其驅動方法
EP2629182B1 (en) * 2012-02-17 2019-01-16 2236008 Ontario Inc. System and method for sample rate adaption
US20130271487A1 (en) * 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing
US10282033B2 (en) * 2012-06-01 2019-05-07 E Ink Corporation Methods for updating electro-optic displays when drawing or writing on the display
US8487895B1 (en) * 2012-06-26 2013-07-16 Google Inc. Systems and methods for enhancing touch event processing performance
US9116390B2 (en) * 2012-08-27 2015-08-25 Microsoft Technology Licensing, Llc Touch sensing liquid crystal display compatible with linearly polarized sunglasses
US20140062899A1 (en) * 2012-08-31 2014-03-06 Au Optronics Corporation Dynamic stop display driving mechanism for touch sensing
US20140071062A1 (en) * 2012-09-13 2014-03-13 Silicon Integrated Systems Corp. Method for increasing touch sampling rate and touch display device using the same
CN102857805A (zh) * 2012-09-18 2013-01-02 深圳市路畅科技股份有限公司 一种移动终端信号的处理方法及装置
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US9430067B2 (en) * 2013-01-11 2016-08-30 Sony Corporation Device and method for touch detection on a display panel
US9703473B2 (en) * 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
TWI507937B (zh) * 2013-02-07 2015-11-11 Mstar Semiconductor Inc 觸控偵測方法及其裝置
JP5865287B2 (ja) * 2013-03-29 2016-02-17 株式会社ジャパンディスプレイ 電子機器および電子機器の制御方法
CN103617031B (zh) * 2013-11-20 2017-01-18 广东威创视讯科技股份有限公司 图像渲染的方法和装置
US10338725B2 (en) * 2014-09-29 2019-07-02 Microsoft Technology Licensing, Llc Wet ink predictor
US9971443B2 (en) * 2014-11-18 2018-05-15 Tactual Labs Co. System and method for timing input sensing, rendering, and display to minimize latency

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160064024A (ko) * 2014-11-26 2016-06-07 삼성디스플레이 주식회사 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법
WO2022004945A1 (ko) * 2020-07-03 2022-01-06 삼성전자 주식회사 터치 입력의 디스플레이 출력 지연을 줄이는 디바이스 및 방법
WO2022158866A1 (ko) * 2021-01-20 2022-07-28 삼성전자 주식회사 전자 장치 및 전자 장치의 전자 펜 포인터 표시 방법

Also Published As

Publication number Publication date
EP3221777B1 (en) 2019-12-25
US10402009B2 (en) 2019-09-03
EP3221777A1 (en) 2017-09-27
BR112017010463A2 (pt) 2018-04-03
EP3221777A4 (en) 2018-08-22
SG11201703438YA (en) 2017-06-29
CN107077252A (zh) 2017-08-18
US9971443B2 (en) 2018-05-15
IL251915A0 (en) 2017-06-29
CA2965733A1 (en) 2016-05-26
WO2016081615A1 (en) 2016-05-26
JP2018503155A (ja) 2018-02-01
US20190384448A1 (en) 2019-12-19
IL251915B (en) 2019-09-26
US20160188088A1 (en) 2016-06-30
US20180260074A1 (en) 2018-09-13
MX2017006365A (es) 2017-08-21
AU2015350016A1 (en) 2017-05-11
CN107077252B (zh) 2020-03-10
US11009994B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
US11009994B2 (en) System and method for timing input sensing, rendering, and display to minimize latency
JP2019057298A5 (ko)
KR102457724B1 (ko) 영상 처리를 수행하기 위한 방법 및 그 전자 장치
WO2018177105A1 (zh) 一种测试摄像头延时的方法、装置及存储介质
JP6272502B2 (ja) 携帯型デバイス上のユーザ操作モードを識別する方法及び携帯型デバイス
JP2017531230A5 (ko)
US9552644B2 (en) Motion analysis method and apparatus
US9069459B2 (en) Multi-threaded conditional processing of user interactions for gesture processing using rendering thread or gesture processing thread based on threshold latency
JP2020532902A5 (ko)
WO2017107654A1 (zh) 一种页面入口图标的显示方法及装置
WO2019085598A1 (zh) 计算页面首屏渲染时长的方法、装置及电子设备
US9684445B2 (en) Mobile gesture reporting and replay with unresponsive gestures identification and analysis
TW201531940A (zh) 橫越時脈領域的斷定控制
WO2017136554A1 (en) System and method for timing input sensing, rendering, and display to minimize latency
US20150074597A1 (en) Separate smoothing filter for pinch-zooming touchscreen gesture response
EP3400520A1 (en) Universal inking support
US20160110002A1 (en) Touch Input Method and Apparatus
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
US9946398B2 (en) System and method for timing input sensing, rendering, and display to minimize latency
Kumar et al. A web browser responsive to the user interest level
CN106796472B (zh) 分离内容的延迟缩短
US20230409121A1 (en) Display control method, apparatus, electronic device, medium, and program product
CN110557627A (zh) 性能的监测方法、装置以及存储介质
US20190095947A1 (en) Terminal device, determination method, and recording medium
JP2017509977A (ja) タッチデバイス上の電力消費を改善するための方法および装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
WITB Written withdrawal of application