KR102427158B1 - 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법 - Google Patents

터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR102427158B1
KR102427158B1 KR1020150166621A KR20150166621A KR102427158B1 KR 102427158 B1 KR102427158 B1 KR 102427158B1 KR 1020150166621 A KR1020150166621 A KR 1020150166621A KR 20150166621 A KR20150166621 A KR 20150166621A KR 102427158 B1 KR102427158 B1 KR 102427158B1
Authority
KR
South Korea
Prior art keywords
image frame
touch
screen display
touch screen
detection signal
Prior art date
Application number
KR1020150166621A
Other languages
English (en)
Other versions
KR20160064024A (ko
Inventor
프랭크 세토
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20160064024A publication Critical patent/KR20160064024A/ko
Application granted granted Critical
Publication of KR102427158B1 publication Critical patent/KR102427158B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 시스템 및 그 방법이 제공된다. 본 발명의 실시예에 따르면, 연속적 레이턴시 측정 방법은 터치 콘트롤러로부터 입력 방향의 변화를 나타내는 터치 감지 보고에 대응한 감지 신호를 생성하는 단계; 각각이 터치 스크린 디스플레이 위의 터치 포인트를 나타내는 영상 프레임들의 시퀀스를 캡처하고 감지 신호의 상태를 나타내는 단계; 그리고 상기 영상 프레임들에 기초하여 입력 방향의 실제 변화가 일어난 시각(t0)과 상기 감지 신호가 생성된 시각(t1) 사이의 차이를 결정하는 단계를 포함한다.

Description

터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법{APPARATUS FOR MEASURING CONTINUOUS LATENCY OF TOUCH CONTROLLER CONNECTED TO TOUCH SCREEN DISPLAY AND METHOD THEROF}
본 기재는 일반적으로 터치 컨트롤러 레이턴시 측정에 관한 것이며, 특히 터치 컨트롤러 연속 레이턴시 시간 측정 시스템 및 방법에 관한 것이다.
그 이름이 제시하는 바와 같이 터치 입력 시스템은 입력으로서 접촉을 감지한다. 접촉은 물리적 터치(즉, 물리적 접촉) 또는 근접 터치(즉, 호버링과 같은 비물리적 접촉)일 수 있다. 터치 입력 시스템은 터치 스크린 디스플레이 및 터치 컨트롤러를 포함할 수 있다. 터치 스크린 디스플레이는 정보를 표시하도록 구성된 디스플레이 레이어와 예를 들어 하나 이상의 저항성, 용량성 및 표면파 감지 기술을 사용하여 터치 스크린 디스플레이에 대한 터치 입력을 감지하도록 구성된 감지 레이어를 포함할 수 있다. 감지 레이어는 터치 컨트롤러에 접속된 복수의 센서를 포함할 수 있다.
터치 컨트롤러는 일반적으로 터치 스크린 디스플레이로부터 수신된 신호를 기반으로 터치 이벤트를 검출하고 호스트에 터치 보고로서 이러한 터치 이벤트를 보고하는 것을 담당한다. 터치 보고는 터치 이벤트의 위치(예를 들어, X, Y 좌표), 압력, 터치 제스처 및/또는 터치 컨트롤러에 의해 출력된 다른 속성을 포함할 수 있다. 터치 컨트롤러를 평가하기 위한 기준은 터치 스크린 디스플레이 상의 터치 입력과 대응 터치 이벤트가 터치 보고로서 전기 신호를 통해 호스트로 보고되는 때 사이의 지연을 일반적으로 나타내는 그 레이턴시(대기 시간)이다.
터치 컨트롤러 대기 시간은 초기 대기 시간(또한 "터치-다운 대기 시간"으로 알려짐) 또는 연속 대기 시간(또한 "패닝(panning) 대기 시간"으로 알려짐)으로서 측정될 수 있다. 초기 대기 시간은, 최초 터치 입력이 발생한 때로부터 대응 터치 이벤트가 검출되는 때까지로 측정된다. 따라서, 측정된 초기 대기 시간은 터치 컨트롤러의 웨이크업 시간을 포함할 수 있다. 한편, 연속 대기 시간은, 터치 컨트롤러가 최초 터치 입력 후에 후속적인 터치 입력을 프로세싱하는 데 걸리는 진행 시간을 측정한다. 즉, 측정된 연속 대기 시간은 변하는 터치 입력에 대해 터치 컨트롤러가 어떻게 응답하는지를 나타낸다.
터치 컨트롤러의 연속 대기 시간을 결정하는 것은, 터치 입력 시스템이 통합되는 디바이스의 전체 응답성에 영향을 주므로 중요하다. 하지만, 터치 컨트롤러의 제조자는 일반적으로 터치 컨트롤러 대기 시간을 특정하지 않는다. 또한, 연속 대기 시간을 측정하는 것은, 특정의 터치 입력과 터치 컨트롤러에 의해 발행된 대응 터치 보고를 상관시키는 것이 종종 곤란하므로 어렵다. 이와 같이, 이러한 문제를 극복하는 연속 터치 컨트롤러 대기 시간을 측정하는 시스템 및 방법에 대한 필요성이 존재한다.
본 기재는 터치 컨트롤러의 레이턴시(대기 시간) 측정을 위한 것으로, 터치 컨트롤러의 연속 대기 시간을 측정하기 위한 시스템 및 방법을 제공하기 위한 것이다.
일 양태에 따르면, 본 발명은 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 방법을 제공한다. 본 방법은, 입력 방향의 변화를 나타내는 터치 컨트롤러로부터의 터치 보고를 검출하는 것에 응답하여 검출 신호를 생성하는 단계; 이미지 프레임의 시퀀스를 캡쳐하는 단계로서, 각각의 이미지 프레임은 상기 터치 스크린 디스플레이 상의 접촉점을 표현하고 상기 검출 신호의 상태를 나타내는, 캡쳐하는 단계; 및 상기 이미지 프레임에 기초하여, 입력 방향의 실제 변화가 발생한 시간 t0과 상기 검출 신호가 생성되는 시간 t1 사이의 차를 결정하는 단계를 포함한다.
다른 양태에 따르면, 본 발명은 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 장치를 제공한다. 본 장치는 상기 터치 컨트롤러에 연결되고, 상기 터치 컨트롤러에 의해 출력된 터치 보고에 응답하여 검출 신호를 생성하도록 구성되며, 상기 터치 보고는 상기 터치 스크린 디스플레이 상의 접촉점의 입력 방향의 변화를 나타내는, 터치 검출기 유닛; 및 입력 방향의 실제 변화가 발생한 시간 t0과 상기 검출 신호가 생성되는 시간 t1 사이의 차를 결정하는 측정 유닛을 포함한다.
또 다른 양태에 따르면, 본 발명은 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 방법을 제공한다. 본 방법은 입력 방향의 변화를 나타내는 터치 컨트롤러로부터의 터치 보고를 수신하는 것에 응답하여 검출 신호를 생성하는 단계; 이미지 프레임의 시퀀스를 캡쳐하는 단계로서, 각각의 이미지 프레임은 상기 터치 스크린 디스플레이 상의 접촉점의 위치를 포함하고 상기 검출 신호의 상태를 나타내는, 캡쳐하는 단계; 및 접촉점의 위치의 변화를 표현하는 제1 프레임과 상기 검출 신호의 갱신된 상태를 나타내는 제2 프레임 사이의 프레임 수를 카운트하는 단계를 포함한다.
터치 콘트롤러의 연속 레이턴시(대기 시간)를 측정하기 위한 시스템 및 방법이 제공된다.
도 1은 터치 컨트롤러의 연속 대기 시간의 예를 나타내는 도면.
도 2a는 예시적인 실시예에 따른 터치 입력 시스템을 시험하기 위한 본 시스템 및 방법의 구현을 나타내는 도면.
도 2b는 본 시스템 및 방법의 예시적인 실시예에 따른 터치 검출기의 블록도를 나타내는 도면.
도 3은 본 시스템 및 방법의 예시적인 실시예에 따른 터치 컨트롤러의 연속 대기 시간을 측정하기 위한 프로세스의 흐름도를 나타내는 도면.
도 4는 본 시스템 및 방법의 예시적인 실시예에 따른 터치 검출기에 의해 수행되는 프로세스의 흐름도를 나타내는 도면.
도 5는 본 시스템 및 방법의 예시적인 실시예에 따른 컴퓨터 비전 유닛(CVU)에 의해 수행되는 프로세스의 흐름도를 나타내는 도면.
도 6은 본 시스템 및 방법의 예시적인 실시예에 따른 터치 컨트롤러의 연속 대기 시간이 측정될 수 있는 이미지 레코더에 의해 캡쳐된 이미지 프레임의 예시적인 시퀀스를 나타내는 도면.
도 7은 본 시스템 및 방법의 예시적인 실시예에 따라 터치 입력이 방향을 변경했는지를 결정하는 예를 나타내는 도면.
도시된 도면은 반드시 스케일대로 도시될 필요는 없으며, 유사한 구조 또는 기능의 요소는 일반적으로 도면 전체에서 예시적인 목적으로 동일 참조 부호에 의해 나타내어진다. 도면은 여기에 설명된 다양한 실시예의 설명을 편리하게 하기 위해 단지 의도된 것이며, 여기에 개시된 교시의 모든 양태를 설명하지 않으며 청구항의 범위를 한정하지 않는다.
여기에 개시된 각각의 특징 및 교시는 터치 컨트롤러 연속 레이턴시 시간(대기 시간)을 측정하는 시스템 및 방법을 제공하기 위해 다른 특징 및 교시와 별개로 또는 이와 연계하여 이용될 수 있다. 별개로 또는 조합하여 이러한 많은 특징 및 교시를 이용하는 대표적인 예는 첨부 도면을 참조하여 설명된다. 여기의 상세한 설명이 본 교시의 양태를 실시하기 위해 본 기술분야의 당업자에게 추가적인 상세사항을 예시하지만, 청구항의 범위를 한정하지 않는다. 따라서, 상세한 설명에서 개시된 특징의 조합은 본 교시의 대표적인 예이며, 가장 넓은 의미로 본 교시를 실시할 필요는 없을 수 있다.
상술한 바와 같이, 연속 대기 시간은 실제 터치 입력이 발생하는(즉, 초기 터치 입력 후) 시간 t0으로부터 터치 컨트롤러가 후속 터치 입력에 대응하는 터치 보고를 발행하는 시간 tr까지 측정된다. 예시하자면, 도 1은 터치 컨트롤러(103)의 연속 대기 시간의 예를 나타낸다. 입력 디바이스(102)(예를 들어, 사용자의 손가락 및 스타일러스 펜)가 터치 스크린 디스플레이(101)를 가로질러 (점선으로 나타내어진) 접촉점의 경로를 트레이싱할 때, 터치 스크린 디스플레이(101)는 터치 입력 경로를 감지하고 감지 신호를 생성한다. 여기에서 사용되는 "접촉점"은 터치 스크린 디스플레이(101)에 의해 인식된 입력의 임의의 점을 나타내는 데 사용되며 반드시 물리적 접촉을 포함하는 것은 아니다.
터치 컨트롤러(103)는 터치 스크린 디스플레이(101)로부터 감지 신호를 수신하고, 감지 신호에 기초하여, 접촉점 위치에 각각 대응하는 일련의 터치 이벤트를 검출한다. 터치 컨트롤러(103)는 호스트(104)에 대한 터치 보고로서 각각의 터치 이벤트를 주기적으로 보고한다. 하지만, 터치 컨트롤러(103)가 각각의 터치 이벤트를 검출하고 대응 터치 보고를 발행하는 데에는 소정의 시간이 걸린다. 따라서, 시간 t0에서 "X"에 의해 나타내어진 갱신된 위치에서 실제 접촉이 발생하였지만, 터치 컨트롤러는 시간 tr까지 대응 터치 보고(X0, Y0,...)를 출력하지 않는다. 터치 컨트롤러(103)의 연속 대기 시간은 tr-t0과 동등하게 규정될 수 있다. 위치 X에서의 실제 접촉이 초기 접촉이 아닌 경우, 실제 접촉은 접촉점의 이동의 방향의 실제 변화일 수 있다.
하지만, 실제로 연속 대기 시간을 측정하는 것은 특정 터치 입력과 대응 터치 보고를 상관시키는 데 있어서의 곤란함으로 인해 종종 어렵다. 본 시스템 및 방법의 예시적인 실시예는 이러한 어려움을 극복하고, 시각적 표시기를 포함하는 터치 검출기 유닛을 사용하고 터치 스크린 디스플레이 상의 실제 접촉점 이동과 시각적 표시기에 의한 검출 신호의 생성 사이의 키 이벤트를 매칭하는 컴퓨터 비전을 사용하여 연속 대기 시간을 측정한다. 예시적인 실시예에서 LED로서 나타내어지는 시각적 표시기는 시간 tr에서 터치 보고를 수신하는 것과 시간 t1에서 검출 신호를 생성하는 것 사이의 최소 반응 시간을 갖는 임의의 표시기에 의해 구현될 수 있다. 시각적 표시기의 일부에 반응 시간이 없는 이상적인 세계에서, tr은 t1과 동일할 것이다. 또한, 시각적 표시기는 시각적 검출 신호를 출력하는 것으로 제한되지 않는 다른 고속 반응 표시기로 교체될 수 있다는 것이 고려된다.
도 2a는 예시적인 실시예에 따른 터치 입력 시스템을 시험하기 위한 본 시스템 및 방법의 구현을 나타낸다. 시험 중의 터치 입력 시스템은 터치 스크린 디스플레이(101) 및 터치 컨트롤러(103)를 포함한다. 시험 중인 터치 입력 시스템은 터치 보고를 터치 컨트롤러(103)로부터 수신하고 대기 시간 측정 유닛에 대한 검출 신호를 생성하는 터치 검출기 유닛에 연결된다.
터치 컨트롤러(103)는 호스트(104)에 동작가능하게 접속되고 터치 보고를 이에 출력할 수 있다. 터치 컨트롤러(103) 및 시각적 표시기(107)에 동작가능하게 접속된 터치 검출기(106)를 포함하는 터치 검출기 유닛은 터치 컨트롤러(103)에 의해 호스트(104)로 출력되는 터치 보고를 청취한다. 터치 검출기(106)는 시각적 표시기(107)의 시각적 상태를 제어한다. 터치 검출기(106)가 특정 기준이 충족되었다고 결정하면, 터치 검출기(106)는 시각적 표시기(107)의 시각적 상태를 변화시킬 수 있다. 예를 들어, 시각적 표시기가 LED 광인 경우, 터치 검출기(106)가 터치 보고에 기초하여 입력 방향에 변화(즉, 접촉점이 이동하고 있었던 방향의 변화)가 있었던 것을 검출했을 때 터치 검출기(106)는 LED 광을 스위칭 온할 수 있다.
도 2b는 본 시스템 및 방법의 예시적인 실시예에 따른 터치 검출기(106)의 블록도를 나타낸다. 터치 검출기(106)는 터치 컨트롤러 모니터(801), 검출기 유닛(802) 및 시각적 표시기 컨트롤러를 포함한다. 터치 컨트롤러 모니터는 터치 컨트롤러의 출력을 감시하고 터치 보고서를 청취한다. 검출기 유닛(802)은 터치 모션의 방향 변화와 같은 터치 입력의 특정 변화를 검출하기 위해 터치 보고를 분석하고 검출 알고리즘을 이용한다. 시각적 표시기 컨트롤러(803)는 특정 변화의 검출에 응답하여 시각적 표시기(107)의 시각적 상태를 제어한다. 일부 실시예에 따르면, 터치 검출기(106)는 어플리케이션 특정 집적 회로(ASIC), 필드-프로그램가능 게이트 어레이(FPGA), 매립된 시스템/컨트롤러 등을 사용하여 구현될 수 있다.
도 2a를 다시 참조하면, 고속 이미지 레코더(105)(예를 들어, 카메라/비디오 레코더)가 터치 스크린 디스플레이(101) 및 시각적 표시기(107)의 이미지 프레임의 시퀀스를 캡쳐하도록 설정 및 구성된다. 즉, 이미지 레코더(105)는 시각적 표시기(107)와 터치 스크린 디스플레이(101)에 터치 입력을 만드는 입력 디바이스(102)의 위치가 각 이미지 프레임에 동시에 가시화되도록 터치 스크린 디스플레이(101) 및 시각적 표시기(107)에 조준된다. 이러한 방식으로, 각각의 캡쳐된 이미지 프레임은 터치 스크린 디스플레이(101) 상의 접촉점의 위치의 시점과 시각적 표시기(107)의 상태의 시점을 나타낸다. 예를 들어, 이미지 레코더에 의해 캡쳐된 이미지 프레임의 시퀀스는 위치 pN -2에서 입력 디바이스(102)에 의해 접촉점을 나타내는 (N-2)번째 이미지 프레임, 위치 pN -1에서 접촉점을 나타내는 (N-1)번째 이미지 프레임 및 위치 pN에서 접촉점을 나타내는 N번째 이미지 프레임을 포함할 수 있다. 예시적인 실시예에 따르면, 이미지 레코더는 1000 이상의 초 당 프레임(fps)의 프레임 속도로 이미지 프레임을 캡쳐한다. 하지만, 이는 임의의 프레임 속도와 함께 사용될 수 있는 진보적인 개념의 제한은 아니다.
캡쳐된 이미지 프레임은 이미지 레코더에 저장될 수 있으며, 후속적으로 분석을 위해 컴퓨터 비전 유닛(이하, 편의를 위해 "CVU")(108)에 다운로드될 수 있거나, 이미지 프레임이 캡쳐 중일 때 CVU(108)에 의해 직접 저장 및 분석될 수 있다. CVU(108)는 이미지 레코더에 의해 캡쳐된 이미지를 프로세싱하는 것을 담당한다. 특히, CVU(108)는 접촉점의 위치의 변화(예를 들어, 접촉점 이동의 방향의 변화)와 시각적 표시기(107)의 시각적 상태의 변화를 식별 및 상관시키기 위해 이미지 프레임을 분석하고, 분석에 기초하여 터치 컨트롤러(103)의 연속 대기 시간을 계산한다. 또한, CVU(108)는 이미지 레코더(105)의 동작을 제어할 수 있다. CVU(108) 및 이미지 레코더(105)는 함께 대기 시간 측정 유닛으로 칭해질 수 있다.
도 3은 본 시스템 및 방법의 예시적인 실시예에 따른 터치 컨트롤러의 연속 대기 시간을 측정하기 위한 프로세스의 흐름도를 나타낸다. 이미지 레코더는 터치 스크린 디스플레이 및 시각적 표시기의 이미지 프레임의 시퀀스를 캡쳐하는 것을 개시한다(301). 각각의 이미지 프레임은 터치 스크린 디스플레이(101)에 대한 입력의 시점 및 시각적 표시기(107)의 시점을 캡쳐할 수 있다. 이미지 프레임이 캡쳐되고 있는 동안, 터치 컨트롤러(103)에 접속된 터치 검출기(106)는 터치 컨트롤러(103)로부터의 터치 보고를 계속하여 청취하고 분석한다. 터치 컨트롤러(103)는 터치 스크린 디스플레이(101) 상의 입력 디바이스의 입력에 응답하여 터치 보고를 생성한다.
터치 검출기는 접촉점의 변화에 대응하는 터치 보고를 터치 컨트롤러로부터 수신한다(302). 터치 검출기가 터치 보고에 기초하여 입력의 방향 변화를 검출하면(303), 터치 검출기(106)는 입력의 방향의 검출된 변화를 반영하기 위해 시각적 표시기(107)의 상태를 갱신한다(304). 따라서, 터치 보고의 그 분석에 기초하여, 터치 검출기는 그에 따라 시각적 표시기를 갱신한다.
다음으로, CVU는 이미지 프레임에 기초하여 터치 컨트롤러의 연속 대기 시간을 계산한다(305). 연속 대기 시간을 계산하는 것은 (시간 t0에서) 접촉점이 실제로 방향을 변화시킨 이미지 프레임을 식별하기 위해 이미지 프레임을 분석하는 것과, (시간 t1에서) 시각적 표시기가 활성화되는 이미지 프레임을 식별하기 위해 이미지 프레임을 분석하는 것과, 접촉점이 실제로 방향을 변화시킨 이미지 프레임과 시각적 표시기가 갱신된 이미지 프레임 사이에서 경과된 시간량을 계산하기 위해 알려진 프레임 속도를 사용하는 것을 포함할 수 있다.
도 4 및 5는 본 시스템 및 방법의 예시적인 실시예에 따른, 터치 검출기(106) 및 CVU(108)에 의해 각각 수행되는 프로세스를 더욱 상세하게 나타낸다. 도 4를 참조하면, 터치 검출기는 대응 터치 입력의 터치 위치(예를 들어, X, Y 좌표)를 결정하기 위해 터치 컨트롤러와 호스트를 연결하는 전기 버스를 통해 수신된 터치 보고를 디코딩한다(401). 터치 검출기는, 접촉점이 방향을 변화시켰는지를 결정한다(402). 접촉점의 이동에 대응하는 방향 벡터와 접촉점의 직전 이동에 대응하는 방향 벡터 사이에 형성된 각도가 미리 정해진 값(예를 들어, 45도 또는 90도 초과)을 초과하면, 접촉점이 방향을 변화시킨 것으로 고려될 수 있다.
터치 검출기가, 접촉점이 방향을 변화시키지 않았다고 결정하면, 터치 검출기는 다음 터치 보고를 디코딩하기 위해 프로세스 401로 다시 진행한다. 한편, 터치 검출기가, 접촉점이 그 이동 방향을 변화시킨 것으로 결정하면, 터치 입력은 시각적 표시기의 시각적 상태를 갱신한 후(403), 다음 터치 보고를 디코딩하기 위해 프로세스 401로 다시 진행한다. 예시적인 실시예에 따르면, 터치 검출기의 프로세싱 시간은 실질적으로 일정하며 1/(이미지 레코더의 프레임 속도) 미만이다.
도 5를 참조하면, CVU는 터치 스크린 디스플레이 및 시각적 표시기의 이미지 프레임을 수신한다(501). CVU는 방향-변화 플래그가 설정 또는 미설정되어 있는지를 결정한다(502). 방향-변화 플래그는 초기에 입력 방향 변화가 검출되지 않았다는 것을 나타내는 미설정 상태에 있다. 방향-변화 플래그가 설정되지 않은 것으로 CVU가 결정하면, CVU는 터치 입력의 위치를 결정하기 위해 입력 디바이스의 팁을 트랙킹한다(503).
각각의 이미지 프레임에서 입력 디바이스의 팁을 더 용이하게 트랙킹 및 식별하기 위해, 패턴 또는 컬러 마커가 일부 실시예에서 사용될 수 있다. 패턴 또는 컬러 마커는 터치 성능에 영향을 주지 않고, 마커가 각 이미지 프레임에서 보일 수 있도록, 접촉점의 소스인 입력 디바이스의 팁에 또는 그 부근에 포함될 수 있다. 이렇게 하는 것은 CVU가 공개 소스 컴퓨터 비전(OpenCV)에서 이용가능한 템플릿 매칭 알고리즘과 같은 통상의 트랙킹 알고리즘을 사용하고, 이미지 프레임의 터치 입력의 경로를 식별하고 후속적으로 트랙킹할 수 있게 한다.
이미지 프레임의 접촉점의 위치를 식별한 CVU는, 도 6이 예시적인 실시예에 따라 프레임별로(frame-by-frame) 예시하는, 접촉점의 이동 방향이 변했는지를 결정한다(504). 도 6은 (N-2)번째 이미지 프레임으로부터 (N+K)번째 이미지 프레임까지의 범위에서 이미지 프레임의 시퀀스를 나타내며, N 및 K는 자연수이다. 각각의 프레임은 터치 스크린 디스플레이(101) 상의 입력 디바이스(102)에 의한 접촉점의 위치 p를 나타낸다. 입력이 N번째 프레임에서 방향을 변화시켰는지를 결정하기 위해, CVU는:
1. 아래의 식을 사용하여 N번째 이미지 프레임과 (N-1)번째 이미지 프레임 사이의 접촉점의 위치 변화에 대응하는 제1 방향 벡터
Figure 112016008541841-pat00001
를 계산하고:
Figure 112016008541841-pat00002
, 여기에서 x 및 y는 p의 위치 좌표,
2. 이하의 식을 사용하여 (N-1)번째 이미지 프레임과 (N-2)번째 이미지 프레임 사이의 접촉점의 위치 변화에 대응하는 제2 방향 벡터
Figure 112016008541841-pat00003
를 계산하고:
Figure 112016008541841-pat00004
3. 이하의 식을 사용하여 제1 및 제2 방향 벡터에 의해 형성된 각 θ를 계산하고:
Figure 112016008541841-pat00005
(예시를 위해 도 7 참조)
4. θ와 미리 정해진 임계값을 비교하고,
5. θ가 미리 정해진 임계값(예를 들어, 45도 또는 90도 초과)을 초과하면 입력이 방향을 변화시킨 이미지 프레임으로서 N번째 프레임을 식별할 수 있다.
따라서, 이전 터치 위치의 트랙을 유지함으로써, CVU는 터치 스크린 디스플레이 상의 접촉점의 방향 변화를 검출할 수 있다. N번째 이미지 프레임에서 입력이 방향을 변화시켰다는 것을 결정한 후에, CVU는 N번째 이미지 프레임을 마킹 또는 기록하고(505), 방향-변화 플래그를 설정하고(506), 다음 이미지 프레임을 수신하기 위해 프로세스 501로 다시 진행한다.
다음 이미지 프레임을 수신한 후에, CVU는 다시 방향-변화 플래그가 설정 또는 비설정되었는지를 확인한다(502). N번째 이미지 프레임에서 접촉점이 방향을 변화시켰다는 것을 나타내는 방향-변화 플래그가 프로세스 506에서 설정되었으므로, CVU는 시각적 표시기의 시각적 상태를 감시하는 것으로 진행한다(507). 시각적 표시기의 시각적 상태 변화를 감시하는 것은 시각적 표시기가 묘사되는 이미지 프레임의 영역에서 바이너리 임계 알고리즘을 사용하여 수행될 수 있다.
현재 이미지 프레임의 시각적 표시기의 상태가 직전 이미지 프레임의 시각적 표시기의 상태로부터 변하지 않은 것으로 CVU가 결정하면(508), CVU는 다음 이미지 프레임을 수신하기 위해 프로세스 501로 다시 진행한다. 즉, 시각적 표시기의 상태가 직전 이미지 프레임(즉, (N+K-1)번째 이미지 프레임)의 상태로부터 변한 (N+K)번째 이미지 프레임까지 각각의 후속 이미지 프레임에서 CVU는 계속 시각적 표시기를 감시한다.
CVU는 시각적 표시기의 시각적 상태가 변한(509) 이미지 프레임으로서 (N+K)번째 이미지 프레임을 마킹 또는 기록하고, N번째 이미지 프레임과 (N+K)번째 이미지 프레임 사이의 경과된 시간으로서 터치 컨트롤러의 연속 대기 시간을 계산한다(510):
Figure 112016008541841-pat00006
, 여기에서 F는 이미지 레코더의 기록 프레임 속도임.
예를 들어, 이미지 레코더 프레임 속도가 1000 초 당 프레임이면, 연속 대기 시간은 K×0.001초로 계산될 것이다.
상술한 바와 같이, 터치 검출기의 프로세싱 시간은 실질적으로 일정하고 1/F 미만일 수 있으므로, 연속 대기 시간의 더욱 정확한 측정에 도달하기 위해 위에서 계산된 경과 시간으로부터 감산될 수 있다.
Figure 112016008541841-pat00007
, 여기에서 TDp는 터치 검출기의 알려지거나 추정된 프로세싱 시간임.
따라서, 이미지 프레임 번호의 차이를 상관시키고 취함으로써, CVU는 입력이 방향을 변화시킨 이미지 프레임과 시각적 표시기가 갱신된 이미지 프레임 사이의 경과 시간으로서 터치 컨트롤러의 연속 대기 시간을 측정할 수 있다.
개략적으로, 본 시스템 및 방법의 예시적인 실시예는 시각적 표시기의 상태를 갱신하기 위해 터치 검출기를 사용하고 터치 스크린 디스플레이 상의 터치 입력과 시각적 표시기의 시각적 상태 사이의 키 이벤트를 매칭하기 위해 컴퓨터 비전을 사용하여 연속 대기 시간을 측정한다. 더욱 상세하게, 예시적인 실시예에 따르면, 사용자가 터치 스크린 디스플레이 상에 또는 그 위에서 입력 디바이스를 이동시킬 때, 이미지 레코더는 각각의 프레임에서 터치 스크린 디스플레이와 시각적 표시기의 이미지 프레임을 동시에 캡쳐한다. 이와 동시에, 터치 컨트롤러는 이러한 터치 이벤트에 대응하는 터치 보고를 출력한다.
트랙킹 알고리즘을 사용하여, CVU는 각 이미지 프레임에서 터치 입력 디바이스의 팁을 트랙킹한다. 사용자가 (예를 들어, 90도 보다 크게 접촉점 이동의 방향을 변화시킴으로써) 입력을 변화시킨 경우, CVU는 입력의 변화가 묘사된 이미지 프레임의 프레임 번호를 식별한다. 그 후, CVU는, 시각적 표시기의 시각적 상태가 터치 검출기가 입력 변화를 검출한 것에 기인하여 변한 이미지 프레임의 프레임 번호를 식별한다.
입력의 변화가 검출된 이미지 프레임의 프레임 번호와 시각적 표시기의 시각적 상태의 변화가 검출된 이미지 프레임의 프레임 번호를 비교함으로써, CVU는 터치 컨트롤러가 연속 터치 입력에 대응하는 데 걸리는 시간, 즉 연속 대기 시간을 계산할 수 있다.
컴퓨터 비전 유닛(CVU)은 프로세서와 메모리를 포함하는 컴퓨터 하드웨어와, 하나 이상의 컴퓨터 프로그램 제품, 즉 데이터 프로세싱 장치의 동작을 제어하거나 이에 의한 실행을 위해 컴퓨터-판독가능 매체 상에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 "모듈"의 조합으로 구현될 수 있다. 메모리는 컴퓨터-판독가능 저장 매체를 포함할 수 있다. 컴퓨터-판독가능 저장 매체의 통상적인 형태는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, 랜덤 액세스 메모리(RAM), CD-ROM 디스크, 디지털 비디오 디스크(DVD), 전기적으로 소거 및 재기입될 수 있는 다양한 형태의 휘발성 메모리, 비휘발성 메모리를 포함한다. 이러한 비휘발성 메모리의 예는 NAND 플래시 및 NOR 플래시 및 임의의 다른 광 또는 자기 매체를 포함한다. 또한 메모리는 장래에 이용가능하게 되는 다양한 다른 메모리 기술을 포함할 수 있다.
시스템은 추가로 대용량 저장 디바이스, 휴대용 저장 매체 드라이브(들), 출력 디바이스, 사용자 입력 디바이스, 그래픽 디스플레이 및 주변 디바이스를 포함할 수 있다. 컴포넌트는 단일 버스를 통해 접속될 수 있다. 대안적으로, 컴포넌트는 복수의 버스를 통해 접속될 수 있다. 컴포넌트는 하나 이상의 데이터 전송 수단을 통해 접속될 수 있다. 프로세서 유닛 및 메인 메모리는 로컬 마이크로프로세서 버스를 통해 접속될 수 있으며, 대용량 저장 디바이스, 주변 디바이스(들), 휴대용 저장 디바이스 및 디스플레이 시스템이 하나 이상의 입력/출력(I/O) 버스를 통해 접속될 수 있다. 자기 디스크 드라이브 또는 광 디스크 드라이브로 구현될 수 있는 대용량 저장 디바이스는 프로세서 유닛에 의한 사용을 위해 데이터 및 명령을 저장하기 위한 비휘발성 저장 디바이스일 수 있다. 대용량 저장 디바이스는 소프트웨어를 메인 메모리로 로딩할 목적으로 개시된 시스템 및 방법의 다양한 실시예를 구현하기 위한 시스템 소프트웨어를 저장할 수 있다. 휴대용 저장 디바이스는 컴퓨팅 시스템으로 그리고 이로부터 데이터 및 코드를 입력 및 출력하기 위해 플로피 디스크, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 휴대용 비휘발성 저장 매체와 연계하여 동작할 수 있다. 여기에 개시된 시스템 및 방법의 다양한 실시예를 구현하기 위한 시스템 소프트웨어는 이러한 휴대용 매체에 저장될 수 있거나 휴대용 저장 디바이스를 통해 컴퓨팅 시스템에 입력될 수 있다.
주변 디바이스는 컴퓨팅 시스템에 부가적인 기능을 추가하는 임의의 유형의 컴퓨터 지원 디바이스를 포함할 수 있다. 주변 디바이스(들)는 모뎀 또는 라우터 또는 통신 네트워크에 인터페이스를 제공하는 다른 유형의 컴포넌트를 포함할 수 있다. 통신 네트워크는 다수의 상호접속된 컴퓨팅 시스템 및 통신 링크를 포함할 수 있다. 통신 링크는 유선 링크, 광학 링크, 무선 링크 또는 정보의 통신을 위한 임의의 다른 메커니즘일 수 있다. 컴퓨팅 시스템에 포함된 컴포넌트는 여기에 개시된 시스템 및 방법의 실시예로의 사용에 적합할 수 있는 컴퓨팅 시스템에서 통상적으로 발견되는 것일 수 있으며, 본 기술분야에 잘 알려진 이러한 컴퓨팅 컴포넌트의 넓은 카테고리를 나타내는 것으로 의도된다. 따라서, 컴퓨팅 시스템은 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 디바이스, 태블릿, 전화, 모바일 컴퓨팅 디바이스, 워크스테이션, 서버, 미니컴퓨터, 메인프레임 컴퓨터 또는 임의의 다른 컴퓨팅 디바이스일 수 있다. 또한, 컴퓨터는 다른 버스 구성, 네트워킹된 플랫폼, 멀티-프로세서 플랫폼 등을 포함할 수 있다. Unix, Linux, Windows, Macintosh OS, Palm OS 및 다른 적절한 운영 체제를 포함하는 다양한 운영 체제가 사용될 수 있다. 컴퓨터 및 네트워크의 계속 변하는 속성으로 인해, 컴퓨팅 시스템의 설명은 실시예를 설명할 목적으로 특정 예로서만 의도된다. 더 많거나 더 적은 컴포넌트를 갖는 컴퓨팅 시스템의 많은 다른 구성이 가능하다.
여기에서의 상세한 설명의 어느 부분은 컴퓨터 메모리 내의 데이터 비트에 대한 동작의 알고리즘 및 심볼의 표현의 관점으로 제시된다. 이러한 알고리즘의 설명 및 표현은 본 기술분야의 다른 당업자에게 그 작업의 내용을 가장 효과적으로 전달하기 위해 데이터 프로세싱의 당업자에 의해 사용되는 수단이다. 여기에서 알고리즘은 일반적으로 원하는 결과로 도출되는 스텝의 일관성 있는 시퀀스인 것으로 고려된다. 스텝은 물리량의 물리적 조작을 필요로 하는 것이다. 통상적으로, 필수는 아니지만, 이러한 양은 저장, 전달, 결합, 비교 및 이와 다르게 조작될 수 있는 전기 또는 자기 신호의 형태를 취한다. 이러한 신호를 비트, 값, 요소, 심볼, 캐릭터, 용어, 번호 등으로 칭하는 것이 주로 통상적인 사용을 위해 때로 편리한 것으로 알려져 있다.
하지만, 이러한 용어 및 유사한 용어가 적절한 물리량과 연관될 수 있고, 이러한 양에 적용된 단지 편리한 라벨이라는 것을 유념해야 한다. 달리 특정하여 언급하지 않으면, 아래의 설명으로부터 명백한 바와 같이, 설명의 전체에서, "프로세싱" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "표시" 등과 같은 용어를 이용하는 설명은 컴퓨터 시스템의 레지스터 및 메모리 내의 물리적(전자적) 양으로 표현되는 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 이러한 다른 정보 저장, 송신 또는 디스플레이 디바이스 내의 물리량으로 유사하게 나타내어지는 다른 데이터로 조작 및 변환하는, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션 및 프로세스를 나타낸다는 것이 이해된다.
또한, 본 발명은 여기에서의 동작을 수행하는 장치에 관한 것이다. 이러한 장치는 필요한 목적을 위해 특수하게 구축될 수 있거나, 컴퓨터 내에 저장된 컴퓨터 프로그램에 의해 선택적으로 기동되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광 디스크, CD-ROM, 자기-광 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광 카드 또는 컴퓨터 시스템 버스에 각각 연결되는, 전자 명령을 저장하기에 적절한 임의의 유형의 매체를 포함하는 임의의 유형의 디스크와 같은 컴퓨터 판독가능 저장 매체에 저장될 수 있지만, 이에 한정되는 것은 아니다.
여기에 제시된 알고리즘은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치에 관련되지 않는다. 다양한 범용 시스템, 서버 또는 퍼스널 컴퓨터가 여기에서의 교시에 따른 프로그램으로 사용될 수 있거나, 필요한 방법의 스텝을 수행하기 위해 더욱 특수화된 장치를 구축하는 것이 편리한 것으로 알려져 있을 수 있다. 이러한 다양한 시스템에 대해 필요한 구조가 상술한 설명에 나타나 있다. 다양한 프로그래밍 언어가 여기에 설명된 본 발명의 교시를 구현하는 데 사용될 수 있다.
본 시스템 및 방법은 본 발명의 범위 및 본질적인 특성을 벗어나지 않고 여기에 개진된 것과 다른 특정 방식으로 수행될 수 있다. 대표적인 예 및 종속항의 다양한 특징이 본 교시의 추가적인 실시예를 제공하기 위해 특정적으로 그리고 명시적으로 열거되지 않는 방식으로 결합될 수 있다. 따라서 본 실시예는 모든 면에서 예시적인 것이며 한정적이지 않은 것으로 고려되어야 하며, 첨부된 청구항과 상술한 설명의 의미와 동등 범위 내에 드는 모든 변화는 여기에 포함되는 것으로 의도된다.

Claims (20)

  1. 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 방법으로서,
    입력 방향의 변화를 나타내는 상기 터치 컨트롤러로부터의 터치 보고를 검출하고, 상기 터치 보고가 나타내는 입력 방향의 변화에 응답하여 검출 신호를 생성하는 단계;
    이미지 프레임의 시퀀스를 캡쳐하는 단계로서, 각각의 이미지 프레임은 상기 터치 스크린 디스플레이 상의 접촉점을 표현하고 상기 터치 스크린 디스플레이 밖에서 상기 검출 신호를 표현하고; 및
    상기 이미지 프레임에 기초하여, 입력 방향의 실제 변화가 발생한 시간 t0과 상기 검출 신호가 생성되는 시간 t1 사이의 차를 결정하는 단계를 포함하고,
    상기 검출 신호는 상기 터치 스크린 디스플레이에 포함되지 않는 시각적 표시기에 의해 생성되는,
    방법.
  2. 제1항에 있어서,
    상기 터치 스크린 디스플레이 상의 상기 접촉점의 이동에 기초하여 상기 이미지 프레임에서 상기 시간 t0을 결정하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 검출 신호는 시각적 신호인, 방법.
  4. 제1항에 있어서,
    상기 차를 결정하는 단계는,
    미리 정해진 프레임 속도를 갖는 상기 터치 스크린 디스플레이 상의 상기 접촉점의 시각적 관측에 기초하여 상기 시간 t0을 기록하는 단계;
    시각적 신호인 상기 검출 신호의 생성에 기초하여 상기 시간 t1을 기록하는 단계; 및
    상기 시간 t0과 상기 시간 t1 사이의 이미지 프레임의 수를 카운트하는 단계를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 프레임의 수를 카운트하는 단계는,
    상기 터치 스크린 디스플레이 상의 상기 접촉점의 이동을 시각적으로 기록하는 단계;
    N번째 이미지 프레임, (N-1)번째 이미지 프레임 및 (N-2)번째 이미지 프레임의 각각에서의 상기 접촉점의 위치를 식별하는 단계로서, N은 자연수인, 식별하는 단계;
    상기 N번째 이미지 프레임과 상기 (N-1)번째 이미지 프레임 사이의 상기 접촉점의 위치의 변화에 대응하는 제1 방향 벡터를 계산하는 단계;
    상기 (N-1)번째 이미지 프레임과 상기 (N-2)번째 이미지 프레임 사이의 상기 접촉점의 위치의 변화에 대응하는 제2 방향 벡터를 계산하는 단계;
    상기 제1 방향 벡터 및 상기 제2 방향 벡터에 의해 형성된 각도가 미리 정해진 임계값을 초과하는 것으로 결정하는 단계; 및
    상기 N번째 이미지 프레임을 접촉이 방향을 변화시킨 이미지 프레임으로서 식별하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 시각적 신호가 생성되는 이미지 프레임을 식별하는 단계를 더 포함하고, 상기 식별하는 단계는,
    (N+K-1)번째 이미지 프레임의 상기 시각적 표시기의 제1 시각적 상태를 결정하는 단계로서, K는 자연수인, 결정하는 단계;
    (N+K)번째 이미지 프레임의 상기 시각적 표시기의 제2 시각적 상태를 결정하는 단계;
    상기 제1 시각적 상태가 상기 제2 시각적 상태와 상이한 것을 검출하는 단계; 및
    상기 (N+K)번째 이미지 프레임을 상기 시각적 표시기가 갱신되는 이미지 프레임으로서 식별하는 단계를 포함하는, 방법.
  7. 제6항에 있어서,
    상기 연속 대기 시간은,
    Figure 112020125529943-pat00018
    과 동등하고, TDp는 일정한 대기 시간이고, F는 이미지 캡쳐 프레임 속도인, 방법.
  8. 제7항에 있어서,
    Figure 112020125529943-pat00019
    인, 방법.
  9. 제7항에 있어서,
    F는 초 당 1000 프레임 이상인, 방법.
  10. 제5항에 있어서,
    상기 미리 정해진 임계값은 90도(degree)인, 방법.
  11. 제5항에 있어서,
    상기 미리 정해진 임계값은 45도인, 방법.
  12. 제4항에 있어서,
    입력의 위치를 식별하는 단계는 입력 디바이스에 대응하는 패턴 마커(marker)를 트랙킹하는 단계를 포함하는, 방법.
  13. 제1항에 있어서,
    상기 시간 t0과 상기 시간 t1 사이의 차를 결정하는 단계는,
    상기 접촉점이 방향을 변화시킨 제1 이미지 프레임을 식별하는 단계;
    상기 검출 신호가 생성되는 제2 이미지 프레임을 식별하는 단계; 및
    상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에 경과된 시간을 계산하는 단계를 포함하는, 방법.
  14. 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 장치로서,
    상기 터치 컨트롤러에 연결되고, 상기 터치 스크린 디스플레이 상의 접촉점의 입력 방향의 변화에 응답하여 검출 신호를 생성하도록 구성되며, 상기 입력 방향의 변화는 상기 터치 컨트롤러에 의해 출력된 터치 보고가 나타내는, 터치 검출기 유닛; 및
    이미지 프레임의 시퀀스를 캡쳐하도록 구성되고, 각각의 이미지 프레임은 상기 터치 스크린 디스플레이 상의 접촉점의 위치를 표현하고 상기 터치 스크린 디스플레이 밖에서 상기 검출 신호를 표현하고, 입력 방향의 실제 변화가 발생한 시간 t0과 상기 검출 신호가 생성되는 시간 t1 사이의 차를 추가로 결정하는 측정 유닛을 포함하고,
    상기 검출 신호는 상기 터치 스크린 디스플레이에 포함되지 않는 시각적 표시기에 의해 생성되는,
    장치.
  15. 제14항에 있어서,
    상기 측정 유닛은 상기 시간 t0의 결정을 위해 상기 터치 스크린 디스플레이 상의 상기 접촉점의 이동을 기록하는 이미지 레코더를 포함하는, 장치.
  16. 제14항에 있어서,
    상기 검출 신호는 시각적 신호인, 장치.
  17. 제16항에 있어서,
    상기 시각적 표시기는 발광 다이오드(LED)를 포함하는, 장치.
  18. 제14항에 있어서,
    상기 측정 유닛은 상기 이미지 프레임에 기초하여 상기 차를 계산하도록 구성된 컴퓨터 비전 유닛을 포함하는, 장치.
  19. 터치 스크린 디스플레이에 접속된 터치 컨트롤러의 연속 대기 시간을 측정하는 방법으로서,
    상기 터치 컨트롤러로부터의 터치 보고를 수신하고, 상기 터치 보고가 나타내는 입력 방향의 변화에 응답하여 검출 신호를 생성하는 단계;
    이미지 프레임의 시퀀스를 캡쳐하는 단계로서, 각각의 이미지 프레임은 상기 터치 스크린 디스플레이 상의 접촉점의 위치를 포함하고 상기 터치 스크린 디스플레이 밖에서 상기 검출 신호를 표현하고; 및
    접촉점의 위치의 변화를 표현하는 제1 프레임과 상기 검출 신호의 갱신된 상태를 나타내는 제2 프레임 사이의 프레임 수를 카운트하는 단계를 포함하고,
    상기 검출 신호는 상기 터치 스크린 디스플레이에 포함되지 않는 시각적 표시기에 의해 생성되는,
    방법.
  20. 제19항에 있어서,
    N(N은 자연수)번째 이미지 프레임, (N-1)번째 이미지 프레임 및 (N-2)번째 이미지 프레임의 각각에서의 상기 접촉점의 위치를 식별하고,
    상기 N번째 이미지 프레임과 상기 (N-1)번째 이미지 프레임 사이의 상기 접촉점의 위치의 변화에 대응하는 제1 방향 벡터를 계산하고,
    상기 (N-1)번째 이미지 프레임과 상기 (N-2)번째 이미지 프레임 사이의 상기 접촉점의 위치의 변화에 대응하는 제2 방향 벡터를 계산하고,
    상기 제1 방향 벡터 및 상기 제2 방향 벡터에 의해 형성된 각도가 미리 정해진 임계값을 초과하는 것으로 결정하고,
    상기 N번째 이미지 프레임을 상기 접촉점이 방향을 변화시킨 이미지 프레임으로서 식별함으로써 상기 제1 프레임을 결정하는 단계를 더 포함하는, 방법.
KR1020150166621A 2014-11-26 2015-11-26 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법 KR102427158B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462085069P 2014-11-26 2014-11-26
US62/085,069 2014-11-26
US14/863,323 US10488981B2 (en) 2014-11-26 2015-09-23 System and method of measuring continuous touch controller latency
US14/863,323 2015-09-23

Publications (2)

Publication Number Publication Date
KR20160064024A KR20160064024A (ko) 2016-06-07
KR102427158B1 true KR102427158B1 (ko) 2022-07-29

Family

ID=56010182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150166621A KR102427158B1 (ko) 2014-11-26 2015-11-26 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10488981B2 (ko)
KR (1) KR102427158B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483176B2 (en) * 2013-07-08 2016-11-01 Samsung Display Co., Ltd. Method and apparatus to reduce display lag of soft keyboard presses
US9866882B1 (en) 2016-12-23 2018-01-09 Alcatel-Lucent Usa Inc. Video-based measurement of round-trip latency from user input event to corresponding video output
US10418121B2 (en) 2017-03-27 2019-09-17 Sk Hynix Memory Solutions Inc. Memory system with diagnose command and operating method thereof
CN111766981B (zh) * 2020-06-29 2024-08-20 北京集创北方科技股份有限公司 识别方法及装置、电子设备、存储介质
CN112083246A (zh) * 2020-09-11 2020-12-15 四川长虹教育科技有限公司 一种触摸显示设备系统延时测量装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062021A1 (en) 2013-08-30 2015-03-05 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
US20160139794A1 (en) 2014-11-13 2016-05-19 Here Global B.V. Method, apparatus and computer program product for enabling scrubbing of a media file
KR102161745B1 (ko) 2014-07-01 2020-10-06 삼성디스플레이 주식회사 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547244B2 (en) * 2008-12-22 2013-10-01 Palm, Inc. Enhanced visual feedback for touch-sensitive input device
US8996166B2 (en) 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform
US8914254B2 (en) 2012-01-31 2014-12-16 Microsoft Corporation Latency measurement
US8717443B2 (en) 2012-08-01 2014-05-06 Motorola Mobility Llc Method and system for testing temporal latency in device having optical sensing component and touch-sensitive display component
US10261611B2 (en) 2012-12-03 2019-04-16 Apkudo, Llc System and method for objectively measuring user experience of touch screen based devices
US9697803B2 (en) * 2014-03-26 2017-07-04 Samsung Display Co., Ltd. Method and apparatus to reduce display latency of touch events using image replications
CN107077252B (zh) * 2014-11-18 2020-03-10 触觉实验室股份有限公司 用于定时输入感测、渲染和显示以便最小化时延的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062021A1 (en) 2013-08-30 2015-03-05 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
KR102161745B1 (ko) 2014-07-01 2020-10-06 삼성디스플레이 주식회사 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
US20160139794A1 (en) 2014-11-13 2016-05-19 Here Global B.V. Method, apparatus and computer program product for enabling scrubbing of a media file

Also Published As

Publication number Publication date
US20160147363A1 (en) 2016-05-26
KR20160064024A (ko) 2016-06-07
US10488981B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
KR102427158B1 (ko) 터치 스크린 디스플레이에 연결된 터치 콘트롤러의 연속적 레이턴시를 측정하기 위한 장치 및 그 방법
TWI543069B (zh) 電子裝置及其繪圖方法及電腦程式產品
US8914254B2 (en) Latency measurement
US9785281B2 (en) Acoustic touch sensitive testing
US11068831B2 (en) Work analysis assistance device, work analysis assistance method, computer program, and information storage medium
US9582737B2 (en) Context-sensitive gesture classification
US9471763B2 (en) User input processing with eye tracking
US20150248587A1 (en) Image processing system, image processing method, and program
US20120249448A1 (en) Method of identifying a gesture and device using the same
CN104850318A (zh) 瞬时消息显示控制的方法及设备
CN105378616A (zh) 虚拟触摸屏
US11199561B2 (en) System and method for standardized evaluation of activity sequences
US9430318B2 (en) Health monitoring and recovery for infrastructure devices
US9733732B2 (en) Generating a virtual eraser area
WO2017028491A1 (zh) 触控显示设备及触控显示方法
JPWO2014021005A1 (ja) 画像処理システム、画像処理方法及びプログラム
US8860695B2 (en) Optical touch system and electronic apparatus including the same
US10996235B2 (en) System and method for cycle duration measurement in repeated activity sequences
US9927917B2 (en) Model-based touch event location adjustment
CN114846513A (zh) 动作分析系统和动作分析程序
CN104246670A (zh) 图像控制装置、图像处理系统、以及计算机程序产品
US20120299837A1 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
US20160239168A1 (en) Method and system of gui functionality management
CN108696722B (zh) 一种目标监测方法、系统及设备和存储介质
US9483125B2 (en) Position information obtaining device and method, and image display system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant