KR102161745B1

KR102161745B1 - 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법

Info

Publication number: KR102161745B1
Application number: KR1020150094199A
Authority: KR
Inventors: 웨이 시옹
Original assignee: 삼성디스플레이 주식회사
Priority date: 2014-07-01
Filing date: 2015-07-01
Publication date: 2020-10-06
Also published as: KR20160004217A

Abstract

터치 입력에 시각적 피드백을 제공하는 방법은 디스플레이에 결합되는 터치 센서로부터 복수의 터치 사건들을 수신하는 단계, 복수의 터치 사건들에 기초하여 오버레이 세그먼트를 생성하는 단계, 비디오 프레임을 수신하는 단계, 합성 비디오 프레임을 생성하기 위해 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하는 단계 및 합성 비디오 프레임을 디스플레이에 공급하는 단계를 포함한다.

Description

터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법{ACCELERATOR FOR PROVIDING VISUAL FEEDBACK TO TOUCH INPUT, TOUCH INPUT PROCESSING DEVICE AND METHOD FOR PROVIDING VISUAL FEEDBACK TO TOUCH INPUT}

본 발명의 실시예들은 터치 입력 디바이스들을 구비하는 디스플레이 디바이스들에 관한 것으로, 더 구체적으로, 터치 입력 디바이스 및 디스플레이 디바이스 사이의 디스플레이 랙(display lag)을 줄이기 위한 시스템들 및 방법들에 관한 것이다.

최근에, 터치스크린 디바이스들은 모바일 전화기들, 태블릿들, 랩탑들 등과 같은 개인용 모바일 디바이스들이 인기를 얻으면서 흔해졌다. 휴대용 디바이스들 외에, 터치스크린들은 키보드 및 마우스 시스템들로 사용자가 디스플레이의 컨텐츠와 빠르거나, 직관적이거나 또는 정확하게 상호 작용하는 것이 가능하지 않은 산업에서 그리고 자동차들 및 키오스크(kiosk)들과 같은 곳들에서 사용되고 있다.

터치스크린 디스플레이들은 예를 들어, 스크린을 터치하는 것(또는 탭(tap)하는 것을 감지함으로써, 또는 터치스크린에 아주 근접한 사용자의 손가락들 또는 손 제스처들을 감지함으로써 사용자 입력을 인식한다. 터치스크린은 이미지가 투사되고 터치가 감지될 수 있는 임의의 면일 수 있다.

터치 센서 패널들에 의해 검출되는 터치 사건(touch event)들은 전형적으로 디바이스의 애플리케이션 프로세서(application processor; AP)에서 가동 중인 고레벨 애플리케이션 소프트웨어에 의해 프로세싱된다. 터치 센서 패널 및 AP 사이의 많은 프로세싱 단계들 및 AP에서의 비결정 프로세싱 시간(디바이스의 운영 시스템 및 다른 애플리케이션들을 가동하는 것과 같이, AP에 의해 수행되는 다른 계산 업무들로 인한 지연들을 포함한다)으로 인하여 컴퓨팅 디바이스의 사용자의 터치 입력들에 대한 반응성을 감소시키는 고레벨들의 레이턴시(latency)(예를 들어, 70 내지 100 밀리초들)가 유입된다.

일부 실증적 연구들은 대부분의 사람들이 터치 하고 보는 것과 같은 감각들 사이에서 심지어 30 밀리초의 비동시성을 검출할 수 있다고 지적해 왔다(예를 들어, 런던 Taylor & Francis Group의 Keetels, M 및 Vroomen, J의 Perception of Synchrony Between the Senses 및 M. M. Murray 및 M. T. Wallace (편집자)의 Frontiers in the neural basis of multisensory processes (페이지 147~177)를 참조할 것). 50 내지 200 밀리초의 지연들은 이 컴퓨팅 디바이스들의 사용자들의 대부분에게 검출될 수 있을 것이고, 이는 사용자의 입력에 피드백을 즉시 제공하도록 디바이스를 계산하지 못함으로써 사용자의 불만의 증가로 이어질 수 있다.

그러나, 시스템 프로세서가 또한 디바이스의 다른 프로세스들을 관리하므로(예를 들어, 디바이스의 운영 시스템 및 많은 다른 애플리케이션들을 가동하여), 가상 키보드의 외양을 갱신하는 데 필요한 응답 시간이 더 느려질 수 있고, 사용자가 키를 터치하는 시간 및 사용자에게 키 누름(key press)에 대한 시각적 피드백이 제공되는 시간 사이에는 현저한 랙이 있을 수 있다.

본 발명의 목적은 상술한 문제를 해결하기 위한 것으로, 구체적으로 터치 사건들의 디스플레이 레이턴시를 줄일 수 있는, 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력 프로세싱 디바이스 및 방법을 제공하는 것이다.

본 발명의 실시예들의 양태들은 터치 사건 및 상기 터치 사건에 대한 디스플레이 응답 사이의 레이턴시를 줄이는 것에 관한 것이다.

본 발명의 하나 이상의 실시예들에 따르면, 터치 입력에 시각적 피드백을 제공하는 방법이 제공되고, 상기 방법은: 디스플레이에 결합되는 터치 센서로부터 복수의 터치 사건들을 수신하는 단계; 복수의 터치 사건들에 기초하여 오버레이 세그먼트(overlay segment)를 생성하는 단계; 비디오 프레임을 수신하는 단계; 합성 비디오 프레임(composite video frame)을 생성하기 위해 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하는 단계; 및 합성 비디오 프레임을 디스플레이에 공급하는 단계를 포함한다.

하나의 실시예에서, 비디오 프레임은 디스플레이된 라인을 포함하고, 오버레이 세그먼트의 특성들은 디스플레이된 라인의 특성들과 정합한다.

하나의 실시예에서, 오버레이 세그먼트를 생성하는 단계는: 터치 사건들의 장소(location)들에 기초하여 추정 터치 경로를 계산하는 단계; 추정 터치 경로에 대응하는 비디오 프레임들의 유효 영역을 결정하는 단계; 비디오 프레임들의 연속 프레임들에서의 차(difference)들을 결정하기 위해 유효 영역에 대응하는 비디오 프레임들의 부분들을 비교하는 단계; 차들을 메모리 버퍼(memory buffer) 내에 저장하는 단계; 및 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 단계를 포함하고, 오버레이 세그먼트는 저장되는 차들의 특성들과 정합한다.

하나의 실시예에서, 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 단계는 오버레이 세그먼트에 저장되는 차들의 픽셀들의 상대 속성(relative property)들을 유지하는 단계를 포함한다.

하나의 실시예에서, 상대 속성들은 추정 터치 경로를 따른 국지의 이동축들까지의 거리, 픽셀들 사이의 공간 분리들 및 픽셀들 사이의 컬러 그래디언트(color gradient)들을 포함한다.

하나의 실시예에서, 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 단계는 애플리케이션 프로세서에 의해 유입되는 지연에 대응하여 저장되는 차들의 픽셀들을 추정 터치 경로를 따른 장소들로 시프트(shift)하는 단계를 포함한다.

하나의 실시예에서, 추정 터치 경로는 고정된 수의 프레임들에 대응하는 터치 사건들의 하위세트(subset)에 기초하여 계산되고, 그리고 고정된 수의 프레임들은 애플리케이션 프로세서에 의해 유입되는 지연에 대응한다.

하나의 실시예에서, 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하는 단계는: 터치 사건들에 기초하여 마스크(mask)를 생성하는 단계를 포함하고, 마스크는 수치 값들의 매트릭스를 포함하고, 수치 값들의 각각은 합성 비디오 프레임을 제작하기 위한 동작을 식별하고, 매트릭스 내의 수치 값들의 위치들은 합성 비디오 프레임 내의 픽셀들의 위치들에 대응한다.

하나의 실시예에서, 상기 방법은 합성 비디오 프레임 내의 각 픽셀 별로, 마스크 내의 대응하는 위치에 있는 값에 따라 오버레이 세그먼트 또는 비디오 프레임의 대응하는 픽셀을 출력할지를 결정하는 단계를 더 포함한다.

하나의 실시예에서, 마스크의 수치 값들의 각각은 합성 비디오 프레임 내의 하나의 픽셀에 대응하거나 또는 합성 비디오 프레임 내의 하나를 초과하는 픽셀들에 대응한다.

하나의 실시예에서, 터치 사건들은 포인팅 도구(pointing implement) 및 터치 센서 사이의 상호 작용의 결과로서 발생된다.

본 발명의 하나 이상의 실시예들에 따르면, 터치 입력에 시각적 피드백을 제공하는 가속기(accelerator)가 제공되고, 가속기는: 프로세서; 및 내부에 저장되는 명령들을 가지는 메모리를 포함하고, 명령들은 프로세서에 의해 실행될 때, 프로세서로 하여금: 디스플레이에 결합되는 터치 센서로부터 복수의 터치 사건들을 수신하고; 복수의 터치 사건들에 기초하여 오버레이 세그먼트를 생성하고; 비디오 프레임을 수신하고; 합성 비디오 프레임을 생성하기 위해 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하고; 그리고 합성 비디오 프레임을 디스플레이에 공급하는 것을 수행하도록 한다.

하나의 실시예에서, 오버레이 세그먼트를 생성하는 것은: 터치 사건들의 장소들에 기초하여 추정 터치 경로를 계산하고; 추정 터치 경로에 대응하는 비디오 프레임들의 유효 영역을 결정하고; 비디오 프레임들의 연속 프레임들에서의 차들을 결정하기 위해 유효 영역에 대응하는 비디오 프레임들의 부분들을 비교하고; 차들을 메모리 버퍼 내에 저장하고; 그리고 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 것을 포함하고, 오버레이 세그먼트는 저장되는 차들의 특성들과 정합한다.

하나의 실시예에서, 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 것은 오버레이 세그먼트에 저장되는 차들의 픽셀들의 상대 속성들을 유지하는 것을 포함하고, 그리고 상대 속성들은 추정 터치 경로를 따른 국지의 이동축들까지의 거리들, 픽셀들 사이의 공간 분리들 및 픽셀들 사이의 컬러 그래디언트들을 포함한다.

하나의 실시예에서, 저장된 차들에 기초하여 오버레이 세그먼트를 생성하는 것은 애플리케이션 프로세서에 의해 유입되는 지연에 대응하여 저장되는 차들의 픽셀들을 추정 터치 경로에 따른 장소들로 시프트하는 것을 포함한다.

하나의 실시예에서, 추정 터치 경로는 고정된 수의 프레임들에 대응하는 터치 사건들의 하위세트에 기초하여 계산되고, 그리고 고정된 수의 프레임들은 애플리케이션 프로세서에 의해 유입되는 지연에 대응한다.

하나의 실시예에서, 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하는 것은: 터치 사건들에 기초하여 마스크를 생성하는 것을 포함하고, 마스크는 수치 값들의 매트릭스를 포함하고, 수치 값들의 각각은 합성 비디오 프레임을 제작하기 위한 동작을 식별하고, 매트릭스 내의 수치 값들의 위치들은 합성 비디오 프레임 내의 픽셀들의 위치들에 대응한다.

하나의 실시예에서, 가속기는 합성 비디오 프레임 내의 각 픽셀 별로, 마스크 내의 대응하는 위치에 있는 값에 따라 오버레이 세그먼트 또는 비디오 프레임의 대응하는 픽셀을 출력할지를 결정하는 것을 더 포함한다.

본 발명의 하나 이상의 실시예들에 따르면, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스가 제공되고, 터치 감응 디스플레이 디바이스는: 비디오 프레임들을 디스플레이하도록 구성되는 디스플레이; 터치 센서로서, 디스플레이에 결합되고 포인팅 도구 및 터치 센서 사이의 상호 작용의 결과로서 복수의 터치 사건들을 발생시키도록 구성되는, 터치 센서; 프로세서; 및 내부에 저장되는 명령들을 가지는 메모리를 포함하고, 명령들은 프로세서에 의해 실행될 때, 프로세서로 하여금: 터치 센서로부터 복수의 터치 사건들을 수신하고; 복수의 터치 사건들에 기초하여 오버레이 세그먼트를 생성하고; 비디오 프레임들의 비디오 프레임을 수신하고; 합성 비디오 프레임을 생성하기 위해 터치 사건들에 따라 비디오 프레임을 오버레이 세그먼트와 결합하고; 그리고 합성 비디오 프레임을 디스플레이에 공급하는 것을 수행하도록 한다.

하나의 실시예에서, 실행되는 명령들은 부가적으로 프로세서로 하여금 터치 감응 디스플레이 디바이스 외부에 있는 애플리케이션 프로세서로부터 비디오 프레임들의 비디오 프레임을 수신하는 것을 수행하도록 한다.

본 발명의 실시예들에 따르면, 디스플레이 디바이스(예를 들어, 터치스크린 디바이스)의 디스플레이의 지각되는 응답 시간을 줄이기 위한 방법 및 장치가 제공되며, 기존 프로세서 및/또는 운영 시스템에 대한 변경을 요구할 필요가 없다.

첨부 도면들은 명세서와 함께, 본 발명의 예시 실시예들을 도시하고, 해설과 함께 본 발명의 원리들을 설명하는 역할을 한다.
도 1a는 종래의 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하고 도 1b는 본 발명의 일부 예시 실시예들에 따라 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하는 도면들.
도 2는 사용자 터치 사건을 감지하는 것에서 사용자에게 시각적 피드백을 제공하기 위해 디스플레이 스크린을 갱신하는 것까지, 종래의 피드백 경로 및 본 발명의 예시 실시예들에 따른 감소된 레이턴시 피드백 경로를 도시하는 터치 입력 프로세싱 디바이스의 개략적인 블록도.
도 3은 본 발명의 예시 실시예에 따라, 사용자에게 지각되는 디스플레이 피드백 레이턴시를 줄이기 위하여 가속기를 사용하는 터치 입력 프로세싱 디바이스의 개략적인 블록도.
도 4a 및 도 4b는 본 발명의 예시 실시예들에 따라 터치 경로를 보간(interpolate)하고 가속기에 의해 비디오 프레임 내의 유효 영역을 규정하는 프로세스를 도시하는 도면들.
도 5a 내지 도 5c는 본 발명의 예시 실시예들에 따라 3개의 연속하는 렌더링(rendering)된 비디오 프레임들 및 사용자의 터치의 터치 경로를 추적하는 유효 영역을 도시하는 도면. 도 5d는 본 발명의 예시 실시예들에 따라, 연속하는 비디오 프레임들 사이의 차들을 가속기에 의해 기록되고 저장된 바에 따라 표현하는 이미지 세그먼트(image segment)들을 도시하는 도면.
도 6은 본 발명의 예시 실시예들에 따라, 애플리케이션 프로세서에 의해 렌더링되는 비디오 프레임 및 사용자의 터치 포인트 사이의 갭(gap)을 메우기 위하여 가속기에 의해 저장되는 픽셀들을 복제하는 프로세스를 도시하는 도면.
도 7은 본 발명의 예시 실시예들에 따라 합성 비디오 프레임을 생성하기 위하여 오버레이 세그먼트(overlay segment) 및 현재의 비디오 프레임의 결합을 개략적으로 도시하는 도면.
도 8은 본 발명의 예시 실시예들에 따라 터치 입력에 시각적 피드백을 제공하기 위한 프로세스의 흐름도.

다음의 상세한 설명에서는, 본 발명의 특정한 예시 실시예들만이 실례로서 도시되고 설명된다. 당업자가 인식하는 바와 같이, 본 발명은 많은 상이한 형태들로 구현될 수 있고 본원에서 진술되는 실시예들로 제한되는 것으로 해석되어서는 안 된다. 동일한 참조 번호들은 명세서 전체에 걸쳐 동일한 요소들을 지정한다.

본 발명의 실시예들은 애플리케이션 프로세서에 의해 렌더링되는 이미지 전에 터치 장소들에 기초하여 이미지를 디스플레이함으로써 사용자가 더 빠른 터치 응답을 지각하는 것을 가능하게 한다.

터치 인터페이스들을 위해 설계되는 소프트웨어는 흔히 의사(pseudo) "실세계" 물체들의 직접 물리적 조작의 메타포(metaphor) 및/또는 스크린 상에서의 경로들의 드로잉(drawing)을 활용하여 시각적 피드백을 제공한다(예를 들어, 스와이핑(swiping) 또는 제스처 기반 온-스크린(on-screen) 키보드 상에서 손가락을 추적하기 위하여, 드로잉 또는 스케치북 애플리케이션에서의 경로를 추적하기 위하여, 그리고 게임에서 드로잉되는 경로를 위하여).

모바일 디바이스들에 대한 흔한 불만은 사용자 인터페이스(user interface; UI)의 랙(lag)이다. 현재의 모바일 디바이스들은 터치 행동에 응답하여 디스플레이를 갱신하는 데 50 내지 200 밀리초가 걸릴 수 있다. 예를 들어, 모바일 디바이스 상의 터치 사건에 대한 전형적인 디스플레이 응답 시간은 60의 초당 프레임(frames per second; FPS)의 리프레쉬 레이트(refresh rate)에 기초하여, 100 밀리초를 초과하거나 대략 6 이상의 비디오 이미지들의 프레임들일 수 있고, 이는 사용자들 대부분의 눈에 현저할 수 있다.

도 1a는 비교 가능한 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하고, 도 1a에서 디스플레이된 라인(100)은 손가락의 위치 및 디스플레이된 라인(100)의 마지막 드로잉된 부분 사이에 갭(102)을 가짐으로써, 사용자의 터치 및 디스플레이된 라인 사이에 현저한 디스플레이 랙이 발생된다. 능동이든 수동이든, 스타일러스를 사용할 때에는 유사한 디스플레이 랙에 또한 직면할 수 있다.

본 발명의 실시예들은 AP에 의해 렌더링되는 이미지에 앞서 터치 경로 내에 이미지를 오버레이함으로써 사용자가 더 빠른 터치 응답을 지각하는 것을 가능하게 한다. 사용자의 터치 포인트(손가락, 스타일러스 또는 다른 도구를 사용하든) 및 스크린 상의 라인의 드로잉 사이의 갭을 좁힘으로써, 지각되는 디스플레이 랙이 감소될 수 있다. 본원에서 사용되는 바와 같이, 용어 "오버레이(overlay)"는 동사로서 사용될 때에는 추가 이미지 데이터가 원래의 비디오 프레임들의 어떤 부분을 대체(또는 "오버레이")하도록 비디오 프레임들 또는 이미지들(예를 들어, AP에 의해 렌더링되는 이미지 또는 프레임) 및 추가 이미지 데이터를 결합하는 것을 칭한다. 용어 "오버레이"가 명사로서 사용될 때는 또한 결합된 디스플레이 이미지 내에서 상기 추가 이미지 데이터가 나타나는 것을 칭할 수 있다.

게다가, 오버레이 방법을 사용함으로써, 애플리케이션 소프트웨어는 또한 영역(예를 들어, 디스플레이 상의 장소), 컬러 및 터치 사건에 대하여 디스플레이되는 응답의 렌더링 동작을 제어할 수 있다.

도 1b는 본 발명의 예시 실시예에 따라 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 디스플레이되는 응답을 도시하고, 도 1b에서 디스플레이된 라인은 본 발명의 예시 실시예들에 따라 저 레이턴시 가속기(300)에 의해 드로잉된 추정 또는 계산된 세그먼트(104)를 포함함으로써, 사용자에 의해 지각되는 디스플레이 랙을 감소시킨다.

도 2는 본 발명의 예시 실시예들에 따른 터치 입력 프로세싱 디바이스(200)의 개략적인 블록도이다. 도 2는 사용자 터치 사건을 감지하는 것에서부터 사용자에게 시각적 피드백을 제공하기 위해 디스플레이 스크린을 갱신하는 것까지의, 종래의 피드백 경로(예를 들어, 터치 대 디스플레이 루프(touch-to-display loop)(TDL) 및 본 발명의 예시 실시예들에 따른 감소된 레이턴시 피드백 경로(예를 들어, 감소된 레이턴시 터치 대 디스플레이 루프(reduced-latency touch-to-display loop)(RTDL)를 더 도시한다.

본 실시예에 따르면, 터치 입력 프로세싱 디바이스(예를 들어, 터치 감응 디스플레이 디바이스)(200)는 터치 센서(예를 들어, 터치 센서 패널)(202), 터치 제어기(204), 애플리케이션 프로세서(AP)(210), 디스플레이 드라이버 인터페이스 제어기(display driver interface controller; DDIC)(220) 및 디스플레이 유닛(230)을 포함한다. DDIC(220)는 링크 수신기(222), 프레임 버퍼(224) 및 디스플레이 드라이버(또한 타이밍 제어기로 칭해진다)(226)를 포함할 수 있다. 일부 실시예들에 따르면, DDIC(220)는 가속기(또한 시각적 피드백 가속기 또는 저 레이턴시 가속기 또는 오버레이 시스템으로 칭해진다)(300)를 더 포함한다. 본 발명의 일부 실시예들에서, DDIC(220)는 터치 제어기(204)와 통합될 수 있다. AP(210)는 중앙 처리 장치(central processing unit; CPU)(212), 애플리케이션 소프트웨어(SW)(214) 및 그래픽 처리 장치(graphical processing unit; GPU)를 포함할 수 있다.

터치 센서(예를 들어, 터치 센서 패널 또는 터치 스크린)(202)는 탭 또는 제스처와 같은 터치 사건을 검출하고 대응하는 터치 신호들(203)을 터치 제어기(204)로 송신한다. 본 발명의 실시예들은 신체 일부(예를 들어, 손가락), 스타일러스 등과 같은 임의의 유형의 포인팅 도구를 사용하는 사용자의 터치를 검출하는 터치 센서(202)를 활용할 수 있다. 본원에서 사용되는 바와 같이, 용어 "포인팅 도구(pointing implement)"는 디바이스들(능동 스타일러스 및 수동 스타일러스와 같은) 및 신체 일부들(손가락 또는 손과 같은)을 포함하여, 터치 센서(202)에 의해 검출될 수 있는 물체들을 칭한다. 본 발명의 실시예들은 저항성 터치 패널들, 표면 탄성파(surface acoustic wave) 터치 패널들, 용량성 터치 패널들, 적외선 터치 패널들, 광 터치 패널들 등과 같은 다양한 유형들의 터치 센서들 중 임의의 센서를 활용할 수 있다. 일부 실시예들에서, 터치 신호들(203)은 터치 센서(202) 내의 각 장소별 커패시턴스 또는 전압 또는 전류의 측정치들과 같이, 터치 센서(202)에 의해 공급되는 원시 데이터(raw data)에 대응한다. 터치 사건들(205)에 대한 데이터 버스는 AP(210) 및 저 레이턴시 가속기(300) 모두에 접속된다. 터치 사건들(205)은 사용자에 의한 하나 이상의 터치들이 검출되었던 장소들(예를 들어, 터치 사건의 검출을 이루기 위한 충분히 높은 값의 커패시턴스 또는 전압 또는 전류의 변경)에 대응하는 데이터 값들의 스트림일 수 있다. 일부 실시예들에서, 터치 사건들(205)은 터치 센서(202)에 인가되었던 압력을 나타내는 압력 데이터를 포함한다.

AP(210)는 선택 사건을 프로세싱하고 CPU(212)에서 작동 중인 SW(214)는 이에 따라 디스플레이 구성(예를 들어, 디스플레이 유닛(230)에 의해 디스프레이될 정보)을 갱신한다. GPU(216)는 디스플레이 구성을 프로세싱하고 디스플레이 유닛(230)에 디스플레이하기 위하여 DDIC(220)에 전송할 적절한 비디오 프레임들(예를 들어, 디스플레이될 이미지들)을 렌더링한다. DDIC(220)에 의해 수신되는 전송 신호는 아날로그 포맷 상태일 수 있고 인코딩(encoding)될 수 있으며, 이 경우에, 링크 수신기(222)는 AP(210)로부터 전송된 아날로그 신호들을 이미지 비트들로 변환하고, 이 비트들을 디코딩(decoding)하고, 비디오 프레임들(예를 들어, 비디오 이미지들)을 생성한다. 비디오 프레임들은 그 후에 사용자에게 디스플레이하기 위하여 디스플레이 유닛(230)에 순차적으로 전송되기 전에 프레임 버퍼(224) 내에 저장된다. DDIC(220)는 디스플레이 전에 비디오 프레임들에 대한 감마 보정(gamma correction)을 수행하기 위한 픽셀 조정 유닛을 더 포함할 수 있다. 픽셀 조정 유닛은 디스플레이 유닛(예를 들어, 디스플레이 패널 또는 광 프로젝터)(230)의 특성들에 대하여 보정할 비디오 프레임들의 시각 품질(예를 들어, 밝기, 감마 레벨들 등)을 조정할(예를 들어, 향상시킬) 수 있다. 디스플레이 드라이버(226)는 조정된 비디오 프레임들에 따라 디스플레이 유닛(230)의 개별 픽셀들을 구동하기 위한 회로를 포함한다.

일부 실시예들에서, 터치 센서(202), 터치 제어기(204), DDIC(220) 및 디스플레이 유닛(230)은 모두 애플리케이션 프로세서(210)과 분리될 수 있는 디스플레이 모듈의 구성요소들이다. 다른 실시예들에서, 터치 센서(202), 터치 제어기(204), DDIC(220) 및 디스플레이 유닛(230) 또는 이들의 결합들은 별개의 모듈들 내에 상주되거나 애플리케이션 프로세서(210)와 결합될 수 있다.

본 발명의 가속기(300)를 사용하지 않을 경우, 사용자 터치 입력에서 디스플레이 출력까지의 경로가 길기 때문에(피드백 경로(TDL)에 의해 표현되는 바와 같이), 사용자는 사용자의 터치 및 디스플레이되는 비디오 프레임 사이의 현저한 랙을 지각할 수 있다. 이 레이턴시는 예를 들어, 약 100ms 또는 그보다 더 길 수 있고, 이 레이턴시는 사용자에 의해 지각될 수 있다. 피드백 경로(TDL)에 의해 발생되는 지연의 일부는 터치 센서(202)의 응답 시간 및 터치 제어기(204)의 프로세싱 시간으로부터 기인할 수 있는데, 이 응답 시간 및 터치 제어기의 프로세싱 시간은 결정론적이고 약 20ms 미만일 수 있다. 더욱이, 지연의 일부는 AP(210)의 프로세싱 시간으로부터 기인할 수 있는데, 이 프로세싱 시간은 CPU(212)가 임의의 소정의 시간에 하나 이상의 상위 우선순위 프로세스들을 가동하느라 분주할 수 있거나 분주하지 않을 수 있으므로 비결정론적이다(예를 들어, 약 60ms 내지 약 100ms).

가속기(300)를 사용함으로써, 본 발명의 실시예들은 감소된 응답 랙 또는 레이턴시라 해석되는 더 짧은 터치 대 디스플레이 경로(감소된 레이턴시 피드백 경로(RTDL)에 의해 표현되는 바와 같이)가 가능하다. 예를 들어, 일부 비교 가능한 디바이스들에서의 대략 6 프레임들 이상의 디스플레이 랙과는 대조적으로, 본 발명의 실시예들은 랙을 1 내지 2 프레임들로 줄일 수 있다.

본 발명의 일부 실시예들에서, 가속기(300)는 애플리케이션 소프트웨어를 통해 사용 가능(enable)하고/하거나 사용 불가(disable)할 수 있다.

가속기(300)는 별개의 구성요소로서 구현될 수 있거나, 터치 제어기(204), AP(210) 및/또는 DDIC(220) 중 임의의 하나에 통합될 수 있다. 예를 들어, 도 2는 가속기(300)가 DDIC(220)와 통합되는 일부 실시예들을 도시한다.

도 3은 본 발명의 예시 실시예들에 따라, 사용자에게 지각되는 디스플레이 피드백 레이턴시를 줄이기 위하여 가속기(300)를 사용하는 터치 입력 프로세싱 디바이스(200)의 개략적인 블록도이다.

도 3을 참조하면, 구성요소들 사이의 이미지 플로우의 경로들은 실선의 지시 화살표들로 도시되고, 반면에 구성요소들 사이의 제어 경로들은 파선들을 가지는 지시 화살표들로 도시된다.

본 발명의 일부 실시예들에 따르면, 가속기(300)는 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)을 포함한다. 가속기(300)는 DDIC(220)의 구성요소로서 포함될 수 있거나 또는 가속기(300)의 부분들은 DDIC(220) 또는 AP(210) 내에 포함될 수 있고 다른 부분들은 터치 제어기(204) 내에 포함될 수 있다.

일부 실시예들에서 터치 검출기(302)는 터치 제어기(204)에 접속되고 터치 제어기(204)로부터 터치 사건들(205)을 수신한다. 터치 검출기(302)는 디스플레이 유닛(230) 상에서 또는 그 근처에서의 사용자 손가락 또는 도구의 이동 경로(또는 추정 터치 경로)를 결정하기 위해서 디스플레이 유닛(230) 상에서의 터치 사건들의 장소들을 사용한다. 이동 경로에 기초하여, 터치 검출기(302)는 이동 경로를 둘러싸는 유효 영역(예를 들어, 관련 영역)을 식별하고 추가 분석을 위해 유효 영역을 이동 이미지 검출기(304)에 공급한다.

일부 실시예들에서, 이동 이미지 검출기(304)는 링크 수신기(222) 및 프레임 버퍼(224) 중 하나 이상에 결합되고, 이 검출기(304)는 프레임 버퍼(224)로부터 현재 렌더링된 비디오 프레임들(또는 비디오 이미지들)을 그리고 링크 수신기(222)로부터 다음에 렌더링될 비디오 프레임들을 수신한다. 이동 이미지 검출기(304)는 유효 영역에서 나타나는 비디오 프레임들의 변경들(또는 차들)을 검출하고 저장하기 위해 유효 영역의 연속하는 비디오 프레임들을 비교한다.

이동 이미지 복제기(306)는 터치 사건들의 장소 및 AP(210)에 의해 렌더링된 현재의 비디오 프레임 사이의 갭을 메우기 위하여 저장된 차들에 기초하여 오버레이 이미지 세그먼트를 생성한다. 오버레이 이미지 세그먼트는 AP(210)에 의해 현재 렌더링되어 있는 비디오 프레임 및 AP(210)가 터치 사건의 현재 장소를 따라 잡았을 경우에 렌더링되었을 비디오 프레임 사이에서의 차에 대한 계산된 추정이다.

이동 이미지 복제기(306)에 의해 제공되는 정보를 사용하여, 출력 타이밍 제어기(308)는 픽셀 하나하나씩 출력 논리 유닛(310)이 AP(210)로부터 렌더링된 비디오 프레임(예를 들어, 가장 현재 렌더링된 비디오 프레임) 또는 오버레이 이미지 세그먼트를 언제 출력해야 하는지를 결정한다.

출력 타이밍 제어기(308)로부터의 제어 입력에 기초하여, 출력 논리 유닛(310)은 AP에 의해 렌더링된 비디오 프레임 및 오버레이 이미지 세그먼트를 사용하여 합성 이미지를 생성한다. 출력 논리 유닛(310)은 그 후에 합성 이미지를 사용자에게 디스플레이하기 위하여 합성 이미지를 디스플레이 드라이버(226)에 전송하여 디스플레이 유닛(230)에 전송할 대응하는 픽셀 구성 신호들을 생성한다. 일부 실시예들에서, DDIC(220)는 출력 논리 유닛(310)에 의해 제작되는 합성 이미지를 디스플레이 디바이스(226)에 공급하기 전에 이를 더 프로세싱할 수 있다. 예를 들어, DDIC(220)는 디스플레이 유닛(230)의 특성들에 대하여 보정될 합성 이미지에 대해 감마 보정을 수행할 수 있다.

따라서, 가속기(300)는 단지 AP(210)로부터의 입력만으로 AP에 의해 렌더링되는 비디오 프레임들에 의해서 사용자에게 제공되는 시각적 피드백을 가속할(또는 사용자 터치에 대한 시스템 응답 시에 사용자에 의해 지각되는 시간을 줄일) 수 있다. 일부 실시예들에서, 가속기(300)에 의해 수행되는 동작들은 1 보다 더 적은 프레임 간격의 시간 범위(time span) 내에서 발생할 수 있다.

일부 실시예들에 따르면, 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)은 각각 상이한 주문형 반도체(application specific integrated circuit; ASIC)들을 사용하여 구현된다. 본 발명의 다른 실시예들에서, 모든 기능들을 구현하는 데 단일 ASIC가 사용된다. 본 발명의 또 다른 실시예들에서, 필드 프로그램 가능 게이트 어레이(field programmable gate array; FPGA)는 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310) 각각의 기능들을 수행하도록 프로그램된다. 대안으로, 범용 프로세서는 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)의 각각의 기능들을 수행하도록 프로그램될 수 있다(예를 들어, 범용 프로세서에 접속되는 메모리 내에 저장된 명령들에 의해). 또 다른 실시예들에서, 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310) 중 하나 이상의 기능은 애플리케이션 프로세서(210)의 구성요소들로서 구현된다.

더욱이, 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)이 도 3에서 DDIC(220)의 구성요소들인 것으로 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않는다. 일부 실시예들에서, 터치 검출기(302), 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)(또는 이 기능들을 수행할 수 있는 구성요소들) 중 하나 이상은 예를 들어, 터치 제어기(204), AP(210) 내에 또는 별개의 구성요소들로서 위치된다. 게다가, 구성요소들 또는 이 구성요소들이 수행하는 기능들은 디바이스의 상이한 부분들에 위치될 수 있다. 예를 들어, 터치 검출기(302)는 터치 제어기(204)의 구성요소 또는 기능으로서 구현될 수 있고, 이동 이미지 검출기(304), 이동 이미지 복제기(306), 출력 타이밍 제어기(308) 및 출력 논리 유닛(310)은 AP(210)의 구성요소(또는 구성요소들) 또는 기능(또는 기능들)로서 구현될 수 있다.

게다가, 터치 제어기(204)가 물리적으로 분리되어 있는 구성요소로서 도시될지라도, 본 발명의 일부 실시예들에서 터치 제어기(204)는 더 큰 집적 회로의 일부이다. 예를 들어, 터치 제어기는 AP(210) 및/또는 DDIC(220)와 함께 동일한 집적 회로 내에서 구현될 수 있다.

가속기(300) 및 이의 구성을 이루는 구성요소들의 동작은 도 4 내지 도 7을 참조하여 아래에서 더 설명될 것이다.

도 4a 및 도 4b는 본 발명의 예시 실시예에 따라 터치 경로를 보간하고 가속기(300)(예를 들어, 터치 검출기(302))에 의해 비디오 프레임 내에 유효 영역을 규정하는 프로세스를 도시한다.

일부 실시예들에 따르면, 터치 검출기(302)는 터치 제어기(204)로부터 터치 사건들의 장소들을 수신하고 터치 장소들을 비디오 프레임(40) 내의 픽셀 위치들로 매핑(mapping)한다. 도 4a 및 도 4b에 도시되는 바와 같이, 터치 제어기(204)에 의해 제공되는 터치 장소들(402)(도 4a 및 도 4b에서 'X'로 표기되는)은 사용자의 실제 터치 경로의 이산의 샘플들이고, 그러므로 연속하는 터치 장소들(402)은 여러 픽셀들에 의해 분리될 수 있다. 터치 검출기(302)는 연속하는 터치 장소들(402) 사이의 갭들을 메우기 위해 터치 장소들(402)을 보간하여 보간 포인트들(404)(도 4a 및 도 4b에서 'O'로 표기됨)의 세트를 구성한다.

터치 검출기(302)는 보간 포인트들(404)를 생성하기 위해 다양한 적절한 곡선 피팅(curve fitting) 알고리즘들 중 임의의 하나를 활용할 수 있다. 예를 들어, 보간 포인트들(404)은 터치 장소들(402)로의 정확한 핏(fit)들 또는 터치 검출기(302)에 의해 수행되는 완만화 동작(smoothing operation)의 결과일 수 있다. 보간된 터치 포인트들(404)은 사용자의 실제 터치 이동 경로의 계산된 추정인 추정 터치 경로를 따를 수 있다. 추정 터치 경로는 사용되는 곡선 피팅 알고리즘 및 장소(402)에 있어서의 불확실성에 따라 터치 장소들(402)의 일부 또는 모두를 횡단할 수 있다. 추정 터치 경로는 애플리케이션 프로세서에 의해 유입되는 지연(비디오 프레임들의 단위들로)보다 더 크거나 동일한 고정된 수의 프레임들에 대응하는 터치 사건들의 하위세트에 기초하여 계산될 수 있다.

일부 실시예들에 따르면, 터치 검출기(302)는 터치 장소들(402)의 각각 그리고 보간 포인트들(404)(총칭하여 추정 터치 경로를 따른 "포인트들"로 칭해진다) 주위의 유효 에어리어(406)를 식별한다. 유효 에어리어들(406)이 모임으로써 유효 영역(408)이 형성되고 이 유효 영역(408)은 이동 이미지 검출기(304)에 의해 연속 프레임들의 변경들을 결정하는 데 사용될 수 있는 추정 터치 경로의 주위의 영역을 지정한다. 일부 실시예들에서, 유효 에어리어(406) 또는 유효 영역(408)은 전체 비디오 프레임(400)과 동일하게 세팅될 수 있다. 그러나, 가속기(300)에 의해 모든 프레임 내의 모든 픽셀을 프로세싱하는 것은 계산에 있어서 비용이 많이 들고 상당한 메모리를 필요로 할 수 있다. 그러므로, 가속기(300)의 성능을 개선하기 위해, 본 발명의 실시예들은 전형적으로 비디오 프레임의 단지 일부만을 이루는 유효 에어리어들(406)을 활용한다. 일부 실시예들에서, 유효 에어리어(406)는 반경 R(가장 가까운 픽셀로 라운딩(rounding)될 수 있다)을 가지는 원이다. 다른 실시예들에서, 유효 에어리어(406)는 가장 가까운 픽셀로 라운딩되는 측 길이를 가지는 정사각형 또는 직사각형이다. 또 다른 실시예들에서, 유효 에어리어(406)는 자체의 장축 및 단축을 따르며 가장 가까운 픽셀로 라운딩되는 길이들을 가지는 타원형일 수 있다. 그러나, 본 발명의 실시예들은 이로 제한되지 않고, 유효 에어리어(406)는 임의의 적절한 형상을 가질 수 있다. 유효 에어리어(406)의 크기(dimension)들은 예를 들어 사용자의 터치의 이동율(또는 속도) 및 터치 장소들(402)의 불확실성에 기초하여 결정될 수 있다. 이동율 또는 속도는 연속하는 터치 장소들(402) 사이의 거리(예를 들어, 픽셀들의 수에 의해 측정되는 바에 따른)에 의해 결정될 수 있다. 터치 장소들에 있어서의 불확실성은 보간 포인트들(404)를 생성하는데 사용되는 피팅된 곡선 및 터치 장소들(402) 사이의 편차들에 의해 결정될 수 있다. 일부 실시예들에서, 이동률 및/또는 불확실성이 증가함에 따라 유효 에어리어(406)의 크기도 증가한다(예를 들어, 원형의 유효 에어리어(406)의 반경(R)이 증가할 수 있다).

유효 영역(408)은 사용자의 터치 이동을 추적하고, 이에 따라 사용자의 터치가 이동 경로를 따라 이동할 때 형상을 변경할 수 있다. 일부 실시예들에서, 유효 영역(408)을 구성하는 유효 에어리어들(406)의 수(즉, 유효 영역(408)의 길이)는 고정된 미리 세팅된 값일 수 있다. 다른 실시예들에서, 가속기(300)는 예를 들어, 시스템 랙(예를 들어, 비디오 프레임들의 수에 의해 표현되는 바와 따른)에 기초하여 유효 영역(408)의 길이를 가변적으로(또는 동적으로) 세팅할 수 있다. 일부 실시예들에서, 유효 영역(408)의 길이는 시스템 랙을 표현하는 프레임들의 수를 표현하는 값보다 더 큰 값이다.

도 4a 및 도 4b에 도시되는 비디오 프레임(400)은 적은 수의 픽셀들(401)을 도시한다; 그러나, 이것은 단지 용이하게 설명하기 위한 것이고, 당업자에 의해 인정되는 바와 같이 프레임을 구성하는 픽셀들(401)의 수는 임의로 높을 수 있고 단지 사용되는 기술에 의해서만 제한될 수 있다.

도 5a 내지 도 5c는 본 발명의 일부 실시예들에 따라 3개의 연속하는 렌더링된 비디오 프레임들(502, 504 및 506) 및 사용자의 터치의 이동 경로를 추적한 유효 영역(408)을 도시한다. 도 5d는 본 발명의 예시 실시예들에 따라, 3개의 연속하는 비디오 프레임들(502, 504 및 506)의 차들을 가속기(300)(예를 들어, 이동 이미지 검출기(304))에 의해 기록되고 저장된 바에 따라 표현하는 이미지 세그먼트들을 도시한다.

본 발명의 실시예들에 따르면, 이동 이미지 검출기(304)는 유효 영역(408) 내에서 렌더링된 비디오 프레임들의 임의의 변경들을 검출하기 위해 AP(210)에 의해 렌더링되는 연속적인 비디오 프레임들의 유효 영역(408)을 분석한다. 일부 실시예들에서, 이동 이미지 검출기(304)는 유효 영역(408) 내에서, 링크 수신기(222)로부터의 다음의 비디오 프레임을 프레임 버퍼(224)로부터 수신되는 현재의 비디오 프레임과 비교한다(동작 1). 이동 이미지 검출기(304)는 그 후에 예를 들어, 픽셀 하나하나씩 다음의 비디오 프레임으로부터 현재의 비디오 프레임을 공제함으로써, 현재 및 다음의 비디오 프레임들 사이의 차들을 계산한다(동작 2). 이동 이미지 검출기는 그 후에 이동 메모리 버퍼에 계산된 차를 저장한다(동작 3), 약술된 프로세스(동작들 1 내지 3)은 적어도 N회 반복될 수 있고, 여기서 N은 사용자 터치 입력 및 AP에 의해 생성되는 디스플레이 응답 사이의 예상 레이턴시를 프레임들의 단위들로 나타낸다. 일부 예들에서, N은 4 내지 10의 범위이지만 전형적으로 7일 수 있다. 일부 실시예들에서, N은 디스플레이 장치의 실증적 성능 데이터에 기초하여 미리 세팅된 고정 수이다. 다른 실시예들에서, 수 N은 시간의 경과에 따라 가속기(300)에 의해 측정되는 바에 따른 레이턴시의 변화들에 기초하여 가속기(300)에 의해 동적으로 조정될 수 있다.

도 5a 내지 도 5d는 본 발명의 실시예들이 드로잉을 위한 소프트웨어 애플리케이션(예를 들어, 디지털 스케치북)의 상황에서 사용되는 하나의 예를 도시한다. 그와 같은 예에서, 유효 영역(408)은 라인이 드로잉되고 있는 능동 드로잉 에어리어를 나타낼 수 있다. 라인 세그먼트들(510, 512 및 514)은 AP(210)에 의해 제 1 비디오 프레임(502), 제 2 비디오 프레임(504) 및 제 3 비디오 프레임(506)에 각각 렌더링되는 바와 같이 라인의 이동 이미지들을 표현한다. 도 5d를 참조하면, 제 1 이미지 세그먼트(S2-1)는 제 2 및 제 1 비디오 프레임들(504 및 502) 사이의 차를 표현하고, 제 2 이미지 세그먼트(S3-2)는 제 3 및 제 2 비디오 프레임들(506 및 504) 사이의 차를 표현한다. 이동 이미지 검출기(304)는 가속기(300) 내부에(예를 들어, 이동 이미지 검출기(304) 내부에) 있을 수 있는 이동 버퍼 내에 제 1 및 제 2 이미지 세그먼트들(S2-1 및 S3-2)(총칭하여 저장 또는 계산된 세그먼트(520))을 저장한다. 임의의 소정의 시간에, 이동 버퍼는 N개의 연속하는 프레임들의 유효 영역들의 차들을 표현하는 N-1 이미지 세그먼트들을 저장할 수 있고, 여기서 N은 사용자 터치 입력 및 AP에 의해 생성되는 디스플레이 응답 사이의 예상 레이턴시를 프레임들의 단위들로 표현한다. 그러나, 본 발명의 실시예들은 이로 제한되지 않고 이동 버퍼는 N개 이상의 이미지 세그먼트들을 저장할 수 있다.

설명의 용이성을 위해, 도 5a 내지 도 5c에서, 유효 영역(408)은 정적인 것으로 도시되고 반면에 AP(210)는 드로잉된 라인을 렌더링하는 것을 통하여 진행된다; 그러나, 실제로, 유효 영역(408)은 터치 모션을 적절하게 추적하기 위해 프레임에서 프레임으로 변경될 수 있다.

도 6은 본 발명의 예시 실시예들에 따라, 사용자의 터치 포인트 및 AP에 의해 렌더링된 비디오 프레임 사이의 갭들을 메우기 위해 가속기(300)(예를 들어, 이동 이미지 복제기(306))에 의해 저장된 픽셀들을 복제하는 프로세스를 도시한다.

일부 실시예들에서, 이동 이미지 복제기(306)는 이동 경로를 따라 갭(602)을 커버하기 위하여 저장된 세그먼트(520)를 사용하여 오버레이 세그먼트(예를 들어, 오버레이 이미지 세그먼트 또는 복제된 이미지 세그먼트)를 생성(또는 외삽(extrapolate))한다. 갭(602)은 AP(210)가 아직 대응하는 이미지를 렌더링하지 않은(예를 들어, 스크린 상에 라인을 드로잉하는 것을 따라가지 않은) 이동 경로를 따른 터치 포인트들(손가락, 스타일러스 또는 다른 도구를 사용하는 실체 터치 장소들이든 또는 보간된 포인트들이든)(604)을 포함한다.

오버레이 세그먼트(600)를 생성하면서, 이동 이미지 복제기(306)는 저장된 세그먼트(520)의 픽셀들의 상대 속성들을 유지한다. 상대 속성들은 픽셀들의 이동 축들까지의 거리들, 픽셀들 사이의 공간 분리들, 픽셀들 사이의 컬러 그래디언트들 등을 포함할 수 있다. 일부 실시예들에서, 이동 이미지 복제기(306)는 저장된 세그먼트(520)의 픽셀들의 오버레이 세그먼트(600)로의 일대일 매핑을 수행한다. 예를 들어, 도 6에 도시되는 바와 같이, 이동 이미지 복제기(306)는 저장된 세그먼트로부터 (I)번째 터치 포인트(604)(여기서 I는 0보다 큰 정수이다) 주위의 픽셀들을 (I+M)번째 터치 포인트(604)(여기서 M은 N보다 더 크거나 같은 정수이다) 주위의 대응하는 픽셀들로 시프트할 수 있다. (I+M)번째 터치 포인트(604) 주위의 대응하는 픽셀들(즉, 시프트된 픽셀들)은 (I+M)번째 터치 포인트(604)에서 국지의 이동 축(610)까지 상대 거리를 가질 수 있고(픽셀들의 단위들로) 이 상대 거리는 상기 픽셀들의 저장된 차 세그먼트(520)(즉, 저장된 차 픽셀들)로부터 국지의 이동 축(612)까지의 상대 거리와 동일하다. 시프트된 픽셀은 저장된 차 픽셀과 동일한 컬러 특성들(예를 들어, 동일한 컬러)을 가질 수 있다.

본 발명의 일부 실시예들이 픽셀 시프트 방법을 활용할지라도, 본 발명의 실시예들은 이로 제한되지 않고 당업자에게 공지되어 있는 많은 이미지 프로세싱 알고리즘들 중 임의의 알고리즘 또는 이들의 결합들이 오버레이 세그먼트(600)의 생성 프로세스(예를 들어, 복제 프로세스) 중에 사용될 수 있다.

도 7은 본 발명의 예시 실시예들에 따라 합성 비디오 프레임(예를 들어, 합성 프레임 이미지)(704)를 생성하기 위하여 오버레이 세그먼트(600) 및 현재의 비디오 프레임(702)을 결합하는 것의 개략도이다.

일부 실시예들에서, 출력 타이밍 제어기(308)는 픽셀 하나하나씩 프레임 버퍼(224)로부터 현재 AP에 의해 생성되는 비디오 프레임(702)을 또는 이동 이미지 복제기(306)로부터 오버레이 세그먼트(600)를 언제 출력할지를 결정하기 위하여 마스크(706)를 생성한다. 이 결정은 비디오 타이밍, 이동 경로 상에서의 터치 검출기(302)로부터의 픽셀 위치들 및 오버레이 세그먼트(600)의 픽셀 위치들에 기초할 수 있다. 출력 논리 유닛(310)은 오버레이 세그먼트(600) 및 현재의 비디오 프레임(702) 사이에서 선택함으로써 합성 비디오 프레임(704)을 생성하기 위해 마스크(706)를 사용하여 오버레이 세그먼트(600)를 현재의 비디오 프레임(702)과 결합한다.

일부 실시예들에 따르면, 마스크(706)는 수치 값들의 매트릭스(matrix)이고, 매트릭스 내의 위치는 디스플레이 유닛(230) 내의 픽셀(또는 픽셀들)의 위치에 대응하고 매트릭스 내의 값들의 상대 위치들은 디스플레이 유닛(230) 내의 픽셀들의 상대 위치들에 대응한다(예를 들어, 마스크(706)는 합성 비디오 프레임(704)에서 픽셀 위치들의 2차원 맵에 대응하는 2차원 매트릭스로서 생각될 수 있다). 그러므로 마스크(706) 내의 각각의 값 및 현재 및 합성 비디오 프레임들(702 및 704)의 각각의 픽셀 사이의 일대일 관계가 있다.

일부 실시예들에 따르면, 마스크(706)의 값들의 각각은 단일 비트로 표현되고, 마스크 매트릭스 내의 값들의 위치들은 합성 비디오 프레임(704) 내의 위치들에 대응한다. 오버레이 세그먼트(600)가 합성 비디오 프레임(704) 내에서 보일 수 있는 위치들은 제 1 값(예를 들어, "1")로 세팅된 값들을 가지고 오버레이 데이터가 보이지 않을 수 있는(예를 들어, 현재의 비디오 프레임(702)이 보일 수 있는) 위치들은 제 2의 상이한 값(예를 들어, "0")으로 세팅된 값들을 가진다. 일부 예들에서, 마스크(706)의 수치 값들의 각각은 합성 비디오 프레임(704) 내의 정확히 하나의 픽셀에 대응하거나 합성 비디오 프레임(704) 내의 하나를 초과하는 픽셀들에 대응한다.

일부 실시예들에서, 출력 논리 유닛(310)은 합성 비디오 프레임(704) 내의 픽셀의 위치에 대응하는 마스크(706) 내의 위치에서의 값에 기초하여 각 픽셀 별로 현재 비디오 프레임(702) 또는 오버레이 세그먼트(600)를 출력하는 멀티플렉서(multiplexer)로서 동작한다. 즉, 출력 논리 유닛(310)은 마스크(706) 내의 각각의 값을 현재의 비디오 프레임(702) 내의 대응하는 픽셀에 정합시키고 현재의 비디오 프레임(702)의 픽셀 또는 오버레이 세그먼트(600)를 디스플레이 유닛(230)으로 출력한다. 일부 실시예들에서, 출력 논리 유닛(310)은 마스크(706)의 각각의 값을 통하면서 반복한다. 0의 값이 마스크(706) 내의 특정 위치에 존재하면, 출력 논리 유닛(310)은 현재의 비디오 프레임(702)의 대응하는 픽셀을 출력한다. 한편, 1의 값이 마스크(706) 내의 특정 위치에 존재하면, 출력 논리 유닛(310)은 오버레이 세그먼트(600)를 출력한다. 반복 프로세스의 결과로서, 출력 논리 유닛(310)은 합성 비디오 프레임(704)을 디스플레이 유닛(230)으로 출력한다. 반복 프로세스가 가속기(300)에 의해 실행되는 속도는 비디오 타이밍에 의해 제어된다.

도 8은 본 발명의 예시 실시예들에 따라 터치 입력에 시각적 피드백을 제공하는 프로세스(800)의 흐름도이다.

일부 실시예들에서, 동작 802에서, 가속기(300)(예를 들어, 터치 검출기(302))는 터치 센서(202)에 결합되는 터치 제어기(204)로부터 복수의 터치 사건들을 수신한다. 터치 사건들은 터치 제어기(204)에 의해 포인팅 도구(예를 들어, 사용자 손가락, 스타일러스 펜 등) 및 터치 센서(202) 사이의 상호 작용의 결과로서 발생될 수 있다.

동작 804에서, 가속기(300)(예를 들어, 이동 이미지 복제기(306))는 수신되는 터치 사건들에 기초하여 오버레이 세그먼트(600)를 생성한다. 일부 실시예들에서, 가속기(300)(예를 들어, 이동 이미지 검출기(304))는 터치 사건들의 장소들에 기초하여 추정 터치 경로를 계산하고 추정 터치 경로에 대응하여 비디오 프레임들 내에 유효 영역(408)을 결정한다. 가속기(300)(예를 들어, 이동 이미지 복제기(306))는 비디오 프레임들의 연속 프레임들에서의 차들(예를 들어, S2-1 및 S3-2)을 결정하기 위해 비디오 프레임들을 비교하고 이 차들(520)을 메모리 버퍼 내에 저장한다. 오버레이 세그먼트(600)는 저장된 차 세그먼트(520)의 특성들과 정합할 수 있다. 예를 들어, 가속기(300)(예를 들어, 이동 이미지 복제기(306))는 오버레이 세그먼트(600)에서 저장된 차 세그먼트(520)의 픽셀들의 상대 속성들을 유지할 수 있다. 상대 속성들은 추정 터치 경로를 따른 국지의 이동 축들까지의 거리들, 픽셀들 사이의 공간 분리들 및 픽셀들 사이의 컬러 그래디언트들을 포함할 수 있다. 일부 실시예들에서, 가속기(300)(예를 들어, 이동 이미지 복제기(306))는 저장된 차 세그먼트(520)의 픽셀들을 AP(210)에 의해 유입되는 지연에 대응하여 추정 터치 경로를 따른 장소들로 시프트한다.

동작 806에서, 가속기(300)(예를 들어, 출력 논리 유닛(310))는 프레임 버퍼(224)로부터 오버레이 세그먼트(600)와 결합할 현재의 비디오 프레임(702)을 수신한다.

동작 808에서, 가속기(300)(예를 들어, 출력 논리 유닛(310))는 합성 비디오 프레임(704)을 생성하기 위하여 터치 사건들에 따라 현재의 비디오 프레임(702)을 오버레이 세그먼트(600)와 결합한다. 일부 실시예들에서, 가속기(300)(예를 들어, 출력 타이밍 제어기(308))는 터치 사건들에 기초하여 마스크(706)를 생성한다. 마스크는 합성 비디오 프레임을 제작하기 위하여 동작을 식별하는 수치 값들(예를 들어 '0'들 및 '1'들)의 매트릭스를 포함한다. 매트릭스 내의 수치 값들의 위치들은 합성 비디오 프레임(704) 내의 픽셀들의 위치들에 대응할 수 있다. 가속기(300)(예를 들어, 출력 논리 유닛(310))는 합성 비디오 프레임(704) 내의 각 픽셀 별로, 현재의 비디오 프레임(702) 또는 오버레이 세그먼트(600)의 대응하는 픽셀을 마스크(706) 내의 대응하는 위치 내의 값에 따라 출력할지를 결정한다.

동작 810에서, 가속기(300)(예를 들어, 출력 논리 유닛(310))는 합성 비디오 프레임(704)을 디스플레이 유닛(230)에 공급한다(디스플레이 드라이버(226)를 통해). 가속기(300)는 그 결과에 따른 프레임을 디스플레이 드라이버(226)에 출력하기 전에 합성 비디오 프레임(704)에 대한 추가 프로세스들을 수행할 수 있다.

본원에서 다양한 요소들, 구성요소들, 영역들, 계층들 및/또는 섹션들을 기술하는데 용어들 "제 1", "제 2", "제 3" 등이 사용될 수 있을지라도, 이 요소들, 구성요소들, 영역들, 계층들 및/또는 섹션들은 이 용어들에 의해 제한되지 않아야 함이 이해될 것이다. 이 용어들은 하나의 요소, 구성요소, 영역, 계층 또는 섹션을 다른 요소, 구성요소, 영역, 계층 또는 섹션과 구별하는 데 사용된다. 그러므로, 아래에서 논의되는 제 1 요소, 구성요소, 영역, 계층 또는 섹션은 본 발명의 개념의 사상 및 범위를 벗어나지 않고 제 2 요소, 구성요소, 영역, 계층 또는 섹션으로 지칭될 수 있다.

본원에서 사용되는 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명의 개념을 제한하고자 의도되지 않는다. 본원에서 사용되는 바와 같이, 단수 형태들 "a" 및 "an"은 상황이 명백하게 달리 나타내지 않으면, 또한 복수의 형태들을 포함하도록 의도된다. 용어들 "include", "including", "comprises" 및/또는 "comprising"이 본 명세서에서 사용될 때, 진술된 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 구성요소들의 존재를 명시하지만 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성요소들 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 더 이해될 것이다. 본원에서 사용되는 바와 같이, 용어 "및/또는"은 연관되는 기재된 아이템들 중 하나 이상의 임의의 그리고 모든 결합들을 포함한다. "중 적어도 하나"와 같은 표현들은 요소들의 목록에 선행하면, 요소들의 전체 목록을 수정하고 목록의 개별 요소들을 수정하지 않는다. 더욱이, "수 있다"의 사용이 본 발명의 개념의 실시예들을 기술할 때 "본 발명의 개념의 하나 이상의 실시예들"을 칭한다. 또한 용어 "예시"는 예 또는 실례를 칭하도록 의도된다.

요소 또는 계층이 다른 요소 또는 계층 "상에", "에 접속되는", "에 결합되는" 또는 "에 인접하는" 것으로 칭해지면, 그것이 직접적으로 다른 요소 또는 계층 상에 있거나, 접속되거나, 결합되거나, 또는 인접할 수 있거나, 또는 하나 이상의 개재 요소들 또는 계층들이 존재할 수 있다. 요소 또는 계층이 다른 요소 또는 계층에 "직접적으로 상에", "직접적으로 접속되는", "직접적으로 결합되는" 또는 "바로 인접하는" 것으로 칭해지면, 어떠한 개재 요소들 또는 층들도 존재하지 않는다.

본원에서 사용되는 바와 같이, 용어 "실질적으로", "약" 및 유사한 용어들은 근사의 용어들로서 사용되고 정도의 용어들로서 사용되지 않으며, 당업자에 의해 인정될 측정 또는 계산된 값들에 내재하는 변화들에 대해 말하는 것으로 의도된다.

본원에서 사용되는 바와 같이, 용어들 "사용한다", "사용하는" 및 "사용되는"은 각각 용어들 "활용하다", "활용하는" 및 "활용되는"과 동의어로 간주될 수 있다.

또한, 본원에서 언급되는 임의의 수의 범위는 언급된 범위 내에 포함되는 동일한 수의 정확도의 모든 하위 범위들을 포함하도록 의도된다. 예를 들어, "1.0 내지 10.0"의 범위는 1.0의 언급된 최소 값 및 10.0의 언급된 최대 값 사이(및 포함하는)의, 즉 1.0과 같거나 더 큰 최소 값 및 10.0과 같거나 더 작은 최대 값을 가지는 모든 하위 범위들, 예를 들어 2.4 내지 7.6을 포함하도록 의도된다. 본원에서 언급되는 임의의 최대의 수의 제한은 이 안에 포함되는 모든 더 낮은 수의 제한들을 포함하도록 의도되고 본 명세서에서 언급되는 임의의 최소의 수의 제한은 이 안에 포함되는 모든 더 높은 수의 제한들을 포함하도록 의도된다. 따라서, 출원인은 본원에서 명백하게 언급된 범위들 내에 포함되는 임의의 하위 범위를 명백하게 언급하기 위해 청구항들을 포함하여 본 명세서를 수정할 권한을 보유한다.

본원에서 기술되는 본 발명의 실시예들에 따른 디스플레이 장치 및/또는 임의의 다른 관련 디바이스들 또는 구성요소들은 임의의 적절한 하드웨어, 펌웨어(예를 들어, 주문형 반도체), 소프트웨어 또는 소프트웨어, 펌웨어 및 하드웨어의 적절한 결합을 활용하여 구현될 수 있다. 예를 들어, 디스플레이 장치의 다양한 구성요소들은 하나의 집적 회로(integrated circuit; IC) 칩 상에 또는 별개의 IC 칩들 상에 형성될 수 있다. 더욱이, 디스플레이 장치의 다양한 구성요소들은 플렉서블 인쇄 회로 필름(flexible printed circuit film), 테이프 캐리어 패키지(tape carrier package; TCP), 인쇄 회로 기판(printed circuit board; PCB) 상에 구현되거나 또는 디스플레이 장치와 동일한 기판 상에 형성될 수 있다. 더욱이, 디스플레이 장치의 다양한 구성요소들은 하나 이상의 컴퓨팅 디바이스들에서 본원에서 기술된 다양한 기능들을 수행하기 위해 컴퓨터 프로그램 명령들을 실행하고 다른 시스템 구성요소들과 상호 작용하는 하나 이상의 프로세서들 상에서 작동하는 프로세스 또는 스레드(thread)일 수 있다. 컴퓨터 프로그램 명령들은 예를 들어, 랜덤 액세스 메모리(random access memory; RAM)과 같은 표준 메모리 디바이스를 사용하여 컴퓨팅 디바이스 내에서 구현될 수 있는 메모리 내에 저장된다. 컴퓨터 프로그램 명령들은 또한 예를 들어, CD-ROM. 플래시 드라이브 등과 같은 다른 비일시적 컴퓨터 판독 가능 매체 내에 저장될 수 있다. 또한, 당업자는 본 발명의 예시 실시예들의 범위를 벗어나지 않고 다양한 컴퓨팅 디바이스들의 기능이 결합되거나 단일 컴퓨팅 디바이스로 통합될 수 있거나, 특정한 컴퓨팅 디바이스의 기능이 하나 이상의 다른 컴퓨팅 디바이스들에 걸쳐 분산될 수 있음을 인정해야만 한다.

본 명세서가 현재 본 발명의 실제적인 예시 실시예인 것으로 고려되는 것과 관련하여 기술되었을지라도, 본 발명은 이 개시된 실시예들로 제한되지 않고, 반대로 첨부된 청구항들 및 이들의 등가물들의 사상 및 범위 내에 포함되는 다양한 적절한 수정들 및 등가의 배열들을 포괄하도록 의도되는 것이 이해되어야 한다.

Claims

터치 입력에 시각적 피드백을 제공하는 방법으로서,
디스플레이에 결합되는 터치 센서로부터 복수의 터치 사건들을 수신하는 단계;
상기 복수의 터치 사건들에 기초하여 오버레이 세그먼트(overlay segment)를 생성하는 단계;
비디오 프레임들 중 한 비디오 프레임을 수신하는 단계;
합성 비디오 프레임을 생성하기 위해 상기 터치 사건들에 따라 상기 비디오 프레임을 상기 오버레이 세그먼트와 결합하는 단계; 및
상기 합성 비디오 프레임을 상기 디스플레이에 공급하는 단계
를 포함하고,
상기 오버레이 세그먼트를 생성하는 단계는:
추정 터치 경로를 둘러싸는 상기 비디오 프레임들의 유효 영역을 결정하는 단계;
상기 유효 영역에 대응하는 상기 비디오 프레임들의 렌더링된 비디오 프레임들의 부분들을 비교하여 상기 비디오 프레임들의 연속적인 렌더링된 비디오 프레임들의 차들을 결정하는 단계; 및
상기 연속적인 렌더링된 비디오 프레임들의 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 단계
를 포함하고,
상기 오버레이 세그먼트는 상기 연속적인 렌더링된 비디오 프레임들의 차들의 특성들과 정합하는
방법.
제 1 항에 있어서,
상기 비디오 프레임은 디스플레이된 라인을 포함하고, 그리고
상기 오버레이 세그먼트의 특성들은 상기 디스플레이된 라인의 특성들과 정합하는 방법.
제 1 항에 있어서,
상기 오버레이 세그먼트를 생성하는 단계는:
상기 터치 사건들의 장소들에 기초하여 상기 추정 터치 경로를 계산하는 단계; 및
상기 차들을 메모리 버퍼(memory buffer) 내에 저장하는 단계
를 더 포함하고,
상기 유효 영역에 대응하는 상기 비디오 프레임들의 상기 렌더링된 비디오 프레임들의 부분들을 비교하는 단계는, 상기 유효 영역에 대응하는 상기 렌더링된 비디오 프레임들의 부분들의 픽셀 별 비교를 포함하는 방법.
제 3 항에 있어서,
상기 저장되는 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 단계는 상기 오버레이 세그먼트에 상기 저장되는 차들의 픽셀들의 상대 속성(relative property)들을 유지하는 단계를 포함하는 방법.
제 4 항에 있어서,
상기 상대 속성들은 상기 추정 터치 경로를 따른 국지의 이동축들까지의 거리, 상기 픽셀들 사이의 공간 분리들 및 상기 픽셀들 사이의 컬러 그래디언트(color gradient)들을 포함하는 방법.
제 3 항에 있어서,
상기 저장되는 차들에 기초하여 오버레이 세그먼트를 생성하는 단계는 애플리케이션 프로세서에 의해 유입되는 지연에 대응하여 상기 저장되는 차들의 픽셀들을 상기 추정 터치 경로를 따른 장소들로 시프트(shift)하는 단계를 포함하는 방법.
제 3 항에 있어서,
상기 추정 터치 경로는 고정된 수의 프레임들에 대응하는 터치 사건들의 하위세트에 기초하여 계산되고, 그리고
상기 고정된 수의 프레임들은 애플리케이션 프로세서에 의해 유입되는 지연에 대응하는 방법.
제 1 항에 있어서,
상기 터치 사건들에 따라 상기 비디오 프레임을 상기 오버레이 세그먼트와 결합하는 단계는:
상기 터치 사건들에 기초하여 마스크(mask)를 생성하는 단계를 포함하고, 상기 마스크는 수치 값들의 매트릭스를 포함하고, 상기 수치 값들의 각각은 상기 합성 비디오 프레임을 제작하기 위한 동작을 식별하고,
상기 매트릭스 내의 수치 값들의 위치들은 상기 합성 비디오 프레임 내의 픽셀들의 위치들에 대응하는 방법.
제 8 항에 있어서,
상기 합성 비디오 프레임 내의 각 픽셀 별로, 상기 마스크 내의 대응하는 위치에 있는 값에 따라 상기 오버레이 세그먼트 또는 상기 비디오 프레임의 대응하는 픽셀을 출력할지를 결정하는 단계를 더 포함하는 방법.
제 8 항에 있어서,
상기 마스크의 수치 값들의 각각은 상기 합성 비디오 프레임 내의 하나의 픽셀에 대응하거나 또는 상기 합성 비디오 프레임 내의 하나를 초과하는 픽셀들에 대응하는 방법.
제 1 항에 있어서,
상기 터치 사건들은 포인팅 도구(pointing implement) 및 터치 센서 사이의 상호 작용의 결과로서 발생되는 방법.
터치 입력에 시각적 피드백을 제공하는 가속기로서,
프로세서; 및
내부에 저장되는 명령들을 가지는 메모리를 포함하고, 상기 명령들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
디스플레이에 결합되는 터치 센서로부터 복수의 터치 사건들을 수신하고;
상기 복수의 터치 사건들에 기초하여 오버레이 세그먼트를 생성하고;
비디오 프레임들 중 한 비디오 프레임을 수신하고;
합성 비디오 프레임을 생성하기 위해 상기 터치 사건들에 따라 상기 비디오 프레임을 상기 오버레이 세그먼트와 결합하고; 그리고
상기 합성 비디오 프레임을 상기 디스플레이에 공급하는 것을 수행하도록 하고,
상기 오버레이 세그먼트를 생성하는 단계는:
추정 터치 경로를 둘러싸는 상기 비디오 프레임들의 유효 영역을 결정하는 단계;
상기 유효 영역에 대응하는 상기 비디오 프레임들의 렌더링된 비디오 프레임들의 부분들을 비교하여 상기 비디오 프레임들의 연속적인 렌더링된 비디오 프레임들의 차들을 결정하는 단계; 및
상기 연속적인 렌더링된 비디오 프레임들의 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 단계
를 포함하고,
상기 오버레이 세그먼트는 상기 연속적인 렌더링된 비디오 프레임들의 차들의 특성들과 정합하는
가속기.
제 12 항에 있어서,
상기 오버레이 세그먼트를 생성하는 단계는:
상기 터치 사건들의 장소들에 기초하여 상기 추정 터치 경로를 계산하는 단계; 및
상기 차들을 메모리 버퍼 내에 저장하는 단계
를 더 포함하고,
상기 유효 영역에 대응하는 상기 비디오 프레임들의 상기 렌더링된 비디오 프레임들의 부분들을 비교하는 단계는, 상기 유효 영역에 대응하는 상기 렌더링된 비디오 프레임들의 부분들의 픽셀 별 비교를 포함하는
가속기.
제 13 항에 있어서,
상기 저장되는 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 것은 상기 오버레이 세그먼트에 상기 저장되는 차들의 픽셀들의 상대 속성들을 유지하는 것을 포함하고, 그리고
상기 상대 속성들은 상기 추정 터치 경로를 따른 국지의 이동축들까지의 거리들, 상기 픽셀들 사이의 공간 분리들 및 상기 픽셀들 사이의 컬러 그래디언트들을 포함하는 가속기.
제 13 항에 있어서,
상기 저장된 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 것은 애플리케이션 프로세서에 의해 유입되는 지연에 대응하여 상기 저장된 차들의 픽셀들을 상기 추정 터치 경로에 따른 장소들로 시프트하는 것을 포함하는 가속기.
제 13 항에 있어서,
상기 추정 터치 경로는 고정된 수의 프레임들에 대응하는 상기 터치 사건들의 하위세트에 기초하여 계산되고, 그리고
상기 고정된 수의 프레임들은 애플리케이션 프로세서에 의해 유입되는 지연에 대응하는 가속기.
제 12 항에 있어서,
상기 터치 사건들에 따라 상기 비디오 프레임을 상기 오버레이 세그먼트와 결합하는 것은:
상기 터치 사건들에 기초하여 마스크를 생성하는 것을 포함하고, 상기 마스크는 수치 값들의 매트릭스를 포함하고, 상기 수치 값들의 각각은 상기 합성 비디오 프레임을 제작하기 위한 동작을 식별하고,
상기 매트릭스 내의 상기 수치 값들의 위치들은 상기 합성 비디오 프레임 내의 픽셀들의 위치들에 대응하는 가속기.
제 17 항에 있어서,
상기 합성 비디오 프레임 내의 각 픽셀 별로, 상기 마스크 내의 대응하는 위치에 있는 값에 따라 상기 오버레이 세그먼트 또는 상기 비디오 프레임의 대응하는 픽셀을 출력할지를 결정하는 것을 더 포함하는 가속기.
터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스로서,
비디오 프레임들을 디스플레이하도록 구성되는 디스플레이;
터치 센서로서, 상기 디스플레이에 결합되고 포인팅 도구 및 상기 터치 센서 사이의 상호 작용의 결과로서 복수의 터치 사건들을 발생시키도록 구성되는, 상기 터치 센서;
프로세서; 및
내부에 저장되는 명령들을 가지는 메모리를 포함하고, 상기 명령들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
상기 터치 센서로부터 복수의 터치 사건들을 수신하고;
상기 복수의 터치 사건들에 기초하여 오버레이 세그먼트를 생성하고;
상기 비디오 프레임들의 비디오 프레임을 수신하고;
합성 비디오 프레임을 생성하기 위해 상기 터치 사건들에 따라 상기 비디오 프레임을 상기 오버레이 세그먼트와 결합하고; 그리고
상기 합성 비디오 프레임을 상기 디스플레이에 공급하는 것을 수행하도록 하고,
상기 오버레이 세그먼트를 생성하는 단계는:
추정 터치 경로를 둘러싸는 상기 비디오 프레임들의 유효 영역을 결정하는 단계;
상기 유효 영역에 대응하는 상기 비디오 프레임들의 렌더링된 비디오 프레임들의 부분들을 비교하여 상기 비디오 프레임들의 연속적인 렌더링된 비디오 프레임들의 차들을 결정하는 단계; 및
상기 연속적인 렌더링된 비디오 프레임들의 차들에 기초하여 상기 오버레이 세그먼트를 생성하는 단계
를 포함하고,
상기 오버레이 세그먼트는 상기 연속적인 렌더링된 비디오 프레임들의 차들의 특성들과 정합하는
터치 입력 프로세싱 디바이스.
제 19 항에 있어서,
상기 실행되는 명령들은 부가적으로 상기 프로세서로 하여금 상기 터치 입력 프로세싱 디스플레이 디바이스 외부에 있는 애플리케이션 프로세서로부터 상기 비디오 프레임들의 비디오 프레임을 수신하는 것을 수행하도록 하는 터치 입력 프로세싱 디바이스.