KR102199355B1

KR102199355B1 - 이미지 오버레이를 사용하여 디스플레이 지연을 감소시키는 방법 및 장치

Info

Publication number: KR102199355B1
Application number: KR1020140047685A
Authority: KR
Inventors: 세토 프랭크; 시옹 웨이
Original assignee: 삼성디스플레이 주식회사
Priority date: 2013-04-22
Filing date: 2014-04-21
Publication date: 2021-01-07
Also published as: CN104111793B; KR20140126263A; TW201510877A; JP2014216013A; EP2799961A1; CN104111793A; EP2799961B1; AU2014202127A1; TWI611354B; JP6560484B2; US20140313144A1; US9383840B2; AU2014202127B2

Abstract

시스템은 복수의 터치 사건들을 수신하고 터치 사건들에 기초하여 출력을 생성하도록 구성되는 터치 경로 로직; 및 비디오 이미지를 수신하고, 터치 경로 로직의 출력을 수신하고, 터치 경로 로직의 출력에 따라 비디오 이미지를 오버레이 데이터와 결합하여 결합된 디스플레이 이미지를 생성하고, 결합된 디스플레이 이미지를 출력하도록 구성되는 렌더링 로직을 포함한다.

Description

이미지 오버레이를 사용하여 디스플레이 지연을 감소시키는 방법 및 장치{A METHOD AND APPARATUS TO REDUCE DISPLAY LAG USING IMAGE OVERLAY}

본 특허 출원은 "A Method and Apparatus to Reduce Display Lag Using Image Overlay"라는 명칭으로 2013년 4월 22일에 제출되고, 전체 내용이 본원에 참조로서 통합되어 있는 미국 예비 출원 일련번호 61/814,750의 우선권 및 이점을 주장한다.

본 발명의 실시예들은 터치 입력 디바이스들을 구비하는 디스플레이 디바이스들에 관한 것으로, 더 구체적으로, 터치 입력 디바이스 및 디스플레이 디바이스 사이의 디스플레이 지연(display lag)을 감소시키는 시스템들 및 방법들에 관한 것이다.

중첩되어 있는 터치 센서 패널(panel)들에 통합되거나 결합되는 디스플레이 패널들은 모바일 전화기들, 태블릿 컴퓨터들, 랩탑 컴퓨터들 및 데스크탑 컴퓨터들과 같은 터치-가능 컴퓨팅 디바이스에 상호 작용 시스템(interaction system)을 제공한다. 그와 같은 컴퓨팅 디바이스들에서, 디스플레이 패널 상에 그래픽들이 디스플레이되고 사용자는 스크린을 터치하여(예를 들어 능동 스타일러스, 수동 스타일러스, 또는 손가락과 같은 신체의 일부를 사용하여) 이 디바이스들과 상호 작용함으로써, 직관적인 사용자 인터페이스가 제공될 수 있다.

터치 센서 패널들에 의해 검출되는 터치 사건(touch event)들은 전형적으로 디바이스의 애플리케이션 프로세서(application processor; AP) 상에서 가동되는 고레벨 애플리케이션 소프트웨어에 의해 프로세싱된다. 터치 센서 패널 및 AP 사이의 많은 프로세싱 단계들과 AP 상에서의 비결정성(non-deterministic) 프로세싱 시간(AP에 의해 수행되는 다른 계산 업무들로 인한 지연들을 포함한다)으로 인해 사용자의 터치 입력에 대한 컴퓨팅 디바이스의 응답성(responsiveness)을 감소시키는 고레벨의 대기 시간(latency)이 도입된다.

일부 경험 연구들은 대부분의 사람들이 터치하는 것과 보는 것과 같은 감각들 사이에서 심지어 30 밀리초의 비동시성(asynchrony)도 검출할 수 있음을 지적해왔다(예를 들어, London Taylor & Francis Group의, Keetels, M. 및 Vroomen, J의(2012) Perception of Synchrony Between the Senses, 그리고 M. M. Murray 및 M. T. Wallace (Eds)의 Frontiers in the neural basis of multisensory processes (페이지 147-177)을 참조할 것). 50 내지 200 밀리초들의 지연들은 이 컴퓨팅 디바이스의 사용자들 대부분이 검출할 수 있을 것이고, 이는 사용자의 입력에 피드백을 즉각 제공하도록 디바이스를 컴퓨팅하지 못하므로 사용자의 불만의 증가로 이어질 수 있다.

본 발명의 실시예들의 양태들은 터치 사건 및 이 터치 사건에 대한 디스플레이 응답 사이의 대기 시간(latency)을 감소시키는 것에 관한 것이다.

본 발명의 하나의 실시예에 따르면, 시스템은: 복수의 터치 사건(event)들을 수신하고 터치 사건들에 기초하여 출력을 생성하도록 구성되는 터치 경로 로직(logic); 및 렌더링 로직(rendering logic)을 포함하고, 렌더링 로직은; 비디오 이미지를 수신하고; 터치 경로 로직의 출력을 수신하고; 결합된 디스플레이 이미지를 생성하기 위해 터치 경로 로직의 출력에 따라 비디오 이미지를 오버레이 데이터와 결합시키고; 결합된 디스플레이 이미지를 출력하도록 구성된다.

비디오 이미지는 디스플레이된 라인을 포함할 수 있고, 오버레이 데이터의 특성들은 디스플레이된 라인의 특성들과 정합할 수 있다.

상기 특성들은 컬러를 포함할 수 있다.

터치 경로 로직은 애플리케이션 프로세서의 구성요소일 수 있고, 애플리케이션 프로세서는 비디오 이미지를 생성하도록 구성된다.

터치 경로 로직은 디스플레이 구동기 인터페이스 제어기의 구성요소일 수 있고, 디스플레이 구동기 인터페이스 제어기는 애플리케이션 프로세서로부터 비디오 이미지를 수신하고 결합된 디스플레이 이미지를 디스플레이 패널에 공급하도록 구성될 수 있다.

터치 경로 로직은 터치 센서 패널에 결합되는 터치 제어기의 구성요소일 수 있고, 터치 제어기는 터치 센서 패널로부터 복수의 터치 신호들을 수신하고 터치 사건들을 생성하도록 구성될 수 있다.

터치 경로 로직은 터치 센서 패널로부터 터치 사건들을 수신하고 수신된 터치 사건들에 따라 마스크 데이터를 생성하도록 구성될 수 있고, 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 수치들의 각각은 결합된 디스플레이 이미지를 제작하기 위해 렌더링 로직의 동작을 식별하고, 매트릭스 내의 수치들의 위치들은 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응할 수 있다.

렌더링 로직은 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터 내의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 또는 오버레이 데이터를 출력할지를 결정함으로써, 비디오 이미지를 오버레이 데이터와 결합하도록 구성될 수 있다.

렌더링 로직은 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터 내의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 및 오버레이 데이터를 혼합하는 방법을 결정함으로써, 비디오 이미지를 오버레이 데이터와 결합하도록 구성될 수 있다.

혼합은 에지-향상 동작, 더지(dodge) 동작, 번(burn) 동작 또는 알파 합성(alpha compositing) 효과일 수 있다.

마스크 데이터의 수치들의 각각은 결합된 디스플레이 이미지 내의 정확히 하나의 픽셀에 대응할 수 있다.

마스크 데이터의 수치들의 각각은 결합된 디스플레이 이미지 내의 하나 이상의 픽셀에 대응할 수 있다.

오버레이 데이터는 복수의 페이지들을 포함할 수 있고, 마스크 데이터는 복수의 페이지들 중 적어도 하나는 식별하는 정보를 포함할 수 있다.

터치 경로 로직은: 파라미터를 수신하고; 터치 사건들에 따라 추정 터치 경로를 계산하고, 추정 터치 경로 및 파라미터에 따라 마스크 데이터를 생성하도록 더 구성될 수 있고, 여기서 파라미터는 마스크 영역의 위치를 제어하거나 추정 터치 경로의 폭, 스타일 또는 형상을 제어한다.

시스템은 비디오 이미지를 생성하도록 구성되는 애플리케이션 프로세서를 더 포함할 수 있고, 여기서 렌더링 로직은 애플리케이션 프로세서의 구성요소일 수 있다.

렌더링 로직은 터치 사건들의 하위 세트에 기초하여 비디오 이미지를 오버레이 데이터와 결합하도록 더 구성될 수 있고, 하위 세트는 고정된 수의 비디오 이미지들에 대응한다.

렌더링 로직은 비디오 이미지를 렌더링 로직에 공급하도록 구성되는 애플리케이션 프로세서에 의해 도입되는 지연에 대응하는 다수의 비디오 이미지들에 대응하는 터치 사건들의 하위 세트에 기초하여 비디오 이미지를 오버레이 데이터와 결합하도록 더 구성될 수 있다.

렌더링 로직은 비디오 이미지를 렌더링 로직에 공급하도록 구성되는 애플리케이션 프로세서의 이전의 렌더링된 출력으로부터 계산되는 다수의 비디오 이미지들에 대응하는 터치 사건들의 하위 세트에 기초하여 비디오 이미지를 오버레이 데이터와 결합하도록 더 구성될 수 있다.

오버레이 데이터는 비트맵된 이미지를 포함할 수 있다.

오버레이 데이터는 단일 컬러 값을 가질 수 있다.

렌더링 로직은 애플리케이션 프로세서로부터의 입력 없이 오버레이 데이터를 생성하도록 구성될 수 있다.

렌더링 로직은 애플리케이션 프로세서로부터 공급되는 데이터 및 시스템 내부의 데이터를 사용하여 오버레이 데이터를 생성하도록 구성될 수 있다.

렌더링 로직은 애플리케이션 프로세서로부터 오버레이 데이터를 수신하도록 구성될 수 있다.

터치 사건들은 포인팅 도구 및 터치 입력 패널 사이의 상호 작용의 결과로서 발생될 수 있다.

본 발명의 하나의 실시예에 따르면, 터치 입력에 시각적 피드백을 제공하는 방법은: 디스플레이에 결합된 터치 센서 패널로부터 복수의 터치 사건들을 수신하는 단계; 비디오 이미지를 수신하는 단계; 결합된 디스플레이 이미지를 생성하기 위해 터치 사건들에 따라 비디오 이미지를 오버레이 데이터와 결합시키는 단계; 및 결합된 디스플레이 이미지를 디스플레이에 공급하는 단계를 포함한다.

상기 방법은 파라미터를 수신하는 단계; 및 터치 사건들에 따라 추정 터치 경로를 계산하는 단계를 더 포함할 수 있고, 여기서 비디오 이미지는 추정 터치 경로 및 파라미터에 따라 오버레이 데이터와 결합될 수 있고, 파라미터는 결합된 디스플레이 이미지에서의 오버레이 데이터의 위치를 제어할 수 있거나 추정 터치 경로의 폭, 스타일 또는 형상을 제어할 수 있다.

상기 방법은 터치 사건들에 따라 추정 터치 경로를 계산하는 단계를 더 포함할 수 있고, 여기서 비디오 이미지는 추정 터치 경로에 따라 오버레이 데이터와 결합될 수 있고, 추정 터치 경로는 고정된 수의 프레임들에 대응하는 터치 사건들의 하위 세트에 기초하여 계산될 수 있다.

상기 방법은 터치 사건들에 따라 추정 터치 경로를 계산하는 단계를 더 포함할 수 있고, 여기서 비디오 이미지는 추정 터치 경로에 따라 오버레이 데이터와 결합될 수 있고, 추정 터치 경로는 애플리케이션 프로세서에 의해 도입되는 지연에 대응하는 다수의 프레임들에 대응하는 터치 사건들의 하위 세트에 기초하여 계산될 수 있다.

상기 방법은 터치 사건들에 따라 추정 터치 경로를 계산하는 단계를 더 포함할 수 있고, 여기서 비디오 이미지는 추정 터치 경로에 따라 오버레이 데이터와 결합될 수 있고, 추정 터치 경로는 애플리케이션 프로세서의 이전의 렌더링된 출력으로부터 계산되는 다수의 프레임들에 대응하는 터치 사건들의 하위 세트에 기초하여 계산될 수 있다.

오버레이 데이터는 비트맵된 이미지를 포함할 수 있다.

오버레이 데이터는 단일 컬러값을 가질 수 있다.

상기 방법은 애플리케이션 프로세서로부터의 입력 없이 오버레이 데이터를 생성하는 단계를 더 포함할 수 있다.

상기 방법은 애플리케이션 프로세서로부터 공급되는 데이터 및 내부 데이터를 사용하여 오버레이 데이터를 생성하는 단계를 더 포함할 수 있다.

상기 방법은 애플리케이션 프로세서로부터 오버레이 데이터를 수신하는 단계를 더 포함할 수 있다.

결합된 디스플레이 이미지를 생성하기 위해 터치 사건들에 따라 비디오 이미지를 오버레이 데이터와 결합하는 단계는: 터치 사건들에 기초하여 마스크 데이터를 생성하는 단계로서, 마스크 데이터는 수치들의 매트릭스를 포함하고, 수치들의 각각은 결합된 디스플레이 이미지를 제작하기 위한 동작을 식별하는, 생성하는 단계를 포함할 수 있고, 여기서 매트릭스 내의 수치들의 위치들은 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응한다.

상기 방법은 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터에서의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 또는 오버레이 데이터를 출력할지를 결정하는 단계를 더 포함할 수 있다.

상기 방법은 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터에서의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 및 오버레이 데이터를 혼합하는 방법을 결정하는 단계를 더 포함할 수 있다.

혼합은 에지-향상 동작, 더지 동작, 번 동작 또는 알파 합성 효과일 수 있다.

마스크 데이터의 수치들의 각각은 결합된 디스플레이 이미지 내의 하나 이상의 픽셀들에 대응할 수 있다.

오버레이 데이터는 복수의 페이지들을 포함할 수 있고, 마스크 데이터는 복수의 페이지들 중 적어도 하나를 식별하는 정보를 포함할 수 있다.

본 발명의 하나의 실시예에 따르면, 터치 센서 패널, 애플리케이션 프로세서 및 디스플레이를 포함하는 디스플레이 디바이스 상에 드로잉되는 경로에 응답하여 피드백을 제공하는 가속기는: 프로세서; 및 내부에 명령들이 저장되는 메모리를 포함하고, 명령들은 프로세서에 의해 실행될 때, 프로세서로 하여금: 애플리케이션 프로세서로부터 렌더링된 비디오 프레임들을 수신하고; 터치 센서 패널로부터 복수의 터치 신호들을 수신하고; 터치 신호들에 기초하여 터치 경로를 결정하고; 갱신된 비디오 프레임들을 생성하기 위해 터치 경로 및 저장된 오버레이 데이터에 기초하여 렌더링된 비디오 프레임들을 갱신하고, 갱신된 비디오 프레임들을 디스플레이로 출력하도록 할 수 있다.

첨부 도면들은 명세서와 함께 본 발명의 예시적인 실시예들을 설명하고, 상기 기술과 함께, 본 발명의 원리들을 설명하는 역할을 한다.
도 1a는 종래의 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하고, 도 1b는 본 발명의 실시예들에 따른 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하는 도면이다.
도 2는 본 발명의 실시예들의 하나의 양태에 따른 저 대기 시간 피드백 경로 및 종래의 피드백 경로 모두의 개략적인 도면이다.
도 3은 본 발명의 하나의 실시예에 따른 저 대기 시간 오버레이 시스템을 포함하는 디바이스를 도시하는 블록도이다.
도 4는 본 발명의 하나의 실시예에 따른 저 대기 시간 오버레이 시스템 내의 구성요소들을 도시하는 블록도이다.
도 5는 본 발명의 하나의 실시예에 따라, 제 1 결합 디스플레이 이미지를 생성하는 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도이다.
도 6은 본 발명의 하나의 실시예에 따라, 제 2 결합 디스플레이 이미지를 생성하는 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도이다.
도 7은 본 발명의 하나의 실시예에 따라 오버레이 데이터의 적용을 결정하고 오버레이 데이터를 비디오 이미지와 결합하는 방법을 도시하는 흐름도이다.

다음의 상세한 설명에서, 예를 통해 단지 본 발명의 특정한 예시적인 실시예들만이 도시되고 기술된다. 당업자가 인식하는 바와 같이, 본 발명은 많은 상이한 형태들로 구현될 수 있고 본원에서 열거되는 실시예들로 제한되는 것으로 해석되어서는 안 된다. 동일한 참조 번호들을 명세서 전체에 걸쳐 동일한 요소들을 지정한다.

본 발명의 실시예들은 애플리케이션 프로세서가 렌더링하는 이미지 이전에 터치 위치들에 기초하여 이미지를 디스플레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다.

터치 인터페이스들을 위해 설계되는 소프트웨어는, 시각적 피드백(예를 들어, 스와이핑(swiping) 또는 제스처-기반 온-스크린 키보드에서의 손가락의 자취에 대한, 드로잉 또는 스케치북 애플리케이션에서의 경로의 자취에 대한, 그리고 게임에서 드로잉(drawing)되는 경로에 대한)을 제공하기 위해 스크린 상에서의 경로들의 드로잉 및/또는 가상 "현실 세계"(pseudo "real-world") 물체들의 직접적인 물리적 조작의 메타포(metaphor)를 흔히 사용한다.

모바일 전화기들에 대한 흔한 불만은 사용자 인터페이스(user interface; UI)의 지연이다. 현재의 모바일 전화기들에서는 전형적으로 터치 행위에 응답하여 디스플레이를 업데이트하는 데 50 내지 20 밀리초가 소요된다. 예를 들어, Samsungㄾ Galaxy Noteㄾ 2에서 측정되는 바와 같은 터치 사건에 대한 전형적인 디스플레이 응답시간은 초당 60 프레임(frames per second; FPS)의 리프레시율(refresh rate)에 기초하여, 100 밀리초들보다 더 크거나 또는 대략 6 프레임 이상의 비디오 이미지들일 수 있고, 이는 상당 부분의 사용자들에 의해 인지 될 수 있다.

도 1a는 유사한 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하고, 여기서 디스플레이된 라인(100)에는 손가락의 위치 및 디스플레이된 라인(100)의 최종 드로잉된 부분 사이에 갭(102)이 있음으로써, 사용자의 터치 및 디스플레이된 라인 사이에 현저한 디스플레이 지연이 발생된다. 또한 스타일러스를 사용할 때, 그것이 능동이거나 수동이던지 간에, 전형적으로 유사한 디스플레이 지연에 마주하게 된다.

본 발명의 실시예들은 AP에 의해 렌더링되는 이미지에 앞서 터치 경로들에서 이미지를 오버레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다. 스크린 상에서의 사용자의 터치 지점(손가락, 스타일러스 또는 다른 도구를 사용하는지 간에) 및 라인의 드로잉 사이의 갭을 좁힘으로써, 감지되는 디스플레이 지연이 감소될 수 있다. 본원에서 사용되는 바와 같이, 동사로서 사용될 때 용어 "오버레이"는 비디오 이미지들(예를 들어 AP가 렌더링하는 이미지) 및 추가 이미지 데이터를 결합하여 추가 이미지 데이터가 원 비디오 이미지들의 일부분을 대체(또는 "오버레이")하도록 하는 것을 칭한다. 명사로서 사용될 때 용어 "오버레이"는 또한 결합된 디스플레이 이미지에서 상기 추가 이미지 데이터의 외형을 칭할 수 있다.

게다가, 오버레이 방법을 사용함으로써, 애플리케이션 소프트웨어는 또한 터치 사건에 대해 디스플레이되는 응답의 영역(예를 들어 디스플레이 상의 위치), 컬러 및 렌더링 동작을 제어할 수 있다.

도 1b는 본 발명의 실시예들에 따라 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 디스플레이된 응답을 도시하고, 여기서 디스플레이된 라인은 본 발명의 실시예들에 따른 저 대기 시간 오버레이 시스템에 의해 드로잉되는 추정 또는 계산 부분(104)을 포함함으로써, 사용자에 의해 감지되는 디스플레이 지연을 감소시킨다.

도 2를 참조하면, 컴퓨팅 디바이스(250)에서, 유사 시스템들에 대한 대안으로서, 본 발명의 실시예들은, 애플리케이션 프로세서(202)를 통과하는 종래의 대기 시간 경로(210)를 통하는 종래의 대기 시간 레벨들의 비디오 이미지들에 선행하여, 터치 제어기(200) 및 디스플레이 구동기 인터페이스 제어기(display driver interface controller; DDIC)(204)를 통과하는 저 대기 시간 경로(212)를 통하는 시각적 피드백을 즉각적으로 또는 더 신속하게 제공하는 저 대기 시간 오버레이 시스템("가속기(accelerator)" 또는 "시각적 피드백 가속기"로서 칭해질 수 있다)에 관한 것이다.

도 3을 참조하면, 전형적으로 터치 스크린 시스템 및 디스플레이 시스템은 독자적으로 동작한다. 터치 제어기(200)는 터치 센서 패널(300)로부터의 터치 신호들(302)을 프로세싱하고 좌표들과 같은 이 터치 사건들(304)을 애플리케이션 프로세서(AP)(202)로 출력한다.

도 3을 참조하면, 터치 센서 패널(300)은 사용자의 터치들을 검출하도록 구성되고, 데이터 버스를 통해 터치 제어기(200)로 공급되는 터치 신호들(302)을 생성한다. 본 발명의 실시예들은 신체의 일부(예를 들어, 손가락), 스타일러스 등과 같은 임의의 유형의 포인팅 도구를 사용하는 사용자의 터치를 검출하는 터치 센서 패널들(300)과 함께 사용될 수 있다. 본원에서 사용되는 바와 같이, 용어 "포인팅 도구(pointing implement)"는 디바이스들(능동형 스타일러스 및 수동형 스트일러스와 같은) 및 신체의 일부들(손가락 또는 머리와 같은)을 포함하여 터치 센서 패널(300)에 의해 검출될 수 있는 물체들을 칭한다. 본 발명의 실시예들은 저항성 터치 패널들, 표면 탄성파 터치 패널들, 용량성 터치 패널들, 적외선 터치 패널들, 광 터치 패널들과 같은 다양한 유형들의 터치 입력 패널들 중 임의의 패널과 함께 사용될 수 있다. 하나의 실시예에서, 터치 신호들(302)은 터치 센서 패널 내의 각각의 위치에 대한 커패시턴스 또는 전압 또는 전류의 측정치들과 같이, 터치 센서 패널(300)에 의해 공급되는 원 데이터(raw data)에 대응한다. 터치 사건들(304)에 대한 데이터 버스는 AP(202) 및 저-대기 시간 오버레이 시스템(310) 모두에 접속된다. 터치 사건들(304)은 사용자에 의한 터치들이 검출되었던 위치들(예를 들어, 터치 사건의 검출을 이루는 데 충분히 높은 값의 커패시턴스 또는 전압 또는 전류의 변경들)에 대응하는 데이터 값들의 스트림일 수 있다. 일부 실시예들에서, 터치 사건들(304)은 터치 센서 패널에 가해졌던 압력을 나타내는 압력 데이터를 포함한다.

AP(202)는 터치 사건들(304)을 프로세싱하고, AP로부터 가동되는 애플리케이션 소프트웨어는 디스플레이 패널(322) 상에 디스플레이하기 위해 비디오 이미지들(316)(또는 프레임들 또는 비디오 이미지들)을 DDIC(204)에 렌더링함으로써, 상기 프로세싱에 맞춰 디스플레이 합성을 갱신한다. AP(202)는 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphical processing unit; GPU) 및 메모리를 포함할 수 있다.

AP(202)는 DDIC(204)에 접속되고, DDIC(204)는 차례로 디스플레이 패널(322)에 접속된다. DDIC(204)는 AP(202)로부터 비디오 이미지들(316)을 수신하고 픽셀 구동 신호들(320)을 디스플레이 패널(322)로 공급한다.

하나의 실시예에서, 터치 센서 패널(300), 터치 제어기(200), DDIC(204) 및 디스플레이 패널(322)은 디스플레이 모듈의 모든 구성요소들이고, 이것들은 애플리케이션 프로세서(202)와 별개일 수 있다. 다른 실시예에서, 터치 센서 패널(300), 터치 제어기(200), DDIC(204) 및 디스플레이 패널(322) 또는 이들의 결합들은 별개의 모듈들에 위치되거나 애플리케이션 프로세서(202)와 결합될 수 있다.

DDIC(204)는 애플리케이션 프로세서(202)로부터 수신되는 비디오 이미지들(또는 비디오 이미지들의 프레임들)(316)을 프로세싱하고 픽셀 구동 신호들(320)을 디스플레이 패널로 출력한다.

파라미터(312) 및 오버레이 데이터(314)의 기능들은 아래에서 더 상세하게 기술될 것이다.

본 발명의 실시예들에 따르면, 저-대기 시간 오버레이 시스템(310)은 디스플레이 패널(322)이 유사한 구현들에서보다 터치 사건에 대한 시각적 응답들을 더 빠르게 나타낼 수 있도록 터치 사건들(304)을 비디오 이미지들(316)로 프로세싱한다. 일부 유사한 디바이스들에서의 대략 6 프레임 이상의 디스플레이 지연과는 대조적으로, 본 발명의 실시예들은 지연을 1 내지 2 프레임들로 감소시킬 수 있다.

더 상세하게, 도 4는 본 발명의 하나의 실시예에 따른 저 대기 시간 오버레이 시스템(310)을 포함하는 디바이스를 도시하는 블록도이다. 도 4를 참조하면, 본 발명의 실시예들은 4개의 주요 부분들을 포함한다: 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404). 오버레이 시스템(310)은 DDIC(204)의 구성요소로서 포함될 수 있거나 오버레이 시스템(310)의 일부들은 DDIC(204) 또는 AP(202)에 포함될 수 있고 다른 일부들은 터치 제어기(200)에 포함될 수 있다.

도 4에 도시되는 바와 같이, 하나의 실시예에서 터치 경로 로직(400)은 터치 제어기(200)에 접속되고 터치 제어기(200)로부터 터치 사건들(204)을 수신한다. 터치 경로 로직(400)은 또한 구성 파라미터들(312)을 수신하기 위해 AP(202)에 접속될 수 있다. 터치 경로 로직(400)은 렌더링 로직(404)에 의해 사용되는 마스크 버퍼(402)에 접속된다.

하나의 실시예에 따르면, 오버레이 버퍼(406)는 AP(202)에 접속되고 AP(202)로부터 수신되는 오버레이 데이터(314)를 저장하는 DDIC(204) 내의 메모리 디바이스이다. 오버레이 버퍼(406)는 렌더링 로직(404)에 저장된 오버레이 데이터(314)를 공급하도록 구성된다. 그러나, 본 발명의 실시예들은 이로 제한되지 않는다. 예를 들어, 하나의 실시예에서, 오버레이 데이터(314)는 AP(202)로부터의 입력들 없이 오버레이 시스템(310) 내에서 만들어질 수 있다. 또 다른 실시예에서, 오버레이 데이터(314)는 오버레이 시스템(310) 내부에서 만들어진 데이터 및 AP(202)로부터의 입력들에 대응하는 데이터의 결합일 수 있다.

하나의 실시예에 따르면, 렌더링 로직(404)은 AP(202) 및 오버레이 버퍼(406)에 결합되고 마스크 데이터(500)에서의 값들에 따라 오버레이 데이터(314)를 비디오 이미지들(316)과 결합하도록 구성된다. 렌더링 로직(404)의 출력은 오버레이 데이터(314) 및 비디오 이미지들(316)의 결합된 디스플레이 이미지들을 디스플레이 패널(322)에 픽셀 구동 신호들(320)로 공급하기 위해 디스플레이 패널(322)에 접속된다.

그러나, 본 발명의 실시예들은 이로 제한되지 않는다.

예를 들어, 하나의 실시예에서, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)은 각각 상이한 주문형 반도체(application specific integrated circuit; ASIC)들을 사용하여 구현된다. 본 발명의 다른 실시예들에서, 모든 기능들을 구현하기 위해 단일 ASIC이 사용된다. 본 발명의 더 다른 실시예들에서, 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA)는 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)의 기능들을 수행하도록 프로그램된다. 대안으로, 범용 프로세서는 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)의 각각의 기능들을 수행하도록 프로그램될 수 있다(예를 들어, 범용 프로세서에 접속되는 메모리 내에 저장되는 명령들로). 더 다른 실시예들에서, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404) 중 하나 이상의 기능은 애플리케이션 프로세서(202)의 구성요소들로서 구현된다.

더욱이, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)이 도 4에서 DDIC(204)의 구성요소들로서 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않는다. 일부 실시예들에서, 터치 경로 로직(400), 오버레이 버퍼(314) 및 마스크 버퍼(402) 및 렌더링 로직(404)(또는 이 기능들을 수행할 수 있는 구성요소들) 중 하나 이상은 예를 들어 터치 제어기(200), AP(202) 내에 또는 별개의 구성요소로서 위치된다. 게다가, 이 구성요소들 또는 이들이 수행하는 기능들은 디바이스의 상이한 부분들에 위치될 수 있다. 예를 들어, 터치 경로 로직(400)은 터치 제어기(200)의 구성요소 또는 기능으로 구현될 수 있고, 오버레이 버퍼(406) 및 렌더링 로직(404) 이 둘 모두는 AP(202)의 구성요소(또는 구성요소들) 또는 기능(또는 기능들)로 구현될 수 있다.

게다가, 터치 제어기(200)가 물리적으로 별개의 구성요소로서 도시될지라도, 본 발명의 일부 실시예들에서 터치 제어기(200)는 더 큰 집적 회로의 일부일 수 있다. 예를 들어, 터치 제어기는 AP 및/또는 DDIC와 함께 동일한 집적 회로 내에 구현될 수 있다.

도 5는 본 발명의 하나의 실시예에 따라, N번째 프레임 동안 결합된 디스플레이 이미지(510)의 제 1 세트를 생성하기 위한(예를 들어, 프레임(N)을 생성하기 위한) 비디오 이미지들(316)(또는 비디오 이미지들의 프레임들), 오버레이 데이터(314) 및 터치 사건들(304)의 결합의 개략적인 도면이다. 도 5를 참조하면, 터치 경로 로직(400)은 터치 제어기로부터의 터치 사건들(304)을 프로세싱하고 다수의 이전의 연속 프레임들(예를 들어 지나간 X개의 프레임들)에 걸쳐 수신된 터치 사건들의 하위 세트, 예를 들어 연속하는 터치 사건들의 세트의 위치들 사이에서 내삽(interpolation) 및/또는 외삽(extrapolation)함으로써 추정 터치 경로를 생성한다. 추정 터치 경로는 그 후에 터치 경로 로직(400)에 의해 마스크 버퍼(402) 내에 저장되는 마스크 데이터(500)를 생성하는 데 적용된다. 렌더링 로직은 마스크 데이터(500)에 따라 오버레이 버퍼(406) 내에 저장된 오버레이 데이터(314)를 AP(202)로부터의 프레임(N)에 대한 비디오 이미지와 결합시키고 오버레이 데이터(314) 및 비디오 이미지들(316) 중에서 선택(또는 이 둘을 혼합)함으로써 결합된 디스플레이 이미지(510)를 생성한다.

하나의 실시예에 따르면, 마스크 데이터(500)는 수치들의 매트릭스이고, 여기서 매트릭스 내의 위치는 디스플레이 패널(322) 내의 픽셀(또는 픽셀들)의 위치에 대응하고 매트릭스 내의 값들의 상대 위치들은 디스플레이 패널(322) 내의 픽셀들의 상대 위치들에 대응한다(예를 들어, 마스크 데이터(500)는 결합된 디스플레이 이미지(510) 내의 픽셀 위치들의 2차원 맵에 대응하는 2차원 매트릭스로서 간주될 수 있다). 하나의 실시예에 따르면, 마스크 데이터(500)의 값들의 각각은 단일 비트로서 표현되고 마스크 데이터 매트릭스에서의 값들의 위치들은 결합된 디스플레이 이미지 내의 위치들에 대응한다. 결합된 디스플레이 이미지에서 오버레이 데이터가 보여야 하는 위치들은 제 1 값(예를 들어, "1")으로 세팅된 값들을 가지고 오버레이 데이터가 보이지 않아야 하는(예를 들어 비디오 이미지 데이터가 보여야 하는) 위치들은 상이한 제 2 값(예를 들어, "0")으로 세팅된 값들을 가진다.

본 발명의 하나의 실시예들에 따르면, 마스크 데이터(500)에서의 수치들 각각은 다수의 비트들(예를 들어 8-비트들)에 의해 표현되고, 여기서 마스크 데이터(500)의 수치는 디스플레이 내의 각각의 장소에서의 오버레이 데이터의 "투명도(transparency)"를 칭한다. 본원에서 사용되는 바와 같이, 용어 "투명도"는 오버레이 데이터(314) 및 비디오 이미지(316)를 혼합(예를 들어 병합)하여 결합된 디스플레이 이미지(510)가 오버레이 데이터(314) 및 비디오 이미지(316) 이 둘 모두의 특성들을 취하도록 하는 것을 나타낸다.

렌더링 로직(404)에 의해 마스크 버퍼(402)를 사용하는 것이 아래에서 더 상세하게 기술될 것이다.

하나의 실시예에서, 각각의 비디오 프레임에 대해, 터치 경로 로직(400)은 고정된 수의 비디오 프레임들에 대응하는 터치 사건들의 하위 세트에 기초하여 추정 터치 경로를 생성한다.

다른 실시예에서, 비디오 프레임들의 수는 AP(202)로부터의 디스플레이 지연과 일치하도록 구성 가능하다.

다른 실시예에서, 터치 경로 로직(400)은 가변하는 수효의 비디오 프레임들에 대한 터치 경로를 생성한다. 비디오 프레임들의 수는 AP(202)로부터의 지나간 비디오 이미지들(316)에 기초하여 외부 로직으로부터 결정될 수 있다.

파라미터들의 세트(312)는 경로가 생성될 때 추정 터치 경로의 특성들을 통제한다. 이 파라미터들은 기동 디폴트(start-up default)를 가질 수 있으나, 소프트웨어 또는 다른 수단에 의해 런타임 동안 필요에 따라 조정될 수 있다. 이 파라미터들은 다음을 포함하지만 이로 제한되지 않는다: 생성되는 경로의 폭; 단일 직선 세그먼트들 및 곡선들과 같이 생성되는 라인 세그먼트들의 스타일; 경로가 허용되는 디스플레이의 영역(예를 들어 활성 드로잉 에어리어); 및 렌더링 동작의 스타일(예를 들어 안티에일리어싱(antialiasing) 동작들, 스무딩(smoothing) 동작들 및 투명화).

예를 들어, 본 발명의 실시예들이 드로잉용 소프트웨어 애플리케이션(예를 들어, 디지털 스케치북)의 상황에서 사용될 때, 결합된 디스플레이 이미지(510)의 일부인 오버레이 이미지 세그먼트(508)(또한 컴퓨팅된 부분(104)으로 칭해질 수 있다)는 단지 활성 드로잉 에어리어에 대응하는 디스플레이의 부분들에 적용된다. 오버레이 시스템(310)은 일반적으로 활성 드로잉 에어리어의 외부에 있는 디스플레이의 부분들에 걸쳐 오버레이 데이터를 적용하지 않는다. 그와 같은 바와 같이, 파라미터들(312)은 추정 터치 경로를 활성 드로잉 에어리어에 대응하는 디스플레이의 부분들로 제한하도록 세팅될 수 있다. 다른 예에서, 파라미터들(312)은 드로잉된 라인의 라인 폭을 포함할 수 있다. 터치 경로 로직(400)은 AP(202)로부터의 AP-생성 라인(또는 이미지 세그먼트)에 앞서 마스크 데이터(500)에 상기 라인의 형상을 렌더링하기 위해 이 파라미터를 터치 사건들(304)로부터의 압력 데이터와 함께 이용할 것이다. (이미지 세그먼트(506)는 또한 디스플레이 라인(100)으로 칭해질 수 있다).

비디오 이미지(316)의 각각의 픽셀이 렌더링 로직(404)에 의해 프로세싱될 때, 렌더링 로직(404)은 마스크 데이터 내의 값의 위치(예를 들어 매트릭스 내의 위치)가 비디오 이미지(316) 내의 픽셀의 장소에 대응하는 그러한 마스크 데이터(500)에서의 값을 검색하고, 원하는 시각 효과들(예를 들어, 투명 및/또는 안티-에일리어싱)을 달성하기 위해 마스크 데이터(500) 내의 값에 따라 비디오 이미지(316)의 픽셀 및 오버레이 데이터(314)를 혼합하거나 또는 비디오 이미지(316)의 픽셀을 오버레이 데이터(314)로 대체하는 것을 수행하고, 오버레이 데이터(314) 또는 비디오 이미지(316)의 픽셀 또는 이들의 혼합을 픽셀 구동 신호(320)를 통해 디스플레이 패널(322)로 출력한다.

예를 들어, 본 발명의 대체 실시예에서, 렌더링 로직(404)의 렌더링 동작은 마스크 데이터(500)에서의 값들에 의해 규정되는 바와 같이 단일 비트를 사용하여 명시될 수 있다. 렌더링 동작은 결합된 디스플레이 이미지(510) 내의 픽셀의 위치에 대응하는 마스크 데이터(500) 내의 위치에서의 값에 기초하여 각 픽셀에 대한 오버레이 데이터(314)이거나 비디오 이미지(316)이도록 렌더링 로직의 출력을 선택한다.

본 발명의 하나의 실시예에서, 마스크 데이터(500)의 값들의 수(또는 크기)는 비디오 이미지들(316)의 하나의 프레임 내의 픽셀들의 수와 동일하고, 이는 결과적으로 결합된 디스플레이 이미지(510) 내의 픽셀들의 수와 동일하다. 그러므로 마스크 데이터(500)에서의 각각의 값 및 비디오 이미지(316)의 각각의 픽셀 사이에는 일대일 관계가 존재한다. 즉, 렌더링 로직(404)의 대체 실시예는 마스크 데이터(500) 내의 각각의 값을 비디오 이미지(316) 내의 대응하는 픽셀과 정합시키고 비디오 이미지(316)의 픽셀 또는 오버레이 데이터(314)를 디스플레이 패널(322)로 출력함으로써 수행된다. 예를 들어, 하나의 실시예에서 렌더링 로직(404)은 마스크 데이터(500)의 각각의 값을 통하여 반복한다. 0의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직(404)은 비디오 이미지(316)의 대응하는 픽셀을 출력한다. 한편, 1의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직은 오버레이 데이터(314)를 출력한다. 반복 프로세스의 결과로서, 렌더링 로직(404)은 픽셀 구동 신호(320)에서 표현되는 바와 같은 결합된 디스플레이 이미지(510)를 디스플레이 패널(322)로 출력한다.

본 발명의 다른 실시예에서, 마스크 데이터(500)에서의 값들의 수는 비디오 이미지들(316)의 프레임 내의 픽셀들의 수보다 작을 수 있다. 그러므로, 마스크 데이터(500)에서의 각각의 값이 비디오 이미지들(500)의 픽셀들과 일대다의 관계를 가짐으로써 마스크 데이터(500)에서의 값이 비디오 이미지(316)의 다수의 픽셀들과 대응하게 됨으로써, 마스크 데이터(500)의 크기가 축소되고 마스크 버퍼(402)의 메모리 요건들이 감소될 수 있다.

그러나, 본 발명의 실시예들은 이로 제한되지 않는다. 예를 들어, 본 발명의 대체 실시예에서, 렌더링 로직(404)의 렌더링 동작은 마스크 데이터(500)에서의 값들에 의해 규정되는 바와 같이 다수의 비트를 사용하여 명시될 수 있다. 예를 들어, 마스크 데이터(500)에서의 값들은 렌더링 로직(404)에 의해 렌더링되는 혼합의 레벨(예를 들어 투명도의 레벨)을 식별할 수 있다. 다른 예에서, 렌더링 로직(404)에 의해 다수의 렌더링 동작들이 지원되는 경우, 마스크 데이터(500)에서의 값들의 하나 이상의 비트들은 원하는 렌더링 동작을 규정하는 데 사용될 수 있고, 반면에 다른 비트들은 상기 렌더링 동작들의 사양들을 조정하는 데 사용될 수 있다. 렌더링 로직(404)은 에지-향상(edge-enhance), 다지(dodge)(밝게 함), 번(burn)(어둡게 함) 등과 같이, 비디오 이미지(316)에서 반송되는 정보 및 오버레이 데이터(314)에서 반송되는 정보 사이의 다양한 렌더링 동작들을 수행할 수 있다. 다른 실시예들에서, 렌더링 동작은 비디오 이미지(316)의 부분들의 컬러 또는 백색도(luminosity)를 변경함으로써, 투명 컬러링(또는 하이라이터(highlighter)) 효과 또는 알파 합성(alpha compositing) 효과를 발생시킬 수 있다.

렌더링 로직(404)은 2개의 입력들을 수신하는데, 제 1 입력은 AP(202)로부터의 비디오 이미지들(316)을 포함하고 제 2 입력은 오버레이 버퍼(406)로부터의 오버레이 데이터(314)를 포함한다. 오버레이 버퍼(406)는 렌더링 로직(404)에 의해 프로세싱되는 오버레이 데이터(314)를 저장한다. 오버레이 데이터(314)는 AP(202)에 의해 제공되거나 오버레이 시스템(310)에서 내부적으로 생성되고 여기서 오버레이 데이터(314)의 특성들은 렌더링 로직(404)의 원하는 출력에 의해 결정된다. 하나의 실시예에서, 오버레이 데이터(314)의 특성들(예를 들어 외형)은 디스플레이된 라인(100)을 따라 비디오 이미지(316)의 특성들(예를 들어 외형)에 정합됨으로써, 마스크 데이터(500)에 따라 렌더링될 때, 결합된 디스플레이 이미지(510)는 이미지 세그먼트(506) 및 오버레이 이미지 세그먼트(508) 사이의 끊김 없는 전환을 포함하게 된다. 이 특성들은 컬러를 포함할 수 있다. 예를 들어, 애플리케이션 소프트웨어가 검은 라인을 드로잉하면, 오버레이 데이터(314)는 소프트웨어가 드로잉한 라인과 동일한 검은 컬러(예를 들어 픽셀들 모두가 검은 비트맵된 이미지)를 포함하기 위하여 AP(202)에 의해 제공되거나 오버레이 시스템(310)에 의해 내부적으로 생성될 것이다. 렌더링 로직(404)은 마스크 데이터(500) 및 오버레이 데이터(314)에 의해 결정되는 바와 같이 AP(202)로부터의 이미지 세그먼트(506)(예를 들어 소프트웨어가 드로잉한 라인) 및 오버레이 이미지 세그먼트(508)를 인접시킴으로써 형성되는 검을 라인을 포함하는 결합된 디스플레이 이미지(510)를 출력할 것이다. 오버레이 데이터(314)는 또는 텍스처화 또는 컬러화될 수 있거나 비트맵된 이미지 데이터를 포함할 수 있다. 오버레이 데이터(314)의 컨텐츠는 시간에 대해 동적일 수 있고 AP(202)에 의해 갱신되거나 DDIC(204) 내의 메커니즘에 의해 갱신될 수 있다. 컨텐츠는 또한 크기 및 형상에 있어서 동적일 수 있다.

본 발명의 하나의 실시예에서, 다수의 오버레이들을 표현하는 다수의 상이한 오버레이 데이터(314)의 세트들은 오버레이 버퍼(406) 내에 저장될 수 있으며, 예를 들어 각각의 세트는 상이한 컬러, 상이한 이미지 또는 상이한 텍스처를 가진다. 이 오버레이 데이터(314)의 세트들은 본원에서 "페이지(page)"로써 칭해질 수 있다. 그와 같은 실시예들에서, 마스크 데이터(500) 내의 값들은 또한 렌더링 로직(404)이 오버레이 데이터(314)의 특정한 페이지(들)를 식별하고 렌더링 동작 동안 단지 식별된 페이지(들)만을 사용하는 것을 가능하게 하는 정보를 포함할 수 있다. 그와 같은 바와 같이, 일부 실시예들에서, 마스크 데이터(500)의 값들은 렌더링 로직(404)이 렌더링 동작들 동안 오버레이 데이터(314)의 상이한 페이지들 사이에서 전환하는 것이 가능하도록 오버레이 데이터(314)의 페이지들에 대한 인덱스들을 포함한다.

본 발명의 하나의 실시예에서, 오버레이 데이터(314)의 각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지들(316)의 하나의 프레임 내의 픽셀들의 수와 동일하고, 이는 결과적으로 결합된 디스플레이 이미지(510) 내의 픽셀들의 수와 동일하다. 그러므로 오버레이 데이터(314)의 각각의 페이지의 각각의 값 및 비디오 이미지(316)의 각각의 픽셀 사이에는 일대일 관계가 존재한다.

본 발명의 다른 실시예에서, 오버레이 데이터(314)의 각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지들(316)의 프레임 내의 픽셀들의 수보다 작을 수 있다. 그러므로, 오버레이 데이터(314)의 각각의 페이지의 각각의 값이 비디오 이미지들(316)의 픽셀들과 일대다의 관계를 가짐으로써 오버레이 데이터(314)의 각각의 페이지의 값이 비디오 이미지(316)의 다수의 픽셀들과 대응하게 됨으로써, 오버레이 데이터(314)의 크기가 축소되고 오버레이 버퍼(406)의 메모리 요건들이 감소될 수 있다. 예를 들어, 일부 실시예들에서, 오버레이 데이터(314)는 RGB(red, green, blue) 컬러 값과 같은 단일 컬러 값을 포함하고, 여기서 전체 오버레이 이미지(또는 오버레이 이미지 세그먼트)(508)는 상기 단일 컬러 값으로 드로잉된다. 다른 실시예들에서, 오버레이 데이터(314)의 상이한 페이지들은 단일 컬러들(예를 들어 상이한 컬러들)에 대응하는 단일 값들이다. 더 다른 실시예들에서, 단일 값들은 오버레이 데이터(314) 내의 다른 값들 또는 비트맵된 이미지들을 포함하는 다른 페이지들과 혼재(intermingle)될 수 있다.

도 6은 본 발명의 하나의 실시예에 따라, N+1번째 프레임 동안 결합된 디스플레이 이미지(510')의 제 2 세트를 생성하기 위한(예를 들어, 프레임(N+1)을 생성하기 위한) 비디오 이미지(316'), 오버레이 데이터(314) 및 터치 경로들(304')의 결합에 대한 개략적인 도면이다. 후속 프레임에서(예를 들어, N이 결합된 디스플레이 이미지들(510)의 제 1 세트에 대응하는 프레임인 경우 프레임(N+1)에서), AP(202)로부터의 비디오 이미지(316')는 프레임(N)에서 디스플레이되지 않았던(예를 들어, 도 5에 도시된 바와 같이 비디오 이미지(316)에서 도시되지 않았던) 이미지 세그먼트(600)를 포함한다. 게다가, 프레임(N+1) 동안, 터치 경로 로직(400)은 터치 사건들(305')로부터 도 5에 도시된 마스크(500)의 값들과 상이한 값들의 세트를 포함하는 상이한 마스크(500')를 계산한다. 그와 같은 바와 같이, 렌더링 로직(404)은 마스크 데이터(500')에 따른 AP(202)로부터의 비디오 이미지(315') 및 오버레이 데이터(314)의 합성인 결합된 디스플레이 이미지(506')를 출력한다.

도 7은 본 발명의 하나의 실시예에 따라 결합된 디스플레이 이미지를 생성하기 위해 오버레이 데이터를 비디오 이미지와 결합하는 방법을 예시하는 흐름도이다. 도 7을 참조하면, 본 발명의 하나의 실시예에 따르면, 동작 702에서, 터치 사건들이 외부 소스(예를 들어 터치 센서 패널)로부터 수신된다. 터치 경로(또는 추정 터치 경로)는 동작 704에서 터치 사건들 사이에서 내삽 또는 외삽함으로써 터치 사건들로부터 생성되고, 여기서 내삽 방법은 예를 들어 결합된 디스플레이 이미지의 오버레이 이미지 세그먼트(508)의 폭, 스타일, 직선 또는 곡선 영역 및 컬러를 구성하는 파라미터들에 의해 조정될 수 있다.

마스크 데이터(500)는 동작 706에서 터치 경로로부터 생성되며, 이 터치 경로에서 마스크 데이터(500)의 값들의 상대 위치들은 디스플레이 패널의 픽셀들의 상대 위치들에 대응하고, 이 마스크 데이터(500)의 값들은 결합된 디스플레이 이미지의 대응하는 픽셀이 오버레이 버퍼(406)로부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지 또는 이들의 혼합된 결합을 포함해야 하는지를 나타낸다. 마스크 데이터(500)는 마스크 버퍼(402)에 저장된다. 동작 708에서, 마스크 데이터(500)는 마스크 버퍼(402)로부터 검색되고, 여기서 검색되는 값들은 렌더링 로직에 의해 현재 프로세싱되고 있는 픽셀들의 위치들에 대응하는 마스크 데이터(500) 내의 위치들에 배치된다.

동작 710에서, 디스플레이 패널 내에서 현재 프로세싱되고 있는 픽셀들의 위치들에 대응하는 마스크 데이터(500)의 값들은 오버레이 버퍼(406)로부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지 또는 이들의 혼합을 선택적으로 출력하는 데 사용된다.

동작 712에서, 결합된 디스플레이 이미지들은 비디오 이미지와 합성되어 있는 오버레이 데이터(314)를 디스플레이하기 위해 출력되어 디스플레이 패널로 공급된다.

그와 같은 바와 같이, 본 발명의 실시예들은 유사한 고-대기 시간 루프 내에 저-대기 시간 루프를 도입함으로써 전체 시스템 대기 시간을 감소시키는 시스템 및 방법을 제공한다.

저-대기 시간 디스플레이 이미지들은 터치 경로로부터 생성되는 마스크 데이터(500)로부터의 정보, 오버레이 버퍼로부터의 오버레이 데이터(314) 및 AP로부터의 고-대기 시간 비디오 이미지를 결합함으로써 생성될 수 있다. 터치 경로는 시간의 경과에 따라 기록되는 터치 사건들(예를 들어 터치 제어기들로부터의 출력들)로부터 계산된다. 오버레이 데이터(314)는 AP에 의해 제공되거나 오버레이 시스템에서 생성될 수 있다.

컬러, 치수들(예를 들어 폭), 지속성, 쉐이딩(shading) 및 타이밍을 포함하나 이로 제한되지 않는 오버레이 특성들은 동적으로 조정될 수 있다. 이 조정들은 AP에 의해 파라미터들의 세트로서 제공될 수 있거나 예를 들어 AP로부터의 비디오 이미지들을 분석함으로써 오버레이 시스템 내부에서 도출될 수 있다. 상기 조정들은 또한 터치 행위에 의해 결정될 수 있다. 예를 들어, 결과적인 라인의 폭은 터치 센서 패널에 가해지는 압력에 따라 조정될 수 있다(예를 들어, 폭 파라미터는 터치 사건들의 측정된 압력에 비례한다).

디스플레이 이미지는 오버레이 시스템에 의해 마스크 데이터(500)를 통해 생성되고, 이는 터치 경로로부터 계산된다. 매핑 및 크기 조정 파라미터들은 AP에 의해 제공될 수 있고 예를 들어 터치 사건들 및 AP로부터의 비디오 이미지들을 분석함으로써 오버레이 시스템 내에서 계산될 수 있다.

오버레이 데이터는 렌더링 로직에 의해 AP로부터의 비디오 이미지들과 픽셀 레벨에서 병합될 수 있다. 하나의 실시예에서, 비디오 이미지들로부터의 픽셀 특성들은 마스크 데이터의 값들에 따라 오버레이 데이터로부터의 픽셀 특성들에 의해 대체된다. 다른 실시예들에서, 새로운 픽셀 특성들은 비디오 이미지들 및 오버레이 데이터의 각각의 픽셀 특성들의 혼합에 기초하여 제작된다.

본 발명이 특정한 예시적인 실시예들과 관련하여 기술되었을지라도, 본 발명은 이 개시된 실시예들로 제한되지 않고, 오히려, 첨부된 청구항들 및 이의 등가들의 사상 및 범위 내에 포함되는 다양한 변형들 및 등가의 배열들을 포괄하도록 의도됨이 이해되어야 한다.

Claims

터치 경로 로직(logic), 그리고
렌더링 로직(rendering logic)
을 포함하고,
상기 터치 경로 로직은,
터치 센서 패널로부터 복수의 터치 사건(event)들을 수신하고,
상기 터치 사건들에 따라 추정 터치 경로를 계산하고,
파라미터를 수신하고,
상기 추정 터치 경로 및 상기 파라미터에 기초하여 마스크 데이터를 생성하며,
상기 렌더링 로직은;
외부로부터 비디오 이미지를 수신하고;
상기 터치 경로 로직으로부터 상기 마스크 데이터를 수신하고;
상기 마스크 데이터에 기초하여 상기 비디오 이미지를 오버레이 데이터와 결합하여 결합된 디스플레이 이미지를 생성하며,
상기 결합된 디스플레이 이미지를 출력하는
시스템.
제 1 항에 있어서,
상기 비디오 이미지는 디스플레이된 라인을 포함하고, 상기 오버레이 데이터의 특성들은 상기 디스플레이된 라인의 특성들과 정합하는
시스템.
제 2 항에 있어서,
상기 특성들은 컬러를 포함하는
시스템.
제 1 항에 있어서,
상기 터치 경로 로직은 애플리케이션 프로세서의 구성요소이고, 상기 애플리케이션 프로세서는 상기 비디오 이미지를 생성하도록 구성되는
시스템.
제 1 항에 있어서,
상기 터치 경로 로직 및 상기 렌더링 로직은 디스플레이 구동기 인터페이스 제어기의 구성요소이고, 상기 디스플레이 구동기 인터페이스 제어기는 애플리케이션 프로세서로부터 상기 비디오 이미지를 수신하고 상기 결합된 디스플레이 이미지를 디스플레이 패널에 공급하도록 구성되는
시스템.
제 1 항에 있어서,
상기 터치 경로 로직은 터치 센서 패널에 결합되는 터치 제어기의 구성요소이고, 상기 터치 제어기는 상기 터치 센서 패널로부터 복수의 터치 신호들을 수신하고 상기 복수의 터치 사건들을 생성하도록 구성되는
시스템.
제 1 항에 있어서,
상기 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 상기 수치들의 각각은 상기 결합된 디스플레이 이미지를 제작하기 위해 상기 렌더링 로직의 동작을 식별하고,
상기 매트릭스 내의 수치들의 위치들은 상기 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응하는
시스템.
제 7 항에 있어서,
상기 렌더링 로직은, 상기 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터 내의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 또는 상기 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합하도록 구성되는
시스템.
제 7 항에 있어서,
상기 렌더링 로직은, 상기 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터 내의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 및 상기 오버레이 데이터를 혼합하는 방법을 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합하도록 구성되는
시스템.
제 9 항에 있어서,
상기 혼합은 에지-향상 동작, 더지(dodge) 동작, 번(burn) 동작 또는 알파 합성(alpha compositing) 효과인
시스템.
제 7 항에 있어서,
상기 마스크 데이터의 수치들의 각각은 상기 결합된 디스플레이 이미지 내의 정확히 하나의 픽셀에 대응하는
시스템.
제 7 항에 있어서,
상기 마스크 데이터의 수치들의 각각은 상기 결합된 디스플레이 이미지 내의 하나 이상의 픽셀에 대응하는
시스템.
제 7 항에 있어서,
상기 오버레이 데이터는 복수의 페이지들을 포함하고,
상기 마스크 데이터는 상기 복수의 페이지들 중 적어도 하나를 식별하는 정보를 포함하는
시스템.
제 7 항에 있어서,
상기 터치 경로 로직은:
애플리케이션 프로세서로부터 상기 파라미터를 수신하고;
상기 파라미터는 마스크 영역의 위치를 제어하거나 상기 추정 터치 경로의 폭, 스타일 또는 형상을 제어하는 데 사용되는
시스템.
제 1 항에 있어서,
상기 비디오 이미지를 생성하도록 구성되는 애플리케이션 프로세서를 더 포함하고,
상기 렌더링 로직은 상기 애플리케이션 프로세서의 구성요소인
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 상기 터치 사건들의 부분 집합에 기초하여 상기 비디오 이미지를 상기 오버레이 데이터와 결합하도록 더 구성되고, 상기 부분 집합은 하위 고정된 수의 비디오 이미지들에 대응하는
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 상기 비디오 이미지를 상기 렌더링 로직에 공급하도록 구성되는 애플리케이션 프로세서에 의해 도입되는 지연에 대응하는 다수의 비디오 이미지들에 대응하는 터치 사건들의 부분 집합에 기초하여 상기 비디오 이미지를 상기 오버레이 데이터와 결합하도록 더 구성되는
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 상기 비디오 이미지를 상기 렌더링 로직에 공급하도록 구성되는 애플리케이션 프로세서의 이전의 렌더링된 출력으로부터 계산되는 다수의 비디오 이미지들에 대응하는 터치 사건들의 부분 집합에 기초하여 상기 비디오 이미지를 상기 오버레이 데이터와 결합하도록 더 구성되는
시스템.
제 1 항에 있어서,
상기 오버레이 데이터는 비트맵된 이미지를 포함하는
시스템.
제 1 항에 있어서,
상기 오버레이 데이터는 단일 컬러 값을 가지는
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 애플리케이션 프로세서로부터의 입력 없이 상기 오버레이 데이터를 생성하도록 구성되는
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 애플리케이션 프로세서로부터 공급되는 데이터 및 상기 시스템 내부의 데이터를 사용하여 상기 오버레이 데이터를 생성하도록 구성되는
시스템.
제 1 항에 있어서,
상기 렌더링 로직은 애플리케이션 프로세서로부터 상기 오버레이 데이터를 수신하도록 구성되는
시스템.
제 1 항에 있어서,
상기 터치 사건들은 포인팅 도구 및 터치 입력 패널 사이의 상호 작용의 결과로서 발생되는
시스템.
터치 입력에 시각적 피드백을 제공하는 방법에 있어서,
디스플레이에 결합된 터치 센서 패널로부터 복수의 터치 사건들을 수신하는 단계;
상기 터치 사건들에 기초하여 추정 터치 경로를 계산하는 단계;
비디오 이미지를 수신하는 단계;
파라미터를 수신하는 단계;
상기 추정 터치 경로 및 상기 파라미터에 기초하여 마스크 데이터를 생성하는 단계;
결합된 디스플레이 이미지를 생성하기 위해 상기 마스크 데이터에 따라 상기 비디오 이미지를 오버레이 데이터와 결합시키는 단계; 및
상기 결합된 디스플레이 이미지를 상기 디스플레이에 공급하는 단계를 포함하는
방법.
제 25 항에 있어서,
상기 비디오 이미지는 디스플레이된 라인을 포함하고,
상기 오버레이 데이터의 특성들은 상기 디스플레이된 라인의 특성들과 정합하는
방법.
제 25 항에 있어서,
상기 파라미터는 상기 결합된 디스플레이 이미지에서의 오버레이 데이터의 위치를 제어하고 상기 추정 터치 경로의 폭, 스타일 또는 형상을 제어하는 데 사용되는 방법.
제 25 항에 있어서,
상기 추정 터치 경로는 고정된 수의 프레임들에 대응하는 터치 사건들의 부분 집합에 기초하여 계산되는
방법.
제 25 항에 있어서,
상기 추정 터치 경로는 애플리케이션 프로세서에 의해 도입되는 지연에 대응하는 다수의 프레임들에 대응하는 터치 사건들의 부분 집합에 기초하여 계산되는
방법.
제 25 항에 있어서,
상기 추정 터치 경로는 애플리케이션 프로세서의 이전의 렌더링된 출력으로부터 계산되는 다수의 프레임들에 대응하는 터치 사건들의 부분 집합에 기초하여 계산되는
방법.
제 25 항에 있어서,
상기 오버레이 데이터는 비트맵된 이미지를 포함하는
방법.
제 25 항에 있어서,
상기 오버레이 데이터는 단일 컬러값을 가지는
방법.
제 25 항에 있어서,
애플리케이션 프로세서로부터의 입력 없이 상기 오버레이 데이터를 생성하는 단계를 더 포함하는
방법.
제 25 항에 있어서,
애플리케이션 프로세서로부터 공급되는 데이터 및 내부 데이터를 사용하여 상기 오버레이 데이터를 생성하는 단계를 더 포함하는
방법.
제 25 항에 있어서,
애플리케이션 프로세서로부터 상기 오버레이 데이터를 수신하는 단계를 더 포함하는
방법.
제 25 항에 있어서,
상기 마스크 데이터는 수치들의 매트릭스를 포함하고, 상기 수치들의 각각은 상기 결합된 디스플레이 이미지를 제작하기 위한 동작을 식별하는, 상기 생성하는 단계를 포함하고,
상기 매트릭스 내의 수치들의 위치들은 상기 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응하는
방법.
제 36 항에 있어서,
상기 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터에서의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 또는 상기 오버레이 데이터를 출력할지를 결정하는 단계를 더 포함하는
방법.
제 36 항에 있어서,
상기 결합된 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터에서의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 및 상기 오버레이 데이터를 혼합하는 방법을 결정하는 단계를 더 포함하는
방법.
제 38 항에 있어서,
상기 혼합은 에지-향상 동작, 더지 동작, 번 동작 또는 알파 합성 효과인
방법.
제 36 항에 있어서,
상기 마스크 데이터의 수치들의 각각은 상기 결합된 디스플레이 이미지 내의 정확히 하나의 픽셀에 대응하는
방법.
제 36 항에 있어서,
상기 마스크 데이터의 수치들의 각각은 상기 결합된 디스플레이 이미지 내의 하나 이상의 픽셀들에 대응하는
방법.
제 36 항에 있어서,
상기 오버레이 데이터는 복수의 페이지들을 포함하고,
상기 마스크 데이터는 상기 복수의 페이지들 중 적어도 하나를 식별하는 정보를 포함하는
방법.
제 25 항에 있어서,
상기 터치 사건들은 포인팅 도구 및 상기 터치 센서 패널 사이의 상호 작용의 결과로서 발생되는
방법.
터치 센서 패널, 애플리케이션 프로세서 및 디스플레이를 포함하는 디스플레이 디바이스 상에 드로잉되는 경로에 응답하여 피드백을 제공하는 가속기로서,
상기 가속기는:
프로세서; 및
내부에 명령들이 저장되는 메모리를 포함하고, 상기 명령들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
상기 애플리케이션 프로세서로부터 렌더링된 비디오 프레임들을 수신하고;
상기 애플리케이션 프로세서로부터 파라미터를 수신하고,
상기 터치 센서 패널로부터 복수의 터치 신호들을 수신하고;
상기 터치 신호들에 기초하여 터치 경로를 결정하고;
상기 터치 경로 및 상기 파라미터에 기초하여 마스크 데이터를 생성하고,
상기 마스크 데이터 및 저장된 오버레이 데이터에 기초하여 상기 렌더링된 비디오 프레임들을 갱신하여 갱신된 비디오 프레임들을 생성하고,
상기 갱신된 비디오 프레임들을 상기 디스플레이로 출력하도록 하는
가속기.