KR102206047B1

KR102206047B1 - 단말 및 디스플레이 지연 감소 방법 및 장치

Info

Publication number: KR102206047B1
Application number: KR1020140121977A
Authority: KR
Inventors: 최남곤; 김기근; 김홍수; 박근정; 손호석; 이동규; 박동원; 박철우; 백윤기; 유봉현
Original assignee: 삼성디스플레이 주식회사
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2021-01-21
Also published as: US9811301B2; US20160077782A1; KR20160032326A

Abstract

적어도 하나의 표시 패널과 상기 적어도 하나의 표시 패널에 대응하는 제1 및 제2 터치 센서 패널을 포함하는 단말의 디스플레이 지연 감소 장치가 제공된다. 터치 경로 로직은 제1 터치 센서 패널로부터 터치 이벤트를 수신하고 터치 이벤트에 기초하여 출력을 생성한다. 렌더링 로직은, 터치 이벤트 발생 시에, 비디오 이미지를 수신하고, 터치 경로 로직의 출력에 따라 비디오 이미지를 비디오 이미지에 대응하는 오버레이 데이터와 결합하여 결합한 디스플레이 이미지를 출력한다.

Description

단말 및 디스플레이 지연 감소 방법 및 장치{TERMINAL AND APPARATUS AND METHOD FOR REDUCING DISPLAY LAG}

본 발명은 터치 입력 장치를 가지는 단말에 관한 것으로, 특히 단말에서 터치 입력 장치와 표시 장치 사이의 디스플레이 지연(display lag)을 감소시키는 방법에 관한 것이다.

터치 센서 패널에 통합되거나 결합되는 표시 패널은 모바일 전화기, 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터 등과 같은 터치 가능 단말에 상호 작용 시스템(interaction system)을 제공한다. 이러한 단말에서, 표시 패널 상에 그래픽이 표시되고 사용자는 스크린을 터치하여(예를 들어 능동 스타일러스, 수동 스타일러스, 또는 손가락과 같은 신체의 일부를 사용하여) 단말과 상호 작용함으로써, 직관적인 사용자 인터페이스가 제공될 수 있다.

터치 센서 패널에 의해 검출되는 터치 이벤트(touch event)은 전형적으로 디바이스의 애플리케이션 프로세서(application processor, AP) 상에서 가동되는 고레벨 애플리케이션 소프트웨어에 의해 처리된다. 터치 센서 패널 및 AP 사이의 많은 프로세싱 단계와 AP 상에서의 비결정성(non-deterministic) 프로세싱 시간(AP에 의해 수행되는 다른 계산 업무들로 인한 지연들을 포함)으로 인해 긴 대기 시간(latency)가 발생하여서 사용자의 터치 입력에 대한 단말의 응답성(responsiveness)을 감소시킨다.

일부 경험 연구들은 대부분의 사람들이 터치하는 것과 보는 것과 같은 감각 사이에서 심지어 30 밀리초의 비동시성(asynchrony)도 검출할 수 있음을 지적해왔다. 그러므로 단말의 사용자 대부분이 50 내지 200 밀리초의 지연을 검출할 수 있을 것이고, 이는 사용자의 입력에 피드백을 즉각 제공하도록 디바이스를 컴퓨팅하지 못하므로 사용자의 불만 증가로 이어질 수 있다.

특히, 최근에는 모바일 전화기와 같은 단말에 모바일 전화기의 전면과 후면 각각에 터치 센서 패널이 장착되는 경우가 있는데, 전면 터치 센서 패널 및 후면 터치 센서 패널 각각에서 발생하는 지연으로 인해 사용자 불만이 더 커질 수 있다.

본 발명이 해결하고자 하는 과제는 복수의 터치 센서 패널을 가지는 단말에서 터치 입력에 따른 디스플레이 지연을 감소시키는 것이다.

본 발명의 한 실시예에 따르면, 적어도 하나의 표시 패널과 상기 적어도 하나의 표시 패널에 대응하는 제1 및 제2 터치 센서 패널을 포함하는 단말의 디스플레이 지연 감소 장치가 제공된다. 상기 디스플레이 지연 감소 장치는 적어도 하나의 오버레이 버퍼, 적어도 하나의 터치 경로 로직 및 적어도 하나의 렌더링 로직을 포함한다. 상기 오버레이 버퍼는 적어도 하나의 오버레이 데이터를 저장한다. 상기 터치 경로 로직은, 상기 제1 터치 센서 패널로부터 제1 터치 이벤트를 수신하고 상기 제1 터치 이벤트에 기초하여 제1 출력을 생성하고, 상기 제2 터치 센서 패널로부터 제2 터치 이벤트를 수신하고 상기 제2 터치 이벤트에 기초하여 제2 출력을 생성한다. 상기 렌더링 로직은, 상기 제1 터치 이벤트 발생 시에, 제1 비디오 이미지를 수신하고, 상기 터치 경로 로직의 제1 출력을 수신하고, 상기 터치 경로 로직의 제1 출력에 따라 상기 제1 비디오 이미지를 상기 제1 비디오 이미지에 대응하는 오버레이 데이터와 결합하여 결합한 디스플레이 이미지를 출력한다. 또한 상기 렌더링 로직은, 상기 제2 터치 이벤트 발생 시에, 제2 비디오 이미지를 수신하고, 상기 터치 경로 로직의 제2 출력을 수신하고, 상기 터치 경로 로직의 제2 출력에 따라 상기 제2 비디오 이미지를 상기 제2 비디오 이미지에 대응하는 오버레이 데이터와 결합하여 결합한 디스플레이 이미지를 출력한다.

상기 제1 비디오 이미지 또는 상기 제2 비디오 이미지는 상기 표시 패널에 디스플레이되는 라인을 포함하고, 상기 오버레이 데이터의 특성은 상기 라인의 특성과 일치할 수 있다.

이때, 상기 특성은 색상을 포함할 수 있다.

상기 터치 경로 로직은 상기 제1 터치 이벤트 또는 상기 제2 터치 이벤트에 따라 마스크 데이터를 생성할 수 있다. 이때, 상기 마스크 데이터는 복수의 수치의 매트릭스를 포함할 수 있고, 각 수치는 상기 결합한 디스플레이 이미지를 생성하기 위해 상기 렌더링 로직의 동작을 특정할 수 있다. 또한 상기 매트릭스 내에서 상기 수치의 위치는 상기 결합한 디스플레이 이미지 에서의 화소의 위치에 대응할 수 있다.

상기 렌더링 로직은, 상기 결합한 디스플레이 이미지의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 또는 제2 비디오 이미지 또는 상기 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합할 수 있다.

상기 렌더링 로직은, 상기 결합된 디스플레이 이미지의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 또는 제2 비디오 이미지와 상기 오버레이 데이터를 혼합하는 방법을 결정함으로써, 상기 제1 또는 제2 비디오 이미지를 상기 오버레이 데이터와 결합할 수 있다.

상기 오버레이 데이터는 복수의 페이지를 포함할 수 있다. 이때, 상기 마스크 데이터는 상기 복수의 페이지 중 적어도 하나를 특정하는 정보를 포함할 수 있다.

상기 터치 경로 로직은, 파라미터를 수신하고, 상기 제1 또는 제2 터치 이벤트에 따라 추정 터치 경로를 계산하며, 상기 추정 터치 경로 및 상기 파라미터에 따라 상기 마스크 데이터를 생성할 수 있다. 이때, 상기 파라미터는 상기 추정 터치 경로가 허용되는 영역을 제어하거나 상기 추정 터치 경로의 폭, 스타일 또는 형상을 제어할 수 있다.

상기 표시 패널은, 상기 제1 터치 센서 패널이 대응하는 제1 표시 패널과 상기 제2 터치 센서 패널이 대응하는 제2 표시 패널을 포함할 수 있다. 이때, 상기 터치 경로 로직은, 상기 제1 터치 이벤트에 기초하여 상기 제1 출력을 생성하는 제1 터치 경로 로직과 상기 제2 터치 이벤트에 기초하여 상기 제2 출력을 생성하는 제2 터치 경로 로직을 포함할 수 있다. 또한, 상기 렌더링 로직은, 상기 제1 비디오 이미지를 상기 제1 비디오 이미지에 대응하는 오버레이 데이터와 결합하는 제1 렌더링 로직과 상기 제2 비디오 이미지를 상기 제2 비디오 이미지에 대응하는 오버레이 데이터와 결합하는 제2 렌더링 로직을 포함할 수 있다.

상기 제1 터치 센서 패널은 상기 표시 패널의 전면에 대응하고, 상기 제2 터치 센서 패널은 상기 표시 패널의 후면에 대응할 수 있다.

상기 오버레이 버퍼는 프레임에서 수평 주기의 공백 기간 또는 수평 주기의 공백 기간 동안 상기 오버레이 데이터를 수신하여 저장할 수 있다.

상기 오버레이 버퍼는 프레임에서 상기 제1 또는 제2 비디오 이미지와 함께 상기 오버레이 데이터를 수신하여 저장할 수 있다.

본 발명의 다른 실시예에 따르면, 애플리케이션 프로세서, 적어도 하나의 표시 패널, 상기 표시 패널에 대응하는 제1 터치 센서 패널과 제2 터치 센서 패널, 그리고 프로세서를 포함하는 단말이 제공된다. 상기 프로세서는, 상기 애플리케이션 프로세서로부터 상기 표시 패널을 위한 비디오 프레임을 수신하며, 상기 제1 터치 센서 패널로부터의 제1 터치 이벤트 발생 시에 상기 제1 터치 이벤트에 기초하여 제1 터치 경로를 결정하고, 상기 제1 터치 경로와 저장된 제1 오버레이 데이터에 기초하여 상기 비디오 프레임을 갱신하며, 상기 제2 터치 센서 패널로부터의 제2 터치 이벤트 발생 시에 상기 제2 터치 이벤트에 기초하여 제2 터치 경로를 결정하고, 상기 제2 터치 경로와 저장된 제2 오버레이 데이터에 기초하여 상기 비디오 프레임을 갱신한다.

상기 비디오 프레임은 상기 표시 패널에 디스플레이되는 라인을 포함할 수 있다. 이때, 상기 제1 오버레이 데이터의 특성은 상기 라인의 특성과 일치할 수 있다.

상기 프로세서는 상기 제1 터치 이벤트에 따라 마스크 데이터를 생성할 수 있다. 이때, 상기 마스크 데이터는 복수의 수치의 매트릭스를 포함할 수 있고, 상기 수치의 위치는 상기 비디오 프레임에서의 화소의 위치에 대응할 수 있다. 또한 상기 프로세서는 상기 비디오 프레임의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 비디오 프레임 또는 상기 제1 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 프레임을 갱신할 수 있다.

상기 프로세서는 상기 제1 터치 이벤트에 따라 마스크 데이터를 생성할 수 있다. 이때, 상기 마스크 데이터는 복수의 수치의 매트릭스를 포함할 수 있고, 상기 수치의 위치는 상기 비디오 프레임에서의 화소의 위치에 대응할 수 있다. 또한, 상기 프로세서는, 상기 비디오 프레임의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 비디오 프레임과 상기 제1 오버레이 데이터를 혼합하는 방법을 결정함으로써, 상기 비디오 프레임을 갱신할 수 있다.

상기 프로세서는 상기 애플리케이션 프로세서로부터 파라미터를 수신하고, 상기 제1 터치 경로, 상기 제1 오버레이 데이터 및 상기 파라미터에 기초하여 상기 제1 비디오 프레임을 갱신할 수 있다. 이때, 상기 파라미터는 상기 제1 터치 경로가 허용되는 영역을 제어하거나 상기 제1 터치 경로의 폭, 스타일 또는 형상을 제어할 수 있다.

상기 표시 패널은, 상기 제1 터치 센서 패널이 대응하는 제1 표시 패널과 상기 제2 터치 센서 패널이 대응하는 제2 표시 패널을 포함할 수 있다. 이때, 상기 프로세서는, 상기 제1 터치 경로와 상기 제1 오버레이 데이터에 기초하여 상기 비디오 프레임을 갱신하는 제1 프로세서 및 상기 제2 터치 경로와 상기 제2 오버레이 데이터에 기초하여 상기 비디오 프레임을 갱신하는 제2 프로세서를 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 단말에서 터치 입력에 따른 디스플레이 지연을 감소시키는 방법이 제공된다. 상기 방법은, 제1 터치 센서 패널로부터 제1 터치 이벤트를 수신하는 단계, 제1 비디오 이미지를 수신하는 단계, 상기 제1 터치 이벤트에 따라 상기 제1 비디오 이미지를 제1 오버레이 데이터와 결합하는 단계, 그리고 상기 제1 비디오 이미지와 상기 제1 오버레이 데이터를 결합한 디스플레이 이미지를 표시하는 단계를 포함한다. 상기 방법은, 상기 제1 터치 센서 패널과는 다른 제2 터치 센서 패널로부터 제2 터치 이벤트를 수신하는 단계, 제2 비디오 이미지를 수신하는 단계, 상기 제2 터치 이벤트에 따라 상기 제2 비디오 이미지를 제2 오버레이 데이터와 결합하는 단계, 그리고 상기 제2 비디오 이미지와 상기 제2 오버레이 데이터를 결합한 디스플레이 이미지를 표시하는 단계를 더 포함한다.

본 발명의 한 실시예에 따르면, 단말의 복수의 터치 센서 패널을 가지더라도, 각 터치 센서 패널에서 발생하는 디스플레이 지연을 방지할 수 있다.

도 1a는 터치 입력 처리 장치를 포함하는 단말의 응답을 도시하는 도면이다.
도 1b는 본 발명의 실시예에 따라 터치 입력 처리 장치를 포함하는 단말의 응답을 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른 저 대기 시간 피드백 경로 및 종래의 피드백 경로를 개략적으로 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따른 저 대기 시간 오버레이 시스템을 포함하는 단말의 개략적인 블록도이다.
도 4는 본 발명의 한 실시예에 따른 저 대기 시간 오버레이 시스템의 개략적인 블록도이다.
도 5 및 도 6은 각각 본 발명의 한 실시예에 따라 결합 디스플레이 이미지의 생성을 개략적으로 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따른 디스플레이 지연 감소 방법의 개략적인 흐름도이다.
도 8은 비디오 이미지를 위한 한 프레임 시간을 나타내는 도면이다.
도 9 내지 도 11은 각각 본 발명의 실시예에 따른 파라미터와 오버레이 데이터 제공 방법을 나타내는 도면이다.
도 12는 본 발명의 다른 실시예에 따른 단말의 개략적인 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명의 실시예는, 애플리케이션 프로세서(application processor, AP)가 렌더링하는 이미지 이전에 터치 위치에 기초하여 이미지를 디스플레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다.

모바일 전화기에 대한 흔한 불만은 사용자 인터페이스(user interface, UI)에 대한 응답 지연이다. 현재의 모바일 전화기에서는 전형적으로 터치 행위에 응답하여 디스플레이를 업데이트하는 데 50 내지 20 밀리초가 소요된다. 예를 들어, Samsung^TM Galaxy Note^TM 2에서 측정되는 것처럼, 터치 이벤트에 대한 전형적인 디스플레이 응답 시간은 초당 60 프레임(frames per second, FPS)의 리프레시율(refresh rate)에서100 밀리초들보다 크거나 대략 6 프레임 이상일 수 있고, 이는 대다수의 사용자에 의해 인지될 수 있는 시간이다.

도 1a는 터치 입력 처리 장치를 포함하는 단말의 응답을 도시하는 도면이다. 도 1a에 도시한 것처럼, 손가락이 화면을 터치하면서 이동하는 경우, 손가락의 위치와 디스플레이된 라인(100)의 최종 드로잉된 부분 사이에 갭(102)이 존재한다. 즉, 사용자의 터치와 디스플레이된 라인 사이에 현저한 디스플레이 지연이 발생된다. 또한 능동 또는 수동 스타일러스를 사용하는 경우에도 유사한 디스플레이 지연이 발생한다.

본 발명의 실시예는 AP에 의해 렌더링되는 이미지에 앞서 터치 경로에서 이미지를 오버레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다. 스크린 상에서의 사용자의 터치 위치(손가락, 스타일러스 또는 다른 도구를 사용하는지 간에)와 라인의 드로잉 사이의 갭을 좁힘으로써, 감지되는 디스플레이 지연이 감소될 수 있다. 본 명세서에서, 동사로서 사용될 때 "오버레이"는 비디오 이미지(예를 들어 AP가 렌더링하는 이미지)와 추가 이미지 데이터를 결합하여 추가 이미지 데이터가 원 비디오 이미지의 일부분을 대체(또는 오버레이)하도록 하는 것을 칭한다. 명사로서 사용될 때 "오버레이"는 결합된 디스플레이 이미지에서 추가 이미지 데이터의 외형을 칭할 수 있다.

또한 오버레이 방법을 사용함으로써, 애플리케이션 소프트웨어는 터치 이벤트에 대해 디스플레이되는 응답의 영역(예를 들어 표시 화면 상의 위치), 색상 및 렌더링 동작을 제어할 수 있다.

도 1b는 본 발명의 실시예에 따라 터치 입력 처리 장치를 포함하는 단말의 응답을 도시하는 도면이다. 도 1b에 도시한 것처럼, 디스플레이된 라인(100)은 본 발명의 실시예에 따른 오버레이 시스템, 즉 저 대기 시간 오버레이 시스템에 의해 드로잉되는 추정 또는 계산 부분(104)을 포함함으로써, 사용자에 의해 감지되는 디스플레이 지연을 감소시킨다.

도 2를 참고하면, 본 발명의 실시예에 따르면, 모바일 전화기와 같은 단말(250)에서, AP(202)를 경유하는 종래의 대기 시간 경로(210)에 따른 대기 시간 레벨을 가지는 비디오 이미지에 선행하여, 터치 제어기(200) 및 디스플레이 구동기 인터페이스 제어기(display driver interface controller, DDIC)(204)를 통과하는 짧은 대기 시간 경로(212)에 따라 시각적 피드백을 즉각적으로 또는 더 신속하게 제공한다

도 3을 참고하면, 본 발명의 한 실시예에 따른 단말(300)은 AP(310), 제1 터치스크린 표시 장치, 그리고 제2 터치스크린 표시 장치을 포함한다. 제1 터치스크린 표시 장치는 제1 터치 센서 패널(322), 제1 터치 제어기(324), 제1 DDIC(326) 및 제1 표시 패널(328)을 포함하고, 제2 터치스크린 표시 장치는 제2 터치 센서 패널(332), 제2 터치 제어기(334), 제2 DDIC(336) 및 제2 표시 패널(338)을 포함한다. 이때, 제1 터치 센서 패널(322)과 제1 표시 패널(328)은 단말(300)의 전면에 제공되고, 제2 터치 센서 패널(332)과 제2 표시 패널(338)은 단말(300)의 후면에 제공될 수 있다.

제1 터치 센서 패널(322)에서 터치가 발생한 경우, 제1 터치 제어기(324)는 제1 터치 센서 패널(322)로부터의 터치 신호(323)를 처리하여서, 터치 좌표와 같은 터치 이벤트(325)를 AP(310)와 제1 DDIC(326)로 출력한다. 마찬가지로, 제2 터치 센서 패널(332)에서 터치가 발생한 경우, 제2 터치 제어기(334)는 제2 터치 센서 패널(332)로부터의 터치 신호(333)를 처리하여서, 터치 좌표와 같은 터치 이벤트(335)를 AP(310)와 제2 DDIC(336)로 출력한다.

도 3을 참고하면, 제1 및 제2 터치 센서 패널(322, 332)은 사용자의 터치를 검출하고, 데이터 버스를 통해 터치 제어기(324, 334)로 공급되는 터치 신호(323, 333)를 생성한다. 본 발명의 실시예에 따르면, 터치 센서 패널(322, 332)로, 신체의 일부(예를 들어, 손가락), 스타일러스 등과 같은 임의의 유형의 포인팅 도구(pointing implement)를 사용한 사용자의 터치를 검출하는 터치 센서 패널이 사용될 수 있다. 또한 본 발명의 실시예에서, "포인팅 도구"는 디바이스(능동형 스타일러스 또는 수동형 스트일러스) 및 신체의 일부(손가락 또는 머리)을 포함하여 터치 센서 패널(322, 332)에 의해 검출될 수 있는 물체를 칭한다. 본 발명의 실시예에 따르면, 저항성 터치 패널, 표면 탄성파 터치 패널, 용량성 터치 패널, 적외선 터치 패널, 광 터치 패널과 같은 다양한 유형의 터치 패널 중 임의의 패널이 터치 센서 패널(322, 332)로 사용될 수 있다. 한 실시예에서, 터치 신호(323, 333)는 터치 센서 패널 내의 각각의 위치에 대한 커패시턴스 또는 전압 또는 전류의 측정치와 같이, 터치 센서 패널(322, 332)에 의해 공급되는 데이터에 대응한다. 터치 이벤트(325)를 위한 데이터 버스는 AP(310) 및 DDIC(326) 모두에 연결되어 있고, 마찬가지로 터치 이벤트(335)를 위한 데이터 버스는 AP(310) 및 DDIC(336) 모두에 연결되어 있다. 터치 이벤트(325, 335)은 사용자에 의한 터치가 검출된 위치(예를 들어, 터치 이벤트의 검출을 이루는데 충분히 높은 값의 커패시턴스 또는 전압 또는 전류의 변경)에 대응하는 데이터 값의 스트림일 수 있다. 일부 실시예에서, 터치 이벤트(325, 335)는 터치 센서 패널에 가해졌던 압력을 나타내는 압력 데이터를 포함한다.

AP(310)는 터치 이벤트(325, 335)를 프로세싱하고, AP에서 실행되는 애플리케이션 소프트웨어는 제1 표시 패널(328) 상에 디스플레이하기 위한 비디오 이미지(343)(또는 프레임)을 제1 DDIC(326)에 렌더링하고 제2 표시 패널(338) 상에 디스플레이하기 위한 비디오 이미지(346)(또는 프레임)을 제2 DDIC(336)에 렌더링함으로써, 프로세싱에 맞춰 디스플레이 합성을 수행한다. AP(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphical processing unit, GPU) 및 메모리를 포함할 수 있다.

AP(310)는 제1 및 제2 DDIC(326, 336)에 연결되어 있고, 제1 DDIC(326)는 제1 표시 패널(326)에 연결되어 있으며, 제2 DDIC(336)는 제2 표시 패널(336)에 연결되어 있다. 제1 DDIC(326)는 AP(310)로부터 제1 표시 패널(328)을 위한 비디오 이미지(341)를 수신하여 화소 구동 신호(327)를 제1 표시 패널(328)로 공급한다. 마찬가지로 제2 DDIC(336)는 AP(310)로부터 제2 표시 패널(338)을 위한 비디오 이미지(342)를 수신하여 화소 구동 신호(337)를 제2 표시 패널(338)로 공급한다.

한 실시예에서, DDIC(326, 336)는 각각 표시 패널(328, 338)을 위한 타이밍 제어기일 수 있다. DDIC(326, 336)는 각각 오버레이 제어를 위한 오버레이 시스템(350, 360)를 포함할 수 있다. 한 실시예에서, 오버레이 시스템(350, 360)은 타이밍 제어기에 내장된(embedded) 프로세서, 예를 들면 ARM(advanced RSIC machines) 프로세서일 수 있다.

한 실시예에서, 터치 센서 패널(322, 332), 터치 제어기(324, 334), DDIC(326, 336) 및 표시 패널(328, 338)은 디스플레이 모듈의 구성 요소이고, 이들은 AP(310)와 별개일 수 있다. 다른 실시예에서, 터치 센서 패널(322, 332), 터치 제어기(324, 334), DDIC(326, 336) 및 표시 패널(328, 338) 또는 이들의 결합들은 별개의 모듈들에 위치되거나 AP(310)와 결합될 수 있다.

제1 DDIC(326)는 AP(310)로부터 수신되는 제1 표시 패널(328)을 위한 비디오 이미지 데이터(343)를 프로세싱하여, 화소 구동 신호(327)를 제1 표시 패널(328)로 출력한다. 제2 DDIC(336)는 AP(310)로부터 수신되는 제2 표시 패널(338)을 위한 비디오 이미지 데이터(346)를 프로세싱하여, 화소 구동 신호(337)를 제2 표시 패널(338)로 출력한다. 또한 제1 DDIC(326)는 제1 터치 센서 패널(322)에서의 터치에 따른 오버레이 처리를 위해서 AP(310)로부터 파라미터(341)와 오버레이 데이터(342)를 더 수신할 수 있으며, 제2 DDIC(336)는 제2 터치 센서 패널(332)에서의 터치에 따른 오버레이 처리를 위해서 AP(310)로부터 파라미터(344)와 오버레이 데이터(345)를 더 수신할 수 있다. 파라미터(341, 344) 및 오버레이 데이터(342, 345)의 기능은 아래에서 더 상세하게 설명할 것이다.

본 발명의 실시예에 따르면, 오버레이 시스템(350, 360)은 표시 패널(328, 338)이 유사한 구현에서보다 터치 이벤트에 대한 시각적 응답을 더 빠르게 나타낼 수 있도록 터치 이벤트(325, 335)를 프로세싱한다. 일부 유사한 디바이스에서의 대략 6 프레임 이상의 디스플레이 지연과는 대조적으로, 본 발명의 실시예는 지연을 1 내지 2 프레임으로 감소시킬 수 있다.

도 4는 본 발명의 한 실시예에 따른 오버레이 시스템을 나타내는 블록도이다. 도 4에서는 도 3의 제1 터치스크린 표시 장치를 위한 오버레이 시스템을 예시하여서 설명하지만, 제2 터치스크린 표시 장치를 위한 오버레이 시스템도 도 4에 도시한 오버레이 시스템과 동일 또는 유사하게 구현될 수 있다.

도 4를 참고하면, 본 발명의 한 실시예에 따른 오버레이 시스템(400)은 터치 경로 로직(410), 마스크 버퍼(420), 오버레이 버퍼(430) 및 렌더링 로직(440)을 포함한다. 앞서 설명한 것처럼, 오버레이 시스템(400)은 DDIC(도 3의 326)에 내장될 수 있다. 이와는 달리 오버레이 시스템(400)의 일부는 DDIC(도 3의 326) 또는 AP(도 3의 310)에 포함될 수 있고 다른 일부들은 터치 제어기(324)에 포함될 수 있다.

터치 경로 로직(410)은 터치 제어기(324)에 연결되어 있으며, 터치 제어기(324)로부터 터치 이벤트(325)를 수신한다. 터치 경로 로직(410)은 AP(310)에 연결되어 설정 파라미터(341)을 수신할 수 있다. 터치 경로 로직(410)은 렌더링 로직(430)에 의해 사용되는 마스크 버퍼(420)에 연결되어 있다.

한 실시예에 따르면, 오버레이 버퍼(440)는 AP(310)에 연결되어 있으며, AP(310)로부터 수신한 오버레이 데이터(342)를 저장하는 DDIC(326) 내의 메모리 장치이다. 오버레이 버퍼(440)는 저장된 오버레이 데이터(342)를 렌더링 로직(430)에 공급한다. 다른 실시예에서, 오버레이 데이터(342)는 AP(310)로부터의 입력 없이 오버레이 시스템(400) 내에서 만들어질 수 있다. 또 다른 실시예에서, 오버레이 데이터(342)는 오버레이 시스템(342) 내부에서 만들어진 데이터 및 AP(310)로부터 입력된 데이터의 결합일 수 있다.

한 실시예에 따르면, 렌더링 로직(430)은 AP(310) 및 오버레이 버퍼(440)에 연결되어 있으며 마스크 데이터에서의 값에 따라 오버레이 데이터(342)를 비디오 이미지(343)와 결합한다. 렌더링 로직(430)의 출력은 오버레이 데이터(342)와 비디오 이미지(343)가 결합된 디스플레이 이미지를 표시 패널(328)에 화소 구동 신호(327)로 공급하기 위해 표시 패널(328)에 연결되어 있다.

한 실시예에서, 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440)는 각각 상이한 주문형 반도체(application specific integrated circuit, ASIC)을 사용하여 구현될 수 있다. 다른 실시예에서, 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440)의 모든 기능을 구현하기 위해 단일 ASIC이 사용될 수 있다. 또 다른 실시예에서, 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA)가 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440)의 기능을 수행하도록 프로그램될 수 있다. 또 다른 실시예에서, 범용 프로세서가 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440) 각각의 기능을 수행하도록 프로그램될 수 있다. 또 다른 실시예에서, 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440) 중 하나 이상의 기능은 AP(310)의 구성요소로서 구현될 수 있다.

또한 도 4에서는 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440)가 DDIC(326)의 구성요소로서 도시되어 있지만, 본 발명의 실시예는 이에 한정되지 않는다. 일부 실시예에서, 터치 경로 로직(410), 마스크 버퍼(420), 렌더링 로직(430) 및 오버레이 버퍼(440) 중 하나 이상은 예를 들어 터치 제어기(324) 또는 AP(310) 내에 위치하거나, 별개의 구성요소로서 위치할 수 있다. 이들 구성요소 또는 이들이 수행하는 기능은 디바이스의 상이한 부분에 위치될 수 있다. 예를 들어, 터치 경로 로직(410)은 터치 제어기(324)에 의해 구현될 수 있고, 오버레이 버퍼(440) 및 렌더링 로직(430)은 AP(310)에 의해 구현될 수 있다.

또한 도 3에서는 터치 제어기(324)가 물리적으로 별개의 구성요소로서 도시되어 있지만, 일부 실시예에서 터치 제어기(324)는 다른 집적 회로의 일부일 수 있다. 예를 들어, 터치 제어기(324)는 AP 및/또는 DDIC와 동일한 집적 회로 내에 구현될 수 있다.

도 5는 본 발명의 하나의 실시예에 따라, N번째 프레임 동안 결합된 디스플레이 이미지(510)의 한 세트를 생성하기 위한(예를 들어, 프레임(N)을 생성하기 위한) 비디오 이미지(343)(또는 비디오 이미지의 프레임), 오버레이 데이터(3424) 및 터치 이벤트(325)의 결합을 개략적으로 나타내는 도면이다.

도 5를 참고하면, 터치 경로 로직(도 4의 410)은 터치 제어기(도 3의 324)로부터의 현재 프레임(N)에서의 터치 이벤트(325)와 이전의 연속 프레임(예를 들어 지나간 X개의 프레임)에 걸쳐 수신된 터치 이벤트로부터 추정 터치 경로를 생성한다. 예를 들면, 터치 경로 로직(410)은 연속된 프레임에서의 터치 이벤트의 위치들을 내삽(interpolation) 및/또는 외삽(extrapolation)함으로써 추정 터치 경로를 생성할 수 있다. 다음, 터치 경로 로직(410)은 추정 터치 경로에 기초해서 마스크 버퍼(420) 내에 저장되는 마스크 데이터(500)를 생성한다.

렌더링 로직(도 4의 430)은 마스크 데이터(500)에 따라 오버레이 버퍼(440) 내에 저장된 오버레이 데이터(342)와 AP(310)로부터 수신한 현재 프레임(N)에서의 비디오 이미지를 결합하여 결합된 디스플레이 이미지(510)를 생성한다.

한 실시예에 따르면, 마스크 데이터(500)는 수치들의 매트릭스이고, 여기서 매트릭스 내의 위치는 표시 패널(322) 내의 화소의 위치에 대응하고 매트릭스 내의 값들의 상대 위치는 표시 패널(322) 내의 화소의 상대 위치에 대응한다. 예를 들면, 마스크 데이터(500)는 결합된 디스플레이 이미지(510) 내의 화소 위치들의 2차원 맵에 대응하는 2차원 매트릭스로서 간주될 수 있다. 한 실시예에 따르면, 마스크 데이터(500)의 수치들 각각은 단일 비트로서 표현되고 마스크 데이터 매트릭스에서의 위치는 결합된 디스플레이 이미지 내의 위치에 대응한다. 결합된 디스플레이 이미지에서 오버레이 데이터가 보여야 하는 위치는 제1값(예를 들어, "1")으로 설정된 값을 가지고 오버레이 데이터가 보이지 않아야 하는(예를 들어 비디오 이미지 데이터가 보여야 하는) 위치는 제1값과 다른 제2값(예를 들어, "0")으로 설정된 값을 가진다.

다른 실시예에 따르면, 마스크 데이터(500)에서의 수치들 각각은 복수의 비트(예를 들어 8-비트)에 의해 표현될 수 있다. 이 경우, 마스크 데이터(500)의 수치는 디스플레이 내의 각각의 위치에서의 오버레이 데이터의 "투명도(transparency)"를 칭한다. "투명도"는 오버레이 데이터(342) 및 비디오 이미지(343)를 혼합(예를 들어 병합)하여 결합된 디스플레이 이미지(510)가 오버레이 데이터(342) 및 비디오 이미지(343) 모두의 특성들을 취하도록 하는 것을 나타낸다.

렌더링 로직(430)에 의해 마스크 버퍼(420)를 사용하는 것이 아래에서 더 상세하게 기술될 것이다.

한 실시예에서, 각각의 비디오 프레임에 대해, 터치 경로 로직(410)은 고정된 수의 비디오 프레임에 대응하는 터치 이벤트의 하위 세트에 기초하여 추정 터치 경로를 생성한다.

다른 실시예에서, 비디오 프레임의 수는 AP(310)로부터의 디스플레이 지연과 일치하도록 설정될 수 있다.

다른 실시예에서, 터치 경로 로직(410)은 가변하는 수효의 비디오 프레임에 대한 터치 경로를 생성한다. 비디오 프레임의 수는 AP(310)로부터의 과거 비디오 이미지(316)에 기초하여 외부 로직에 의해 결정될 수 있다.

파라미터의 세트(341)는 터치 경로가 생성될 때 추정 터치 경로의 특성을 결정한다. 이들 파라미터(341)는 초기 기동 시에 디폴트 값으로 설정될 수 있으나, 소프트웨어 또는 다른 수단에 의해 실행 시간 동안 필요에 따라 조정될 수 있다. 이들 파라미터(341)는 생성되는 경로의 폭, 단일 직선 세그먼트 및 곡선과 같은 생성되는 라인 세그먼트의 스타일, 경로가 허용되는 디스플레이 영역(예를 들어 활성 드로잉 영역) 및 렌더링 동작의 스타일(예를 들어 안티에일리어싱(antialiasing) 동작, 스무딩(smoothing) 동작 및 투명화 등) 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다.

예를 들어, 본 발명의 실시예가 드로잉용 소프트웨어 애플리케이션(예를 들어, 디지털 스케치북)에서 사용될 때, 결합된 디스플레이 이미지(510)의 일부인 오버레이 이미지 세그먼트(508)(컴퓨팅된 부분으로 칭해질 수 있다)는 단지 활성 드로잉 영역에 대응하는 표시 부분에 적용된다. 오버레이 시스템(350)은 일반적으로 활성 드로잉 영역의 외부에 있는 표시 부분에 대해서 오버레이 데이터를 적용하지 않는다. 그러므로 파라미터(341)는 추정 터치 경로가 활성 드로잉 영역에 대응하는 표시 부분으로 한정되도록 설정될 수 있다. 다른 예에서, 파라미터(341)는 드로잉된 라인의 라인 폭을 포함할 수 있다. 터치 경로 로직(410)은 AP(310)로부터의 생성 라인(또는 이미지 세그먼트)에 앞서 마스크 데이터(500)에 라인의 형상을 렌더링하기 위해, 파라미터(341)를 터치 이벤트(325)의 압력 데이터와 함께 이용할 수 있다.

비디오 이미지(343) 각각의 화소가 렌더링 로직(430)에 의해 프로세싱될 때, 렌더링 로직(430)은 마스크 데이터의 값의 위치(예를 들어 매트릭스 내의 위치)가 비디오 이미지(343) 내의 화소의 위치에 대응하는 마스크 데이터(500)에서의 값을 검색한다. 그리고 렌더링 로직(430)은 원하는 시각 효과(예를 들어, 투명 및/또는 안티에일리어싱)을 표현하기 위해 마스크 데이터(500) 내의 값에 따라 해당 화소의 비디오 이미지(343)와 오버레이 데이터(342)를 혼합하거나, 해당 화소의 비디오 이미지(343)를 오버레이 데이터(342)로 대체하여, 오버레이 데이터(342), 비디오 이미지(343) 또는 이들의 혼합을 화소 구동 신호(327)를 통해 표시 패널(328)로 출력한다.

예를 들어, 본 발명의 대체 실시예에서, 렌더링 로직(430)의 렌더링 동작은 마스크 데이터(500)에서의 값에 의해 정의되는 것처럼 단일 비트를 사용하여 특정될 수 있다. 렌더링 동작은 결합된 디스플레이 이미지(510)에서 화소의 위치에 대응하는 마스크 데이터(500) 내의 위치에서의 값에 기초하여 각 화소에 대한 오버레이 데이터(342)이거나 비디오 이미지(343)이도록 렌더링 로직의 출력을 선택한다.

한 실시예에서, 마스크 데이터(500)의 값의 개수(또는 크기)는 비디오 이미지(343)의 한 프레임에서의 화소의 개수와 동일할 수 있다. 그러므로 마스크 데이터(500)에서의 각각의 값 및 비디오 이미지(343)의 각각의 화소 사이에는 일대일 관계가 존재한다. 즉, 렌더링 로직(430)의 대체 실시예는 마스크 데이터(500) 내의 각각의 값을 비디오 이미지(343) 내의 대응하는 화소와 정합시키고 해당 화소의 비디오 이미지(343) 또는 오버레이 데이터(342)를 표시 패널(328)로 출력함으로써 수행된다. 예를 들어, 한 실시예에서 렌더링 로직(430)은 마스크 데이터(500)의 각각의 값에 대해서 반복 동작을 수행한다. 0의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직(430)은 해당 화소의 비디오 이미지(343)를 출력한다. 한편, 1의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직은 해당 위치의 오버레이 데이터(342)를 출력한다. 반복 프로세스의 결과로서, 렌더링 로직(430)은 화소 구동 신호(327)에서 표현되는 바와 같은 결합된 디스플레이 이미지(510)를 표시 패널(328)로 출력한다.

본 발명의 다른 실시예에서, 마스크 데이터(500)에서의 값의 개수는 비디오 이미지(343)의 프레임 내의 화소들의 개수보다 적을 수 있다. 그러므로, 마스크 데이터(500)에서의 각각의 값이 비디오 이미지(500)의 화소들과 일대다의 관계를 가져서 마스크 데이터(500)에서의 값이 비디오 이미지(343)의 복수의 화소에 대응함으로써, 마스크 데이터(500)의 크기가 축소되고 마스크 버퍼(420)의 메모리가 감소될 수 있다.

그러나 본 발명의 실시예는 이에 한정되지 않는다. 예를 들어, 본 발명의 대체 실시예에서, 렌더링 로직(430)의 렌더링 동작은 마스크 데이터(500)에서의 값들에 의해 정의된 것처럼 복수의 비트를 사용하여 특정될 수 있다. 예를 들어, 마스크 데이터(500)에서의 값은 렌더링 로직(430)에 의해 렌더링되는 혼합의 레벨(예를 들어 투명도의 레벨)을 식별할 수 있다. 다른 예에서, 렌더링 로직(430)에 의해 복수의 렌더링 동작이 지원되는 경우, 마스크 데이터(500)에서의 값의 하나 이상의 비트는 원하는 렌더링 동작을 정의하는 데 사용될 수 있고, 다른 비트는 렌더링 동작의 사양을 조정하는 데 사용될 수 있다. 렌더링 로직(430)은 에지-향상(edge-enhance), 다지(dodge)(밝게 함), 번(burn)(어둡게 함) 등과 같이, 비디오 이미지(343)에서 반송되는 정보 및 오버레이 데이터(342)에서 반송되는 정보 사이의 다양한 렌더링 동작을 수행할 수 있다. 다른 실시예에서, 렌더링 동작은 비디오 이미지(343)의 일부의 색상 또는 백색도(luminosity)를 변경함으로써, 투명 컬러링(또는 하이라이터(highlighter)) 효과 또는 알파 합성(alpha compositing) 효과를 발생시킬 수 있다.

렌더링 로직(430)은 2개의 입력을 수신하는데, 제1 입력은 AP(310)로부터의 비디오 이미지(343)를 포함하고 제2 입력은 오버레이 버퍼(440)로부터의 오버레이 데이터(342)를 포함한다. 오버레이 버퍼(440)는 렌더링 로직(430)에 의해 프로세싱되는 오버레이 데이터(342)를 저장한다. 오버레이 데이터(342)는 AP(310)에 의해 제공되거나 오버레이 시스템(350)에서 내부적으로 생성된다. 여기서 오버레이 데이터(342)의 특성은 렌더링 로직(430)의 원하는 출력에 의해 결정된다. 한 실시예에서, 오버레이 데이터(342)의 특성(예를 들어 외형)은 디스플레이된 라인을 따라 비디오 이미지(343)의 특성(예를 들어 외형)과 일치한다. 이에 따라, 결합된 디스플레이 이미지(510)가 마스크 데이터(500)에 따라 렌더링될 때, 이미지 세그먼트(506)와 오버레이 이미지 세그먼트(508)가 끊김 없이 전환된다. 이 특성은 색상을 포함할 수 있다. 예를 들어, 애플리케이션 소프트웨어가 검은 라인을 드로잉하면, 오버레이 데이터(342)는 소프트웨어가 드로잉한 라인과 동일한 검은 색상(예를 들어 화소 모두가 검은 이미지)을 포함하기 위하여 AP(310)에 의해 제공되거나 오버레이 시스템(310)에 의해 내부적으로 생성될 것이다. 렌더링 로직(430)은 마스크 데이터(500) 및 오버레이 데이터(342)에 의해 결정되는 바와 같이 AP(310)로부터의 이미지 세그먼트(506)(예를 들어 소프트웨어가 드로잉한 라인)와 오버레이 이미지 세그먼트(508)를 인접시킴으로써 형성되는 검은 라인을 포함하는 결합된 디스플레이 이미지(510)를 출력할 것이다. 오버레이 데이터(342)는 텍스처화 또는 컬러화될 수 있거나 비트맵 이미지 데이터를 포함할 수 있다. 오버레이 데이터(342)의 컨텐츠는 시간에 대해 동적일 수 있고 AP(310)에 의해 갱신되거나 DDIC(326) 내의 메커니즘에 의해 갱신될 수 있다. 컨텐츠는 또한 크기 및 형상에 있어서 동적일 수 있다.

한 실시예에서, 복수의 오버레이를 표현하는 복수의 상이한 오버레이 데이터(342) 세트는 오버레이 버퍼(440) 내에 저장될 수 있으며, 예를 들어 각각의 세트는 상이한 컬러, 상이한 이미지 또는 상이한 텍스처를 가진다. 이 오버레이 데이터(342) 세트는 본 명세서에서 "페이지(page)"로서 칭해질 수 있다. 이러한 실시예에서, 마스크 데이터(500)의 값은 렌더링 로직(430)이 오버레이 데이터(342)의 특정한 페이지를 식별하여 렌더링 동작 동안 단지 식별한 페이지만을 사용하도록 하는 정보를 포함할 수 있다. 이와 같이, 일부 실시예에서, 마스크 데이터(500)의 값은 렌더링 로직(430)의 렌더링 동작 동안 오버레이 데이터(342)의 상이한 페이지 사이에서의 전환이 가능하도록 오버레이 데이터(342)의 페이지에 대한 인덱스를 포함한다.

한 실시예에서, 오버레이 데이터(342) 각각의 페이지의 값의 개수(또는 크기)는 비디오 이미지(343)의 한 프레임 내의 화소의 수와 동일하고, 이는 결과적으로 결합된 디스플레이 이미지(510) 내의 화소의 수와 동일하다. 그러므로 오버레이 데이터(342) 각각의 페이지의 값 및 비디오 이미지(343)의 화소 사이에는 일대일 관계가 존재한다.

다른 실시예에서, 오버레이 데이터(342) 각각의 페이지의 값의 개수(또는 크기)는 비디오 이미지(343)의 프레임 내의 화소의 수보다 적을 수 있다. 그러므로, 오버레이 데이터(342) 각각의 페이지의 값이 비디오 이미지(343)의 화소와 일대다의 관계를 가진다. 즉, 오버레이 데이터(342) 각각의 페이지의 값이 비디오 이미지(343)의 복수의 화소에 대응함으로써, 오버레이 데이터(342)의 크기가 축소되고 오버레이 버퍼(440)의 메모리가 감소될 수 있다. 예를 들어, 일부 실시예에서, 오버레이 데이터(342)는 RGB(red, green, blue) 컬러 값과 같은 단일 컬러 값을 포함하고, 여기서 전체 오버레이 이미지(또는 오버레이 이미지 세그먼트)(508)는 단일 컬러 값으로 드로잉된다. 다른 실시예에서, 오버레이 데이터(342)의 상이한 페이지들은 상이한 컬러들에 대응하는 단일 값들이다. 또 다른 실시예에서, 단일 값은 오버레이 데이터(342) 내의 다른 값 또는 비트맵된 이미지를 포함하는 다른 페이지와 혼재(intermingle)될 수 있다.

도 6은 본 발명의 한 실시예에 따라, N+1번째 프레임 동안 결합된 디스플레이 이미지(510')의 제2 세트를 생성하기 위한(예를 들어, 프레임(N+1)을 생성하기 위한) 비디오 이미지(343'), 오버레이 데이터(342) 및 터치 경로(325')의 결합에 대한 개략적인 도면이다. 다음 프레임에서(예를 들어, N이 결합된 디스플레이 이미지(510)의 제1 세트에 대응하는 프레임인 경우 프레임(N+1)에서), AP(310)로부터의 비디오 이미지(343')는 프레임(N)에서 디스플레이되지 않았던(예를 들어, 도 5에 도시된 바와 같이 비디오 이미지(343)에서 도시되지 않았던) 이미지 세그먼트(600)를 포함한다. 게다가, 프레임(N+1) 동안, 터치 경로 로직(410)은 터치 이벤트(325')로부터 도 5에 도시된 마스크(500)의 값과 상이한 값의 세트를 포함하는 상이한 마스크(500')를 계산한다. 이와 같이, 렌더링 로직(430)은 마스크 데이터(500')에 따라 AP(310)로부터의 비디오 이미지(343')와 오버레이 데이터(342)의 합성인 결합된 디스플레이 이미지(506')를 출력한다.

도 7은 본 발명의 한 실시예에 따른 디스플레이 지연 감소 방법을 예시하는 흐름도이다.

도 7을 참고하면, 본 발명의 한 실시예에 따르면, 터치 이벤트가 외부 소스(예를 들어 터치 센서 패널)로부터 수신된다(702). 터치 이벤트를 내삽 또는 외삽함으로써 터치 이벤트로부터 터치 경로(또는 추정 터치 경로)가 생성된다(704). 여기서 내삽 방법은 예를 들어 결합된 디스플레이 이미지의 오버레이 이미지 세그먼트(508)의 폭, 스타일, 직선 또는 곡선 영역 및 컬러를 구성하는 파라미터들에 의해 조정될 수 있다.

마스크 데이터(500)는 터치 경로로부터 생성된다(706). 이 터치 경로에서 마스크 데이터(500)의 값의 상대 위치는 표시 패널의 화소의 상대 위치에 대응하고, 마스크 데이터(500)의 값은 결합된 디스플레이 이미지의 대응하는 화소가 오버레이 버퍼(440)로부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지 또는 이들의 혼합된 결합을 포함하는지를 나타낸다. 마스크 데이터(500)는 마스크 버퍼(420)에 저장된다. 마스크 데이터(500)는 마스크 버퍼(420)로부터 검색된다(S708). 여기서 검색되는 값은 렌더링 로직에 의해 현재 프로세싱되고 있는 화소의 위치에 대응하는 마스크 데이터(500) 내의 위치에 배치된다.

표시 패널 내에서 현재 프로세싱되고 있는 화소의 위치에 대응하는 마스크 데이터(500)의 값은 오버레이 버퍼(440)로부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지 또는 이들의 혼합을 선택적으로 출력하는 데 사용된다(S710).

결합된 디스플레이 이미지은 비디오 이미지와 합성되어 있는 오버레이 데이터(342)를 디스플레이하기 위해 출력되어 표시 패널로 공급된다(S712).

이와 같이, 본 발명의 실시예는 고-대기 시간 루프 내에 저-대기 시간 루프를 도입함으로써 전체 시스템 대기 시간을 감소시키는 시스템 및 방법을 제공한다.

저-대기 시간 디스플레이 이미지는 터치 경로로부터 생성되는 마스크 데이터(500)로부터의 정보, 오버레이 버퍼로부터의 오버레이 데이터(342) 및 AP로부터의 고-대기 시간 비디오 이미지를 결합함으로써 생성될 수 있다. 터치 경로는 시간의 경과에 따라 기록되는 터치 이벤트들(예를 들어 터치 제어기들로부터의 출력들)로부터 계산된다. 오버레이 데이터(342)는 AP에 의해 제공되거나 오버레이 시스템에서 생성될 수 있다.

컬러, 치수들(예를 들어 폭), 지속성, 쉐이딩(shading) 및 타이밍을 포함하나 이로 제한되지 않는 오버레이 특성들은 동적으로 조정될 수 있다. 이 조정들은 AP에 의해 파라미터들의 세트로서 제공될 수 있거나 예를 들어 AP로부터의 비디오 이미지들을 분석함으로써 오버레이 시스템 내부에서 도출될 수 있다. 상기 조정들은 또한 터치 행위에 의해 결정될 수 있다. 예를 들어, 결과적인 라인의 폭은 터치 센서 패널에 가해지는 압력에 따라 조정될 수 있다(예를 들어, 폭 파라미터는 터치 이벤트들의 측정된 압력에 비례한다).

디스플레이 이미지는 오버레이 시스템에 의해 마스크 데이터(500)를 통해 생성되고, 이는 터치 경로로부터 계산된다. 매핑 및 크기 조정 파라미터들은 AP에 의해 제공될 수 있고 예를 들어 터치 이벤트들 및 AP로부터의 비디오 이미지들을 분석함으로써 오버레이 시스템 내에서 계산될 수 있다.

오버레이 데이터는 렌더링 로직에 의해 AP로부터의 비디오 이미지들과 화소 레벨에서 병합될 수 있다. 하나의 실시예에서, 비디오 이미지들로부터의 화소 특성들은 마스크 데이터의 값들에 따라 오버레이 데이터로부터의 화소 특성들에 의해 대체된다. 다른 실시예들에서, 새로운 화소 특성들은 비디오 이미지들 및 오버레이 데이터의 각각의 화소 특성들의 혼합에 기초하여 제작된다.

이상 도 4 내지 도 7에서는 도 3의 제1 터치스크린 표시 장치를 위한 오버레이 시스템(350)에서 저-대기 시간 루프를 사용하는 예에 대해서 설명하였지만, 제2 터치스크린 표시 장치를 위한 오버레이 시스템(360)에서도 동일 또는 유사한 방법으로 저-대기 시간 루프를 사용할 수 있다. 이에 따라 단말의 복수의 터치 센서 패널을 가지더라도, 각 터치 센서 패널에서 발생하는 지연을 방지할 수 있다.

한 실시예에서, AP(310)에서 DDIC(326, 336)으로 파라미터(341, 344)와 오버레이 데이터(342, 345)를 전달하는 경우에 별도의 배선을 통해서 전달할 수도 있다. 다른 실시예에서, 파라미터(341, 344)와 오버레이 데이터(342, 345)는 AP(310)에서 DDIC(326, 336)으로 비디오 이미지(343, 346)을 전달하는데 사용되는 디스플레이 인터페이스 배선을 통해 전달될 수도 있다. 아래에서는 이러한 실시예에 대해서 도 8을 참고로 하여 설명한다.

도 8은 비디오 이미지를 위한 한 프레임 시간을 나타내는 도면이고, 도 9 내지 도 11은 각각 본 발명의 실시예에 따른 파라미터와 오버레이 데이터 제공 방법을 나타내는 도면이다.

도 8을 참고하면, 비디오 이미지를 위한 한 프레임 시간은 수직 주기에 해당하고, 수직 주기에서는 복수의 수평 주기가 반복된다. 이때, 각 수평 주기에는 공백 시간(blank time)이 존재하고, 수직 주기에도 공백 시간이 존재한다. 한 프레임 시간에서 수직 공백 시간과 수평 공백 시간을 제외한 시간을 표시 활성 시간(display active time)이라 할 수 있다.

한 실시예에서, 도 9에 도시한 것처럼 각 수평 주기에서 비디오 이미지를 위한 데이터가 공급되지 않는 수평 공백 시간에, AP(310)가 파라미터(341, 344)와 오버레이 데이터(342, 345)와 같은 오버레이 설정 정보를 DDIC(326, 336)로 제공한다.

다른 실시예에서, 도 10에 도시한 것처럼 수직 주기에서 비디오 이미지를 위한 데이터가 공급되지 않는 수직 공백 시간에, AP(310)가 파라미터(341, 344)와 오버레이 데이터(342, 345)와 같은 오버레이 설저 정보를 DDIC(326, 336)로 제공한다.

또 다른 실시예에서, 도 11에 도시한 것처럼, AP(310)가 표시 활성 시간에서 비디오 이미지를 위한 데이터와 함께 파라미터(341, 344)와 오버레이 데이터(342, 345)를 DDIC(326, 336)로 제공한다.

또 다른 실시예에서, AP(310)는 표시 활성 시간, 수평 공백 시간 및 수직 공백 시간 중 적어도 하나의 시간 동안 파라미터(341, 344)와 오버레이 데이터(342, 345)를 DDIC(326, 336)로 제공할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 단말의 개략적인 블록도이다.

도 12를 참고하면, 본 발명의 다른 실시예에 따른 단말(300a)에서, 하나의 표시 패널(328a)에 복수의 터치 센서 패널, 예를 들면 2개의 터치 센서 패널(322a, 332a)이 존재한다. 예를 들면, 표시 패널(328a)은 투명 표시 패널일 수 있고, 터치 센서 패널(322a)이 표시 패널(328a)의 전면에 제공되고, 다른 터치 센서 패널(332a)이 표시 패널(328a)의 후면에 제공될 수 있다.

제1 터치 센서 패널(322a)에서 터치가 발생한 경우, 제1 터치 제어기(324a)는 제1 터치 센서 패널(322a)로부터의 터치 신호(323a)를 처리하여서, 터치 좌표와 같은 터치 이벤트(325a)를 AP(310a)와 DDIC(326a)로 출력한다. 마찬가지로, 제2 터치 센서 패널(322a)에서 터치가 발생한 경우, 제2 터치 제어기(334a)는 제2 터치 센서 패널(332a)로부터의 터치 신호(333a)를 처리하여서, 터치 좌표와 같은 터치 이벤트(335a)를 AP(310a)와 DDIC(326a)로 출력한다.

AP(310a)는 터치 이벤트(325a, 335a)를 프로세싱하고, AP(310a)에서 실행되는 애플리케이션 소프트웨어는 표시 패널(328a) 상에 디스플레이하기 위한 비디오 이미지(343)를 DDIC(326a)에 렌더링함으로써, 프로세싱에 맞춰 디스플레이 합성을 수행한다.

AP(310a)는 DDIC(326a)에 연결되어 있고, DDIC(326a)는 표시 패널(328a)에 연결되어 있다. DDIC(326a)는 AP(310a)로부터 표시 패널(328a)을 위한 비디오 이미지(341a)를 수신하여 화소 구동 신호(327a)를 표시 패널(328a)로 공급한다. DDIC(326a)는 각각 오버레이 제어를 위한 오버레이 시스템(350a)를 포함할 수 있다.

DDIC(326a)는 AP(310a)로부터 수신되는 비디오 이미지 데이터(343a)를 프로세싱하고 화소 구동 신호(327a)를 표시 패널(328a)로 출력한다. DDIC(326a)는 AP(310a)로부터 제1 터치 센서 패널(322a)에서의 터치에 따른 오버레이 처리를 위해 파라미터(341a)와 오버레이 데이터(342a)를 더 수신할 수 있다. 또한 DDIC(326a)는 AP(310a)로부터 제2 터치 센서 패널(332a)에서의 터치에 따른 오버레이 처리를 위해 파라미터(344a)와 오버레이 데이터(345a)를 더 수신할 수 있다.

이러한 단말(300a)에서도 도 4 내지 도 11을 참고로 하여 설명한 것과 동일 또는 유사하게 오버레이 데이터와 비디오 이미지가 혼합되어 결합된 디스플레이 이미지를 생성할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

제1 표시 패널, 제2 표시 패널과 상기 제1 표시 패널에 대응하는 제1 터치 센서 패널, 및 상기 제2 표시 패널에 대응하는 제2 터치 센서 패널을 포함하는 단말의 디스플레이 지연 감소 장치로서,
적어도 하나의 오버레이 데이터를 저장하고 있는 적어도 하나의 오버레이 버퍼,
파라미터를 수신하고, 상기 제1 터치 센서 패널로부터 제1 터치 이벤트를 수신하고, 상기 제2 터치 센서 패널로부터 제2 터치 이벤트를 수신하고, 상기 제1 또는 제2 터치 이벤트에 따라 추정 터치 경로를 계산하며, 상기 추정 터치 경로 및 상기 파라미터에 따라 제1 또는 제2 마스크 데이터를 생성하는 적어도 하나의 터치 경로 로직, 그리고
상기 제1 터치 이벤트 발생 시에, 제1 비디오 이미지를 수신하고, 상기 터치 경로 로직의 상기 제1 마스크 데이터를 수신하고, 상기 터치 경로 로직의 마스크 데이터에 따라 상기 제1 비디오 이미지를 상기 제1 비디오 이미지에 대응하는 오버레이 데이터와 결합하여 결합한 디스플레이 이미지를 출력하며, 상기 제2 터치 이벤트 발생 시에, 제2 비디오 이미지를 수신하고, 상기 터치 경로 로직의 상기 제2 마스크 데이터를 수신하고, 상기 터치 경로 로직의 마스크 데이터에 따라 상기 제2 비디오 이미지를 상기 제2 비디오 이미지에 대응하는 오버레이 데이터와 결합하여, 결합한 디스플레이 이미지를 출력하는, 적어도 하나의 렌더링 로직
을 포함하고,
상기 제1 및 제2 마스크 데이터 각각은 복수의 수치의 매트릭스를 포함하고, 각 수치는 상기 결합한 디스플레이 이미지를 생성하기 위해 상기 렌더링 로직의 동작을 특정하고,
상기 매트릭스 내에서 상기 수치의 위치는 상기 결합한 디스플레이 이미지 에서의 화소의 위치에 대응하며,
상기 파라미터는 상기 추정 터치 경로가 허용되는 영역을 제어하는,
디스플레이 지연 감소 장치.
제1항에 있어서,
상기 제1 비디오 이미지는 상기 제1 표시 패널에 디스플레이되는 라인을 포함하고,
상기 제2 비디오 이미지는 상기 제2 표시 패널에 디스플레이되는 라인을 포함
상기 오버레이 데이터의 특성은 상기 라인들 각각의 특성과 일치하는
디스플레이 지연 감소 장치.
제2항에 있어서,
상기 특성은 색상을 포함하는 디스플레이 지연 감소 장치.
삭제
제1항에 있어서,
상기 렌더링 로직은, 상기 결합한 디스플레이 이미지의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 또는 제2 비디오 이미지 또는 상기 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합하는 디스플레이 지연 감소 장치.
제1항에 있어서,
상기 렌더링 로직은, 상기 결합된 디스플레이 이미지의 각 화소에 대해서, 상기 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 또는 제2 비디오 이미지와 상기 오버레이 데이터를 혼합하는 방법을 결정함으로써, 상기 제1 또는 제2 비디오 이미지를 상기 오버레이 데이터와 결합하는 디스플레이 지연 감소 장치.
제1항에 있어서,
상기 오버레이 데이터는 복수의 페이지를 포함하고,
상기 마스크 데이터는 상기 복수의 페이지 중 적어도 하나를 특정하는 정보를 포함하는
디스플레이 지연 감소 장치.
제1항에 있어서,
상기 파라미터는 상기 추정 터치 경로의 폭, 스타일 또는 형상을 더 제어하는
디스플레이 지연 감소 장치.
제1항에 있어서,
상기 표시 패널은, 상기 제1 터치 센서 패널이 대응하는 제1 표시 패널과 상기 제2 터치 센서 패널이 대응하는 제2 표시 패널을 포함하고,
상기 터치 경로 로직은, 상기 제1 터치 이벤트에 기초하여 상기 제1 마스크 데이터를 생성하는 제1 터치 경로 로직과 상기 제2 터치 이벤트에 기초하여 상기 제2 마스크 데이터를 생성하는 제2 터치 경로 로직을 포함하며,
상기 렌더링 로직은, 상기 제1 비디오 이미지를 상기 제1 비디오 이미지에 대응하는 오버레이 데이터와 결합하는 제1 렌더링 로직과 상기 제2 비디오 이미지를 상기 제2 비디오 이미지에 대응하는 오버레이 데이터와 결합하는 제2 렌더링 로직을 포함하는
디스플레이 지연 감소 장치.
제1항에 있어서,
상기 제1 표시 패널은 상기 단말의 전면에 대응하고, 상기 표시 패널은 상기 단말의 후면에 대응하는 디스플레이 지연 감소 장치.
제1항에 있어서,
상기 오버레이 버퍼는 프레임에서 수평 주기의 공백 기간 또는 수평 주기의 공백 기간 동안 상기 오버레이 데이터를 수신하여 저장하는 디스플레이 지연 감소 장치.
제1항에 있어서,
상기 오버레이 버퍼는 프레임에서 상기 제1 또는 제2 비디오 이미지와 함께 상기 오버레이 데이터를 수신하여 저장하는 디스플레이 지연 감소 장치.
애플리케이션 프로세서,
제1 표시 패널 및 제2 표시 패널,
상기 제1 표시 패널에 대응하는 제1 터치 센서 패널과 상기 제2 표시 패널에 대응하는 제2 터치 센서 패널, 그리고
상기 애플리케이션 프로세서로부터 상기 제1 표시 패널을 위한 제1 비디오 프레임을 수신하며, 상기 제1 터치 센서 패널로부터의 제1 터치 이벤트 발생 시에 상기 제1 터치 이벤트에 기초하여 제1 터치 경로를 결정하고, 상기 제1 터치 이벤트에 따라 추정 터치 경로를 계산하며, 상기 애플리케이션 프로세서로부터 제1 파라미터를 수신하고, 상기 추정 터치 경로 및 상기 제1 파라미터에 따라 제1 마스크 데이터를 생성하고, 상기 제1 마스크 데이터와 저장된 제1 오버레이 데이터에 기초하여 상기 제1 비디오 프레임을 갱신하며, 상기 애플리케이션 프로세서로부터 상기 제2 표시 패널을 위한 제2 비디오 프레임을 수신하며, 상기 제2 터치 센서 패널로부터의 제2 터치 이벤트 발생 시에 상기 제2 터치 이벤트에 기초하여 제2 터치 경로를 결정하고, 상기 제2 터치 이벤트에 따라 추정 터치 경로를 계산하며, 상기 애플리케이션 프로세서로부터 제2 파라미터를 수신하고, 상기 추정 터치 경로 및 상기 제2 파라미터에 따라 제2 마스크 데이터를 생성하고, 상기 제2 마스크 데이터와 저장된 제2 오버레이 데이터에 기초하여 상기 제2 비디오 프레임을 갱신하는 프로세서
를 포함하고,
상기 제1 및 제2 마스크 데이터 각각은 복수의 수치의 매트릭스를 포함하고, 상기 수치의 위치는 상기 비디오 프레임에서의 화소의 위치에 대응하며,
상기 제1 파라미터는 상기 제1 터치 경로가 허용되는 영역을 제어하고,
상기 제2 파라미터는 상기 제2 터치 경로가 허용되는 영역을 제어하는,
단말.
제13항에 있어서,
상기 제1 비디오 프레임은 상기 제1 표시 패널에 디스플레이되는 라인을 포함하고,
상기 제1 오버레이 데이터의 특성은 상기 라인의 특성과 일치하는,
단말.
제13항에 있어서,
상기 프로세서는, 상기 제1 비디오 프레임의 각 화소에 대해서, 상기 제1 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 비디오 프레임 또는 상기 제1 오버레이 데이터를 출력할지를 결정함으로써, 상기 제1 비디오 프레임을 갱신하는
단말.
제13항에 있어서,
상기 프로세서는, 상기 제1 비디오 프레임의 각 화소에 대해서, 상기 제1 마스크 데이터의 대응하는 위치에서의 수치에 따라 상기 제1 비디오 프레임과 상기 제1 오버레이 데이터를 혼합하는 방법을 결정함으로써, 상기 제1 비디오 프레임을 갱신하는
단말.
제13항에 있어서,
상기 제1 파라미터는 상기 제1 터치 경로의 폭, 스타일 또는 형상을 더 제어하는
단말.
제13항에 있어서,
상기 프로세서는, 상기 제1 터치 경로와 상기 제1 오버레이 데이터에 기초하여 상기 제1 비디오 프레임을 갱신하는 제1 프로세서 및 상기 제2 터치 경로와 상기 제2 오버레이 데이터에 기초하여 상기 제2 비디오 프레임을 갱신하는 제2 프로세서를 포함하는
단말.
제13항에 있어서,
상기 제1 표시 패널은 상기 단말의 전면에 대응하고, 상기 제2 표시 패널은 상기 단말의 후면에 대응하는 단말.
단말에서 터치 입력에 따른 디스플레이 지연을 감소시키는 방법으로서,
제1 터치 센서 패널로부터 제1 터치 이벤트를 수신하는 단계,
상기 제1 터치 이벤트에 기초하여 제1 출력을 생성하는 단계,
외부 애플리케이션 프로세서로부터 제1 파라미터를 수신하는 단계,
상기 제1 터치 이벤트에 따라 제1 추정 터치 경로를 계산하는 단계,
상기 제1 파라미터 및 상기 제1 추정 터치 경로에 따라 제1 마스크 데이터를 생성하는 단계,
제1 비디오 이미지를 수신하는 단계,
상기 제1 마스크 데이터에 따라 상기 제1 비디오 이미지를 제1 오버레이 데이터와 결합하는 단계,
상기 제1 비디오 이미지와 상기 제1 오버레이 데이터를 결합한 디스플레이 이미지를 표시하는 단계,
상기 제1 터치 센서 패널과는 다른 제2 터치 센서 패널로부터 제2 터치 이벤트를 수신하는 단계,
상기 제2 터치 이벤트에 기초하여 제2 출력을 생성하는 단계,
상기 외부 애플리케이션 프로세서로부터 제2 파라미터를 수신하는 단계,
상기 제2 터치 이벤트에 따라 제2 추정 터치 경로를 계산하는 단계,
상기 제2 파라미터 및 상기 제2 추정 터치 경로에 따라 제2 마스크 데이터를 생성하는 단계,
제2 비디오 이미지를 수신하는 단계,
상기 제2 마스크 데이터에 따라 상기 제2 비디오 이미지를 제2 오버레이 데이터와 결합하는 단계, 그리고
상기 제2 비디오 이미지와 상기 제2 오버레이 데이터를 결합한 디스플레이 이미지를 표시하는 단계
를 포함하는 방법.