KR20160058326A - 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치 - Google Patents

스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치 Download PDF

Info

Publication number
KR20160058326A
KR20160058326A KR1020140158973A KR20140158973A KR20160058326A KR 20160058326 A KR20160058326 A KR 20160058326A KR 1020140158973 A KR1020140158973 A KR 1020140158973A KR 20140158973 A KR20140158973 A KR 20140158973A KR 20160058326 A KR20160058326 A KR 20160058326A
Authority
KR
South Korea
Prior art keywords
touch
image
display image
display
scaler
Prior art date
Application number
KR1020140158973A
Other languages
English (en)
Other versions
KR102374160B1 (ko
Inventor
안보영
맹호석
최원준
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020140158973A priority Critical patent/KR102374160B1/ko
Priority to US14/710,196 priority patent/US10110832B2/en
Publication of KR20160058326A publication Critical patent/KR20160058326A/ko
Application granted granted Critical
Publication of KR102374160B1 publication Critical patent/KR102374160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 일 실시 예에 따른 시스템은 복수의 터치 이벤트(event)들을 수신하고, 터치 이벤트들을 다운-스케일링(down-scaling)하는 제1 스케일러, 다운-스케일된 터치 이벤트들에 기초하여 출력을 생성하는 터치 경로 로직(logic) 및 비디오 이미지를 수신하고, 터치 경로 로직의 출력을 수신하며, 터치 경로 로직의 출력에 따라 비디오 이미지를 오버레이 데이터와 결합시켜 디스플레이 이미지를 생성하고. 디스플레이 이미지를 출력하는 렌더링 로직(rendering logic)을 포함한다.

Description

스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치{A METHOD AND APPARATUS TO REDUCE DISPLAY LAG USING SCAILING}
본 발명은 터치 입력 장치들을 구비하는 디스플레이 장치들에 관한 것으로, 더욱 상세하게는 소비 전력을 감소시키고, 터치 입력 장치 및 디스플레이 장치 사이의 디스플레이 지연(display lag)을 감소시키는 방법 및 장치에 관한 것이다.
단말기는 터치 센서 패널(panel)과 결합되는 디스플레이 패널에 의해 사용자에게 이미지를 표시하고, 사용자로부터 터치를 입력받을 수 있다. 단말기의 디스플레이 패널 상에 그래픽 이미지가 표시되고, 사용자는 스크린을 터치하여(예를 들어, 능동 스타일러스, 수동 스타일러스, 또는 손가락과 같은 신체의 일부를 사용하여) 단말기와 상호 작용함으로써, 직관적인 사용자 인터페이스가 제공될 수 있다.
터치 센서 패널에 의해 검출되는 터치 사건(touch event)들은 단말기의 애플리케이션 프로세서(application processor, 이하, AP) 상에서 구동되는 애플리케이션 소프트웨어에 의해 처리될 수 있다. 터치 센서 패널 및 AP 사이의 많은 처리 단계들과 AP 상에서의 비결정성(non-deterministic) 처리 시간(AP에 의해 수행되는 다른 계산 업무들로 인한 지연들을 포함한다)으로 인해, 사용자의 터치 입력에 대한 단말기의 응답성(responsiveness)을 감소시키는 높은 대기 시간(latency)이 요구된다.
근래에는 대부분의 사람들이 터치하는 것과 보는 것과 같은 감각들 사이에서 30 밀리초의 비동시성(asynchrony)도 검출될 수 있음을 지적한다. 50 내지 200 밀리초들의 지연들은 이러한 단말기의 사용자들 대부분이 검출할 수 있으며, 이는 단말기가 사용자의 입력에 피드백을 즉각 제공하지 못하므로 사용자의 불만의 증가로 이어질 수 있다.
한편, 고해상도의 디스플레이 패널에 저해상도의 이미지를 표시하기 위해 AP 및 디스플레이 패널 사이에 저해상 이미지를 전송할 때에도 고해상도 이미지를 전송할 때와 비슷한 전력 소모가 발생하는 문제가 있다. 이에 따라, AP 및 디스플레이 패널 사이에 저해상도의 이미지를 전송한 후, 고해상도 디스플레이 패널에 적합하도록 저해상도의 이미지를 업-스케일링하는 기술이 발전하고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 터치 사건 및 이 터치 사건에 대한 디스플레이 응답 사이의 대기 시간(latency)을 감소시킬 수 있도록 하는 방법 및 이를 이용한 단말기를 제공하는 것을 그 목적으로 한다.
또 다른 목적은 터치 사건 및 이 터치 사건에 대한 디스플레이 응답에 따른 전력 소모를 감소시킬 수 있도록 하는 방법 및 이를 이용한 단말기를 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 실시 예에 따른 시스템은 복수의 터치 이벤트(event)들을 수신하고, 터치 이벤트들을 다운-스케일링(down-scaling)하는 제1 스케일러, 다운-스케일된 터치 이벤트들에 기초하여 출력을 생성하는 터치 경로 로직(logic) 및 비디오 이미지를 수신하고, 터치 경로 로직의 출력을 수신하며, 터치 경로 로직의 출력에 따라 비디오 이미지를 오버레이 데이터와 결합시켜 디스플레이 이미지를 생성하고. 디스플레이 이미지를 출력하는 렌더링 로직(rendering logic)을 포함한다.
디스플레이 이미지를 수신하고, 디스플레이 이미지를 업-스케일링(up-scaling)하는 제2 스케일러를 더 포함할 수 있다
비디오 이미지를 생성하는 애플리케이션 프로세서를 더 포함할 수 있다.
애플리케이션 프로세서는 비디오 이미지의 해상도 및 업 스케일된 디스플레이 이미지를 표시하는 디스플레이 패널의 해상도를 비교한 결과를 이용하여, 제1 스케일러 및 제2 스케일러를 제어하는 신호를 생성할 수 있다.
제1 스케일러 및 제2 스케일러를 제어하는 신호는 다운-스케일링의 정도 및 업-스케일링의 정도에 대한 정보를 포함할 수 있다.
터치 센서 패널로부터 복수의 터치 신호들을 수신하고 터치 사건들을 생성하는 터치 제어부를 더 포함할 수 있다.
터치 경로 로직은 터치 사건들을 수신하고, 수신된 터치 사건들에 따라 마스크 데이터를 생성하며, 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 수치들의 각각은 디스플레이 이미지를 제작하기 위해 렌더링 로직의 동작을 식별하며, 매트릭스 내의 수치들의 위치들은 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응할 수 있다.
렌더링 로직은 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터 내의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 또는 오버레이 데이터를 출력할지를 결정함으로써, 비디오 이미지를 오버레이 데이터와 결합할 수 있다.
터치 경로 로직은 파라미터를 수신하고, 터치 사건들에 따라 추정 터치 경로를 계산하며, 추정 터치 경로 및 파라미터에 따라 마스크 데이터를 생성하고, 파라미터는 마스크 영역의 위치를 제어하거나 추정 터치 경로의 폭, 스타일 또는 형상을 제어할 수 있다.
본 발명의 일 실시 예에 따른 터치 입력에 시각적 피드백을 제공하는 방법은 복수의 터치 이벤트(event)들을 수신하고, 터치 이벤트들을 다운-스케일링(down-scaling)하는 단계, 다운-스케일된 터치 이벤트들에 기초하여 출력을 생성하는 단계 및 비디오 이미지를 수신하고, 출력을 수신하며, 출력에 따라 비디오 이미지를 오버레이 데이터와 결합시켜 디스플레이 이미지를 생성하고, 디스플레이 이미지를 출력하는 단계를 포함할 수 있다.
디스플레이 이미지를 수신하고, 디스플레이 이미지를 업-스케일링(up-scaling)하는 단계를 더 포함할 수 있다.
디스플레이 패널에 업 스케일된 디스플레이 이미지를 표시하는 단계를 더 포함할 수 있다.
비디오 이미지의 해상도 및 디스플레이 패널의 해상도를 비교하는 단계 및 비교 결과를 이용하여, 제1 스케일러 및 제2 스케일러를 제어하는 신호를 생성하는 단계를 더 포함할 수 있다.
제1 스케일러 및 제2 스케일러를 제어하는 신호는 다운-스케일링의 정도 및 업-스케일링의 정도에 대한 정보를 포함할 수 있다.
터치 센서 패널로부터 복수의 터치 신호들을 수신하고 터치 사건들을 생성하는 단계를 더 포함할 수 있다.
출력을 생성하는 단계는 터치 사건들을 수신하고, 수신된 터치 사건들에 따라 마스크 데이터를 생성하는 단계를 포함하고, 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 수치들의 각각은 디스플레이 이미지를 제작하기 위해 렌더링 로직의 동작을 식별하며, 매트릭스 내의 수치들의 위치들은 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응할 수 있다.
디스플레이 이미지를 생성하는 단계는 디스플레이 이미지 내의 각각의 픽셀 별로, 마스크 데이터 내의 대응하는 위치에서의 값에 따라 비디오 이미지의 대응하는 픽셀 또는 오버레이 데이터를 출력할지를 결정함으로써, 비디오 이미지를 오버레이 데이터와 결합하는 단계를 포함할 수 있다.
출력을 생성하는 단계는 파라미터를 수신하는 단계, 터치 사건들에 따라 추정 터치 경로를 계산하는 단계 및 추정 터치 경로 및 파라미터에 따라 마스크 데이터를 생성하는 단계를 더 포함하고, 파라미터는 마스크 영역의 위치를 제어하거나 추정 터치 경로의 폭, 스타일 또는 형상을 제어할 수 있다.
본 발명의 일 실시 예에 따른 가속기는 내부에 명령들이 저장되는 메모리 및 명령에 따라, 애플리케이션 프로세서로부터 렌더링된 비디오 프레임들을 수신하고, 터치 센서 패널로부터 복수의 터치 신호들을 수신하며, 터치 신호들를 다운-스케일링하고, 다운-스케일된 터치 신호들에 기초하여 터치 경로를 결정하며, 갱신된 비디오 프레임들을 생성하기 위해 터치 경로 및 저장된 오버레이 데이터에 기초하여 렌더링된 비디오 프레임들을 갱신하고, 갱신된 비디오 프레임들을 업-스케일링하여 디스플레이로 출력하는 프로세서를 포함한다.
본 발명의 일 실시 예에 따른 디스플레이 장치는 터치 센서 패널을 포함하는 디스플레이, 비디오 프레임을 렌더링하는 애플리케이션 프로세서 및 애플리케이션 프로세서로부터 비디오 프레임들을 수신하고, 터치 센서 패널로부터 복수의 터치 신호들을 수신하며, 터치 신호들를 다운-스케일링하고, 다운-스케일된 터치 신호들에 기초하여 터치 경로를 결정하며, 갱신된 비디오 프레임들을 생성하기 위해 터치 경로 및 저장된 오버레이 데이터에 기초하여 렌더링된 비디오 프레임들을 갱신하고, 갱신된 비디오 프레임들을 업-스케일링하여 디스플레이에 표시하는 오버레이 유닛을 포함한다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 터치 사건 및 이 터치 사건에 대한 디스플레이 응답 사이의 대기 시간(latency)을 감소시킬 수 있는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 단말기의 소비 전력을 감소시킬 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예들에 따른 터치 입력 장치를 포함하는 단말기의 응답을 도시하는 예시도이다.
도 2는 본 발명의 실시 예들에 따른 저 대기 시간 오버레이 시스템을 포함하는 단말기를 도시하는 개략적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 저 대기 시간 오버레이 시스템 내의 구성요소들을 도시하는 블록도이다.
도 4는 본 발명의 일 실시 예에 따라, 제 1 결합 디스플레이 이미지를 생성하는 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도이다.
도 5는 본 발명의 일 실시 예에 따라, 제 2 결합 디스플레이 이미지를 생성하는 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도이다.
도 6은 본 발명의 실시 예들에 따라 오버레이 데이터의 적용을 결정하고 오버레이 데이터를 비디오 이미지와 결합하는 방법을 도시하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 연결되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
본 발명의 실시 예들은 애플리케이션 프로세서가 렌더링하는 이미지 이전에 터치 위치들에 기초하여 이미지를 디스플레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다.
또한, 본 발명의 실시 예들은 입력되는 비디오 이미지의 해상도에 따라, 터치 이벤트를 다운-스케일링함으로써 단말기에서 소모되는 전력을 감소시킬 수 있다.
터치 인터페이스들을 위해 설계되는 소프트웨어는, 시각적 피드백(예를 들어, 스와이핑(swiping) 또는 제스처-기반 온-스크린 키보드에서의 손가락의 자취에 대한, 드로잉 또는 스케치북 애플리케이션에서의 경로의 자취에 대한, 그리고 게임에서 드로잉(drawing)되는 경로에 대한)을 제공하기 위해 스크린 상에서의 경로들의 드로잉 및/또는 가상 “현실 세계”(pseudo “real-world”) 물체들의 직접적인 물리적 조작의 메타포(metaphor)를 흔히 사용한다.
단말기들에 대한 사용자의 불만은 사용자 인터페이스(user interface; UI)의 지연이다. 현재의 단말기들에서는 전형적으로 터치 행위에 응답하여 디스플레이를 업데이트하는 데 50 내지 20 밀리초가 소요된다.
본 발명의 실시 예들은 AP에 의해 렌더링되는 이미지에 앞서, 터치 경로들에서 이미지를 오버레이함으로써 사용자가 더 빠른 터치 응답을 감지하도록 한다. 스크린 상에서의 사용자의 터치 지점(손가락, 스타일러스 또는 다른 도구를 사용하는지 간에) 및 라인의 드로잉 사이의 갭을 좁힘으로써, 감지되는 디스플레이 지연이 감소될 수 있다.
이하에서, 동사로서 사용될 때 용어 “오버레이”는 비디오 이미지들(예를 들어 AP가 렌더링하는 이미지) 및 추가 이미지 데이터를 결합하여 추가 이미지 데이터가 원 비디오 이미지들의 일부분을 대체(또는 “오버레이”)하도록 하는 것을 칭한다. 명사로서 사용될 때 용어 “오버레이”는 또한 결합된 디스플레이 이미지에서 상기 추가 이미지 데이터의 외형을 칭할 수 있다.
게다가, 오버레이 방법을 사용함으로써, 애플리케이션 소프트웨어는 또한 터치 사건에 대해 디스플레이되는 응답의 영역(예를 들어 디스플레이 상의 위치), 컬러 및 렌더링 동작을 제어할 수 있다.
도 1은 본 발명의 실시 예들에 따른 터치 입력 장치를 포함하는 단말기(10)의 응답을 도시하는 예시도이다. 도시된 바와 같이, 비디오 이미지들은 애플리케이션 프로세서(110)를 통과하는 대기 시간 경로(102)를 통해 표시될 수 있다.
본 발명의 실시 예들에 의하면, 비디오 이미지들은 대기 시간 경로(102)을 통하는 비디오 이미지들에 선행하여, 터치 제어부(100) 및 디스플레이 드라이버인터페이스 제어부(display driver interface controller; DDIC)(204)를 통과하는 저 대기 시간 경로(104)를 통해 표시될 수 있다.
즉, 실시 예들은 시각적 피드백을 즉각적으로 또는 더 신속하게 제공하는 저 전력, 저 대기 시간 오버레이 시스템(“가속기(accelerator)” 또는 “시각적 피드백 가속기”로서 칭해질 수 있다)에 관한 것이다.
도 2는 본 발명의 실시 예들에 따른 저 전력, 저 대기 시간 오버레이 시스템을 포함하는 단말기(10)를 도시하는 개략적인 블록도이다. 도시된 바와 같이, 단말기(10) 내의 터치 스크린 시스템 및 디스플레이 시스템은 독자적으로 동작할 수 있다.
터치 제어부(100)는 터치 센서 패널(200)로부터 입력되는 터치 신호(202)을 처리하고, 좌표들과 같은 터치 이벤트(204)를 애플리케이션 프로세서(AP)(110) 및 DDIC(120)로 출력할 수 있다.
터치 신호(202)를 처리할 때, 터치 제어부(100)는 터치 신호(202)를 다운-스케일링할 수도 있다.
터치 센서 패널(200)은 사용자의 터치들을 검출하도록 구성되고, 데이터 버스를 통해 터치 제어부(100)로 공급되는 터치 신호(202)을 생성할 수 있다.
예를 들어, 터치 센서 패널(200)은 신체의 일부(예를 들어, 손가락), 스타일러스 등과 같은 임의의 유형의 포인팅 도구를 사용하는 사용자의 터치를 검출할 수 있다.
이하에서, “포인팅 도구(pointing implement)”는 디바이스들(예를 들어, 능동형 스타일러스 및 수동형 스트일러스) 및 신체의 일부들(예를 들어, 손가락 또는 손바닥)을 포함하여 터치 센서 패널(200)에 의해 검출될 수 있는 물체들을 칭한다.
터치 센서 패널(200)은 저항성 터치 패널, 표면 탄성파 터치 패널, 용량성 터치 패널, 적외선 터치 패널 및 광 터치 패널과 같은 다양한 유형들의 터치 입력 패널 중에서 적어도 하나를 포함할 수 있다.
터치 신호(202)는 터치 센서 패널 내의 각각의 위치에 대한 커패시턴스 또는 전압 또는 전류의 측정치들과 같이, 터치 센서 패널(200)에 의해 공급되는 원 데이터(raw data)에 대응할 수 있다.
터치 이벤트(204)에 대한 데이터 버스는 애플리케이션 프로세서(110) 및 오버레이 시스템(210) 모두에 연결될 수 있다. 터치 이벤트(204)는 사용자에 의한 터치들이 검출되었던 위치들(예를 들어, 터치 사건의 검출을 이루는 데 충분히 높은 값의 커패시턴스 또는 전압 또는 전류의 변경들)에 대응하는 데이터 값들의 스트림일 수 있다. 터치 이벤트(204)는 터치 센서 패널(200)에 가해졌던 압력을 나타내는 압력 데이터를 포함할 수 있다.
애플리케이션 프로세서(110)는 터치 이벤트(204)를 처리하고, AP로부터 구동되는 애플리케이션 소프트웨어는 디스플레이 패널(220) 상에 디스플레이하기 위해 비디오 이미지(218)(또는 프레임들 또는 비디오 이미지들)을 렌더링함으로써, 상기 DDIC(120)의 처리에 맞춰 디스플레이 합성을 갱신한다.
애플리케이션 프로세서(110)는 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphical processing unit; GPU) 및 메모리를 포함할 수 있다. 애플리케이션 프로세서(110)는 DDIC(120)에 연결될 수 있다.
DDIC(120)는 디스플레이 패널(220)에 연결될 수 있다. DDIC(120)는 애플리케이션 프로세서(110)로부터 비디오 이미지(218)을 수신하고, 화소 구동 신호(222)을 디스플레이 패널(220)로 공급할 수 있다.
디스플레이 패널(220)은 액정 디스플레이(liquid crystal display, LCD) 패널, 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD) 패널, 유기 발광 다이오드(organic light-emitting diode, OLED) 패널, 플렉서블 디스플레이(flexible display) 패널, 3차원 디스플레이(3D display) 패널, 전자잉크 디스플레이(e-ink display) 패널 중에서 적어도 하나를 포함할 수 있다.
하나의 실시 예에서, 터치 센서 패널(200), 터치 제어부(100), DDIC(120) 및 디스플레이 패널(220)은 디스플레이 모듈의 모든 구성요소들이고, 이것들은 애플리케이션 프로세서(110)와 별개일 수 있다. 다른 실시 예에서, 터치 센서 패널(200), 터치 제어부(100), DDIC(120) 및 디스플레이 패널(220) 또는 이들의 결합들은 별개의 모듈들에 위치되거나 애플리케이션 프로세서(110)와 결합될 수 있다.
DDIC(120)는 애플리케이션 프로세서(110)로부터 수신되는 비디오 이미지들(또는 비디오 이미지들의 프레임들)(218)을 처리하고 화소 구동 신호(222)을 디스플레이 패널(220)로 출력할 수 있다.
스케일 제어 신호(212), 파라미터(214) 및 오버레이 데이터(216)의 기능들은 아래에서 더 상세하게 기술될 것이다.
오버레이 시스템(210)은 터치 이벤트를 처리하는 데 요구되는 전력을 감소시키고, 디스플레이 패널(220)이 터치 사건에 대한 시각적 응답들을 더 빠르게 표시할 수 있도록, 터치 이벤트(204)를 비디오 이미지(218)로 처리할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 오버레이 시스템(210) 내의 구성요소들을 도시하는 블록도이다. 도시된 바와 같이, 오버레이 시스템(210)은 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)를 포함할 수 있다.
오버레이 시스템(210)은 DDIC(120)의 구성요소로서 포함될 수 있거나 오버레이 시스템(210)의 일부들은 DDIC(120) 또는 애플리케이션 프로세서(110)에 포함될 수 있고 다른 일부들은 터치 제어부(100)에 포함될 수 있다.
다운-스케일러(300)는 터치 제어부(100)에 연결되고 터치 제어부(100)로부터 터치 이벤트(204)를 수신할 수 있다. 그리고, 다운-스케일러(300)는 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)를 수신할 수 있다. 또한, 다운 스케일러는 터치 경로 로직(310)에 연결될 수 있다.
다운-스케일러(300)는 스케일 제어 신호(212)에 따라, 터치 이벤트를 다운-스케일링할 수 있다. 예를 들어, 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)가 전달되는 경우, 다운-스케일러(300)는 높은 데이터량을 갖는 터치 이벤트를 다운-스케일링하여 낮은 데이터량을 갖는 터치 이벤트로 처리할 수 있다. 또는, 터치 이벤트(204)가 입력되는 경우에도, 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)가 전달되지 않으면, 다운-스케일러(300)는 높은 데이터량을 갖는 터치 이벤트를 처리하지 않을 수 있다. 스케일 제어 신호(212)의 유무에 따라, 고해상도에 적합한 터치 이벤트가 저해상도에 적절하게 다운-스케일링될 수 있다.
터치 경로 로직(310)은 다운-스케일러(300)에 연결되고 다운-스케일러(300)로부터 다운-스케일된 터치 이벤트(204) 또는 원본 값의 터치 이벤트(204)를 수신할 수 있다.
터치 경로 로직(310)은 또한 구성 파라미터(214)를 수신하기 위해 애플리케이션 프로세서(110)에 연결될 수 있다. 터치 경로 로직(310)은 렌더링 로직(330)에 의해 사용되는 마스크 버퍼(320)에 연결될 수 있다.
오버레이 버퍼(340)는 애플리케이션 프로세서(110)에 연결되고 애플리케이션 프로세서(110)로부터 수신되는 오버레이 데이터(216)를 저장하는 DDIC(120) 내의 메모리를 포함한다. 오버레이 버퍼(340)는 렌더링 로직(330)에 저장된 오버레이 데이터(216)를 공급할 수 있다. 그러나, 본 발명의 실시 예들은 이로 제한되지 않는다.
예를 들어, 오버레이 데이터(216)는 애플리케이션 프로세서(110)로부터 입력되는 입력들 없이 오버레이 시스템(210) 내에서 만들어질 수 있다. 또는, 오버레이 데이터(216)는 오버레이 시스템(210) 내부에서 만들어진 데이터 및 애플리케이션 프로세서(110)로부터 입력되는 입력들에 대응하는 데이터의 결합일 수 있다.
렌더링 로직(330)은 애플리케이션 프로세서(110) 및 오버레이 버퍼(340)에 연결되고, 마스크 데이터에서의 값들에 따라 오버레이 데이터(216)를 비디오 이미지(218)과 결합할 수 있다.
렌더링 로직(330)은 오버레이 데이터(216) 및 비디오 이미지(218)가 결합된 디스플레이 이미지를 업-스케일러(350)로 공급하기 위해, 업-스케일러(350)에 연결될 수 있다.
업-스케일러(350)는 렌더링 로직(330) 및 애플리케이션 프로세서(110)에 연결될 수 있다. 업-스케일러(350)는 렌더링 로직(330)로부터 디스플레이 이미지를 수신할 수 있다. 업-스케일러(350)는 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)를 수신할 수 있다.
업-스케일러(350)는 스케일 제어 신호(212)에 따라, 디스플레이 이미지를 업-스케일링할 수 있다. 예를 들어, 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)가 전달되는 경우, 업-스케일러(350)는 낮은 해상도의 디스플레이 이미지를 업-스케일링하여 높은 해상도의 디스플레이 이미지로 처리할 수 있다.
또는, 렌더링 로직으로부터 디스플레이 이미지가 입력되는 경우에도, 애플리케이션 프로세서(110)로부터 스케일 제어 신호(212)가 전달되지 않으면, 업-스케일러(350)는 낮은 해상도의 디스플레이 이미지를 처리하지 않을 수 있다. 스케일 제어 신호(212)의 유무에 따라, 낮은 해상도의 디스플레이 이미지가 고해상도에 적절하게 업-스케일링될 수 있다.
업-스케일러(350)는 업-스케일된 디스플레이 이미지을 디스플레이 패널(220)에 화소 구동 신호(222)로 공급하기 위해 디스플레이 패널(220)에 연결된다. 그러나, 본 발명의 실시 예들은 이로 제한되지 않는다.
다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)는 각각 상이한 주문형 반도체(application specific integrated circuit; ASIC)들을 사용하여 구현된다. 본 발명의 다른 실시 예들에서, 모든 기능들을 구현하기 위해 단일 ASIC이 사용된다.
본 발명의 다른 실시 예들에서, 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA)는 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)의 기능들을 수행하도록 프로그램된다. 대안으로, 범용 프로세서는 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)의 각각의 기능들을 수행하도록 프로그램될 수 있다(예를 들어, 범용 프로세서에 연결되는 메모리 내에 저장되는 명령들로). 또 다른 실시 예들에서, 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350) 중 하나 이상의 기능은 터치 제어부(100) 또는 애플리케이션 프로세서(110)의 구성요소들로서 구현된다.
더욱이, 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)가 도 3에서 DDIC(120)의 구성요소들로서 도시될지라도, 본 발명의 실시 예들은 이로 제한되지 않는다. 일부 실시 예들에서, 다운-스케일러(300), 터치 경로 로직(310), 마스크 버퍼(320), 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)(또는 이 기능들을 수행할 수 있는 구성요소들) 중 하나 이상은 예를 들어 터치 제어부(100), 애플리케이션 프로세서(110) 내에 또는 별개의 구성요소로서 위치된다. 게다가, 이 구성요소들 또는 이들이 수행하는 기능들은 단말기(10)의 상이한 부분들에 위치될 수 있다. 예를 들어, 다운-스케일러(300) 및 터치 경로 로직(310)은 터치 제어부(100)의 구성요소 또는 기능으로 구현될 수 있고, 오버레이 버퍼(340), 렌더링 로직(330) 및 업-스케일러(350)는 애플리케이션 프로세서(110)의 구성요소(또는 구성요소들) 또는 기능(또는 기능들)로 구현될 수 있다.
게다가, 터치 제어부(100)가 물리적으로 별개의 구성요소로서 도시될지라도, 본 발명의 일부 실시 예들에서 터치 제어부(100)는 더 큰 집적 회로의 일부일 수 있다. 예를 들어, 터치 제어부(100)는 어플리케이션 프로세서(110) 및/또는 DDIC(120)와 함께 동일한 집적 회로 내에 구현될 수 있다.
도 4는 본 발명의 일 실시 예에 따라, N번째 프레임 동안 결합된 디스플레이 이미지(406)의 제 1 세트를 생성하기 위한(예를 들어, 프레임(N)을 생성하기 위한) 비디오 이미지(218)(또는 비디오 이미지들의 프레임들), 오버레이 데이터(216) 및 터치 이벤트(204)의 결합의 개략적인 도면이다.
도시된 바와 같이, 다운-스케일러(300)는 터치 제어부(100)로부터 입력되는 터치 이벤트(204)를 다운-스케일링할 수 있다. 예를 들어, 16X16 해상도에 대응하는 터치 이벤트가 터치 제어부(100)로부터 수신되면, 다운-스케일러(300)는 애플리케이션 프로세서(110)로부터 입력되는 스케일 제어 신호(212)에 따라 8X8해상도에 대응하도록 터치 이벤트를 처리할 수 있다.
이때, 애플리케이션 프로세서(110)는 비디오 이미지의 해상도에 따라, 스케일링의 정도를 결정하고, 스케일링 정도에 대한 정보를 스케일 제어 신호(212)에 포함시켜 다운-스케일러(300)로 출력할 수 있다.
그러면, 다운-스케일러(300)는 스케일 제어 신호(212)에 포함된 스케일링 정도에 대한 정보에 따라, 입력되는 터치 이벤트를 스케일링할 수 있다. 따라서, 다운-스케일러(300)는 비디오 이미지 해상도에 대응하도록 터치 이벤트를 스케일링할 수 있다.
터치 경로 로직(310)은 다운-스케일러(300)로부터 입력되는 터치 이벤트(400)를 처리할 수 있다. 터치 경로 로직(310)은 다수의 이전 연속 프레임들(예를 들어 지나간 X개의 프레임들)에 걸쳐 수신된 터치 이벤트의 하위 세트, 예를 들어 연속하는 터치 이벤트의 세트의 위치들 사이에서 내삽(interpolation) 및/또는 외삽(extrapolation)함으로써 추정 터치 경로를 생성할 수 있다. 추정 터치 경로는 그 후에 터치 경로 로직(310)에 의해 마스크 버퍼(320) 내에 저장되는 마스크 데이터(402)를 생성하는 데 적용된다.
렌더링 로직(330)은 마스크 데이터(402)에 따라 오버레이 버퍼(340) 내에 저장된 오버레이 데이터(216)를 애플리케이션 프로세서(110)로부터 입력되는 프레임(N)에 대한 비디오 이미지와 결합시키고 오버레이 데이터(216) 및 비디오 이미지(218) 중에서 선택(또는 이 둘을 혼합)함으로써 결합된 디스플레이 이미지(406)를 생성할 수 있다.
마스크 데이터(402)는 수치들의 매트릭스이고, 매트릭스 내의 위치는 디스플레이 패널(220) 내의 화소들(또는 화소)의 위치에 대응할 수 있다. 그리고, 매트릭스 내의 값들의 상대 위치들은 디스플레이 패널(220) 내의 화소들의 상대 위치들에 대응할 수 있다(예를 들어, 마스크 데이터(402)는 결합된 디스플레이 이미지(406) 내의 화소 위치들의 2차원 맵에 대응하는 2차원 매트릭스로서 간주될 수 있다).
마스크 데이터(402)의 값들 각각은 단일 비트로서 표현될 수 있다. 그리고, 마스크 데이터 매트릭스에서의 값의 위치들은 결합된 디스플레이 이미지(406) 내의 위치들에 대응될 수 있다.
결합된 디스플레이 이미지(406)에서 오버레이 데이터(216)가 보여야 하는 위치들은 제 1 값(예를 들어, “1”)으로 세팅된 값들을 가지고 오버레이 데이터(216)가 보이지 않아야 하는(예를 들어 비디오 이미지 데이터가 보여야 하는) 위치들은 상이한 제 2 값(예를 들어, “0”)으로 세팅된 값들을 가진다.
마스크 데이터(402)의 수치들 각각은 다수의 비트들(예를 들어 8-비트들)로 표현될 수 있다. 마스크 데이터(402)의 수치는 디스플레이 내의 각각의 장소에서의 오버레이 데이터의 “투명도(transparency)”를 칭한다. 이하에서, “투명도”는 오버레이 데이터(216) 및 비디오 이미지(218)를 혼합(예를 들어 병합)하여 결합된 디스플레이 이미지(406)가 오버레이 데이터(216) 및 비디오 이미지(218) 이 둘 모두의 특성들을 취하도록 하는 것을 나타낸다.
터치 경로 로직(310)은 각각의 비디오 프레임에 대해, 고정된 수의 비디오 프레임들에 대응하는 터치 이벤트의 하위 세트에 기초하여 추정 터치 경로를 생성할 수 있다.
비디오 프레임들의 수는 애플리케이션 프로세서(110)를 통과할 때 발생할 수 있는 디스플레이 지연과 일치하도록 구성될 수 있다.
터치 경로 로직(310)은 가변하는 수효의 비디오 프레임들에 대한 터치 경로를 생성한다. 비디오 프레임들의 수는 애플리케이션 프로세서(110)로부터 지나간 비디오 이미지(218)에 기초하여 외부 로직으로부터 결정될 수 있다.
파라미터들의 세트(214)는 경로가 생성될 때 추정 터치 경로의 특성들을 통제한다. 이 파라미터들은 기동 디폴트(start-up default)를 가질 수 있으나, 소프트웨어 또는 다른 수단에 의해 런타임 동안 필요에 따라 조정될 수 있다.
이 파라미터들은 생성되는 경로의 폭, 단일 직선 세그먼트들 및 곡선들과 같이 생성되는 라인 세그먼트들의 스타일, 경로가 허용되는 디스플레이의 영역(예를 들어 활성 드로잉 에어리어) 및 렌더링 동작의 스타일(예를 들어 안티에일리어싱(antialiasing) 동작들, 스무딩(smoothing) 동작들 및 투명화)을 포함할 수 있다.
예를 들어, 본 발명의 실시 예들이 드로잉용 소프트웨어 애플리케이션(예를 들어, 디지털 스케치북)의 상황에서 사용될 때, 결합된 디스플레이 이미지(406)의 일부인 오버레이 이미지 세그먼트(408)(또한 컴퓨팅된 부분(104)으로 칭해질 수 있다)는 단지 활성 드로잉 에어리어에 대응하는 디스플레이의 부분들에 적용된다.
오버레이 시스템(210)은 일반적으로 활성 드로잉 에어리어의 외부에 있는 디스플레이의 부분들에 걸쳐 오버레이 데이터를 적용하지 않는다. 그와 같은 바와 같이, 파라미터(214)는 추정 터치 경로를 활성 드로잉 에어리어에 대응하는 디스플레이의 부분들로 제한하도록 세팅될 수 있다.
파라미터(214)는 드로잉된 라인의 라인 폭을 포함할 수 있다. 터치 경로 로직(310)은 애플리케이션 프로세서(110)로부터 입력되는 AP-생성 라인(또는 이미지 세그먼트)에 앞서 마스크 데이터(402)에 상기 라인의 형상을 렌더링하기 위해 이 파라미터를 터치 이벤트(204)로부터 입력되는 압력 데이터와 함께 이용할 수 있다.
비디오 이미지(218)의 각각의 화소가 렌더링 로직(330)에 의해 처리될 때, 렌더링 로직(330)은 마스크 데이터 내의 값의 위치(예를 들어 매트릭스 내의 위치)가 비디오 이미지(218) 내의 화소들(또는 화소)의 장소에 대응하는 마스크 데이터(402) 내에서의 값을 검색할 수 있다.
그리고, 렌더링 로직(330)은 원하는 시각 효과들(예를 들어, 투명 및/또는 안티-에일리어싱)을 달성하기 위해 마스크 데이터(402) 내의 값에 따라 비디오 이미지(218)의 화소 및 오버레이 데이터(216)를 혼합할 수 있다.
또는, 렌더링 로직(330)은 원하는 시각 효과들(예를 들어, 투명 및/또는 안티-에일리어싱)을 달성하기 위해 마스크 데이터(402) 내의 값에 따라 비디오 이미지(218)의 화소를 오버레이 데이터(216)로 대체하는 것을 수행할 수 있다.
렌더링 로직(330)은 결합된 디스플레이 이미지(406) 내의 화소들(또는 화소)의 위치에 대응하는 마스크 데이터(402) 내의 위치에서의 값에 기초하여, 각 픽셀이 오버레이 데이터(216) 또는 비디오 이미지(218)이도록 선택하는 렌더링 동작을 수행할 수 있다.
마스크 데이터(402)의 값들의 수(또는 크기)는 비디오 이미지(218)의 하나의 프레임 내의 화소들의 수와 동일할 수 있다. 따라서, 마스크 데이터(402)의 값들의 수(또는 크기)는 결합된 디스플레이 이미지(406) 내의 화소들의 수와 동일할 수 있다. 그러므로, 마스크 데이터(402)에서의 각각의 값 및 비디오 이미지(218)의 각각의 화소 사이에는 일대일 관계가 존재한다.
즉, 렌더링 로직(330)은 마스크 데이터(402) 내의 각각의 값을 비디오 이미지(218) 내의 대응하는 픽셀과 정합시키고, 비디오 이미지(218)의 화소 또는 오버레이 데이터(216)를 업-스케일러(350)로 출력할 수 있다.
예를 들어, 렌더링 로직(330)은 마스크 데이터(402)의 각각의 값을 반복한다. 마스크 데이터(402) 내의 특정 위치에 0의 값이 존재하면, 렌더링 로직(330)은 비디오 이미지(218)의 대응하는 픽셀을 출력한다. 한편, 마스크 데이터(402) 내의 특정 위치에 1의 값이 존재하면, 렌더링 로직은 오버레이 데이터(216)를 출력한다. 반복 프로세스의 결과로서, 렌더링 로직(330)은 결합된 디스플레이 이미지(406)를 업-스케일러(350)로 출력한다.
다른 실시 예에서, 마스크 데이터(402)에서의 값들의 수는 비디오 이미지(218)의 프레임 내의 화소들의 수보다 작을 수 있다. 그러므로, 마스크 데이터(402)에서의 각각의 값이 비디오 이미지들(500)의 화소들과 일대다의 관계를 가짐으로써 마스크 데이터(402)에서의 값이 비디오 이미지(218)의 다수의 화소들과 대응하게 됨으로써, 마스크 데이터(402)의 크기가 축소되고 마스크 버퍼(320)의 메모리 요건들이 감소될 수 있다.
또 다른 실시 예에서, 마스크 데이터(402)에서의 값들은 렌더링 로직(330)에 의해 렌더링되는 혼합 레벨(예를 들어 투명도의 레벨)을 식별할 수 있다. 렌더링 로직(330)에 의해 다수의 렌더링 동작들이 지원되는 경우, 마스크 데이터(402)에서의 값들의 하나 이상의 비트들은 원하는 렌더링 동작을 규정하는 데 사용될 수 있고, 반면에 다른 비트들은 상기 렌더링 동작들의 사양들을 조정하는 데 사용될 수 있다.
예를 들어, 렌더링 로직(330)은 에지-향상(edge-enhance), 다지(dodge)(밝게 함), 번(burn)(어둡게 함) 등과 같이, 비디오 이미지(218)에서 반송되는 정보 및 오버레이 데이터(216)에서 반송되는 정보 사이의 다양한 렌더링 동작들을 수행할 수 있다. 렌더링 동작은 비디오 이미지(218)의 부분들의 컬러 또는 백색도(luminosity)를 변경함으로써, 투명 컬러링(또는 하이라이터(highlighter)) 효과 또는 알파 합성(alpha compositing) 효과를 발생시킬 수 있다.
렌더링 로직(330)은 2개의 입력들을 수신하는데, 제 1 입력은 애플리케이션 프로세서(110)로부터 입력되는 비디오 이미지(218)을 포함하고 제 2 입력은 오버레이 버퍼(340)로부터 입력되는 오버레이 데이터(216)를 포함한다.
오버레이 버퍼(340)는 렌더링 로직(330)에 의해 처리되는 오버레이 데이터(216)를 저장한다. 오버레이 데이터(216)는 애플리케이션 프로세서(110)에 의해 제공되거나 오버레이 시스템(210)에서 내부적으로 생성되고 여기서 오버레이 데이터(216)의 특성들은 렌더링 로직(330)의 원하는 출력에 의해 결정될 수 있다.
오버레이 데이터(216)의 특성들(예를 들어 외형)은 비디오 이미지(218)의 특성들(예를 들어 외형)에 결합될 수 있다. 따라서, 마스크 데이터(402)에 따라 렌더링될 때, 이미지 세그먼트(404) 및 오버레이 이미지 세그먼트(408) 사이에 끊김 없이 결합된 디스플레이 이미지(406)가 렌더링될 수 있다.
오버레이 데이터(216)의 특성들은 컬러를 포함할 수 있다. 예를 들어, 애플리케이션 소프트웨어가 검은 라인을 드로잉하면, 오버레이 데이터(216)는 소프트웨어가 드로잉한 라인과 동일한 검은 컬러(예를 들어 픽셀들 모두가 검은 비트맵된 이미지)를 포함할 수 있다. 이를 위해, 오버레이 데이터(216)는 애플리케이션 프로세서(110)에 의해 제공되거나 오버레이 시스템(210)에 의해 내부적으로 생성될 수 있다.
렌더링 로직(330)은 애플리케이션 프로세서(110)로부터 입력되는 이미지 세그먼트(404)(예를 들어 소프트웨어가 드로잉한 라인) 및 오버레이 이미지 세그먼트(408)를 인접시킴으로써 형성되는 검을 라인을 포함하는 결합된 디스플레이 이미지(406)를 출력할 수 있다.
오버레이 데이터(216)는 텍스처화 또는 컬러화될 수 있거나 비트맵된 이미지 데이터를 포함할 수 있다. 오버레이 데이터(216)의 컨텐츠는 시간에 대해 동적일 수 있고 애플리케이션 프로세서(110)에 의해 갱신되거나 DDIC(120) 내의 메커니즘에 의해 갱신될 수 있다. 컨텐츠는 또한 크기 및 형상에 있어서 동적일 수 있다.
다수의 오버레이들을 표현하는 다수의 상이한 오버레이 데이터(216)의 세트들은 오버레이 버퍼(340) 내에 저장될 수 있다. 그리고, 각각의 세트는 상이한 컬러, 상이한 이미지 또는 상이한 텍스처를 포함할 수 있다.
오버레이 데이터(216)의 세트들은 본원에서 “페이지(page)”로 칭해질 수 있다. 마스크 데이터(402) 내의 값들은 또한 렌더링 로직(330)이 오버레이 데이터(216)의 특정한 페이지(들)를 식별하고 렌더링 동작 동안 단지 식별된 페이지(들)만을 사용하는 것을 가능하게 하는 정보를 포함할 수 있다.
마스크 데이터(402)의 값들은 렌더링 로직(330)이 렌더링 동작을 수행하는 동안 오버레이 데이터(216)의 상이한 페이지들 사이에서 전환하는 것이 가능하도록, 오버레이 데이터(216)의 페이지들에 대한 인덱스들을 포함한다.
각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지(218)의 하나의 프레임 내의 화소들의 수와 동일할 수 있다. 그러므로 각각의 페이지의 각각의 값 및 비디오 이미지(218)의 각각의 화소 사이에는 일대일 관계가 존재한다.
오버레이 데이터(216)의 각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지(218)의 프레임 내의 화소들의 수보다 작을 수 있다. 그러므로, 오버레이 데이터(216)의 각각의 페이지의 각각의 값이 비디오 이미지(218)의 화소들과 일대다의 관계를 가질 수 있다.
따라서, 오버레이 데이터(216)의 각각의 페이지의 값이 비디오 이미지(218)의 다수의 화소들과 대응하게 되며, 오버레이 데이터(216)의 크기가 축소되고 오버레이 버퍼(340)의 메모리 요건들이 감소될 수 있다.
예를 들어, 오버레이 데이터(216)는 RGB(red, green, blue) 컬러 값과 같은 단일 컬러 값을 포함한다. 전체 오버레이 이미지(또는 오버레이 이미지 세그먼트)(508)는 상기 단일 컬러 값으로 드로잉될 수 있다.
오버레이 데이터(216)의 상이한 페이지들은 단일 컬러들(예를 들어 상이한 컬러들)에 대응하는 단일 값들을 포함한다. 또는, 단일 값들은 오버레이 데이터(216) 내의 다른 값들 또는 비트맵된 이미지들을 포함하는 다른 페이지들과 혼재(intermingle)될 수 있다.
그리고, 렌더링 로직(330)은 오버레이 데이터(216) 또는 비디오 이미지(218)의 화소 또는 이들이 혼합된 디스플레이 이미지(406)를 업-스케일러(350)로 출력할 수 있다.
업-스케일러(350)는 렌더링 로직(330)으로부터 입력되는 디스플레이 이미지(406)를 업-스케일링할 수 있다. 예를 들어, 8X8 해상도에 대응하는 디스플레이 이미지(406)가 렌더링 로직(330)으로부터 수신되면, 업-스케일러(350)는 애플리케이션 프로세서(110)로부터 입력되는 스케일 제어 신호(212)에 따라 디스플레이 패널의 화소 해상도와 동일한 16X16해상도에 대응하도록 디스플레이 이미지(406)를 처리할 수 있다.
이때, 애플리케이션 프로세서(110)는 비디오 이미지 및 디스플레이 패널의 화소 해상도에 따라, 스케일링의 정도를 결정하고, 스케일링 정도에 대한 정보를 스케일 제어 신호(212)에 포함시켜 업-스케일러(350)로 출력할 수 있다.
그러면, 업-스케일러(350)는 스케일 제어 신호(212)에 포함된 스케일링 정도에 대한 정보에 따라, 입력되는 디스플레이 이미지(406)를 디스플레이 패널의 화소 해상도에 적절하게 스케일링한 업-스케일된 디스플레이 이미지(410)을 출력할 수 있다. 따라서, 업-스케일러(350)는 디스플레이 패널의 화소 해상도에 대응하도록 디스플레이 이미지(406)를 스케일링할 수 있다.
업-스케일러(350)는 업-스케일링된 오버레이 데이터(216) 또는 비디오 이미지(218)의 화소 또는 이들의 혼합(410)을 화소 구동 신호(222)를 통해 디스플레이 패널(220)로 출력한다.
도 5는 본 발명의 하나의 실시 예에 따라, N+1번째 프레임 동안 결합된 디스플레이 이미지(410’)의 제 2 세트를 생성하기 위한(예를 들어, 프레임(N+1)을 생성하기 위한) 비디오 이미지(218), 오버레이 데이터(216) 및 터치 경로들(304’)의 결합에 대한 개략적인 도면이다.
도시된 바와 같이, 후속 프레임에서(예를 들어, N이 결합된 디스플레이 이미지들(410)의 제 1 세트에 대응하는 프레임인 경우 프레임(N+1)에서), 애플리케이션 프로세서(110)로부터 입력되는 비디오 이미지(218’)는 프레임(N)에서 디스플레이되지 않았던(예를 들어, 도 4에 도시된 바와 같이 비디오 이미지(218)에서 도시되지 않았던) 이미지 세그먼트(408’)를 포함한다.
프레임(N+1) 동안, 터치 경로 로직(310)은 터치 이벤트(400’)로부터 도 4에 도시된 마스크(402)의 값들과 상이한 값들의 세트를 포함하는 상이한 마스크(402’)를 계산한다.
렌더링 로직(330)은 마스크 데이터(402’)에 따른 애플리케이션 프로세서(110)로부터 입력되는 비디오 이미지(218') 및 오버레이 데이터(216)의 합성인 결합된 디스플레이 이미지(406’)를 업-스케일러(350)으로 출력한다.
렌더링 로직(330)은 애플리케이션 프로세서(110)로부터 입력되는 이미지 세그먼트(404’) 및 오버레이 이미지 세그먼트(500)를 인접시킴으로써 형성되는 검을 라인을 포함하는 결합된 디스플레이 이미지(406’)를 출력할 수 있다.
업-스케일러(350)는 렌더링 로직(330)으로부터 출력되는 디스플레이 이미지(406’)를 스케일 제어 신호(212)에 따라 업-스케일링하여, 화소 구동 신호(222)로 출력할 수 있다.
도 6은 본 발명의 실시 예들에 따라 오버레이 데이터의 적용을 결정하고 오버레이 데이터를 비디오 이미지와 결합하는 방법을 도시하는 흐름도이다.
도시된 바와 같이, 터치 이벤트가 외부 소스(예를 들어 터치 제어부)로부터 수신(S100)된다.
그리고, 애플리케이션 프로세서(110)는 입력되는 비디오 이미지의 해상도가 디스플레이 패널 해상도와 동일한지 판단(S102)한다.
비디오 이미지의 해상도가 디스플레이 패널 해상도와 동일하지 않으면, 애플리케이션 프로세서(110)는 스케일 제어 신호(212)를 생성(S104)한다. 스케일 제어 신호(212)는 스케일링 정도에 대한 정보를 포함할 수 있다.
예를 들어, 비디오 이미지의 해상도가 디스플레이 패널 해상도에 비해 낮은 경우, 애플리케이션 프로세서(110)는 스케일 제어 신호(212)를 생성할 수 있다. 이때, 스케일 제어 신호(212)는 다운-스케일러(300)가 터치 이벤트(204)를 다운-스케일링하도록 제어하는 신호, 업-스케일러(350)가 디스플레이 이미지(406)를 업-스케일링하도록 제어하는 신호와 다운-스케일링의 정도 및 업-스케일링의 정도에 대한 정보를 포함할 수 있다.
다운-스케일러(300)는 스케일 제어 신호(212)에 따라, 입력되는 터치 이벤트를 다운-스케일링(S106)한다. 그리고, 다운-스케일된 터치 이벤트는 터치 경로 로직으로 출력될 수 있다.
터치 경로 로직은 터치 이벤트 사이에서 내삽 또는 외삽을 이용하여 터치 경로(또는 추정 터치 경로)를 생성(S108)한다.
내삽 방법은 예를 들어 결합된 디스플레이 이미지의 오버레이 이미지 세그먼트(408)의 폭, 스타일, 직선 또는 곡선 영역 및 컬러를 구성하는 파라미터들에 의해 조정될 수 있다.
터치 경로 로직은 터치 경로로부터 마스크 데이터(402)을 생성(S110)하고, 생성된 마스크 데이터(402)는 마스크 버퍼(320)에 저장된다.
터치 경로에서 마스크 데이터(402)의 값들의 상대 위치들은 디스플레이 패널의 화소들의 상대 위치들에 대응할 수 있다. 마스크 데이터(402)의 값들은 결합된 디스플레이 이미지의 대응하는 픽셀이 오버레이 버퍼(340)로부터 입력되는 오버레이 데이터, AP로부터 입력되는 비디오 이미지 또는 이들의 혼합된 결합을 포함해야 하는지를 나타낸다.
마스크 데이터(402)는 마스크 버퍼(320)로부터 검색(S112)된다. 검색되는 값들은 렌더링 로직에 의해 현재 처리되고 있는 픽셀들의 위치들에 대응하는 마스크 데이터(402) 내의 위치들에 배치된다.
렌더링 로직은 디스플레이 패널 내에서 현재 처리되고 있는 픽셀들의 위치들에 대응하는 마스크 데이터(402)의 값들을 이용하여, 오버레이 버퍼(340)로부터 입력되는 오버레이 데이터, AP로부터 입력되는 비디오 이미지 또는 이들의 혼합을 선택적으로 출력(S114)한다.
결합된 디스플레이 이미지는 업-스케일러(350)로 출력(S116)된다.
업-스케일러(350)는 스케일 제어 신호(212)에 따라, 입력되는 디스플레이 이미지를 업-스케일링(S118)한다. 그리고, 업-스케일된 디스플레이 이미지는 비디오 이미지와 합성되어 있는 오버레이 데이터(216)를 디스플레이하기 위해 출력되어 디스플레이 패널로 공급(S120)된다.
상기에서 설명한 바와 같이, 본 발명의 실시 예들은 저-대기 시간 루프를 도입하여 전체 시스템 대기 시간을 감소시키는 시스템에서 터치 이벤트 또는 디스플레이 이미지를 스케일링하여 고용량의 데이터 전송에 따른 소비 전력을 감소시키는 장치 및 방법을 제공한다.
저-대기 시간 디스플레이 이미지들은 터치 경로로부터 생성되는 마스크 데이터(402)로부터 입력되는 정보, 오버레이 버퍼로부터 입력되는 오버레이 데이터(216) 및 AP로부터 입력되는 고-대기 시간 비디오 이미지를 결합함으로써 생성될 수 있다. 터치 경로는 시간의 경과에 따라 기록되는 터치 이벤트(예를 들어 터치 제어부들로부터 입력되는 출력들)로부터 계산된다. 오버레이 데이터(216)는 AP에 의해 제공되거나 오버레이 시스템에서 생성될 수 있다.
컬러, 치수들(예를 들어 폭), 지속성, 쉐이딩(shading) 및 타이밍을 포함하나 이로 제한되지 않는 오버레이 특성들은 동적으로 조정될 수 있다. 이 조정들은 AP에 의해 파라미터들의 세트로서 제공될 수 있거나 예를 들어 AP로부터 입력되는 비디오 이미지들을 분석함으로써 오버레이 시스템 내부에서 도출될 수 있다. 상기 조정들은 또한 터치 행위에 의해 결정될 수 있다. 예를 들어, 결과적인 라인의 폭은 터치 센서 패널에 가해지는 압력에 따라 조정될 수 있다(예를 들어, 폭 파라미터는 터치 이벤트의 측정된 압력에 비례한다).
디스플레이 이미지는 오버레이 시스템에 의해 마스크 데이터(402)를 통해 생성되고, 이는 터치 경로로부터 계산된다. 매핑 및 크기 조정 파라미터들은 AP에 의해 제공될 수 있고 예를 들어 터치 이벤트 및 AP로부터 입력되는 비디오 이미지들을 분석함으로써 오버레이 시스템 내에서 계산될 수 있다.
오버레이 데이터는 렌더링 로직에 의해 AP로부터 입력되는 비디오 이미지들과 픽셀 레벨에서 병합될 수 있다. 하나의 실시 예에서, 비디오 이미지들로부터 입력되는 픽셀 특성들은 마스크 데이터의 값들에 따라 오버레이 데이터로부터 입력되는 픽셀 특성들에 의해 대체된다. 다른 실시 예들에서, 새로운 픽셀 특성들은 비디오 이미지들 및 오버레이 데이터의 각각의 화소 특성들의 혼합에 기초하여 제작된다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기(10)의 애플리케이션 프로세서(110)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 터치 제어부 110: 애플리케이션 프로세서
120: DDIC 200: 터치 센서 패널
210: 오버레이 시스템 220: 디스플레이 패널
300: 다운 스케일러 310: 터치 경로 로직
320: 마스크 버퍼 330: 렌더링 로직
340: 오버레이 버퍼 350: 업-스케일러

Claims (20)

  1. 복수의 터치 이벤트(event)들을 수신하고, 상기 터치 이벤트들을 다운-스케일링(down-scaling)하는 제1 스케일러;
    상기 다운-스케일된 터치 이벤트들에 기초하여 출력을 생성하는 터치 경로 로직(logic); 및
    비디오 이미지를 수신하고, 상기 터치 경로 로직의 출력을 수신하며, 상기 터치 경로 로직의 출력에 따라 상기 비디오 이미지를 오버레이 데이터와 결합시켜 디스플레이 이미지를 생성하고. 상기 디스플레이 이미지를 출력하는 렌더링 로직(rendering logic)을 포함하는 시스템.
  2. 제 1 항에 있어서,
    상기 디스플레이 이미지를 수신하고, 상기 디스플레이 이미지를 업-스케일링(up-scaling)하는 제2 스케일러를 더 포함하는 시스템.
  3. 제2 항에 있어서,
    상기 비디오 이미지를 생성하는 애플리케이션 프로세서를 더 포함하는 시스템.
  4. 제3 항에 있어서,
    상기 애플리케이션 프로세서는 상기 비디오 이미지의 해상도 및 상기 업 스케일된 디스플레이 이미지를 표시하는 디스플레이 패널의 해상도를 비교한 결과를 이용하여, 상기 제1 스케일러 및 상기 제2 스케일러를 제어하는 신호를 생성하는 시스템.
  5. 제4 항에 있어서,
    상기 제1 스케일러 및 상기 제2 스케일러를 제어하는 신호는 상기 다운-스케일링의 정도 및 상기 업-스케일링의 정도에 대한 정보를 포함하는 시스템.
  6. 제1 항에 있어서,
    터치 센서 패널로부터 복수의 터치 신호들을 수신하고 상기 터치 사건들을 생성하는 터치 제어부를 더 포함하는 시스템.
  7. 제1 항에 있어서,
    상기 터치 경로 로직은 상기 터치 사건들을 수신하고, 상기 수신된 터치 사건들에 따라 마스크 데이터를 생성하며,
    상기 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 상기 수치들의 각각은 상기 디스플레이 이미지를 제작하기 위해 상기 렌더링 로직의 동작을 식별하며, 상기 매트릭스 내의 수치들의 위치들은 상기 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응하는 시스템.
  8. 제7 항에 있어서,
    상기 렌더링 로직은 상기 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터 내의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 또는 상기 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합하는 시스템.
  9. 제7 항에 있어서,
    상기 터치 경로 로직은 파라미터를 수신하고, 상기 터치 사건들에 따라 추정 터치 경로를 계산하며, 상기 추정 터치 경로 및 상기 파라미터에 따라 상기 마스크 데이터를 생성하고,
    상기 파라미터는 마스크 영역의 위치를 제어하거나 상기 추정 터치 경로의 폭, 스타일 또는 형상을 제어하는 시스템.
  10. 복수의 터치 이벤트(event)들을 수신하고, 상기 터치 이벤트들을 다운-스케일링(down-scaling)하는 단계;
    상기 다운-스케일된 터치 이벤트들에 기초하여 출력을 생성하는 단계; 및
    비디오 이미지를 수신하고, 상기 출력을 수신하며, 상기 출력에 따라 상기 비디오 이미지를 오버레이 데이터와 결합시켜 디스플레이 이미지를 생성하고, 상기 디스플레이 이미지를 출력하는 단계;
    를 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  11. 제10 항에 있어서,
    상기 디스플레이 이미지를 수신하고, 상기 디스플레이 이미지를 업-스케일링(up-scaling)하는 단계를 더 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  12. 제11 항에 있어서,
    디스플레이 패널에 상기 업 스케일된 디스플레이 이미지를 표시하는 단계를 더 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  13. 제12 항에 있어서,
    상기 비디오 이미지의 해상도 및 상기 디스플레이 패널의 해상도를 비교하는 단계; 및
    상기 비교 결과를 이용하여, 상기 제1 스케일러 및 상기 제2 스케일러를 제어하는 신호를 생성하는 단계;
    를 더 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  14. 제13 항에 있어서,
    상기 제1 스케일러 및 상기 제2 스케일러를 제어하는 신호는 상기 다운-스케일링의 정도 및 상기 업-스케일링의 정도에 대한 정보를 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  15. 제10 항에 있어서,
    터치 센서 패널로부터 복수의 터치 신호들을 수신하고 상기 터치 사건들을 생성하는 단계를 더 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  16. 제10 항에 있어서,
    상기 출력을 생성하는 단계는 상기 터치 사건들을 수신하고, 상기 수신된 터치 사건들에 따라 마스크 데이터를 생성하는 단계를 포함하고,
    상기 마스크 데이터는 수치들의 매트릭스(matrix)를 포함하고, 상기 수치들의 각각은 상기 디스플레이 이미지를 제작하기 위해 상기 렌더링 로직의 동작을 식별하며, 상기 매트릭스 내의 수치들의 위치들은 상기 결합된 디스플레이 이미지 내의 픽셀들의 위치들에 대응하는 터치 입력에 시각적 피드백을 제공하는 방법.
  17. 제16 항에 있어서,
    상기 디스플레이 이미지를 생성하는 단계는 상기 디스플레이 이미지 내의 각각의 픽셀 별로, 상기 마스크 데이터 내의 대응하는 위치에서의 값에 따라 상기 비디오 이미지의 대응하는 픽셀 또는 상기 오버레이 데이터를 출력할지를 결정함으로써, 상기 비디오 이미지를 상기 오버레이 데이터와 결합하는 단계를 포함하는 터치 입력에 시각적 피드백을 제공하는 방법.
  18. 제16 항에 있어서,
    상기 출력을 생성하는 단계는
    파라미터를 수신하는 단계;
    상기 터치 사건들에 따라 추정 터치 경로를 계산하는 단계; 및
    상기 추정 터치 경로 및 상기 파라미터에 따라 상기 마스크 데이터를 생성하는 단계;
    를 더 포함하고, 상기 파라미터는 마스크 영역의 위치를 제어하거나 상기 추정 터치 경로의 폭, 스타일 또는 형상을 제어하는 터치 입력에 시각적 피드백을 제공하는 방법.
  19. 내부에 명령들이 저장되는 메모리; 및
    상기 명령에 따라, 애플리케이션 프로세서로부터 렌더링된 비디오 프레임들을 수신하고, 터치 센서 패널로부터 복수의 터치 신호들을 수신하며, 상기 터치 신호들를 다운-스케일링하고, 상기 다운-스케일된 터치 신호들에 기초하여 터치 경로를 결정하며, 갱신된 비디오 프레임들을 생성하기 위해 상기 터치 경로 및 저장된 오버레이 데이터에 기초하여 상기 렌더링된 비디오 프레임들을 갱신하고, 상기 갱신된 비디오 프레임들을 업-스케일링하여 상기 디스플레이로 출력하는 프로세서;
    를 포함하는 가속기.
  20. 터치 센서 패널을 포함하는 디스플레이;
    비디오 프레임을 렌더링하는 애플리케이션 프로세서; 및
    상기 애플리케이션 프로세서로부터 상기 비디오 프레임들을 수신하고, 터치 센서 패널로부터 복수의 터치 신호들을 수신하며, 상기 터치 신호들를 다운-스케일링하고, 상기 다운-스케일된 터치 신호들에 기초하여 터치 경로를 결정하며, 갱신된 비디오 프레임들을 생성하기 위해 상기 터치 경로 및 저장된 오버레이 데이터에 기초하여 상기 렌더링된 비디오 프레임들을 갱신하고, 상기 갱신된 비디오 프레임들을 업-스케일링하여 상기 디스플레이에 표시하는 오버레이 유닛;
    을 포함하는 디스플레이 장치.
KR1020140158973A 2014-11-14 2014-11-14 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치 KR102374160B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140158973A KR102374160B1 (ko) 2014-11-14 2014-11-14 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
US14/710,196 US10110832B2 (en) 2014-11-14 2015-05-12 Method and apparatus to reduce display lag using scaling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140158973A KR102374160B1 (ko) 2014-11-14 2014-11-14 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160058326A true KR20160058326A (ko) 2016-05-25
KR102374160B1 KR102374160B1 (ko) 2022-03-14

Family

ID=55961685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158973A KR102374160B1 (ko) 2014-11-14 2014-11-14 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치

Country Status (2)

Country Link
US (1) US10110832B2 (ko)
KR (1) KR102374160B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097072A (ko) * 2017-02-22 2018-08-30 서경대학교 산학협력단 터치처리장치 및 이를 구비하는 디스플레이 모듈

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
KR102314110B1 (ko) * 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
CN109710559A (zh) * 2016-11-03 2019-05-03 北京中科寒武纪科技有限公司 Slam运算装置和方法
KR102166684B1 (ko) * 2019-04-30 2020-10-16 서경대학교 산학협력단 터치처리장치 및 이를 구비하는 디스플레이 기기
CN116324689A (zh) * 2020-10-30 2023-06-23 海信视像科技股份有限公司 显示设备、几何图形识别方法及多图层叠加显示方法
CN116069187B (zh) * 2023-01-28 2023-09-01 荣耀终端有限公司 一种显示方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175251A1 (en) * 2004-02-09 2005-08-11 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US20100277505A1 (en) * 2009-04-30 2010-11-04 Ludden Christopher A Reduction in latency between user input and visual feedback

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100653090B1 (ko) * 2004-07-13 2006-12-06 삼성전자주식회사 디스플레이 사이즈 조정 장치 및 그 방법
KR20120049997A (ko) 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
US8581637B2 (en) 2011-06-29 2013-11-12 Intel Corporation Low-power, low-latency power-gate apparatus and method
US9383840B2 (en) 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050175251A1 (en) * 2004-02-09 2005-08-11 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US20100277505A1 (en) * 2009-04-30 2010-11-04 Ludden Christopher A Reduction in latency between user input and visual feedback

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097072A (ko) * 2017-02-22 2018-08-30 서경대학교 산학협력단 터치처리장치 및 이를 구비하는 디스플레이 모듈

Also Published As

Publication number Publication date
US10110832B2 (en) 2018-10-23
US20160139778A1 (en) 2016-05-19
KR102374160B1 (ko) 2022-03-14

Similar Documents

Publication Publication Date Title
TWI611354B (zh) 使用圖像重疊減少顯示延遲的系統及方法，以及用於提供回應顯示裝置上所畫路徑之回饋的加速器
KR102374160B1 (ko) 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
KR102199357B1 (ko) 터치 이벤트들의 레이턴시를 감소시키는 방법 및 그 시스템
KR102240294B1 (ko) 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법
US20100241957A1 (en) System with ddi providing touch icon image summing
CN106095155B (zh) 用于减小触摸事件的显示延迟的矢量填充段方法和装置
CN105022580B (zh) 图像显示系统
US11003340B2 (en) Display device
US20100315361A1 (en) Touch-point coordinate detecting method
KR102206047B1 (ko) 단말 및 디스플레이 지연 감소 방법 및 장치
US20130321470A1 (en) Apparatus and method for viewing an image that is larger than an area of a display device
JP2009187052A (ja) 情報処理方法及び情報処理装置
JP6945345B2 (ja) 表示装置、表示方法及びプログラム
WO2021076123A1 (en) Capacitive sensor latency compensation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant