KR102240294B1 - 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법 - Google Patents

터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법 Download PDF

Info

Publication number
KR102240294B1
KR102240294B1 KR1020150045515A KR20150045515A KR102240294B1 KR 102240294 B1 KR102240294 B1 KR 102240294B1 KR 1020150045515 A KR1020150045515 A KR 1020150045515A KR 20150045515 A KR20150045515 A KR 20150045515A KR 102240294 B1 KR102240294 B1 KR 102240294B1
Authority
KR
South Korea
Prior art keywords
overlay
image
foreground
color
touch
Prior art date
Application number
KR1020150045515A
Other languages
English (en)
Other versions
KR20150114434A (ko
Inventor
웨이 시옹
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20150114434A publication Critical patent/KR20150114434A/ko
Application granted granted Critical
Publication of KR102240294B1 publication Critical patent/KR102240294B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Signal Processing (AREA)

Abstract

시스템은: 비디오 이미지를 수신하고 터치 이벤트 장소들에 대응하는 상기 비디오 이미지의 이미지 섹션들을 기록하도록 구성되는 제 1 모듈; 비디오 이미지의 이미지 섹션들의 비교에 기초하여 각 이미지 섹션의 전경 컬러 정보 및 배경 컬러 정보를 결정하도록 구성되는 제 2 모듈; 및 전경 컬러 정보 및 배경 컬러 정보에 기초하여 오버레이 정보를 출력하도록 구성되는 제 3 모듈을 포함한다.

Description

터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법{SYSTEM GENERATING DISPLAY OVERLAY PARAMETERS UTILIZING TOUCH INPUTS AND METHOD THEREOF}
관련 출원(들)과의 상호참조
본 특허 출원은 "Generation of Display Overlay Parameters Utilizing Touch Inputs"라는 명칭으로 2014년 3월 31일에 제출되고 그 전체 내용이 본원에 참조로서 통합되어 있는 미국 예비 출원 일련번호 61/973,152의 우선권 및 이점을 주장한다.
본 발명의 실시예들은 터치 입력 디바이스(touch input device)들을 구비하는 디스플레이 디바이스(display device)들에 관한 것으로, 더 구체적으로, 터치 입력 디바이스와 디스플레이 디바이스 사이의 디스플레이 랙(lag)을 감소시키는 시스템들 및 방법들에 관한 것이다.
오버레이(overlay)되어 있는 터치 센서 패널(touch sensor panel)들을 통합하고 있거나 이 패널들에 결합되어 있는 디스플레이 패널들은 모바일 전화기들, 태블릿 컴퓨터들, 랩탑 컴퓨터(laptop computer)들 및 데스크탑 컴퓨터들과 같은 터치 가능(touch-enabled) 컴퓨팅 디바이스들에 상호작용 시스템(interaction system)을 제공한다. 그와 같은 컴퓨팅 디바이스들에서, 그래픽들은 디스플레이 패널 상에 디스플레이되고 사용자는 스크린을 터치함으로써(예를 들어, 액티브 스타일러스(active stylus), 패시브 스타일러스(passive stylus) 또는 손가락과 같은 신체를 사용하여) 이 디바이스들과 상호작용함으로써, 직관적인(intuitive) 사용자 인터페이스를 제공할 수 있다.
터치 센서 패턴들에 의해 검출된 터치 이벤트(touch event)는 전형적으로 디바이스의 애플리케이션 프로세서(application processor; AP) 상에서 가동 중인 고레벨 애플리케이션 소프트웨어에 의해 프로세싱된다. 터치 센서 패널과 AP 사이에 있는 많은 프로세싱 단계들 및 AP 상의 비결정성 프로세싱 시간(AP에 의해 수행되는 다른 계산 업무들에 의한 지연들을 포함한다)으로 인하여 사용자의 터치 입력들에 대한 컴퓨팅 디바이스의 반응성(responsiveness)을 감소시키는 레이턴시(latency)(예를 들어, 70 내지 150 밀리초들)가 높은 수준들로 도입된다.
일부 실증 연구들에서는 대부분의 사람들이 터치하는 것과 보는 것과 같은 감각들 사이에서 심지어 30 밀리초의 비동기성도 검출할 수 있음을 지적해왔다(예를 들어, Keetels, M. 및 Vroomen, J의 Perception of Synchrony Between the Senses (2012), M. M. Murray 및 M. T. Wallace (편집자들)의 Frontiers in the neural basis of multisensory processes (147 내지 177 페이지). London: Taylor & Francis Group)를 참조할 것). 50 내지 150 밀리초의 지연들은 이 컴퓨팅 디바이스들의 사용자들 대부분에게 검출될 수 있을 것이고, 이는 컴퓨팅 디바이스가 사용자의 입력에 피드백을 즉각 제공하지 못함으로써 사용자의 불만의 증가로 이어질 수 있다.
본 발명이 해결하고자 하는 과제는 터치 이벤트와 이 터치 이벤트에 대한 디스플레이 응답 사이의 레이턴시(latency)를 줄이는 것이다.
추가로, 본 발명의 양태들은 비디오 이미지 내에서 연속 시퀀스의 터치 이벤트들에 대응하는 동선(moving line)의 장소(location)들을 검출하고; 컬러 및 폭과 같은 동선의 특성들을 결정하고; 그리고 결정된 특성들로부터 오버레이 파라미터들을 생성하는 것에 관한 것이다. 하나의 실시예에 따르면, 오버레이 파라미터들은 명백한 디스플레이 레이턴시를 감소시키는 데 사용된다.
본 발명의 실시예들에 따르면, 시스템은: 비디오 이미지를 수신하고 터치 이벤트 장소들에 대응하는 비디오 이미지의 이미지 섹션(section)을 기록하도록 구성되는 제 1 모듈; 비디오 이미지의 이미지 섹션들의 비교에 기초하여 각각의 이미지 섹션의 전경 컬러(foreground color) 정보 및 배경(background) 컬러 정보를 결정하도록 구성되는 제 2 모듈; 및 전경 컬러 정보 및 배경 컬러 정보에 기초하여 오버레이 정보를 출력하도록 구성되는 제 3 모듈을 포함한다.
비디오 이미지는 전경 컬러 및 배경 컬러를 포함하고, 전경 컬러는 디스플레이되는 라인에 대응할 수 있다.
전경 컬러 정보는 비디오 이미지의 전경 컬러 및 전경 컬러를 포함하는 이미지 섹션의 백분율인 전경 균일성 팩터(factor)를 포함할 수 있고, 배경 컬러 정보는 비디오 이미지의 배경 컬러 및 배경 컬러를 포함하는 이미지 섹션의 백분율인 배경 균일성 팩터를 포함할 수 있다.
오버레이 정보는 오버레이의 컬러를 포함할 수 있고, 제 3 모듈은 전경 균일성 팩터 및 전경 임계 값의 비교에 기초하여 오버레이를 불능화하거나 이미지 섹션의 전경 컬러를 오버레이의 컬러로서 출력하도록 더 구성될 수 있다.
제 3 모듈은 배경 균일성 팩터 및 배경 임계 값의 비교에 기초하여, 오버레이를 불능화하거나 오버레이에 대한 경계를 결정하도록 더 구성될 수 있다.
오버레이에 대한 경계는 제 1 이미지 섹션의 배경 컬러 및 제 2 이미지 섹션의 배경 컬러를 비교함으로써 결정될 수 있다.
제 3 모듈은 제 1 이미지 섹션의 배경 컬러가 제 2 이미지 섹션의 배경 컬러와 상이할 때 제 1 이미지 섹션에 대응하는 좌표들을 출력하도록 더 구성될 수 있다.
오버레이 정보는 오버레이의 치수(dimension)들을 포함할 수 있고, 제 3 모듈은 각 이미지 섹션 별 전경 균일성 팩터에 기초하여 오버레이의 라인의 폭을 결정하도록 더 구성될 수 있다.
제 2 모듈은 각 이미지 섹션에 가중 팩터를 적용함으로써, 각각의 이미지 섹션을, 더 많은 전경 컬러 또는 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱(biasing)하도록 더 구성될 수 있다.
제 1 모듈, 제 2 모듈 및 제 3 모듈은 디스플레이 드라이버 인터페이스(driver interface) 제어기의 구성요소들이고, 디스플레이 드라이버 인터페이스 제어기는 애플리케이션 프로세서(application processor)로부터 비디오 이미지를 수신하고 오버레이 정보를 디스플레이 패널에 출력하도록 구성될 수 있다.
본 발명의 다른 실시예에 따르면, 디스플레이 오버레이를 생성하는 방법은:
복수의 터치 이벤트들 및 비디오 이미지를 수신하는 단계; 터치 이벤트들의 장소들에 대응하는 비디오 이미지의 이미지 섹션들을 기록하는 단계; 각각의 이미지 섹션의 전경 컬러 정보 및 배경 컬러 정보를 결정하기 위해 기록된 이미지 섹션들을 서로 비교하는 단계; 및 전경 컬러 정보 및 배경 컬러 정보에 기초하여 오버레이 정보를 공급하는 단계를 포함한다.
비디오 이미지는 전경 컬러 및 배경 컬러를 포함하고, 전경 컬러는 디스플레이되는 라인에 대응할 수 있다.
전경 컬러 정보는 비디오 이미지의 전경 컬러 및 전경 컬러를 포함하는 이미지 섹션의 백분율인 전경 균일성 팩터를 포함할 수 있고, 배경 컬러 정보는 비디오 이미지의 배경 컬러 및 배경 컬러를 포함하는 이미지 섹션의 백분율인 배경 균일성 팩터를 포함할 수 있다.
오버레이 정보는 오버레이의 컬러를 포함할 수 있고, 상기 방법은: 전경 균일성 팩터 및 전경 임계 값을 비교하는 단계; 및 비교에 기초하여, 오버레이를 불능화하거나 이미지 섹션의 전경 컬러를 오버레이의 컬러로서 공급하는 단계를 더 포함할 수 있다.
상기 방법은 배경 균일성 팩터 및 배경 임계 값을 비교하는 단계; 및 이 비교에 기초하여, 오버레이를 불능화하거나 오버레이에 대한 경계를 결정하는 단계를 더 포함할 수 있다.
오버레이에 대한 경계를 결정하는 단계는 제 1 이미지 섹션의 배경 컬러 및 제 2 이미지 섹션의 배경 컬러를 비교하는 단계를 포함할 수 있다.
상기 방법은: 제 1 이미지 섹션의 배경 컬러가 제 2 이미지 섹션의 배경 컬러와 상이할 때 제 1 이미지 섹션에 대응하는 좌표들을 공급하는 단계를 더 포함할 수 있다.
오버레이 정보는 오버레이의 치수들을 포함할 수 있고, 상기 방법은: 이미지 섹션 별 전경 균일성 팩터에 기초하여 오버레이의 라인의 폭을 결정하는 단계를 더 포함할 수 있다.
상기 방법은: 각각의 이미지 섹션을 더 많은 전경 컬러 또는 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱하기 위해 각각의 이미지 섹션에 가중 팩터를 적용하는 단계를 더 포함할 수 있다.
시간에 있어서 더 이전인 이미지 섹션은 더 많은 전경 컬러를 포함하는 쪽으로 바이어싱될 수 있고 시간에 있어서 더 이후인 이미지 섹션은 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱될 수 있다.
본 발명의 실시예들의 하나의 양태에 따르면, 레이턴시는 터치 입력 디바이스의 구성요소들 사이를 밀접하게 집적해야 하는 필요성을 줄임으로써 감소될 수 있다.
도 1(A)는 종래의 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하는 도면 및 도 1(B)는 본 발명에 따른 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하는 도면.
도 2는 본 발명에 따른 실시예들의 하나의 양태에 따른 저 레이턴시 피드백 경로 및 종래의 피드백 경로 모두의 개략적인 도면.
도 3은 본 발명의 하나의 실시예에 따른 저 레이턴시 오버레이 시스템을 포함하는 디바이스를 도시하는 블록도.
도 4는 본 발명의 하나의 실시예에 따른 저 레이턴시 오버레이 시스템 내의 구성요소들을 도시하는 블록도.
도 5는 본 발명의 하나의 실시예에 따른, 제 1 결합 디스플레이 이미지를 생성하기 위한 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도.
도 6은 본 발명의 하나의 실시예에 따른, 제 2 결합 디스플레이 이미지를 생성하기 위한 비디오 이미지 데이터, 오버레이 데이터 및 터치 경로 정보의 결합의 개략도.
도 7은 본 발명의 하나의 실시예에 따른, 오버레이 데이터의 애플리케이션을 결정하고 오버레이 데이터를 비디오 이미지들과 결합하는 방법을 도시하는 흐름도.
도 8은 본 발명의 다른 실시예에 따른 오버레이 시스템 및 검출 시스템을 포함하는 디바이스를 도시하는 블록도.
도 9는 본 발명의 하나의 실시예에 따른 검출 시스템의 구성요소들을 도시하는 블록도.
도 10(A)는 본 발명의 하나의 실시에에 따른 검출 시스템의 선택 모듈의 프로세스를 도시하는 흐름도.
도 10(B)는 본 발명의 하나의 실시예에 따른 내삽된(interpolated) 터치 포인트들의 개략도.
도 10(C)는 본 발명의 하나의 실시예에 따른 선택된 비디오 이미지 섹션(section)들의 개략도.
도 10(D)는 본 발명의 하나의 실시예에 따른 매핑(mapping)된 좌표들의 표.
도 10(E)는 본 발명의 하나의 실시예에 따른 라인-타이밍(ling-timing) 내의 좌표들의 표.
도 11(A)는 본 발명의 하나의 실시예에 따른 검출 시스템의 이미지 파스 모듈(image parse module)를 도시하는 블록도.
도 11(B)는 본 발명의 하나의 실시예에 따른 비디오 이미지의 개략도.
도 12는 본 발명의 하나의 실시예에 따른 검출 시스템의 이미지 비교 모듈을 도시하는 블록도.
도 13A는 본 발명의 하나의 실시예에 따른 검출 시스템의 파라미터 모듈의 일부분을 도시하는 블록도.
도 13B는 본 발명의 하나의 실시예에 따른 검출 시스템의 파라미터 모듈의 다른 일부분을 도시하는 블록도.
다음의 상세한 설명에서, 본 발명의 특정한 예시 실시예들만이 실례를 통해 도시되고 설명된다. 당업자가 인식하는 바와 같이, 본 발명은 많은 상이한 형태들로 구현될 수 있고 본원에 진술되는 실시예들로 제한되는 것으로 해석되어서는 안 된다. 하나의 요소가 다른 요소에 "접속" 또는 "결합"된다고 칭해지면, 이 요소는 상기 다른 요소에 직접적으로 접속되거나 또는 하나 이상의 개재 요소들이 이들 사이에 개입되어서 상기 다른 요소에 간접적으로 접속될 수 있다.
본 발명의 실시예들은 애플리케이션 프로세서에 의해 렌더링(rendering)되는 이미지 이전에 터치 장소(location)들에 기초하여 이미지를 디스플레이함으로써 사용자가 더 빠른 터치 응답을 인지하는 것을 가능하게 한다.
터치 인터페이스들용으로 설계된 소프트웨어는 종종 의사의(pseudo) "실제(real world)" 물체에 대한 직접 물리적 조작의 메타포(metaphor) 및/또는 스크린 상의 경로들의 드로잉(drawing)을 이용하여 시각적 피드백을 제공한다(예를 들어, 스와이핑(swiping) 또는 제스처 기반 온 스크린(on-screen) 키보드 상에서의 손가락의 자취에 대한, 드로잉 또는 스케치북 애플리케이션에서 경로의 자취에 대한, 그리고 게임에 도시된 경로에 대한).
모바일 전화기들의 공통적인 불만은 사용자 인터페이스(user interface; UI)의 랙(lag)이다. 현재의 모바일 전화기는 전형적으로 터치 행위에 응답하여 디스플레이를 갱신하는 데 50 내지 150 밀리초를 소요한다. 예를 들어, 삼성® 갤럭시 노트® 2 전화기에서 측정된 바에 따른 터치 이벤트에 대한 전형적인 디스플레이 응답 시간은 초당 60 프레임(60 frames per second; FPS)의 리프레쉬 레이트(refresh rate)에 기초하여 100 밀리초 이상이거나 대략 6 이상의 프레임들의 비디오 이미지들일 수 있고, 이는 사용자들 대부분에게 명백히 드러난다.
도 1(A)는 비교 가능한 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 응답을 도시하고, 여기서 디스플레이된 라인(100)은 손가락의 위치와 디스플레이된 라인(100)의 마지막 드로잉된 부분 사이에 갭(102)을 가짐으로써, 사용자의 터치와 디스플레이된 라인 사이에 현저한 디스플레이 랙을 발생시킨다. 액티브던지 패시브던지 간에 스타일러스를 사용할 때는 전형적으로 유사한 디스플레이 랙에 또한 직면하게 된다.
본 발명의 실시예들은 AP-렌더링된 이미지 이전에 터치 경로 내의 이미지를 오버레이함으로써 사용자가 더 빠른 터치 응답을 인지하도록 한다. 스크린 상에서 사용자의 터치 포인트(손가락, 스타일러스 또는 다른 도구를 사용하던지 간에) 및 라인의 드로잉 사이의 갭을 좁힘으로써, 인지되는 디스플레이 랙이 감소될 수 있다. 본원에서 사용되는 바와 같이, 용어 "오버레이"는 동사로서 사용될 때 추가 이미지 데이터가 원래의 비디오 이미지들의 일부의 부분을 대체(또는 "오버레이")하도록 비디오 이미지들(예를 들어, AP-렌더링된 이미지) 및 이 추가 이미지 데이터를 결합하는 것을 칭한다. 용어 "오버레이"는 명사로서 사용될 때 결합된 디스플레이 이미지 내에서 상기 추가 이미지 데이터가 보이는 것을 또한 칭할 수 있다.
게다가, 오버레이 방법을 사용함으로써, 애플리케이션 소프트웨어는 또한 디스플레이되는 터치 이벤트에 대한 응답의 영역(예를 들어, 디스플레이 상의 장소), 컬러 및 렌더링 동작을 제어할 수 있다.
도 1(B)는 본 발명의 실시예들에 따른 터치 입력 프로세싱 디바이스를 포함하는 디바이스의 디스플레이된 응답을 도시하고, 여기서 디스플레이된 라인은 본 발명의 실시예들에 따른 저 레이턴시 오버레이 시스템에 의해 드로잉되는 추정 또는 계산 부분(104)을 포함함으로써, 사용자에 의해 인지되는 디스플레이 랙이 감소된다.
도 2를 참조하면, 컴퓨팅 디바이스(250) 내에, 비교 가능한 시스템들에 대한 대안으로서, 본 발명의 실시예들은 터치 제어기(200) 및 디스플레이 드라이버 인터페이스 제어기(display driver interface controller; DDIC)(204)를 통과하는 저 레이턴시 경로(212)를 통해 시각적 피드백을 즉시 또는 더 빨리 제공하고, 그 후에 이어서 애플리케이션 프로세서(AP)(202)를 통과하는 종래의 레이턴시 경로(210)를 통해 종래의 레이턴시 레벨들의 시각적 이미지들을 제공하는 저 레이턴시 오버레이 시스템(이는 "가속기(accelerator)" 또는 "시각적 피드백 가속기"로 칭해질 수 있다)에 관한 것이다.
도 3을 참조하면, 전형적으로 터치 스크린 시스템 및 디스플레이 시스템은 독자적으로 동작한다.
도 3을 참조하면, 터치 센서 패널(300)은 사용자의 터치들을 검출하도록 구성되고 데이터 버스를 통해 터치 제어기(200)에 공급되는 터치 신호들(302)을 생성한다. 터치 제어기(200)는 터치 센서 패널(300)로부터의 터치 신호들(302)을 프로세싱하고 터치 장소들의 좌표들과 같은 터치 이벤트들(304)을 AP(202)에 출력한다. 본 발명의 실시예들은 신체 일부(예를 들어, 손가락), 스타일러스 등과 같은 임의의 유형의 포인팅 도구를 사용하는 사용자의 터치를 검출하는 터치 센서 패널들(300)과 함께 사용될 수 있다. 본원에서 사용되는 바와 같이, 용어 "포인팅 도구(pointing implement)"는 디바이스들(액티브 스타일러스 및 패시브 스타일러스와 같은) 및 신체 일부들(손가락 또는 머리와 같은)을 포함하여, 터치 센서 패널(300)에 의해 검출될 수 있는 물체들을 칭한다. 본 발명의 실시예들은 저항성 터치 패널들, 표면 탄성파(surface acoustic wave) 터치 패널들, 용량성 터치 패널들, 적외선 터치 패널들 및 광 터치 패널들과 같은 다양한 유형들의 터치 입력 패널들 중 임의의 패널과 함께 사용될 수 있다. 하나의 실시예에서, 터치 신호들(302)은 커패시턴스의 측정치 또는 터치 센서 패널 내의 각 장소에 별 전압 또는 전류와 같이, 터치 센서 패널(300)에 의해 공급되는 원 데이터(raw data)에 대응한다. 터치 이벤트들(304)을 위한 데이터 버스는 AP(202) 및 저 레이턴시 오버레이 시스템(310) 모두에 접속된다. 터치 이벤트들(304)은 사용자에 의한 터치들이 검출되었던 장소들에 대응하는 데이터 값들의 스트림일 수 있다(예를 들어, 터치 이벤트가 검출되는 충분히 높은 커패시턴스의 변화들 또는 값의 전압 또는 전류). 일부 실시예들에서, 터치 이벤트들(304)은 터치 센서 패널에 가해졌던 압력을 나타내는 압력 데이터를 포함한다.
AP(202)는 터치 이벤트들(304)을 프로세싱하고 AP로부터 가동되는 애플리케이션 소프트웨어는 비디오 이미지들(또는 비디오 이미지들의 프레임들)을 디스플레이 패널(322) 상에 디스플레이하기 위해 DDIC(204)로 렌더링함으로써 적절히 디스플레이 구성을 갱신한다. AP(202)는 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphical processing unit; GPU) 및 메모리를 포함할 수 있다.
AP(202)는 DDIC(204)에 접속되고, DDIC(204)는 차례로 디스플레이 패널(322)에 접속된다. DDIC(204)는 AP(202)로부터 비디오 이미지들(316)을 수신하고 픽셀 구동 신호들(320)을 디스플레이 패널(322)에 공급한다.
하나의 실시예에서, 터치 센서 패널(300), 터치 제어기(200), DDIC(204) 및 디스플레이 패널(322)은 디스플레이 모듈의 모든 구성요소들이고, 이것들은 AP(202)로부터 분리될 수 있다. 다른 실시예에서, 터치 센서 패널(300), 터치 제어기(200), DDIC(204) 및 디스플레이 패널(322) 또는 이들의 결합들은 별개의 모듈들에 상주하거나 애플리케이션 프로세스와 결합될 수 있다.
DDIC(204)는 AP(202)로부터 수신되는 비디오 이미지들(또는 비디오 이미지들의 프레임들)(316)을 프로세싱하고 픽셀 구동 신호들(320)을 디스플레이 패널로 출력한다.
오버레이 시스템(310)은 AP(202)로부터 파라미터들(312) 및 오버레이 데이터(314) 형태의 오버레이 정보를 수신할 수 있거나 또는 파라미터들(312) 및 오버레이 데이터(314)는 AP(202) 또는 애플리케이션 소프트웨어로부터의 입력들 없이 원 위치에서 생성될 수 있다. 파라미터들(312) 및 오버레이 데이터(314)의 기능들은 더 상세하게 후술될 것이다.
본 발명의 실시예들에 따르면, 저 레이턴시 오버레이 시스템(310)은 디스플레이 패널(322)이 비교 가능한 구현들보다 터치 이벤트에 더 빠르게 시각적 응답들을 디스플레이할 수 있도록 터치 이벤트들(304)을 비디오 이미지들(316)로 프로세싱한다. 어떤 비교 가능 디바이스들에서의 대략 6 프레임 이상의 디스플레이 랙과 대조적으로, 본 발명의 실시예는 랙을 1 내지 2 프레임들로 줄일 수 있다.
더 상세하게, 도 4는 본 발명의 하나의 실시예에 따른 저 레이턴시 오버레이 시스템(310)을 포함하는 디바이스를 도시하는 블록도이다. 도 4를 참조하면, 본 발명의 실시예들은 4개의 주요 부분들을 포함한다: 터치 경로 로직(logic)(400), 마스크 버퍼(mask buffer)(402), 오버레이 버퍼(406) 및 렌더링 로직(404). 오버레이 시스템(310)은 DDIC(204)의 구성요소로서 포함될 수 있거나 오버레이 시스템(310)의 일부분들은 DDIC(204) 또는 AP(202) 내에 포함될 수 있고 다른 부분들은 터치 제어기(200) 내에 포함될 수 있다.
도 4를 참조하면, 하나의 실시예에서 터치 경로 로직(400)은 터치 제어기에 접속되고 터치 제어기(200)로부터 터치 이벤트들(304)을 수신한다. 터치 경로 로직(400)은 또한 구성 파라미터들(312)을 수신하기 위해 AP(202)에 접속될 수 있다. 터치 경로 로직(400)은 또한 렌더링 로직(404)에 의해 사용되는 마스크 버퍼(402)에 접속된다.
하나의 실시예에 따르면, 오버레이 버퍼(406)는 DDIC(204) 내에서 AP(202)에 접속되고 AP(202)로부터 수신되는 오버레이 데이터(314)를 저장하는 메모리 디바이스이다. 오버레이 버퍼(406)는 저장된 오버레이 데이터(314)를 렌더링 로직(404)에 공급하도록 구성된다. 그러나, 본 발명의 실시예들은 이로 제한되지 않는다. 예를 들어, 하나의 실시예에서, 오버레이 데이터(314)는 AP(202)로부터의 입력들 없이 오버레이 시스템(310) 내에서 생성될 수 있다. 또 다른 실시예에서, 오버레이 데이터(314)는 오버레이 시스템(310) 내에서 생성되는 데이터 및 AP(202)로부터의 입력들에 대응하는 데이터의 결합일 수 있다.
하나의 실시예에 따르면, 렌더링 로직(404)은 AP(202) 및 오버레이 버퍼(406)에 결합되고, 그리고 터치 경로 로직(400)에 의해 생성되고 마스크 버퍼(402) 내에 저장되는 마스크 데이터(50)에서의 값들에 따라 오버레이 데이터(314)를 비디오 이미지들(316)과 결합하도록 구성된다. 렌더링 로직(404)의 출력은 오버레이 데이터(314) 및 비디오 이미지들(316)의 결합 디스플레이 이미지들을 디스플레이 패널(322)에 픽셀 구동 신호들(320)로서 공급하기 위해 디스플레이 패널(322)에 접속된다.
그러나, 본 발명의 실시예들은 이로 제한되지 않는다.
예를 들어, 하나의 실시예에서, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)은 각각 상이한 주문형 반도체(application specific integrated circuit; ASIC)들을 사용하여 구현된다. 본 발명의 다른 실시예들에서, 모든 기능들을 구현하는 데 단일 ASIC가 사용된다. 본 발명의 또 다른 실시예들에서, 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA)는 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)의 각각의 기능들을 수행하도록 프로그램된다. 대안으로, 범용 프로세서는 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)의 각각의 기능들을 수행하도록 프로그램될 수 있다(예를 들어, 범용 프로세서에 접속되는 메모리 내에 저장되는 명령들에 의해). 또 다른 실시예들에서, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404) 중 하나 이상의 기능은 AP(202)의 구성요소들로서 구현된다.
더욱이, 터치 경로 로직(400), 마스크 버퍼(402), 오버레이 버퍼(406) 및 렌더링 로직(404)이 도 4에서 DDIC(204)의 구성요소들인 것으로 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않는다. 일부 실시예들에서, 터치 경로 로직(400), 오베러이 버퍼(406), 마스크 버퍼(402) 및 렌더링 로직(404)(또는 이들 기능들을 수행할 수 있는 구성요소들) 중 하나 이상은 예를 들어, 터치 제어기(200), AP(202) 내에, 또는 별개의 구성요소들로 위치된다. 게다가, 구성요소들 또는 이 구성요소들이 수행하는 기능들은 디바이스의 상이한 부분들에 위치될 수 있다. 예를 들어, 터치 경로 로직(400)은 터치 제어기(200)의 구성요소 또는 기능으로 구현될 수 있고, 오버레이 버퍼(406) 및 렌더링 로직(404) 이 둘 모두는 AP(202)의 구성요소(또는 구성요소들) 또는 기능(또는 기능들)로서 구현될 수 있다.
게다가, 터치 제어기(200)가 물리적으로 별개인 구성요소들로서 도시될지라도, 본 발명의 일부 실시예들에서 터치 제어기(200)는 더 큰 집적 회로의 일부분이다. 예를 들어, 터치 제어기는 AP 및/또는 DDIC와 함께 동일한 집적 회로 내에서 구현될 수 있다.
도 5는 본 발명의 하나의 실시예에 따라, N번째 프레임 동안 결합되는 디스플레이 이미지들(510)의 제 1 세트를 생성하기 위해(예를 들어, 프레임 N을 생성하기 위해) 비디오 이미지들(316)(또는 비디오 이미지들의 프레임들), 오버레이 데이터(314) 및 터치 이벤트들(304)의 결합에 대한 개략적인 도면이다. 도 5를 참조하면, 터치 경로 로직(400)은 터치 제어기로부터의 터치 이벤트들(304)을 프로세싱하고 다수의 이전의 연속 프레임들(지나간 X의 프레임들)에 걸쳐서 수신된 터치 이벤트들의 서브세트, 예를 들어, 연속 터치 이벤트들의 세트의 장소들 사이를 내삽 및/또는 외삽(extrapolate)함으로써 추정 터치 경로를 생성한다. 추정 터치 경로는 마스크 데이터(500)를 생성하기 위해 그 후에 터치 경로 로직(400)에 의해 적용되고, 이 마스크 데이터(500)는 마스크 버퍼(402) 내에 저장된다. 렌더링 로직(404)은 마스크 데이터(500)에 따라서 오버레이 버퍼(406) 내에 저장된 오버레이 데이터(314)를 AP(202)로부터의 프레임 N에 대한 비디오 이미지와 결합하고 픽셀 하나하나를 기반으로 하여 오버레이 데이터(314) 및 비디오 이미지들(316) 사이에서 선택(또는 이들을 혼합)함으로써 결합된 디스플레이 이미지(510)를 생성한다.
하나의 실시예에 따르면, 마스크 데이터(500)는 수치 값들의 매트릭스이고, 여기서 매트릭스 내의 위치는 디스플레이 패널(322) 내의 픽셀(또는 픽셀들)의 위치에 대응하고 매트릭스 내의 값들의 상대 위치들은 디스플레이 패널(322) 내의 픽셀들의 상대 위치들에 대응한다(예를 들어, 마스크 데이터(500)는 결합된 디스플레이 이미지(510) 내의 픽셀 위치들의 2차원 맵에 대응하는 2차원 매트릭스로서 생각될 수 있다). 하나의 실시예에 따르면, 마스크 데이터(500)의 값들의 각각은 단일 비트로서 표현되고, 마스크 데이터 매트릭스 내의 값들의 위치들은 결합된 디스플레이 이미지 내의 위치들에 대응한다. 결합된 디스플레이 이미지에서 오버레이 데이터가 보일 수 있는 위치들은 제 1 값(예를 들어, "1")으로 세팅되는 값들을 가지고 오버레이 데이터가 보이지 않을 위치들(예를 들어, 비디오 이미지 데이터가 보여야 될)은 제 2의 다른 값(예를 들어, "0")으로 세팅되는 값들을 가진다.
본 발명의 다른 실시예들에 따르면, 마스크 데이터(500) 내의 수치 값들의 각각은 다수의 비트들(예를 들어, 8 비트들)에 의해 표현되고, 여기서 마스크 데이터(500)의 수치 값은 디스플레이 내의 각각의 장소에서의 오버레이 데이터의 "투명성(transparency)"의 정도를 칭한다. 본원에서 사용되는 바와 같이, 용어 "투명성"은 결합된 디스플레이 이미지(510)가 오버레이 데이터(314) 및 비디오 이미지(316) 이 둘 모두의 특성들을 띠도록 오버레이 데이터(314) 및 비디오 이미지(316)를 혼합(blending)(예를 들어, 병합(merging))한 것을 나타낸다.
렌더링 로직(404)에 의해 마스터 버퍼(402)를 사용하는 것이 더 상세하게 후술될 것이다.
하나의 실시예에서, 비디오 프레임 별로, 터치 경로 로직(400)는 고정된 수의 비디오 프레임들에 대응하는 터치 이벤트들의 서브세트에 기초하여 추정 터치 경로를 생성한다.
다른 실시예에서, 비디오 프레임들의 수는 AP(202)로부터의 디스플레이 랙과 일치하도록 구성될 수 있다.
다른 실시예에서, 터치 경로 로직(400)은 터치 경로를 다양한 수의 비디오 프레임들에 대해 생성한다. 비디오 프레임들의 수는 AP(202)로부터의 지난 비디오 이미지들(316)에 기초하여 외부 로직으로부터 결정될 수 있다.
파라미터들(312)의 세트는 경로가 생성될 때 추정 터치 경로의 특성들을 통제한다. 이 파라미터들은 스타트업 디폴트(start-up default)를 가질 수 있으나, 가동 시간 동안 필요에 따라 소프트웨어 또는 다른 수단에 의해 조절될 수 있다. 이 파라미터들은: 생성되는 경로의 폭: 단순 직선 세그먼트들 또는 곡선들과 같은 생성되는 라인 세그먼트들의 방식; 경로가 허용되는 디스플레이의 영역(예를 들어, 활성의 드로잉 에어리어); 및 렌더링 동작의 방식(예를 들어, 안티 앨리어싱 동작들, 평활(smoothing) 동작들 및 투명성)을 포함하지만, 이로 제한되지 않는다.
예를 들어, 본 발명의 실시예들이 드로잉용 소프트웨어 애플리케이션(예를 들어, 디지털 스케치북)의 상황에서 사용될 때, 결합된 디스플레이 이미지(510)의 일부분인 오버레이 이미지 세그먼트(508)(또한 계산된 부분(104)으로 칭해질 수 있는)는 단지 활성의 드로잉 에어리어에 대응하는 디스플레이의 부분들에만 적용된다. 오버레이 시스템(310)은 일반적으로 오버레이 데이터를 활성의 드로잉 영역의 외부에 있는 디스플레이의 부분들에 대해 적용하지 않는다. 그에 따라, 파라미터들(312)은 추정 터치 경로를 활성중인 드로잉 영역에 대응하는 디스플레이의 부분들로 제한하도록 세팅될 수 있다(예를 들어, 활성인 드로잉 에어리어의 경계들을 규정함으로써). 다른 예에서, 파라미터들(312)은 드로잉된 라인의 라인 폭을 포함할 수 있다. 터치 경로 로직(400)은 AP(202)로부터의 AP 생성 라인(또는 이미지 세그먼트)에 앞서 마스크 데이터(500) 내의 라인의 형상을 렌더링하는 데 이 파라미터를 사용할 수 있다(이미지 세그먼트(506)는 또한 디스플레이된 라인(100)으로 칭해질 수 있다). 터치 이벤트들(304)로부터의 압력 데이터는 또한 AP 생성 라인(또는 이미지 세그먼트)(506)에 앞서 마스크 데이터(500) 내의 라인의 형상을 렌더링하는 데 사용될 수 있다.
비디오 이미지(316)의 각각의 픽셀이 렌더링 로직(404)에 의해 프로세싱될 때, 렌더링 로직(404)은 마스크 데이터(500) 내의 값들을 검색하고, 마스크 데이터 내의 값의 위치(예를 들어, 매트릭스에서의 위치)는 비디오 이미지(316) 내의 픽셀들의 장소에 대응하며, 이 렌더링 로직(404)은 원하는 시각적 효과들(예를 들어, 투명성 및/또는 안티 애일리어싱)을 달성하기 위해 마스크 데이터(500) 내의 값에 따라 비디오 이미지(316)의 픽셀을 오버레이 데이터(314)로 대체하거나 또는 비디오 이미지(316)의 픽셀과 오버레이 데이터(314)를 혼합하는 것을 수행하고, 그리고 오버레이 데이터(314) 또는 비디오 이미지(316)의 픽셀, 또는 이들을 혼합한 것을 픽셀 구동 신호(320)를 통해 디스플레이 패널(322)에 출력한다.
예를 들어, 본 발명의 대체 실시예에서, 렌더링 로직(404)의 렌더링 동작은 마스크 데이터(500) 내의 값들에 의해 규정되는 바와 같이 단일 비트를 사용하여 명시될 수 있다. 렌더링 동작은 결합된 디스플레이 이미지(510) 내의 픽셀의 위치들에 대응하는 마스크 데이터 내의 위치들에서의 값에 기초하여 각 픽셀 별로 렌더링 로직의 출력을 비디오 이미지(316) 또는 오버레이 데이터(314)이도록 선택한다.
본 발명의 하나의 실시예에서, 마스크 데이터(500)의 값들의 수(또는 크기)는 비디오 이미지들(316)의 하나의 프레임 내의 픽셀들의 수와 동일하고, 이 픽셀들의 수는 차례로 결합된 디스플레이 이미지(510) 내의 픽셀들의 수와 동일하다. 그러므로, 마스크 데이터(500) 내의 각각의 값과 비디오 이미지(316)의 각각의 픽셀 사이에는 일대일 관계가 존재한다. 즉, 렌더링 로직(404)의 대체 실시예는 마스크 데이터(500) 내의 각각의 값을 비디오 이미지(316) 내의 대응하는 픽셀에 정합시키고 비디오 이미지(316)의 픽셀 또는 오버레이 데이터(314)를 디스플레이 패널(322)로 출력함으로써 수행된다. 예를 들어, 하나의 실시예에서, 렌더링 로직(404)는 마스크 데이터(500)의 각각의 값을 통하여 반복한다. 0의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직(404)은 비디오 이미지(316)의 대응하는 픽셀을 출력한다. 한편, 1의 값이 마스크 데이터(500) 내의 특정한 위치에 존재하면, 렌더링 로직은 오버레이 데이터(314)를 출력한다. 반복 프로세스의 결과로서, 렌더링 로직(404)은 픽셀 구동 신호(320) 내에서 표현되는 바에 따른 결합된 디스플레이 이미지(510)를 디스플레이 패널(322)로 출력한다.
본 발명의 다른 실시예에서, 마스크 데이터(500) 내의 값들의 수는 비디오 이미지들(316)의 프레임 내의 픽셀들의 수보다 더 작을 수 있다. 그러므로, 마스크 데이터9500) 내의 각각의 값은 마스크 데이터(500) 내의 값이 비디오 이미지(316)의 다수의 픽셀들에 대응하도록 비디오 이미지들(316)의 픽셀들에 대해 일대다 관계를 가짐으로써 마스크 데이터(500)의 크기를 줄이고 마스크 버퍼(402)의 메모리 요건들을 줄일 수 있다.
그러나, 본 발명의 실시예들은 이로 제한되지 않는다. 본 발명의 혼합 실시예에서, 렌더링 로직(404)의 렌더링 동작은 마스크 데이터(500) 내의 값들에 의해 규정되는 바와 같이 다수의 비트들을 사용하여 명시될 수 있다. 예를 들어, 마스크 데이터(500) 내의 값들은 렌더링 로직(404)에 의해 렌더링되는 혼합의 레벨(예를 들어, 투명성의 레벨)을 식별할 수 있다. 다른 예에서, 다수의 렌더링 동작들이 렌더링 로직(404)에 의해 지원되는 경우, 마스크 데이터(500) 내의 값들의 하나 이상의 비트들은 원하는 렌더링 동작을 규정하는 데 사용될 수 있고, 반면에 다른 비트들은 상기 렌더링 동작들의 사양들을 조정하는 데 사용될 수 있다. 렌더링 로직(404)은 에지 향상(edge-enhance), 닷지(dodge)(밝게 함(lighten)), 번(burn)(어둡게 함(darken))과 같이, 비디오 이미지(316) 내에 담긴 정보와 오버레이 데이터(314) 내에 담긴 정보 사이에서 다양한 렌더링 동작들을 수행할 수 있다. 다른 실시예들에서, 렌더링 동작은 비디오 이미지(316)의 부분들의 컬러 또는 광도(luminosity)를 변경함으로써 투명 컬러링(또는 하이라이터(highlighter) 효과 또는 알파 합성(alpha compositing) 효과를 일으킬 수 있다.
렌더링 로직(404)은 2개의 입력들을 수신하고, 제 1 입력은 AP(202)로부터의 비디오 이미지들(316)을 포함하고 제 2 입력은 오버레이 버퍼(406)로부터의 오버레이 데이터(314)를 포함한다. 오버레이 버퍼(406)는 렌더딩 로직(404)에 의해 프로세싱될 오버레이 데이터(314)를 저장한다. 오버레이 데이터(314)는 AP(202)에 의해 제공되거나 오버레이 시스템(310) 안에서 내부적으로 생성되고, 여기서 오버레이 데이터(314)의 특성들은 렌더링 로직(404)의 원하는 출력에 의해 결정된다. 하나의 실시예에서, 오버레이 데이터(314)의 특성들(예를 들어, 외양들)은, 마스크 데이터(500)에 따라 렌더링될 때 결합된 디스플레이 이미지(510)가 이미지 세그먼트(506)와 오버레이 이미지 세그먼트(508) 사이의 끊김없는(seamless) 전이를 포함하도록, 디스플레이된 라인(100)을 따라 비디오 이미지(316)의 특성들(예를 들어, 외양들)에 정합된다. 이 특성들은 컬러를 포함할 수 있다. 예를 들어, 애플리케이션 소프트웨어가 검은 라인을 드로잉하면, 오버레이 데이터(314)는 소프트웨어가 드로잉한 라인과 동일한 검은 컬러(예를 들어, 모든 픽셀들이 검은 비트매핑된 이미지)를 포함하도록 AP(202)에 의해 제공되거나 오버레이 시스템(310)에 의해 내부적으로 생성될 것이다. 렌더링 로직(404)은 마스크 데이터(500) 및 오버레이 데이터(314)에 의해 결정된 바에 따라 AP(202)로부터의 이미지 세그먼트(506)(예를 들어, 소프트웨어가 드로잉한 검은 라인)과 오버레이 이미지 세그먼트(508)를 인접시킴으로써 형성되는 검은 라인을 포함하는 결합된 디스플레이 이미지(510)를 출력할 것이다. 오버레이 데이터(314)는 또한 텍스처화되거나 컬러화될 수 있거나 비트매핑된 이미지 데이터를 포함할 수 있다. 오버레이 데이터(314)의 컨텐츠는 시간에 대해 동적일 수 있고 AP(202)에 의해 갱신되거나 DDIC(204) 내의 메커니즘에 의해 갱신될 수 있다. 컨텐츠는 또한 크기 및 형상에 있어서 동적일 수 있다.
본 발명의 하나의 실시예에서, 다수의 오버레이들을 표현하는 다수의 상이한 오버레이 데이터(314)의 세트들은 오버레이 버퍼(406) 내에 저장될 수 있고, 예를 들어, 각각의 세트는 상이한 컬러, 상이한 이미지 또는 상이한 텍스처를 가진다. 오버레이 데이터(314)의 이 세트들은 본원에서 "페이지(page)들"로서 칭해질 수 있다. 그와 같은 실시예들에서, 마스크 데이터(500) 내의 값들은 또한 렌더링 로직(404)이 오버레이 데이터(314)의 특정한 페이지(들)를 식별하는 것이 가능하여 렌더링 동작 동안 식별된 페이지(들)만을 사용하도록 정보를 포함할 수 있다. 이에 따라, 일부 실시예들에서, 마스크 데이터(500)의 값들은 렌더링 로직(404)이 렌더링 동작들 동안 오버레이 데이터(314)의 상이한 페이지들 사이를 스위칭(switching)하도록 하기 위해 오버레이 데이터(314)의 페이지들에 대한 인덱스들을 포함한다.
본 발명의 하나의 실시예에서, 오버레이 데이터(314)의 각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지들(316)의 하나의 프레임 내의 픽셀들의 수와 동일하고, 이 픽셀들의 수는 차례로 결합된 디스플레이 이미지(510) 내의 픽셀들의 수와 동일하다. 그러므로, 오버레이 데이터(314)의 각각의 페이지의 값과 비디오 이미지(316)의 각각의 픽셀 사이에는 일대일 관계가 존재한다.
본 발명의 다른 실시예에서, 오버레이 데이터(314)의 각각의 페이지의 값들의 수(또는 크기)는 비디오 이미지들(316)의 프레임 내의 픽셀들의 수보다 더 적을 수 있다. 그러므로, 오버레이 데이터(314)의 각각의 페이지의 각각의 값은 오버레이 데이터(314)의 각각의 페이지의 값이 비디오 이미지(316)의 다수의 픽셀들에 대응하도록 비디오 이미지들(316)의 픽셀들에 대해 일대다 관계를 가짐으로써, 오버레이 데이터(314)의 크기를 줄이고 오버레이 버퍼(406)의 메모리 요건들을 줄일 수 있다. 예를 들어, 일부 실시예들에서, 오버레이 데이터(314)는 레드 그린 블루(red green blue; RGB) 컬러 값과 같이 전체 오버레이 이미지(또는 오버레이 이미지 세그먼트)(508)가 단일 컬러 값으로 드로잉되는 단일 컬러 값을 포함한다. 다른 실시예들에서, 오버레이 데이터(314)의 상이한 페이지들은 단일 컬러들(예를 들어, 상이한 컬러들)에 대응하는 단일 값들이다. 또 다른 실시예들에서, 단일 값들은 비트매핑된 이미지를 포함하는 다른 페이지들 또는 오버레이 데이터(314) 내의 다른 값들과 섞일 수 있다.
도 6은 본 발명의 하나의 실시예에 따라, N+1번째의 프레임 동안 결합된 디스플레이 이미지들(510')의 제 2 세트를 생성하기 위해(예를 들어, 프레임 N+1을 생성하기 위해) 비디오 이미지(316'), 오버레이 데이터(314) 및 터치 이벤트들(304')의 경로의 결합을 개략적으로 도시한 것이다. 후속하는 프레임에서(예를 들어, 프레임 N+1에서, 여기서 N은 결합된 디스플레이 이미지들(510)의 제 1 세트에 대응하는 프레임이다), AP(202)로부터의 비디오 이미지(316')는 프레임 N 내에 디스플레이되지 않았던(예를 들어, 도 5에 도시되는 바와 같이 비디오 이미지(316) 내에 없는) 이미지 세그먼트(600)를 포함한다. 게다가, 프레임 N+1 동안, 터치 경로 로직(400)은 도 5에 도시된 마스크(500)의 값들의 세트와는 상이한 값들의 세트를 포함하는 상이한 마스크(또는 마스크 데이터)(500')를 터치 이벤트들(304')로부터 계산하였다. 이에 따라, 렌더링 로직(404)은 마스크 데이터(500')에 따라 AP(202)로부터의 비디오 이미지(316') 및 오버레이 데이터(314)의 합성인 결합된 디스플레이 이미지(506')를 출력한다.
도 7은 본 발명의 하나의 실시예에 따른 결합된 디스플레이 이미지를 생성하기 위해 오버레이 데이터를 비디오 이미지와 결합하는 방법을 도시하는 흐름도이다. 도 7을 참조하면, 본 발명의 하나의 실시예에 따르면, 동작 702에서, 터치 이벤트들은 외부 소스(터치 센서 패널)로부터 수신된다. 터치 경로(또는 추정 터치 경로)는 터치 이벤트들 사이의 내삽 또는 외삽에 의해 동작 704에서 터치 이벤트들로부터 생성되고, 내삽 방법은 예를 들어, 결합된 디스플레이 이미지의 오버레이 이미지 세그먼트(508)의 폭, 방식, 직선 또는 곡선, 영역 및 컬러를 구성하는 파라미터들에 의해 조정될 수 있다.
마스크 데이터(500)는 동작 706에서 터치 경로로부터 생성되고, 마스크 데이터(500)의 값들의 상대 위치들은 디스플레이 패널의 픽셀들의 상대 위치들에 대응하고, 마스크 데이터(500)의 값들은 결합된 디스플레이 이미지의 대응하는 픽셀이 오버레이 버퍼(406)부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지 또는 이들의 혼합된 결합을 포함해야만 하는지를 표시한다. 마스크 데이터(500)는 마스크 버퍼(402) 내에 저장된다. 동작 708에서, 마스크 데이터(500)는 마스크 버퍼(402)로부터 검색되고, 검색되는 값들은 현재 렌더링 로직에 의해 프로세싱되는 픽셀들의 위치들에 대응하는 마스크 데이터(500) 내의 위치들에 위치된다.
동작 710에서, 디스플레이 패널 내에서 현재 프로세싱되는 픽셀들의 위치들에 대응하는 마스크 데이터(500)의 값들은 오버레이 버퍼(406)로부터의 오버레이 데이터 또는 AP로부터의 비디오 이미지, 또는 이들의 혼합을 선별적으로 출력하는 데 사용된다.
동작 712에서, 비디오 이미지와 합성된 오버레이 데이터(314)를 디스플레이하기 위해 결합된 디스플레이 이미지들이 출력되어 디스플레이 패널에 공급된다.
이에 따라, 본 발명의 실시예들은 비교 가능 고 레이턴시 루프 내에 저 레이턴시 루프를 도입함으로써 전체 시스템 레이턴시를 감소시키는 시스템 및 방법을 제공한다.
저 레이턴시 디스플레이 이미지들은 터치 경로로부터 생성되는 마스크 데이터(500)로부터의 정보, 오버레이 버퍼로부터의 오버레이 데이터(314) 및 AP로부터의 고 레이턴시 비디오 이미지를 결합함으로써 생성될 수 있다. 터치 경로는 시간의 경과에 따라 기록된 터치 이벤트들(예를 들어, 터치 제어기로부터의 출력들)로부터 계산된다. 오버레이 데이터(314)는 AP에 의해 제공되거나 오버레이 시스템 내에서 생성될 수 있다.
컬러, 치수들(예를 들어, 폭), 지속성, 쉐이딩(shading) 및 타이밍을 포함하나 이로 제한되지 않는 오버레이 특성들은 동적으로 조정될 수 있다. 이 조정들은 AP에 의해 파라미터들의 세트로서 제공될 수 있거나 예를 들어, AP로부터의 비디오 이미지들을 분석함으로써, 오버레이 시스템 내에서 도출될 수 있다. 이 조정들은 또한 터치 행위에 의해 결정될 수 있다. 예를 들어, 결과적인 라인의 폭은 터치 센서 패널에 가해지는 압력에 따라 조정될 수 있다(예를 들어, 폭 파라미터는 터치 이벤트들의 측정된 압력에 비례한다).
디스플레이 이미지는 오버레이 시스템에 의해 터치 경로로부터 계산되는 마스크 데이터(500)를 통해 생성된다. 매핑 및 크기조정 파라미터(scaling parameter)들은 AP에 의해 제공될 수 있거나 예를 들어, AP로부터의 비디오 이미지들 또는 터치 이벤트들을 분석함으로써 오버레이 시스템 내에서 계산될 수 있다.
오버레이 데이터는 렌더링 로직에 의해 AP로부터의 비디오 이미지들과 픽셀 레벨로 병합될 수 있다. 하나의 실시예에서, 비디오 이미지들로부터의 픽셀 특성들은 마스크 데이터의 값에 따라 오버레이 데이터로부터의 픽셀 특성들로 대체된다. 다른 실시예들에서, 비디오 이미지들 및 오버레이 데이터부터의 각각의 픽셀 특성들의 혼합에 기초하여 새로운 픽셀 특성들이 작성된다.
도 8은 본 발명의 다른 실시예에 따른 오버레이 시스템 및 검출 시스템을 포함하는 디바이스를 도시하는 블록도이다. 도 8의 디바이스는 오버레이 시스템이 AP(202) 대신에 검출 시스템(800)으로부터 파라미터들(312) 및 오버레이 데이터(314)를 수신하는 점에서 도 2 및 도 3의 디바이스와 상이하다. 도 2 및 도 3에 도시된 실시예에서, 오버레이 시스템(310)에는 오버레이 시스템(310)이 파라미터들(312) 및 오버레이 데이터(314)를 수신할 수 있도록 애플리케이션 소프트웨어(예를 들어, AP(202) 내의 또는 AP(202) 상에서 가동 중인)가 밀접하게 통합될 수 있다. 그러나, 도 8의 오버레이 시스템은 애플리케이션 소프트웨어 또는 AP(202)로부터의 입력들 없이 디스플레이 오버레이를 생성하므로, 오버레이 시스템(310) 및 애플리케이션 소프트웨어 사이에서의 밀접한 통합이 필요하지 않다.
그와 같은 구성은 현재의 모바일 디바이스 생태계(ecosystem)가 오버레이 시스템을 지원하지 않는 경우 사용될 수 있다. 예를 들어, 애플리케이션 소프트웨어가 오버레이 시스템을 인지하지 않는 경우, 이 소프트웨어는 오버레이 기능들을 가능(enable) 또는 불능화(disable)하거나 또는 오버레이 데이터의 시각적 특성들을 통과시킬 수 없다. 많은 소프트웨어 개발 키트들은 "오버레이 데이터" 및 "파라미터들"에 대한 정의들을 포함하지 않으므로 애플리케이션 요청들에 따라 작용할 수 없다. 모바일 디바이스의 운영 소프트웨어는 또한 "오버레이 데이터" 및 "파라미터들"을 생성하는 적절한 디바이스 드라이버들을 포함하지 않을 수 있어서 결과적으로 소프트웨어 개발 키트(software development kit; SDK) 서비스 호출들을 하드웨어 명령들로 변환할 수 없다. 게다가, 애플리케이션 프로세서는 "오버레이 데이터" 및 "파라미터들"에 대한 물리적 출력들을 가지지 않을 수 있고 "오버레이 데이터" 및 "파라미터들"을 이용 가능한 디스플레이 인터페이스들(MIPI로서 공지되어 있는 모바일 산업 프로세서 인터페이스(Mobile Industry Processor Interface)와 같은) 상으로 피기백(piggyback)하는 것은 기존의 애플리케이션 프로세서들에 의해 지원되지 않을 수 있다. 본 발명의 실시예들은 오버레이 시스템이 애플리케이션 프로세서, 운영 시스템, 소프트웨어 개발 키트 또는 애플리케이션 소프트웨어로부터 데이터 입력들을 수신하지 않는 디바이스를 제공한다. 본 발명의 실시예들에 따른 디바이스는 그러므로 현재의 모바일 디바이스 생태계로의 어떠한 변경들도 요구하지 않음으로써 통합 노력들을 줄이는 자납식(self-contained) 시스템을 포함한다.
도 8의 검출 시스템(800)은 2개의 주요한 기능들을 제공한다: 오버레이 데이터(314)의 시각적 특성들을 결정하는 것, 그리고 오버레이가 활성 드로잉 경계를 횡단하는 경우 오버레이의 불능화를 용이하게 하는 것(예를 들어, 오버레이가 활성 드로잉 에어리어 외부에 적용되는 것을 방지하기 위해). 검출 시스템(800)은 수신된 터치 이벤트들을 수신된 비디오 이미지들과 결합하여 정보를 생성하여 이 두 기능들을 수행한다. 도 8을 참조하면, 하나의 실시예에서 검출 시스템(800)은 터치 제어기(200)로부터 터치 이벤트들(304)을 수신하고 AP(202)로부터 비디오 이미지들(316)을 수신한다. 검출 시스템(800)은 파라미터들(312) 및 오버레이 데이터(314)를 오버레이 시스템(310)에 출력한다. 본 발명의 실시예들에 따르면, 검출 시스템(800)은 DDIC(204)의 일부일 수 있거나 AP(202)의 일부 또는 단독의 구성요소일 수 있다.
더 상세하게, 도 9는 본 발명의 하나의 실시예에 따른 검출 시스템의 구성요소들을 도시하는 블록도이다. 도 9를 참조하면, 하나의 실시예에 따른 검출 시스템(800)은 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)을 포함한다. DDIC(204)로부터의 기준 타이밍 시그널들(VSYNC, HSYNC 및 Clock) 또한 검출 시스템(800)에 인가된다. 하나의 실시예에 따르면, 기준 타이밍 신호들(VSYNC, HSYNC 및 Clock)은 디스플레이 디바이스의 모든 모듈에 인가된다.
하나의 실시예에서, 터치 이벤트들(304)에 대한 데이터 버스는 AP(202), 오버레이 시스템(310) 및 검출 시스템(800)에 결합된다. 선택 모듈(802)은 터치 제어기(200)로부터 터치 이벤트들(304)을 수신하고 터치 이벤트들(304)의 장소들을 VSYNC 및 HSYNC 기준 타이밍 신호들에 대응하는 좌표들로 매핑한다. 선택 모듈(802)은 터치 이벤트 장소 별 매핑된 좌표들의 세트를 이미지 파스 모듈(804)로 출력한다. 이미지 파스 모듈(804)은 선택 모듈(802)로부터 매핑된 좌표들, 그리고 AP(202)로부터 비디오 이미지들을 수신하고, 각 좌표들의 세트에 대응하는 비디오 이미지(316)의 섹션들을 기록한다. 기록된 섹션들은 이미지 비교 모듈(806)로의 출력을 위해 메모리 내에 저장된다. 이미지 비교 모듈(806)은 기록된 이미지 섹션들을 수신하고 각 개개의 이미지 섹션을 모든 다른 이미지 섹션들과 비교한다. 각 이미지 섹션 별로, 이미지 비교 모듈(806)은 전경 균일성 팩터와 함께 추정 전경 컬러를, 그리고 배경 균일성 팩터와 함께 추정 배경 컬러를 출력한다. 균일성 팩터들은 특정한 컬러를 포함하는 이미지 섹션의 백분율(percentage)을 표시한다. 파라미터 모듈(808)은 추정 전경 및 배경 컬러들 및 이들 각각의 균일성 팩터들을 이미지 비교 모듈(806)로부터 수신하고 이 정보를 오버레이 시스템(310)을 위한 오버레이 데이터로 변환한다. 하나의 실시예에서, 디바이스가 수기(handwriting) 모드에 있을 때, 파라미터 모듈(808)은 라인이 드로잉될 시각화 특성들의 확률 및 오버레이가 활성 드로잉 에어리어의 경계들을 넘을 확률을 계산하고, 그에 맞게 파라미터들/데이터를 오버레이 시스템(310)에 출력한다.
더 상세하게, 도 10(A)는 본 발명의 하나의 실시예에 따른 검출 시스템의 선택 모듈의 프로세스를 도시하는 흐름도이다. 도 10(A)를 참조하면, 블록 1000에서, 선택 모듈(802)은 터치 이벤트들(예를 들어, 터치 제어기(200)로부터의)을 수신하고 (수신되고 내삽된) 터치 포인트들 중 인접한 포인트들 사이의 거리(또는 최대 거리)를 줄이기 위해 수신된 터치 이벤트 장소들에서의 터치 포인트들 사이를 내삽하여 내삽된 터치 포인트들을 추가한다. 도 10(B)에서, 도시된 그리드(grid)의 쉐이딩된 에어리어들(1001)은 터치 이벤트 장소들을 표현하고 X 심볼들은 내삽된 터치 포인트들(1003)을 표현한다. 하나의 실시예에 따르면, 그리드의 각각의 정사각형은 비디오 이미지 내의 장소(예를 들어, 픽셀의)에 대응한다. 블록 1002에서, 선택 모듈(802)은 각각의 터치 포인트(1003) 주위의 섹션(1005)(예를 들어, 정사각형들의 그룹)을 선택한다. 내삽된 터치 포인트들(1003)은 그러므로 비디오 이미지의 섹션들(1005)을 선택하기 위한 기준들로 사용된다. 도 10(C)에서, 쉐이딩된 영역들은 매핑될 선택된 섹션들(1005)에 대응하고, 선택된 섹션들(1005)은 인덱스화된다(도 10(C)에 도시된 예에서, 7개의 선택된 섹션들(1005)은 수들 1 내지 7을 사용하여 인덱싱된다). 도 10(C)에서 선택된 섹션들의 각각이 정사각형의 형상을 가지는 3 픽셀 대 3 픽셀 블록으로서 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않고, 선택된 섹션들은 임의의 형상 및 크기를 가질 수 있다. 하나의 실시예들에 따르면, 선택된 섹션의 디폴트 크기는 드로잉된 라인의 전형적인 폭에 대응한다. 하나의 실시예에서, 선택된 섹션의 크기는 검출 모듈 내로 프로그램(또는 사전 프로그램)될 수 있거나, 펌웨어를 통해 레지스터 세팅들에 의해서 갱신될 수 있다.
도 10(A)를 참조하면, 블록 1004에서, 선택 모듈(802)은 선택된 섹션들(1005)의 좌표들을 매핑한다. 하나의 실시예에서, 좌표들은 선택된 섹션들(1005)의 코너들 또는 에지들에 대응한다. 매핑된 좌표들은 블록 1002에서 그리고 도 10(C)에서 쉐이딩된 영역들로 도시된 선택된 섹션(1005)들의 에지들(또는 코너들)에 대응한다. 도 10(D)는 선택된 섹션들(1005)의 코너들 또는 에지들에 대응하는 매핑된 좌표들의 표이다. 하나의 실시예에 따르면, 도시된 그리드의 각각의 행 및 열에 숫자가 매겨진다. 각 인덱싱된 섹션 별로, 선택된 섹션의 시작 행, 정지 행, 시작 열 및 정지 열이 좌표 표 내에 기록된다.
예를 들어, 섹션 1로서 인덱싱된 섹션(1005)은 시작 행 2에 대응하는 상부 에지, 정지 행 4에 대응하는 하부 에지, 시작 열 2에 대응하는 좌측 에지 및 정지 열 4에 대응하는 우측 에지를 가진다. 그러므로, 섹션 1의 상부 좌측 코너는 시작 행 2 및 시작 열 2에 대응하고, 하부 좌측 코너는 정지 행 4 및 시작 열 2에 대응하고, 상부 우측 코너는 시작 행 2 및 정지 열 4에 대응하고, 하부 우측 코너는 정지 행 4 및 정지 열 4에 대응한다. 그러나, 본 발명의 실시예들은 이로 제한되지 않고, 선택된 섹션의 임의의 경계 또는 일부분에 대응하는 좌표들이 사용될 수 있다.
도 10(A)를 참조하면, 블록 1006에서, 선택 모듈(802)은 기준 타이밍 신호들(VSYNC 및 HSYNC)에 따라 매핑된 좌표들을 디스플레이 라인 타이밍들로 변환한다. 본 발명의 실시예들의 하나의 양태에 따르면, 라인 타이밍으로의 변환은 이미지 파스 모듈(804) 내에 정확한 이미지 섹션들을 기록하기 위해 선택 모듈(802)의 출력들을 디스플레이 스크린의 타이밍과 동기화하는 방법이다. 예를 들어, 디스플레이 스크린이 래스터-스캔(raster-scan) 방식, 즉 전형적으로 최상부 좌측에서 최하부 우측으로 한 번에 하나의 라인(또는 행)이 리프레쉬될 때, 라인 타이밍은 래스터 리프레쉬의 속도를 제어한다. 하나의 실시예에 따르면, 선택 모듈(802)의 입력이 스크린 리프레쉬와는 독립적으로 발생하는 터치 이벤트들에 기초하므로, 라인 타이밍 변환은 선택 모듈의 출력을 디스플레이 스크린으로, 따라서 AP로부터의 비디오 이미지로 동기화하는 메커니즘이다.
도 10(E)는 라인 타이밍에서의 변화된 좌표들의 표이다. 라인 타이밍에서, 각각의 행은 상대적인 시점에 좌우되고, 최상부 행이 시간에 있어서 가장 먼저이다. 예를 들어, 시간에 있어서 가장 먼저인 섹션(예를 들어, 섹션 1로서 인덱싱된 상부 최좌측 섹션)의 경우, 행들 2 내지 4에 대한 시작 열은 열 2이고, 행들 2 내지 4에 대한 정지 열은 열 4이다. 그러나, 본 발명의 실시예들은 이로 제한되지 않고, 다양한 다른 좌표 시스템들이 사용될 수 있다. 예를 들어, 일부 디스플레이들(어떤 필드 순차(field-sequential) 디스플레이들과 같은)은 래스터-스캔 방식으로 리프레쉬되지 않는다 대신, "필드"(스크린의 한 섹션 또는 전체 스크린)는 모두 한꺼번에 리프레쉬된다. 그와 같은 경우에 변환은 라인 타이밍 대신 필드 타이밍에 따를 것이다. 변환된 좌표들은 선택 모듈(802)로부터 이미지 파스 모듈(804)로 출력된다. 도 10(A)에 도시되지 않을지라도, 기준 타이밍 신호 Clock은 블록들 1000, 1002, 1004 및 1006 모두에 적용된다.
더 상세하게, 도 11(A)는 본 발명의 하나의 실시예에 따른 검출 시스템(800)의 이미지 파스 모듈(804)을 도시하는 블록도이다. 도 11(A)를 참조하면, 이미지 파스 모듈(804)은 선택 모듈(802)로부터 좌표들을 수신하고, 좌표들은 기준 타이밍 신호들 VSYNC 및 HSYNC가 인가되는 타이밍 제어 및 카운터(1100)로 입력된다. 이미지 파스 모듈(804)은 타이밍 제어 및 카운터(1100)에 따라, 선택 모듈(802)로부터의 좌표들에 대응하는 AP(202)로부터의 비디오 이미지들의 섹션들(즉, 선택된 섹션들(1005)에 대응하는 비디오의 섹션들)을 기록한다. 타이밍 제어 및 카운터(1100)는 개별 섹션들에 대한 기록이 시작 또는 정지될 수 있도록 각각의 기록된 이미지 섹션에 대응하는 인에이블(enable) 신호들(또는 시작/정지 신호들)(1101)을 출력한다. 하나의 실시예에 따르면, 디스플레이 스크린이 래스터-스캔 방식으로 리프레쉬될 때, 비디오 이미지는 AP로부터 최상부 좌측부터 최하부 우측까지 한 번에 하나의 픽셀로 도달된다. 단지 각각의 라인의 일부분만이 기록될 수 있으므로, 인에이블 신호는 기록을 시작 및 정지한다. 예를 들어, 도 10(C)를 참조하면, 이미지 섹션 1은 자체의 상부 좌측 코너가 라인(또는 행) 2 및 열 2에 있는 3 픽셀 대 3 픽셀 블록이다. 라인 타이밍이 라인(또는 행) 2 및 열 2에 도착하면, 인에이블 신호가 활성화된다. 라인 타이밍이 열 5에 도착하면(여전히 라인 2 상에 있다), 인에이블 신호는 활성 해제된다. 라인(또는 행) 3 상에서, 동일한 프로세스가 발생한다. 비디오 이미지들의 기록된 섹션들은 이미지 섹션들(1106)로서 메모리(1104) 내에 저장된다. 도 11(A)가 N개의 기록 섹션들을 도시할지라도, 하나의 실시예에서 이미지 파스 모듈(804)은 1부터 N까지의 사이클(cycle)들을 가지는 단 하나의 레코더를 포함한다. 이미지 파스 모듈(804)은 추가 프로세싱을 위해 저장된 이미지 섹션들(1106)을 이미지 비교 모듈(806)로 출력하도록 구성된다. 메모리(1104)가 도 11(A)에 이미지 파스 모듈(804) 내에 있는 것으로 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않고, 메모리(1104)는 디바이스의 임의의 모듈 내에 위치될 수 있다.
도 11(B)는 본 발명의 하나의 실시예에 따른 비디오 이미지를 개략적으로 도시한 것이다. 수기 애플리케이션에서, 예를 들어, 확정 배경 컬러 및 배경 컬러에 충분한 명암도(contrast)의 확정 전경 컬러가 전형적으로 존재하고, 활성 기록 에어리어는 거의 전체가 이 둘 컬러들로 구성된다. 그러나 배경 컬러는 활성 기록 에어리어의 외부에 있는 에어리어에서 변할 수 있다. 도 11(B)를 참조하면, 보다 밝은 컬러는 비디오 이미지의 배경 컬러이고 검은 컬러는 드로잉되는 라인(1108)의 전경 컬러이다. 하나의 실시예에 따르면, 도 11(B)에 도시되는 라인(1108)은 레이턴시로 인해 터치 포인트들이 지나간 실제 경로보다 더 짧다(도 10(C)에 도시되는 바와 같이).
더 상세하게, 도 12는 본 발명의 하나의 실시예에 따른 검출 시스템(800)의 이미지 비교 모듈(806)을 도시하는 블록도이다. 도 12를 참조하면, 이미지 비교 모듈(806)은 메모리(1104)로부터 이미지 섹션들(1106)을 수신하고 전경 및 배경 컬러들 사이에서 검색되고 구별되는 각각의 이미지 섹션을 분석한다. 이미지 비교 모듈(806)은 가중 팩터(W1 ...N)를 각각의 이미지 섹션에 적용함으로써 각각의 이미지 세션을 더 많은 전경 컬러 또는 더 많은 배경 컬러를 가지는 쪽으로 바이어싱(biasing)한다. 하나의 실시예에 따르면, 디스플레이에서의 레이턴시로 인해, 시간에 있어서 더 이전인 이미지 섹션들(예를 들어, 더 낮은 번호가 매겨진 이미지 섹션들(1106))의 경우, 이미지 섹션은 전경 컬러를 가질 가능성이 더 많고 가중 팩터들(W1.. .N)은 이 이미지 섹션을 더 많은 전경 컬러를 포함하는 쪽으로 바이어싱한다. 시간상 더 이후인 이미지 섹션들(예를 들어, 더 높은 번호가 매겨진 이미지 섹션들(1106))의 경우, 이미지 섹션은 배경 컬러를 포함할 가능성이 더 많고 가중 팩터(V1 ...N)는 이 이미지 섹션을 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱한다.
이미지 비교 유닛(1200)은 바이어싱된 이미지 섹션들을 수신하고 각각의 섹션의 전경 컬러들 및 배경 컬러들을 검출(또는 결정)하기 위해 각각의 개별 이미지 섹션을 모든 다른 이미지 섹션들과 비교한다. 이미지 비교는 다수의 이미지들의 컬러 변동들을 측정하고 이미지들의 전경 및 배경 컬러들을 검출하기 위해 임의의 적절한 알고리즘을 사용하여 수행될 수 있다(예를 들어, 명암도-기반 이미지 비교). 이미지 비교 유닛(1200)은 또한 각 이미지 섹션 별로 전경 균일성 팩터들 및 배경 균일성 팩터들을 계산한다. 균일성 팩터는 명시된 컬러를 포함하는 이미지 섹션의 백분율을 나타낸다. 예를 들어, 도 12에서의 이미지 섹션을 모든 다른 기록되고 저장된 이미지 섹션들과 비교한 후에, 이미지 비교 모듈(806)은 전경 컬러가 검고 배경 컬러가 백색인 것을 검출한다. 이미지 섹션(1106a) 내의 9개의 정사각형들 중 7개가 검은 전경 컬러를 포함하므로, 이미지 섹션에 대한 전경 균일성 팩터는 약 78%로서 계산된다. 이미지 섹션(1106a) 내의 9개의 정사각형들 중 2개가 백색 배경 컬러를 포함하므로, 이미지 섹션에 대한 배경 균일성 팩터는 22%로서 계산된다. 그러므로, 이미지 섹션(1106a)의 경우, 이미지 비교 유닛(1200)은 검은 전경 컬러, 78%의 전경 균일성 팩터, 백의 배경 컬러 및 22%의 배경 균일성 팩터를 출력한다. 기록된 이미지 섹션(1106b)의 경우, 전경 균일성 팩터는 0%로 계산되고 배경 균일성 팩터는 100%로 계산된다. 그러므로, 이미지 섹션(1106b)의 경우, 이미지 비교 유닛(1200)은 검은 전경 컬러, 0%의 전경 균일성 팩터, 백의 배경 컬러 및 100%의 배경 균일성 팩터를 출력한다.
더 상세하게, 도 13은 본 발명의 하나의 실시예에 따른 검출 시스템의 파라미터 모듈의 일부분을 도시하는 블록도이다. 도 13A를 참조하면, 파라미터 모듈(808)은 이미지 비교 모듈(806)로부터의 각 이미지 섹션 별로 전경 균일성 팩터들, 전경 컬러들, 배경 균일성 팩터들 및 배경 컬러들을 수신한다. 파라미터 모듈(808)은 또한 시스템의 설계자에 의해 경험적 데이터(empirical data)에 기초하여 세팅(setting)될 수 있는 전경 임계 값(또는 세팅) 및 배경 임계 값(또는 세팅)을 수신한다. 비교 유닛(1300)은 전경 균일성 팩터를 전경 임계 값과 비교하고, 만일 전경 균일성 팩터가 전경 임계 값보다 더 크거나 같으면, 신호 FG_Valid를 활성 레벨로 출력한다.
본 발명의 실시예들의 하나의 양태에 따르면, 전경 임계 값보다 더 크거나 같은 전경 균일성 팩터는 해당 이미지 섹션이 전경 컬러를 틀림없이 포함할 확률 및 신뢰 수준이 더 크다는 것을 나타낸다. 전경 임계 값보다 더 크거나 같지 않은 전경 균일성 팩터는 해당 이미지 섹션이 전경 컬러를 틀림없이 포함할 확률 및 신뢰 수준이 더 작다는 것을 나타낸다. FG_Valid 신호가 활성 레벨에 있으면, 임계 검사 유닛(1304)는 전경 컬러를 통과시키고 이 컬러는 파라미터 모듈(808)로부터 오버레이 컬러로서 출력된다. 전경 균일성 팩터가 전경 임계 값보다 더 크거나 같지 않을 때와 같이, FG_Valide 신호가 활성 레벨에 있지 않으면, 이미지 섹션이 전경 컬러를 틀림없이 포함하는 신뢰 수준이 더 적어진다. 임계 검사 유닛(1304)은 그러므로 부정확한 오버레이 컬러를 디스플레이하는 것을 방지하기 위해 오버레이를 불능화하는 FG_Disable 신호를 출력한다.
예를 들어, 이미지 섹션(1106a)의 경우, 비교 유닛(1300)은 78%의 전경 균일성 팩터를 예를 들어, 60%의 전경 임계 값과 비교한다. 전경 균일성 팩터가 전경 임계 값보다 더 크므로, 비교 유닛(1300)은 FG_Valid 신호를 활성 레벨로 세팅하고, 이미지 섹션(1106a)의 검은 전경 컬러는 상기 섹션에 대한 오버레이 컬러로 출력된다. 이미지 섹션(1106b)의 경우, 비교 유닛(1300)은 0%의 전경 균일성 팩터를 60%의 전경 임계 값과 비교한다. 전경 균일성 팩터가 전경 임계 값보다 더 크거나 같지 않으므로, 비교 유닛(1300)은 FG_Valid 신호를 활성 레벨로 세팅하지 않는다. 임계 검사 유닛(1304)은 오버레이를 불능화하기 위해 FG_Disable 신호를 출력한다.
비교 유닛(1302)은 배경 균일성 팩터를 배경 임계 값과 비교하고, 만일 배경 균일성 팩터가 배경 임계 값보다 더 크거나 같으면, 신호 BG_Valid를 활성 레벨로 출력한다. 본 발명의 실시예들의 하나의 양태에 따르면, 배경 임계 값보다 더 크거나 같은 배경 균일성 팩터는 해당 이미지 섹션이 배경 컬러를 틀림없이 포함할 확률 또는 신뢰 수준이 더 크다는 것을 나타낸다. 배경 임계 값보다 더 크거나 같지 않은 배경 균일성 팩터는 해당 이미지 섹션이 배경 컬러를 틀림없이 포함할 확률 또는 신뢰 수준이 더 작다는 것을 나타낸다. BG_Valid 신호가 활성 레벨에 있으면, 임계 검사 유닛(1306)은 배경 컬러를 경계 검사 유닛(1308)으로 통과시킨다. 배경 균일성 팩터가 배경 임계 값보다 더 크거나 같지 않을 때와 같이 BG_Valid 신호가 활성 레벨에 있지 않으면, 이미지 섹션이 배경 컬러를 틀림없이 포함할 신뢰 수준이 더 작아진다. 임계 검사 유닛(1304)은 그러므로 부정확한 오버레이 컬러를 디스플레이하는 것을 방지하기 위해, 오버레이를 불능화하는 BG_Disable 신호를 출력한다.
예를 들어, 이미지 섹션(1106a)의 경우, 비교 유닛(1302)은 22%의 배경 균일성 팩터를 배경 임계 값, 예를 들어, 60%와 비교한다. 배경 균일성 팩터가 배경 임계 값보다 더 크거나 같지 않으므로, 비교 유닛(1302)은 BG_Valid 신호를 활성 레벨로 세팅하지 않는다. 임계 검사 유닛(1306)은 그러므로 오버레이를 불능화하기 위해 BG_Disable 신호를 출력한다. 이미지 섹션(1106b)의 경우, 비교 유닛(1302)은 100%의 배경 균일성 팩터를 60%의 배경 임계 값과 비교한다. 배경 균일성 팩터가 배경 임계 값보다 더 크므로, 비교 유닛(1302)은 BG_Valid 신호를 활성 레벨로 출력하고 백색의 배경 컬러를 경계 검사 유닛(1308)로 통과시킨다.
도 13을 참조하면, FG_Disable 신호 또는 BG_Disable 신호가 출력될 때, 오버레이가 불능화되도록, FG_Disable 및 BG_Disable 신호들은 OR 로직 유닛(1310)으로 출력된다.
경계 검사 유닛(1308)은 임계 검사 유닛(1306)으로부터 배경 컬러들을 수신하고 선택 모듈(802)로부터 매핑된 좌표들을 수신한다. 하나의 실시예에 따르면, 경계 검사 유닛(1308)은 오버레이 데이터가 활성 드로잉 에어리어 밖에 있는 디스플레이의 부분들에 걸쳐 적용되는 것을 방지하도록 구성된다. 도 13A의 경계 검사 유닛(1308)에서, 선택 모듈(802)로부터의 매핑된 좌표들의 각각의 세트는 대응하는 배경 컬러와 연계된다. 예를 들어, 인덱싱된 이미지 섹션 1의 경우, 이미지 섹션 1에 대한 좌표들(예를 들어, 도 10(E)에 도시되는 바와 같이)은 백색의 배경 컬러와 연계된다. 경계 검사 유닛(1308)은 이미지 섹션들 사이에서의 배경 컬러들의 변경들을 검출하고, 만일 변경이 있으면, 컬러 변경 바로 직전의, 터치 경로에 따른 경계의 대응하는 좌표들을 출력한다.
하나의 실시예에 따르면, 사용자의 포인팅 도구가 디스플레이의 활성 드로잉 에어리어를 가로질러 이동할 때 배경 컬러가 변경되는 것은 이 사용자가 활성 드로잉 에어리어 외부로 이동했음을 나타낸다. 하나의 실시예에서, 경계 검사 유닛(1308)이 백색의 배경 컬러(예를 들어, 활성 드로잉 에어리어의 배경 컬러)로부터 블루와 같은 상이한 배경 컬러로의 변경을 검출하면, 경계 검사 유닛(1308)은 컬러 변경 바로 전의, 백색의 배경 컬러에 대응하는 좌표들의 세트를 출력한다. 예를 들어, 제 1 이미지 섹션(예를 들어, 인덱싱된 이미지 섹션 7)이 백색의 배경 컬러에 대응하였고 제 2 이미지 섹션(예를 들어, 인덱싱된 이미지 섹션 8)이 블루의 배경 컬러에 대응하였다면, 제 1 이미지 섹션(예를 들어, 이미지 섹션 7)의 좌표들이 출력될 것이다. 하나의 실시예에서, 오버레이 시스템(310)은 경계 검사 유닛(1308)으로부터 경계 좌표들을 수신하고 오버레이가 경계 밖에서 디스플레이되는 것을 방지한다. 상기 예에서, 오버레이 시스템(310)은 이미지 섹션 7의 좌표들을 수신하고 오버레이가 이 좌표들을 넘어서 적용되는 것을 방지할 것이다.
더 상세하게, 도 13B는 본 발명의 하나의 실시예에 따른 검출 시스템의 파라미터 모듈의 다른 일부분을 도시하는 블록도이다. 하나의 실시예에 따르면, 도 13B에 도시되는 파라미터 모듈(808)의 부분은 오버레이의 라인 폭을 계산하도록 구성된다. 각 이미지 섹션 별 전경 균일성 팩터들 및 FG_Valid 신호는 유효 팩터들을 결정하는 유효성 검사 유닛(1400)으로 입력된다. 하나의 실시예에 따르면, 유효성 검사 유닛(1400)은 단지 대응하는 활성화된 FG_Valid 신호를 가지는 상기 전경 균일성 팩터들만을 통과시킨다. 즉, 유효성 검사는 대응하는 활성화된 FG_Valid 신호를 가지지 않는 임의의 전경 균일성 팩터들을 차단한다. 전경 균일성 팩터들은 드로잉된 라인의 부분들을 식별하는 데 사용된다. 하나의 실시예에서, 이미지 섹션에 대한 전경 균일성 팩터가 100%라면, 상기 섹션은 드로잉되는 라인의 내부 부분에 대응한다. 전경 균일성 팩터가 100% 미만이라면, 상기 섹션은 라인의 에지 부분에 대응한다. 전경 균일성 팩터가 0%라면, 상기 섹션은 라인의 어떠한 부분에도 대응하지 않는다. 라인의 내부 부분들 및 에지 부분들에 대응하는 이미지 섹션들은 라인 폭을 계산하는 데 사용될 수 있다. 선택 모듈(802)로부터 매핑된 좌표들은 각 좌표들의 세트 내의 라인의 경사(slope)를 계산하는 구분적(piecewise) 선형 경사 계산기(1402)로 입력된다. 라인 폭 계산기(1404)는 유효성 검사 유닛(1400)으로부터 유효 팩터들을 그리고 구분적 선형 경사 계산기(1402)로부터 경사 계산들을 수신하고 각 유효 팩터 및 계산된 경사를 이미지 섹션의 좌표들의 세트와 연계시킨다.
도 13A 및 도 13B의 파라미터 모듈(808)은 그러므로 오버레이 컬러, 경계 좌표들, 라인 폭 및 불능화 파라미터들을 오버레이 시스템(310)으로 출력하도록 구성된다. 오버레이 데이터 및 파라미터들이 모바일 디바이스들의 애플리케이션 소프트웨어를 사용하지 않고 원 위치에서 생성되므로, 터치 입력에 응답하는 디스플레이의 레이턴시가 감소될 수 있다. 추가로, 터치 장소들 주위의 비디오 이미지의 선택된 섹션들만이 저장되므로 메모리가 더 적게 사용될 수 있다.
그러나, 본 발명의 실시예들은 이로 제한되지 않는다.
예를 들어, 하나의 실시예에서, 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)은 각각 상이한 주문형 반도체(ASIC)들을 사용하여 구현된다. 본 발명의 다른 실시예들에서, 모든 기능들을 구현하는 데 단일 ASIC가 사용된다. 본 발명의 또 다른 실시예들에서, 필드 프로그래머블 게이트 어레이(FPGA)는 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)의 각각의 기능들을 수행하도록 프로그램된다. 대안으로, 범용 프로세스는 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)의 각각의 기능들을 수행하도록 프로그램될 수 있다(예를 들어, 범용 프로세서에 접속되는 메모리에 저장되는 명령들로).
더욱이, 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)이 도 9에 검출 시스템(800)의 구성요소들인 것으로 도시될지라도, 본 발명의 실시예들은 이로 제한되지 않는다. 일부 실시예들에서, 선택 모듈(802), 이미지 파스 모듈(804), 이미지 비교 모듈(806) 및 파라미터 모듈(808)(또는 이 기능들을 수행할 수 있는 구성요소들) 중 하나 이상은 예를 들어, DDIC(204), 오버레이 시스템(310) 내에 또는 별개의 구성요소들로서 위치된다. 게다가, 구성요소들 또는 이 구성요소들이 수행하는 기능들은 디바이스의 상이한 부분들에 위치될 수 있다.
본 발명이 특정한 예시 실시예들과 관련하여 기술되었을지라도, 본 발명은 개시된 실시예들로 제한되지 않음이 이해되어야 하며, 오히려 반대로, 첨부된 청구항들 및 이의 등가들의 사상 및 범위 내에 포함되는 다양한 수정들 및 등가의 배열들을 커버하도록 의도된다.

Claims (21)

  1. 프로세서; 그리고
    상기 프로세서에 의해 실행될 때 상기 프로세서가 동작하도록 하는 지시를 저장하는 메모리를 포함하고,
    상기 프로세서는 상기 지시에 따라,
    터치 입력 위치들의 터치 입력들 및 비디오 이미지를 수신하고;
    상기 터치 입력 위치들에 대응하는 상기 비디오 이미지의 이미지 섹션(section)을 기록하고;
    상기 비디오 이미지의 이미지 섹션들의 비교에 기초하여 각각의 이미지 섹션의 전경 컬러 정보(foreground color information) 및 배경 컬러 정보(background color information)를 결정하고;
    상기 전경 컬러 정보 및 상기 배경 컬러 정보를, 상기 터치 입력 위치들에 따른 터치 경로에 대응하는 오버레이 정보로 변환하고;
    상기 터치 입력들에 대응하는 마스크 데이터를 마스크 버퍼로부터 검색하고;
    오버레이 버퍼로부터 상기 오버레이 정보를 검색하고; 및
    상기 마스크 데이터, 상기 오버레이 정보 및 상기 비디오 이미지를 바탕으로, 상기 오버레이 정보에 따라 생성된 오버레이와 상기 비디오 이미지를 결합한 디스플레이 이미지를 출력하고,
    상기 비디오 이미지는 전경 컬러 및 배경 컬러를 포함하고, 상기 전경 컬러는 상기 터치 경로에 따라 디스플레이되는 라인을 표현하고,
    디스플레이 드라이버 인터페이스 제어기는, 애플리케이션 프로세서로부터 상기 비디오 이미지를 수신하고, 터치 제어기로부터 직접 상기 터치 입력들을 수신하고, 디스플레이 패널로 상기 결합된 디스플레이 이미지를 출력하는
    시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 전경 컬러 정보는, 상기 이미지 섹션의 전경 컬러 및 상기 전경 컬러를 포함하는 상기 이미지 섹션의 백분율인 전경 균일성 팩터(factor)를 포함하고, 상기 배경 컬러 정보는 상기 이미지 섹션의 배경 컬러 및 상기 배경 컬러를 포함하는 상기 이미지 섹션의 백분율인 배경 균일성 팩터를 포함하는
    시스템.
  4. 제 3 항에 있어서,
    상기 오버레이 정보는 오버레이의 컬러를 포함하고, 상기 지시에 따라 상기 프로세서는, 상기 전경 균일성 팩터 및 전경 임계 값의 비교에 기초하여 오버레이를 불능화하거나 상기 이미지 섹션의 상기 전경 컬러를 상기 오버레이의 컬러로서 출력하는
    시스템.
  5. 제 3 항에 있어서,
    상기 지시에 따라 상기 프로세서는, 상기 배경 균일성 팩터 및 배경 임계 값의 비교에 기초하여, 오버레이를 불능화하거나 상기 오버레이에 대한 경계를 결정하는
    시스템.
  6. 제 5 항에 있어서,
    상기 오버레이에 대한 경계는 제 1 이미지 섹션의 배경 컬러 및 제 2 이미지 섹션의 배경 컬러를 비교함으로써 결정되는
    시스템.
  7. 제 6 항에 있어서,
    상기 지시에 따라 상기 프로세서는, 상기 제 1 이미지 섹션의 상기 배경 컬러가 상기 제 2 이미지 섹션의 상기 배경 컬러와 상이할 때 상기 제 1 이미지 섹션에 대응하는 좌표들을 출력하는
    시스템.
  8. 제 3 항에 있어서,
    상기 지시에 따라 상기 프로세서는, 상기 전경 균일성 팩터에 기초하여 상기 오버레이의 라인의 폭을 결정하는
    시스템.
  9. 제 1 항에 있어서,
    상기 지시에 따라 상기 프로세서는, 각 이미지 섹션에 가중 팩터를 적용함으로써, 각각의 이미지 섹션을, 상기 가중 팩터를 적용하지 않을 때보다 더 많은 전경 컬러 또는 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱(biasing)하는
    시스템.
  10. 제 1 항에 있어서,
    상기 애플리케이션 프로세서는 상기 터치 제어기로부터 직접 상기 터치 입력들을 수신하도록 구성되는
    시스템.
  11. 디스플레이 오버레이를 생성하는 방법으로서:
    프로세서에 의해, 터치 입력 위치들의 복수의 터치 입력들 및 비디오 이미지를 수신하는 단계;
    상기 프로세서에 의해, 상기 터치 입력 위치들에 대응하는 상기 비디오 이미지의 이미지 섹션들을 기록하는 단계;
    상기 프로세서에 의해, 기록된 상기 이미지 섹션들을 서로 비교하여 각각의 이미지 섹션의 전경 컬러 정보 및 배경 컬러 정보를 결정하는 단계;
    상기 프로세서에 의해, 상기 전경 컬러 정보 및 상기 배경 컬러 정보를, 상기 터치 입력 위치들에 따른 터치 경로에 대응하는 오버레이 정보로 변환하는 단계;
    상기 터치 입력들에 대응하는 마스크 데이터를 마스크 버퍼로부터 검색하는 단계;
    오버레이 버퍼로부터 상기 오버레이 정보를 검색하는 단계; 및
    상기 프로세서에 의해, 상기 마스크 데이터, 상기 오버레이 정보 및 상기 비디오 이미지를 바탕으로, 상기 오버레이 정보에 따라 생성된 오버레이와 상기 비디오 이미지를 결합한 디스플레이 이미지를 출력하는 단계
    를 포함하고,
    상기 비디오 이미지는 전경 컬러 및 배경 컬러를 포함하고, 상기 전경 컬러는 상기 터치 경로에 따라 디스플레이되는 라인을 표현하고,
    디스플레이 드라이버 인터페이스 제어기는, 애플리케이션 프로세서로부터 상기 비디오 이미지를 수신하고, 터치 제어기로부터 직접 상기 터치 입력들을 수신하고, 디스플레이 패널로 상기 결합된 디스플레이 이미지를 출력하는
    방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 전경 컬러 정보는 상기 이미지 섹션의 전경 컬러 및 상기 전경 컬러를 포함하는 상기 이미지 섹션의 백분율인 전경 균일성 팩터를 포함하고, 상기 배경 컬러 정보는 상기 이미지 섹션의 배경 컬러 및 상기 배경 컬러를 포함하는 상기 이미지 섹션의 백분율인 배경 균일성 팩터를 포함하는
    방법.
  14. 제 13 항에 있어서,
    상기 오버레이 정보는 상기 오버레이의 컬러를 포함하고, 상기 방법은:
    상기 프로세서에 의해, 상기 전경 균일성 팩터 및 전경 임계 값을 비교하는 단계; 및
    상기 프로세서에 의해, 상기 비교에 기초하여, 오버레이를 불능화하거나 상기 이미지 섹션의 상기 전경 컬러를 상기 오버레이의 컬러로서 출력하는 단계를 더 포함하는
    방법.
  15. 제 13 항에 있어서,
    상기 프로세서에 의해, 상기 배경 균일성 팩터 및 배경 임계 값을 비교하는 단계; 및
    상기 프로세서에 의해, 상기 비교에 기초하여, 오버레이를 불능화하거나 상기 오버레이에 대한 경계를 결정하는 단계를 더 포함하는
    방법.
  16. 제 15 항에 있어서,
    상기 오버레이에 대한 상기 경계를 결정하는 단계는, 상기 프로세서에 의해, 제 1 이미지 섹션의 배경 컬러 및 제 2 이미지 섹션의 배경 컬러를 비교하는 단계를 포함하는
    방법.
  17. 제 16 항에 있어서,
    상기 프로세서에 의해, 상기 제 1 이미지 섹션의 상기 배경 컬러가 상기 제 2 이미지 섹션의 상기 배경 컬러와 상이할 때 상기 제 1 이미지 섹션에 대응하는 좌표들을 출력하는 단계를 더 포함하는
    방법.
  18. 제 13 항에 있어서,
    상기 프로세서에 의해, 상기 전경 균일성 팩터에 기초하여 상기 오버레이의 라인의 폭을 결정하는 단계를 더 포함하는
    방법.
  19. 제 11 항에 있어서,
    상기 프로세서에 의해, 각각의 이미지 섹션에 가중 팩터를 적용하여, 각각의 이미지 섹션을 상기 가중 팩터를 적용하지 않을 때보다 더 많은 전경 컬러 또는 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱하는 단계를 더 포함하는
    방법.
  20. 제 19 항에 있어서,
    시간에 있어서 더 이전인 이미지 섹션은 상기 가중 팩터를 적용하지 않을 때보다 더 많은 전경 컬러를 포함하는 쪽으로 바이어싱되고, 시간에 있어서 더 이후인 이미지 섹션은 상기 가중 팩터를 적용하지 않을 때보다 더 많은 배경 컬러를 포함하는 쪽으로 바이어싱되는
    방법.
  21. 제 11 항에 있어서,
    상기 애플리케이션 프로세서는 상기 터치 제어기로부터 직접 상기 터치 입력들을 수신하는 방법.
KR1020150045515A 2014-03-31 2015-03-31 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법 KR102240294B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461973152P 2014-03-31 2014-03-31
US61/973,152 2014-03-31
US14/663,396 US10127700B2 (en) 2014-03-31 2015-03-19 Generation of display overlay parameters utilizing touch inputs
US14/663,396 2015-03-19

Publications (2)

Publication Number Publication Date
KR20150114434A KR20150114434A (ko) 2015-10-12
KR102240294B1 true KR102240294B1 (ko) 2021-04-14

Family

ID=52807605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150045515A KR102240294B1 (ko) 2014-03-31 2015-03-31 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US10127700B2 (ko)
EP (1) EP2927876A1 (ko)
KR (1) KR102240294B1 (ko)
CN (1) CN104951127B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383840B2 (en) * 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay
KR102266869B1 (ko) * 2014-04-03 2021-06-21 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 방법
KR102314110B1 (ko) * 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
CN107145313A (zh) * 2016-03-01 2017-09-08 腾讯科技（深圳）有限公司 图像显示方法及装置
US10290110B2 (en) * 2016-07-05 2019-05-14 Intel Corporation Video overlay modification for enhanced readability
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
CN110580125B (zh) * 2018-06-07 2022-04-22 广州视源电子科技股份有限公司 显示界面的局部刷新方法、装置、设备及介质
CN115243094A (zh) * 2020-12-22 2022-10-25 海信视像科技股份有限公司 一种显示设备及多图层叠加方法
US20240019964A1 (en) * 2022-07-13 2024-01-18 Sigmasense, Llc. Touch Icon Offset Based on Touch Data Samples

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277429A1 (en) 2009-04-30 2010-11-04 Day Shawn P Operating a touch screen control system according to a plurality of rule sets
JP2013213898A (ja) 2012-04-02 2013-10-17 Sharp Corp 表示装置
US20130271487A1 (en) 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071950B2 (en) 2000-09-01 2006-07-04 Ricoh Co., Ltd. Super imposed image display color selection system and method
US6912313B2 (en) 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
GB2415519A (en) 2004-06-24 2005-12-28 Canon Europa Nv A scanning and indexing device
US20070206024A1 (en) 2006-03-03 2007-09-06 Ravishankar Rao System and method for smooth pointing of objects during a presentation
US7652677B2 (en) * 2006-08-03 2010-01-26 Qualcomm Incorporated Graphics system employing pixel mask
KR100933042B1 (ko) 2007-07-02 2009-12-21 (주)나노티에스 터치 좌표인식 방법 및 이를 수행하기 위한 터치스크린장치
US8762864B2 (en) * 2007-08-06 2014-06-24 Apple Inc. Background removal tool for a presentation application
US8014596B2 (en) * 2007-10-30 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for background color extrapolation
KR101681884B1 (ko) * 2009-03-27 2016-12-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체장치, 표시장치 및 전자기기
EP2462537A1 (en) * 2009-08-04 2012-06-13 Eyecue Vision Technologies Ltd. System and method for object extraction
KR101135620B1 (ko) 2009-11-06 2012-04-17 김용철 터치스크린 장치 및 그의 스캔 방법
CN102023760B (zh) 2010-12-01 2012-10-17 广州市迪拓信息科技有限公司 一种多点触控感应方法及其设备
KR101380997B1 (ko) 2012-02-28 2014-04-10 한국과학기술원 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치
US9661239B2 (en) * 2013-04-17 2017-05-23 Digital Makeup Ltd. System and method for online processing of video images in real time

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277429A1 (en) 2009-04-30 2010-11-04 Day Shawn P Operating a touch screen control system according to a plurality of rule sets
JP2013213898A (ja) 2012-04-02 2013-10-17 Sharp Corp 表示装置
US20130271487A1 (en) 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing

Also Published As

Publication number Publication date
CN104951127B (zh) 2019-06-04
KR20150114434A (ko) 2015-10-12
US10127700B2 (en) 2018-11-13
EP2927876A1 (en) 2015-10-07
US20150279074A1 (en) 2015-10-01
CN104951127A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
KR102240294B1 (ko) 터치 입력을 이용하여 디스플레이 오버레이 파라미터를 생성하는 시스템 및 그 방법
KR102199355B1 (ko) 이미지 오버레이를 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
KR102199357B1 (ko) 터치 이벤트들의 레이턴시를 감소시키는 방법 및 그 시스템
JP6545996B2 (ja) 映像表示システム
KR102374160B1 (ko) 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치
US9804709B2 (en) Vector fill segment method and apparatus to reduce display latency of touch events
US9811301B2 (en) Terminal and apparatus and method for reducing display lag
KR102161745B1 (ko) 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
US20160216839A1 (en) Display device and electronic device including the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant