KR20150087210A - 저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법 - Google Patents

저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법 Download PDF

Info

Publication number
KR20150087210A
KR20150087210A KR1020157011748A KR20157011748A KR20150087210A KR 20150087210 A KR20150087210 A KR 20150087210A KR 1020157011748 A KR1020157011748 A KR 1020157011748A KR 20157011748 A KR20157011748 A KR 20157011748A KR 20150087210 A KR20150087210 A KR 20150087210A
Authority
KR
South Korea
Prior art keywords
data
low
response
subsystem
delay
Prior art date
Application number
KR1020157011748A
Other languages
English (en)
Other versions
KR101867494B1 (ko
Inventor
다이엘 위그도어
스티븐 레오나드 산더스
리카도 조지 조타 코스타
클리프톤 포를린
Original Assignee
텍추얼 랩스 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텍추얼 랩스 컴퍼니 filed Critical 텍추얼 랩스 컴퍼니
Publication of KR20150087210A publication Critical patent/KR20150087210A/ko
Application granted granted Critical
Publication of KR101867494B1 publication Critical patent/KR101867494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F9/4443—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Advance Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

유저 입력을 프로세싱 하기 위한 시스템은 입력 장치, 입력 프로세싱 유닛, 고지연 하부 시스템, 저지연 하부 시스템, 유저 입력에 응답하여 신호를 생성하기 위한 입력 프로세싱 유닛 소프트웨어, 출력 장치를 포함한다. 저지연 하부 시스템은 신호를 수신하고 저지연 출력을 생성하고, 고지연 하부 시스템은 신호를 프로세싱하고 고지연 출력을 생성한다.

Description

저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법{HYBRID SYSTEMS AND METHODS FOR LOW-LATENCY USER INPUT PROCESSING AND FEEDBACK}
본원은 "저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법"이라는 명칭으로 2012년 10월 5일자로 출원된 미국 가특허출원 제 61/710,256 호의 정규 출원이자 그에 대해 우선권을 주장하며, 그 전체 내용은 그에 수록된 소스 코드를 포함하여 전부 참조로써 본원에 포함된다.
본원은 저작권의 보호 대상이 되는 소재를 포함한다. 저작권자는 이것이 특허상표청의 포대 또는 기록에 나타나 있으므로 누군가에 의해 특허 내용이 복제 재생산되는 것을 반대하지 않지만, 그럼에도 불구하고 모든 저작권을 보유한다.
본 발명은 일반적으로 유저 입력 분야에 관한 것으로서, 구체적으로 저지연 유저 경험을 전달하는 유저 입력 시스템에 관한 것이다.
본 개시의 상술한 및 다른 목적, 특징 및 이점은 첨부 도면에 도시된 실시형태들에 대한 보다 구체적인 이하의 설명으로부터 명백하게 될 것이며, 다양한 도면의 전반에 걸쳐 참조 번호는 동일한 부분을 지칭한다. 도면은 축척대로일 필요는 없으며, 그 대신, 개시되는 실시형태의 원리 설명이 강조될 수 있다.
도 1은 터치 유저 인터페이스에서, 100㎳, 50㎳, 10㎳, 및 1㎳의 드래그 지연 효과의 실례를 도시한다.
도 2는 받은 편지함에 대한 유저 인터페이스 요소의 예를 도시하며, 여기서 요소는 터치 유저 상호 작용에 대한 고지연, 고정밀도 응답뿐만 아니라 터치 유저 상호 작용에 대한 저지연, 저정밀도 응답을 갖는다.
도 3은 슬라이딩 토글 요소의 유저 인터페이스의 예를 도시한다. ("크로스" 특성을 포함하는 박스로 도시되는)커서(310)는 UI 요소를 활성화하기 위해 타켓(두번째 빈 박스, 오른쪽)(320)으로 드래그될 수 있다. 이 요소는 이동 요소가 가속되는(310) 터치 상호 작용을 제공하도록 저지연 및 고지연 시스템 모두를 사용해서 실행 가능해지므로 저지연 경험을 제공한다.
도 4는 지연 인지 연구에 사용되는 프로토타입 고성능 터치 시스템의 기본 구성의 예시적인 실시형태를 도시한다.
도 5는 도 4의 포로토타입 장치를 사용한 지연 인지 연구의 결과를 도시한다.
도 6은 버튼에 대한 유저 인터페이스 요소의 예를 도시하며, 여기서 요소는 터치 유저 상호 작용에 대한 고지연, 고정밀도 응답뿐만 아니라 터치 유저 상호 작용에 대한 저지연, 저정밀도 응답을 갖는다.
도 7은 리사이징 가능한 박스에 대한 유저 인터페이스 요소의 예를 도시하며, 여기서 요소는 터치 유저 상호 작용에 대한 고지연, 고정밀도 응답뿐만 아니라 터치 유저 상호 작용에 대한 저지연, 저정밀도 응답을 갖는다.
도 8은 스크롤 가능한 리스트에 대한 유저 인터페이스 요소의 예를 도시하며, 여기서 요소는 터치 유저 상호 작용에 대한 고지연, 고정밀도 응답뿐만 아니라 터치 유저 상호 작용에 대한 저지연, 저정밀도 응답을 갖는다.
도 9는 저지연 입력 장치에 대한 기본 구성 및 정보 흐름의 예시적인 실시형태를 도시한다.
도 10은 볼륨 조절용 UI를 도시한다. 슬라이더를 드래그했을 때, 툴팁이 나타나 현재 설정의 수치적 표상을 보여준다. 이 요소는 요소가 가속되는 터치 상호 작용을 제공하도록 저지연 및 고지연 시스템 모두를 사용해서 실행 가능해진다.
도 11은 본 하이브리드 피드백 유저 인터페이스 시스템의 펜 입력용 UI의 실시형태와 비교되는 종래 기술의 시스템의 펜 입력에 대한 시스템의 응답을 도시한다. 하이브리드 시스템에서, 잉크 스트로크는 펜 유저 입력에 대한 고지연 응답뿐만 아니라 펜 입력에 대한 저지연 응답을 갖는다.
도 12는 시스템의 실시형태를 도시하는데, 여기서 데이터는 2개의 오버랩된 경로를 통하고 시스템의 컴포넌트를 통해 고 및 저지연 피드백을 지원한다.
도 13은 모델 뷰 컨트롤러로 불리우는 기술 분야에 잘 알려진 프로그래밍 패러다임을 도시한다.
도 14는 유저 입력에 대해 고 및 저지연 응답이 혼합된 애플리케이션 개발 및 실행을 지원하는 시스템의 구성의 실시형태를 도시한다.
다음의 설명 및 도면은 예시적인 것이며, 제한적으로 해석되어서는 안된다. 철저한 이해를 위해, 다양하고 특징적인 세부 사항이 설명된다. 그러나, 어떤 경우에 있어서, 설명을 모호하게 하는 것을 피하기 위해, 잘 알려진 또는 종래의 세부 사항은 설명되지 않는다. 본 개시에 있어서 일 실시형태 또는 어떤 실시형태에 대한 참조는 반드시 동일한 실시형태에 대한 참조인 것은 아니며, 그러한 참조는 적어도 하나에 대한 참조를 의미한다.
"일 실시형태" 또는 "실시형태"에 대한 본 명세서에서의 참조는 실시형태에 관하여 설명되는 구체적인 특징, 구조, 또는 특성이 본 개시의 적어도 하나의 실시형태에 포함되는 것을 의미한다. 본 명세서 내의 다양한 곳에서 "일 실시형태에서"라는 구절이 나타나는 것은 반드시 모두 동일한 실시형태를 지칭하는 것이 아니며, 다른 실시형태를 상호 배제하는 개별적인 또는 대안적인 실시형태인 것도 아니다. 또한, 일부 실시형태에는 나타나고 다른 실시형태에는 나타나지 않을 수도 있는 다양한 특징들이 설명된다. 마찬가지로, 일부 실시형태의 요구조건이고 다른 실시형태의 요구조건은 아닐 수도 있는 다양한 요구조건이 설명된다.
개요
본원은 "저지연 터치 감지 장치(Low-Latency Touch Sensitive Device)"라는 명칭으로 2013년 3월 15일자로 출원된 미국 특허출원 제 13/841,436 호, "고속 멀티 터치 스타일러스(Fast Multi-Touch Stylus)"라는 명칭으로 2013년 3월 15일자로 출원된 미국 특허출원 제 61/798,948 호, "유저 식별 기술을 갖는 고속 멀티 터치 센서(Fast Multi-Touch Sensor With User-Identification Techniques)"라는 명칭으로 2013년 3월 15일자로 출원된 미국 특허출원 제 61/799,035 호, "고속 멀티 터치 잡음 저감(Fast Multi-Touch Noise Reduction)"이라는 명칭으로 2013년 3월 15일자로 출원된 미국 특허출원 제 61/798,828 호, "능동 광학 스타일러스(Active Optical Stylus)"라는 명칭으로 2013년 3월 15일자로 출원된 미국 특허출원 제 61/798,708 호, "저지연 유저 입력 프로세싱 및 피드백용 하이브리드 시스템 및 방법(Hybrid Systems And Methods For Low-Latency User Input Processing And Feedback)"이라는 명칭으로 2012년 10월 5일자로 출원된 미국 특허출원 제 61/710,256 호, "고속 멀티 터치 포스트 프로세싱(Fast Multi-Touch Post Processing)"이라는 명칭으로 2013년 7월 12일자로 출원된 미국 특허출원 제 61/845,892 호, "규정된 크로스 제어 속성을 갖는 제어 응답 지연 감소(Reducing Control Response Latency With Defined Cross-Control Behavior)"라는 명칭으로 2013년 7월 12일자로 출원된 미국 특허출원 제 61/845,879 호, "상태 변화와 미래 유저 입력을 예상하는 것에 관한 정보를 사용하여 유저 입력에 대한 응답을 제공하기 위한 시스템 및 방법(Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input)"이라는 명칭으로 2013년 9월 18일자로 출원된 미국 특허출원 제 61/879,245 호에 개시된 고속 멀티 터치 센서 및 다른 인터페이스와 같은 유저 인터페이스에 관한 것이다. 위 출원들의 전체 개시 내용은 본원에 참조로써 포함된다.
다양한 실시형태에서, 본 개시는 저지연으로 직접 조작 유저 인터페이스를 제공하는 시스템 및 방법에 관한 것이다. 가상의 "현실 세계" 대상물에 대한 직접적인 물리적 조작은, 마우스, 트랙 패드, 펜 태블릿, 등을 포함하는 간접 장치뿐만 아니라, 직접 터치 입력, 스타일러스 입력, 인에어(in air) 제스처 입력을 가능하게 하는 것과 같은 다양한 타입의 입력 장치에 사용되는 통상적인 유저 인터페이스 메타포어(metaphor)이다. 본 개시의 목적을 위해, 유저 인터페이스에 있어서의 지연은 유저가 물리적 입력 동작에 대한 응답을 받는데 걸리는 시간을 지칭한다. 아래에서 상세히 설명되는 바와 같이, 테스트는 유저가 저지연을 선호하고, 유저가 5~10㎳ 이하의 지연을 확실히 감지할 수 있다는 것을 보여주었다.
도 1은 각각 100㎳(참조 번호 110) 50㎳(참조 번호 120), 10㎳(참조 번호 130), 1㎳(참조 번호 140)의 예시적인 터치 유저 인터페이스의 지연 효과의 실례를 도시한다. 대상물을 드래그할 때, 지연이 증가되면 유저의 손가락과 드래그되는 대상물(이 경우, 정사각형 유저 인터페이스 요소) 사이의 거리가 증가된다. 도시된 바와 같이, 지연 효과는 100㎳(참조 번호 110)와 50㎳(참조 번호 120)에서 확연하지만, 이어서 10㎳(참조 번호 130)에서 현저히 줄어들고, 1㎳(참조 번호 140)에서 사실상 사라진다. 도 11은 예시적인 스타일러스 또는 펜 유저 인터페이스(1110, 1120)에서의 지연 효과를 도시한다. 이 예에서, 스타일러스(1100) 팁과 산출된 스트로크(1110) 사이의 증가된 거리로서 레그(lag)(1120)을 볼 수 있다. 저지연 시스템의 도입으로 인해, 스타일러스(1100) 팁과 산출된 스트로크(1130) 사이의 거리가 현저히 줄어들 것이다.
일 실시형태에서, 이하에 개시되는 시스템 및 방법은, 10㎳ 이하의 지연 특성을 갖는 즉각적인 가시적 피드백을 제공하고, 보다 높은 레벨의 지연 특성을 갖는 부가적인 가시적 응답과 섞이거나(interwoven) 또는 오버레이되는(overlayed) 하이브리드 터치 유저 인터페이스를 제공한다. 일부 실시형태에서, 이러한 두 세트의 응답 설계는 유저가 이들을 구별할 수 없도록 시각적으로 일체화되도록 설계될 수도 있다. 일부 실시형태에서, "저지연" 응답은 지연에 있어서 10㎳를 초과할 수 있다.
지연의 원인
다양한 실시형태에서, 유저 입력 장치 및 그 입력을 처리하는 시스템에 있어서의 지연은,
(1) 터치 이벤트를 포착하는 물리적 센서,
(2) 터치 이벤트를 처리하여 디스플레이를 위한 출력을 생성하는 소프트웨어,
(3) 디스플레이 그 자체,
(4) 버스를 포함하는 컴포넌트 사이의 데이터 전송,
(5) 메모리 스토어 또는 짧은 버퍼에 있어서의 데이터 내부 저장,
(6) 시스템 자원에 대한 방해 및 경쟁,
(7) 회로의 다른 원인이 지연을 유도할 수 있고,
(8) 회로 구성에 있어서 광의 속도와 같은 물리적 제한 및 그 영향,
(9) 저항식 터치 센서가 그 '중립' 상태로 되돌아가기 위해 필요한 시간과 같은 기계적 제한을 포함하는 많은 원인을 가질 수 있다.
다양한 실시형태에서, 시스템 지연을 줄이는 것은 하나 이상의 이러한 컴포넌트에 있어서 지연을 개선하는 것을 통해 접근할 수 있다. 일 실시형태에서, 본 개시의 시스템 및 방법은 저지연 입력 센서와 디스플레이를 전용 처리 시스템과 결합함으로써 1㎳ 또는 그 이하의 지연을 얻을 수 있는 입력 장치를 제공한다. 일 실시형태에서, 본 개시의 시스템 및 방법은 그러한 저지연 입력 센서와 디스플레이를 전용 처리 시스템과 결합함으로써 5㎳ 또는 그 이하의 지연을 얻을 수 있는 입력 장치를 제공한다. 다른 실시형태에서, 본 개시의 시스템 및 방법은 그러한 저지연 입력 센서와 디스플레이를 전용 처리 시스템과 결합함으로써 0.1㎳ 또는 그 이하의 지연을 얻을 수 있는 입력 장치를 제공한다. 다른 실시형태에서, 본 개시의 시스템 및 방법은 그러한 저지연 입력 센서와 디스플레이를 전용 처리 시스템과 결합함으로써 10㎳ 또는 그 이하의 지연을 얻을 수 있는 입력 장치를 제공한다. 일 실시형태에서, 그러한 극히 저지연을 얻기 위해, 본 개시의 시스템 및 방법은 종래의 운영 체제(OS) 소프트웨어와 컴퓨터 하드웨어를 전용의 커스텀 프로그래밍된 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 주문형 집적 회로(ASIC)로 대체할 수 있다. 일 실시형태에서, FPGA 또는 ASIC은 (저지연 응답에 더하여 사용되는) 보다 높은 지연 응답을 제공하도록 전형적인 OS와 컴퓨터 하드웨어를 그 자리에 남겨두는 반면, 저지연 응답을 제공하도록 종래의 OS와 컴퓨터 하드웨어를 대체한다. 다른 실시형태에서, 설명되는 FPGA 또는 ASIC의 몇몇 또는 모든 기능은 추가적인 로직을 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 시스템 온 칩(SoC)과 같지만 이것에 제한되지 않는 기존의 컴포넌트와 통합함으로써 대체될 수 있다. 저지연 로직은 하드웨어 또는 그것들 또는 다른 컴포넌트에 의해 저장되거나 및/또는 실행되는 소프트웨어에 인코딩될 수 있다. 다수의 컴포넌트가 필요되는 실시형태에서, 통신 및/또는 동기화는 공유 메모리의 사용에 의해 용이해진다. 이 실시형태 중 어떤 것에 있어서도, 고지연 또는 저지연으로 제공되는 응답은 함께 조합될 수 있거나, 주어지는 어떤 입력 이벤트에 응답하여 오직 하나 또는 다른 하나가 제공될 수 있다.
다양한 실시형태에서, 본 개시의 시스템 및 방법은 본원에서 "하이브리드 피드백"이라 지칭되는 것을 제공한다. 하이브리드 피드백 시스템에서, 입력에 대한 기본 시스템 응답의 일부는 보다 광범위한 애플리케이션 로직으로부터 논리적으로 분리된다. 그 결과는, 전형적인 지연 레벨에서 제공되는 애플리케이션 로직에 기초한 보다 많은 피드백과 함께, 유저 입력 이벤트에 대해 거의 즉각적인 시스템 피드백을 제공할 수 있는 빠른 입력 프로세서를 구비한 시스템을 제공한다. 일부 실시형태에서, 이러한 시스템 응답은 시각적으로 제공된다. 다양한 실시형태에서, 하이브리드 피드백 시스템의 저지연 컴포넌트는 오디오 또는 진동 촉감 피드백을 통해 제공될 수 있다. 일부 실시형태에서, 거의 즉각적인 피드백은 애플리케이션 로직 피드백과 동일한 양식(modality)으로 제공될 수 있다. 일부 실시형태에서, 저지연 피드백은 서로 다른 양식 또는 다수의 양식으로 제공될 수 있다. 전부 시각화된 일 실시형태의 예가 도 2에 도시되는데, 이 경우는 터치 입력 장치의 사용을 도시한다. 구체적으로, 도 2는 유저가 받은 편지함을 나타내는 아이콘(210)을 터치하고 이어서 드래그한 후의 결과를 도시한다. 유저가 아이콘(210)을 터치했을 때, 보더(border)(220) 또는 다른 적절한 기본소(primitive)이 디스플레이될 수 있다. 일 실시형태에서, 전부 시각화된 저지연 피드백에 있어서, 적절한 저화질(low-fidelity) 표상이 그 렌더링의 용이성으로 인해 선택될 수 있다. 일 실시형태에서, 저지연 피드백은 적절한 저화질 표상을 제공할 수 있는 하나 이상의 기본소를 사용해서 제공될 수 있다. 일 실시형태에서, 유저가 터치 디스플레이(200) 상의 다른 장소로 아이콘을 드래그하면, 저화질 보더(230)가 디스플레이되고, 예를 들면, 1㎳의 저지연으로 조작(예를 들면, 이동)될 수 있다. 동시에, 아이콘(210)의 이동은 보다 고지연으로 나타날 수 있다. 일 실시형태에서, 거의 즉각적인 저지연 응답과 보다 느릴 가능성이 있는 애플리케이션 로직 피드백 사이의 차이는 유저에 의해 지각될 수 있다. 다른 실시형태에서, 저지연 응답과 전형적인 응답 사이의 응답 차이가 혼합되어 유저에게 덜 인식되거나 또는 인식되지 않을 수 있다. 일 실시형태에서, 거의 즉각적인 피드백은 전형적인 경로의 애플리케이션 로직 피드백보다 저화질로 제공될 수 있다. 일 실시형태에서, 적어도 일부 경우에 있어서, 저지연 응답은 애플리케이션 로직 피드백과 유사하거나 보다 고화질로 제공될 수 있다. 일 실시형태에서, 저지연의 거의 즉각적인 피드백의 형성은 애플리케이션 로직, 또는 (유저 인터페이스 툴킷과 같은) 시스템 소프트웨어에 존재하는 로직에 의해 명령되어진다. 예를 들면, 일 실시형태에서, 애플리케이션 로직은 저지연 하부 시스템에 의해 사용될 수 있는 다양한 그래픽 기본소를 사전 렌더링(pre-render)할 수 있다. 유사하게, 일 실시형태에서, 소프트웨어 툴킷은 저지연 시스템이 요구하기 전에 렌더링될 수 있는 그래픽 기본소를 개발하기 위한 수단을 제공할 수 있다. 일 실시형태에서, 저지연 응답은 미리 결정되거나, 또는 애플리케이션 및/또는 시스템 소프트웨어 로직에 상관없이 다른 방식으로 결정될 수 있다. 일 실시형태에서, 개별적으로 사전 렌더링 또는 부분적으로 렌더링된 저지연 응답, 또는 사전 렌더링 또는 부분 렌더링된 저지연 응답의 패키지는 유저 입력 이벤트에 응답하여 사용이 요구되기 전에 저지연 하부 시스템에 접근할 수 있도록 메모리에 사전 로딩될 수 있다.
일 실시형태에서, 저지연 출력의 양식은 청각적일 수 있다. 일 실시형태에서, 저지연 시스템은, 예를 들면, 마이크로폰 입력을 청각 출력 시스템에 빠르게 전달하는데 사용될 수 있고, 이는 시스템에 전달되는 자기 자신의 목소리의 "에코"를 유저에게 제공할 수 있다. 이러한 저지연 출력은 전형적인 아날로그 전화와 동일한 타입의 에코 특성을 갖는 느낌을 제공할 수 있고, 이는 유저가 자기 자신의 목소리를 듣게 한다. 일 실시형태에서, 시각적으로 제공되는 고지연 응답과 함께, (예를 들면, 터치, 제스처, 펜 입력, 또는 음성 입력과 같은) 유저 입력 이벤트에 응답하여 저지연 청각 피드백이 제공될 수 있다.
본 방법 및 시스템을 사용하는 시스템의 다른 예시적인 실시형태가 도 3에 도시된다. 예시적인 시스템에서, ("십자" 부호를 포함하는 박스로 나타내어지는) 커서(310)는 장치의 스크린(300) 상의 어느 곳으로도 드래그될 수 있다. 커서(310)가 타겟 박스(320)로 드래그될 때 UI 액션이 수락된다. 커서(310)가 스크린(300) 상의 다른 곳으로 드래그되면 액션이 거절된다. 일 실시형태에서, 커서(310)는 드래그될 때 저지연으로 끌어 당겨지고, 따라서, 인지 가능한 지연 없이, 유저의 손가락을 추종한다. 일 실시형태에서, 타겟(320)은 유저의 인지에 영향을 주지 않고 고지연으로 끌어 당겨질 수 있다. 유사하게, 일 실시형태에서, "거절" 또는 "수락"의 응답(330)은 나중에 인지 가능하게 발생할 수 있고, 따라서, 예를 들면, 유저의 인지에 영향을 주지 않고, 저지연 하부 시스템을 사용하지 않고 고지연으로 끌어 당겨질 수 있다.
도시되는 실시형태가 예시적인 것이라는 것을 이해해야 한다. 도 3에 도시되는 원리는 기술 분야에 현재 알려지거나 또는 나중에 개발될 모든 UI 요소를 포함해서, 어떤 종류의 UI 요소에도 적용될 수 있다. 유사하게, 도 3에 도시되는 원리는 다양한 타입의 입력 장치 및/또는 출력 장치 상의 어떤 종류의 입력 이벤트와도 실질적으로 함께 사용될 수 있다. 예를 들면, 일 실시형태에서, 상기 도시된 "터치" 이벤트에 더하여, 입력 이벤트는 제한 없이, 인에어(in-air) 또는 온서피스(on surface) 제스처, 말, 자발적인 (또는 비자발적인) 안구 움직임, 및 펜을 포함할 수 있다. 일 실시형태에서, 제스처가 발생하면, 임의의 UI 요소의 응답이 두갈래로 분기될 수 있는데, 여기서, 저지연 응답(예를 들면, UI 요소의 저화질 표상이 제공되고, 예를 들면, 0.01㎳ 내에 신속히 응답)과 비저지연 응답(예를 들면, UI 요소의 더욱 개선된 표상)이 가속화된 입력을 제공하지 않는 시스템에 의해 통상 나타나는 지연으로 제공된다. 일 실시형태에서, 응답은 하이브리드 시스템에서 분할되지 않을 수 있고, 그 대신 전체적으로 저지연이면서, 저지연 응답에 대한 책임이 없는 애플리케이션 로직이 다른 방식으로 보다 고지연으로 실행될 수 있다.
일 실시형태에서, 터치 및/또는 제스처 입력 이벤트는, 제한 없이 저항성, 직접 조명, 전반사 장애(frustrated total-internal reflection), 확산 조명, 투영형 용량(projected capacitive), 용량성 결합, 음파, 및 픽셀 내 센서(sensor-in-pixel)를 포함하는 다양한 기술을 사용해서 달성될 수 있다. 일 실시형태에서, 펜 입력은 저항성, 시각적, 용량성, 자기적, 적외선, 광학 이미징, 전파성(dispersive) 신호, 음향 펄스 또는 다른 기술을 사용해서 이루어질 수 있다. 또한, 일 실시형태에서, 제스처 입력은 시각 센서, 또는 (센서를 포함하는 것, 단순히 트래킹을 위해 사용되는 것을 포함해서) 손에 들고 사용하는 물체, 또는 손에 들고 사용하는 물체 없이 2D 및 3D 센서를 갖는 것을 사용해서 이루어질 수 있다. 센서의 조합 또는 입력 이벤트를 식별하기 위한 기술도 고려되고, 이벤트 형식[즉, 터치, 펜, 제스처, 레트나(retna) 무브먼트 등]의 조합도 고려된다. 입력 이벤트 공유를 식별 또는 포착하기 위한 일 특성적 기술들(one property technologies)은 그들이 유저 액션과 그 액션에 대한 시스템의 응답 사이의 지연에 기여한다는 것이다. 이 기여의 비율은 기술 및 실행에 따라 달라진다.
전형적인 멀티 터치 시스템에서, 통신, 운영 체제, UI 툴킷, 애플리케이션 레이어, 및/또는 궁극적으로 오디오 또는 그래픽 컨트롤러를 포함할 수도 있는 입력 장치 및 디스플레이 사이에 정보 흐름의 경로가 존재한다. 이것들 각각은 지연을 추가할 수 있다. 또한, 운영 체제, 특히, 비실시간성 운영 체제에 의해 도입되는 지연은 가변적이다. 윈도우, 아이오에스(iOS), 오에스엑스(OSX), 안드로이드, 등은 실시간 운영 체제가 아니고, 따라서, 이들 운영 체제를 사용하면 응답이 소정 주기 내에서 일어난다는 것을 보장할 수 없다. 프로세서에 심하게 부하가 걸리면, 예를 들면, 지연이 극히 증가할 수 있다. 또한, 일부 작동은 소프트웨어 스택 내에서 매우 낮은 레벨로 운영되며 높은 우선 순위를 갖는다. 예를 들면, 마우스 포인터는 전형적으로 고도로 최적화되어, 프로세서에 심한 부하가 걸렸을 때도 인지되는 지연은 비교적 낮다. 반대로, 터치 또는 제스처 시스템에서 사진을 두 손가락으로 리사이징(resizing)하는 것과 같은 동작은 일반적으로 애플리케이션 및/또는 UI 툴킷 레벨에서 이미지를 일정하게 리스케일링(rescaling)하는 것을 필요로 할 수 있으므로 훨씬 더 집약적인 컴퓨터 작업이다. 결과적으로, 이러한 동작은 프로세서에 심한 부하가 걸렸을 때, 인지되는 저지연을 거의 가질 수 없다.
전형적인 멀티 터치 시스템에서, (디스플레이 자체뿐만 아니라 그래픽 시스템을 포함하는) 디스플레이 시스템도 지연에 원인이 될 수 있다. 고프레임율을 갖는 시스템은 시스템을 통해 실제 지연을 감지할 수 없게 할 수 있다. 예를 들면, 60㎐ 모니터는 정교한 이미지 처리 효과를 가능하게 하도록 하나 이상의 버퍼 프레임을 포함할 수 있다. 유사하게, 프로젝터와 같은 몇몇 디스플레이 장치는 전자적으로 더블 버퍼링을 포함하여 디스플레이 지연을 효과적으로 더블링한다. 3D 텔레비전 및 감소된 동잡음(motion artifact)에 대한 열망은 더 빠른 LCD의 발전을 재촉하고 있지만, 액정 자체의 물리적 특성은 종래 LCD의 성능이 480㎐를 넘게 할 가능성이 거의 없다. 일 실시형태에서, 본원에 설명되는 저지연 시스템은 LCD 디스플레이를 사용할 수 있다. LCD 디스플레이의 성능에 비해, OLED 또는 AMOLED 디스플레이는 1㎳ 훨씬 이하의 응답 시간이 가능하다. 따라서, 일 실시형태에서, 본원에 설명되는 고성능 터치(또는 제스처) 시스템은 제한 없이, OLED, AMOLED, 플라즈마, 전기 습윤(electrowetting), 컬러 필드 순차(color field-sequential) LCD, 시각적으로 보정되는 밴드 모드(bend mode)(OCB 또는 Pi 셀) LCD, 전자 잉크 등의 기술 중 하나 이상을 기반으로 하는 디스플레이를 포함하는 빠른 응답 시간을 갖는 디스플레이 상에서 실행될 수 있다.
지연 인지 연구
연구는 직접 터치 인터페이스에서 어떤 지연을 유저가 본질적으로 즉각적인 것으로 인지하는지를 결정하도록 수행되었다. 도 4의 블록 다이어그램에 나타난 프로토타입 장치는 프로토타입 고성능 터치 시스템(400)의 기본 구성의 예시적인 실시형태를 나타낸다. 일 실시형태에서, 고속 입력 장치(420)는 24㎝×16㎝의 활성 영역과 초고속 작동을 가능하게 하는 전자 부품을 갖는 멀티 터치 저항성 터치 센서이다. 이 센서를 통한 딜레이는 1㎳보다 약간 작다. 일 실시형태에서, 터치 데이터는 광학 링크를 통해 연속적으로 전송될 수 있다.
예시적인 테스팅 시스템에서, 디스플레이(460)는 텍사스 인스트루먼츠(Texas Instruments)의 디지털 라이트 프로세싱 테크놀로지를 기반으로 하는 디엘피 디스커버리(DLP Discovery) 4100 키트이다. 예시적인 테스팅 시스템은 터치 센서 상에 전방 투영을 이용하므로 손가락 및 이미지 정렬의 유저의 인지를 방해할 수 있는 시차 오차(parallax error)를 제거한다. 사용되는 DLP 프로젝터는 디지털 마이크로미러 장치(DMD), 효과적으로 픽셀을 초고속으로 온 또는 오프하는 매트릭스 미러를 사용한다. 미러의 고속은 연속적인 컬러 이미지의 출연을 생성하도록 퍼센트 시간을 온 대 오프로 변경하도록 사용될 수 있다. 예시적인 테스팅 시스템에서, 프로젝터 개발 시스템은 40㎲ 이하의 지연으로 1024×768 해상도에서 초당 32,000 바이너리 프레임을 디스플레이한다. 예시적인 테스팅 시스템에서 이 속도를 달성하기 위해, 비디오 데이터는 25.6Gbps로 DMD에 스트리밍된다.
예시적인 테스팅 시스템에서, 최소 지연을 달성하기 위해 모든 터치 처리는 전용 FPGA 440-no PC 상에서 실행되거나 또는 운영 체제는 저지연 출력의 터치 입력과 디스플레이 사이에서 사용된다. DLP 키트의 온보드 XC5VLX50 애플리케이션 FPGA는 터치 데이터를 처리하고 비디오 출력을 렌더링하기 위해 사용될 수 있다. FPGA로의 USB 시리얼 연결은 파라미터가 극적으로 변경되도록 한다. 예시적인 테스팅 시스템에서, 지연은 1㎳ 해상도 내에서 1㎳~수백㎳로 조정될 수 있다. 다른 테스팅 모드가 활성화될 수 있고 포트는 터치 데이터가 분석을 위해 수집되도록 한다.
예시적인 테스팅 시스템에서 센서(420)로부터 터치 데이터를 수신하기 위해, 시스템은 전용 고속 유아트(UART)를 통해 통신한다. 지연을 최소화하기 위해, 2Mbps의 보율(baud rate)이 사용될 수 있고, 이는 통신 채널에 걸친 고주파 잡음으로 인한 신호 무결성을 손실시키지 않고 사용될 수 있는 높은 보율을 나타낸다. 예시적인 테스팅 시스템에서, 이어서 압축된 터치 데이터의 개별 바이트가 FPGA(440) 상에서 실행되는 터치 감지 유한 상태 기계(finite state machine, FSM)에 의해 처리된다. 유한 상태 기계(FSM)는 터치의 좌표를 식별하기 위해 데이터를 디코딩하는 동시에 질량 중심 블로브 감지 알고리즘(center-of-mass blob-detection algorithm)을 실행한다. 예시적인 테스팅 시스템에서, 시스템이 연동되고(pipelined), FSM의 각 처리 반복(iteration)이 마지막으로 수신된 바이트 상에서 작동되어 터치 데이터의 버퍼링이 일어나지 않는다.
예시적인 테스팅 시스템에서, 이어서 터치 좌표는 10 스테이지 가변 딜레이 블록으로 전송된다. 각각의 딜레이 스테이지는 카운터를 갖는 단순한 FSM이며, 터치 좌표를 딜레이하도록 클록 주기의 수를 나타내는 제어 신호를 취해서 다양한 레벨의 지연을 허용한다. 딜레이 블록은 처리 반복의 상태에서 터치 샘플을 래칭하고, 샘플을 전송하고 다음 것을 래칭하기 전에 적절한 수의 주기를 기다린다. 딜레이 블록은 따라서 딜레이 카운트의 인자(factor)에 의해 샘플율을 낮춘다. 일 실시형태에서, 적정 레벨로 샘플율을 유지하기 위해, 10 딜레이 스테이지가 사용될 수 있고, 예를 들면 100㎳의 지연을 달성하기 위해 블록은 100㎐의 샘플율에 대한 샘플 사이에서 10㎳를 기다린다. 예시적인 테스팅 시스템에서, 기본 애플리케이션을 실행하기 위해, 마이크로블레이즈(MicroBlaze) 소프트 프로세서가 디스플레이를 렌더링하기 위해 사용된다.
일 실시형태에서, 테스팅 시스템은 성능을 향상시키기 위해 마이크로블레이즈 대신에 하드 코드 제어(hard coded control) FSM을 사용할 수 있다. 일 실시형태에서, 다른 소프트 프로세서가 사용될 수 있다. 예시적인 테스팅 시스템에서, 마이크로블레이즈는 자일링스(Xilinx) FPGA와 합성화되도록 최적화된 32비트 하버드 구조 RISC 프로세서이다. 마이크로블레이즈 소프트 프로세서 실체화(instantiation)는 필요되는 코어, 주변 장치, 및 메모리 구조만의 선택을 허용한다. 예시적인 테스팅 시스템에서, 기본 마이크로블레이즈 구성에 더하여, 예를 들면 터치 데이터용 GPIO, 가변 지연을 설정하기 위한 GPIO, 이미지 버퍼용 BRAM 메모리 컨트롤러, 및 PC와 통신하기 위한 UART 유닛과 같은 인터럽트 컨트롤러가 사용될 수 있다. 예시적인 테스팅 시스템에서, 마이크로블레이즈는 100㎒로 클로킹된다. 마이크로블레이즈는 유효한 터치 좌표를 감지하기 위해 인터럽트 시스템을 사용한다. 터치 준비 인터럽트 이벤트는 유효한 터치 데이터가 딜레이 블록으로부터 GPIO에 도착했을 때 생성되고, 상응하는 이미지가 이미지 버퍼에 기록된다. 인터럽트 기반 시스템의 비균일 속성 때문에, 정확한 지연이 산출될 수 없지만, 입력 장치로 인해 고의적으로 1㎳ 지연과 비교하는 것은 중요하지 않다.
예시적인 테스팅 시스템에서, 이미지 버퍼는 온칩(on chip) BRAM 블록과 합성화된다. 이들 블록은 고프레임율 디스플레이를 지원하도록 충분한 대역폭을 갖는 듀얼 포트 고속 구성 가능 메모리 버퍼를 제공할 수 있다. 예시적인 테스팅 시스템에서, 이미지 버퍼는 DLP에 의해 필요되는 25.6Gbps의 토탈 대역폭에 대한 128비트의 버스폭을 갖는 200㎒로 클로킹된다. 최종적으로, DMD 컨트롤러는 이미지 버퍼로부터 프레임을 연속적으로 읽어내고, DMD를 제어하기 위한 적절한 타이밍을 갖는 신호를 생성한다.
예시적인 테스팅 시스템에서, 유저 입력은 종래 PC로 동시에 전송되고, 종래 고지연 응답을 생성하도록 처리된다. 이 고지연 응답은 투영되는 저지연 응답과 오버랩되도록 정렬되는 종래 데이터 프로젝터에 의해 출력된다.
연구는 유저가 터치 스크린 인터페이스 상에서 통상의 작업을 실행할 때 인지할 수 있는 성능의 정확한 레벨을 판별하도록 수행되었다. 그 목적을 달성하기 위해, 연구는 다양한 성능 레벨의 최소 식별 차이(just noticeable difference, JND)를 판별하도록 수행되었다. JND는 관찰자에 의해 감지될 수 있는 2가지 레벨의 자극 사이의 차이의 척도이다. 이 경우, JND는 참여자가 하나는 동일 레벨로 연속적으로 존재하는 것을 참조로 하고, 다른 하나는 그 값이 실험을 통해 극적으로 변화되는 것을 탐침하여, 2개의 비동등한 자극 사이를 식별할 수 있는 임계 레벨로서 정의된다. 몇몇 임의의 참조값에서 JND에 대해 통상적으로 용인되는 값은 참여자가 75%의 시간에 참조를 정확히 식별할 수 있는 탐침값이다. 이 레벨의 정확도와 참조가 구별될 수 없는 탐침값은 참조로부터 "식별할 수 없는 차이"로 여겨진다.
연구는 참조로서 역할하는 1㎳의 지연의 최대 성능과 비교했을 때 탐침 지연의 JND 레벨을 판별하도록 수행되었다. 이러한 판별이 최대 인지할 수 있는 성능에 대한 절대값을 제공할 수 없는 한편, 이것은 우리의 프로토타입이 달성할 수 있는 가장 빠른 속도인 것을 감안하면, 이것에 반하여 다른 레벨의 지연이 측정될 수 있는 우리의 "최대값" 바닥 상태로서 역할할 수 있다. 참가자가 전형적인 전류 생성 하드웨어(예를 들면, 전류 태블릿 및 터치 컴퓨터)가 제공하는(~50-200㎳) 상당히 낮은(<20㎳) 지연값을 포착할 수 있는 것이 발견되었다.
10명의 오른손잡이 참가자(3명의 여자)가 지역 사회로부터 모집되었다. 연령은 24~40살이다(평균 27.80살, 표준 편차 4.73). 모든 참가자는 터치 스크린 장치에 대한 선행 경험을 가지고 있고, 모든 참가자는 (아이오에스 또는 안드로이드 기반의 휴대폰 또는 테블릿과 같은)하나 이상의 터치 장치를 소유하고 있다. 참가자는 한 쌍의 지연 조건[참조값(1㎳) 및 탐침값(1~65㎳의 지연)]에 반복적으로 참가되었다. 참가자는 터치 스크린 상에서 자신의 손가락을 왼쪽으로부터 오른쪽으로, 이어서 오른쪽으로부터 왼쪽으로 드래그했다. 임의의 드래그 작업이 적절했던 반면, 고지연의 경우에서 왼쪽/오른쪽 무브먼트가 폐색(occlusion)을 감소시켰다. 참가자는 그들이 연구를 "그냥 통과(race through)"하지 않았다는 것을 보장하기 위해 양 방향으로 이동할 것을 요구받았다. 유저의 접촉 포인트 아래에, 시스템은 도 1에 도시된 바와 같이 솔리드 화이트 2㎝×2㎝ 정사각형을 렌더링한다. 무브먼트의 속도는 참가자에 의해 결정되도록 두었다. 조건의 순서는 각 쌍에 대해 무작위였다. 연구는 2가지 대안적인 강제 선택 실험으로서 디자인되었다. 참가자는 각각의 시도에서 어떤 경우가 참조값이 1㎳인지 선택하도록 지시받았고, "모름" 또는 "확신 없음" 선택을 하는 것이 허용되지 않았다. 각 쌍 이후, 참가자는 실험자에게 2개 중 어느 것이 "빠름"인지 알렸다.
각각의 시도가 원하는 JND 레벨의 75%로 집중되도록 추가되는 지연의 양은 적응형 계단식(adaptive staircase) 알고리즘에 따라 제어된다. 참조값의 각각의 정확한 식별은 탐침에서 지연의 양을 감소시켰고, 각각의 부정확한 응답은 탐침의 지연을 증가시켰다. 75%의 신뢰 레벨에 도달하도록, 증가 및 감소는 카언배치(Kaernbach)(카언배치, 씨. 1991. 인지 & 정신 물리학 49, 227-229)에 의해 설명되는 단순 중량 업 다운에 따르고, 증가는 기본 스텝 사이즈에 적용되는 3승수를 갖고, 감소는 기본 스텝 사이즈(초기 8㎳)이다.
참가자가 정확한 응답 후 부정확하게 응답하거나 부정확한 응답 후 정확하게 응답했을 때, 이것은 계단식 방향(증가 또는 감소)을 반전시키므로 반전으로 칭해졌다. 초기 8㎳인 스텝 사이즈는 각 반전에서 반으로 줄었고, 1㎳의 최소 스텝 사이즈까지 줄었다. 이것은 토탈 10 반전이 일어날 때까지 지속되었고, 75% 정확도로 집중되었다. 각 참가자는 8단의 "실행"을 완성했다. 이들 중 4개는 최소 탐침 지연(1㎳)에서, 4개는 최대(65㎳)에서 시작했다. 이것이 상업적 요구와 거의 동시에 일어나지 않고, 파일럿(pilot) 테스팅은 이 값이 거의 100% 정확도에 대해 1㎳와 구별될 수 있는 것을 명확하게 하여 천정 효과를 피할 수 있기 때문에 계단식의 보다 높은 시작값이 선택되었다. 계단식은 그렇지 않으면 연속적인 자극 사이에서 그 진행에 따라 참가자의 성향에 의해 발생되는 응답 편향을 방지하도록 한 쌍 사이에서 한번에 2개를 실행했다. 이 쌍 각각에 대한 계단식 상태는 기회의 대체 없이 무작위로 선택되었다(2 시작 레벨×4 반복). 계단식 사이의 휴식을 포함하는 모든 실험은 단일 1시간 기간 내에 각 참가자에 의해 완성되었다.
연구는 1㎳보다 큰 지연값에 대한 최소 식별 차이(JND) 레벨을 찾도록 디자인되었다. 이 JND 레벨은 참가자가 시간의 75% 참조를 정확히 식별할 수 있는 레벨과 통상적으로 일치된다. 참가자의 JND 레벨은 2.38㎳~11.36㎳ 범위이고 모든 참가자에 걸친 평균 TND는 6.04㎳이다(표준 편차 4.33㎳). JND 레벨은 각 참가자들에 대해 계단식의 8 실행에 걸쳐 상당히 변화하지 않았다. 각 참가자에 대한 결과가 도 5에 나타난다.
결과는 참가자가 소비 장치의 전형적인 임계값(50-200㎳) 훨씬 아래의 지연에 있어서 차이를 알아차릴 수 있다는 것을 나타낸다. 참가자가 터치 스크린 주위로 이동하는 그들의 손가락과 스크린 상의 물체 사이의 거리를 추정함으로써 종종 지연을 판별할 수 있다는 것에 유념해야 한다. 이것은 UIs(특히, 드래그)에서 사용되는 입력 기본소의 인공 산물(artifact)이다. 다른 입력 기본소[예를 들면, 태핑(tapping)]를 테스트하는 것은 지연의 다른 인지를 나타낼 수 있다. 결과는 지연에 있어서 자릿수의 향상이 터치 장치의 사용자에 의해 주목되고 나타날 수 있다는 것을 보여준다.
저지연 직접 터치 입력 장치에 대한 구조
일 실시형태에서, 소프트웨어 인터페이스는 애플리케이션 개발자가 툴킷에 기반한 애플리케이션 디자인 프로세스를 사용하는 것을 지속할 수 있게 하지만, 저지연 시스템의 존재를 감안해서 그 툴킷이 극히 낮은 지연으로 피드백을 제공하도록 디자인된다. 일 실시형태에서, 본 개시에 서술되는 시스템 및 방법은 많은 UI 툴킷이 기본으로 하는 UI 개발의 모델 뷰 컨트롤러("MVC") 상에서 실행될 수 있다. MVC는 적용 논리가 애플리케이션의 시각적 표상으로부터 분리되는 것을 허용한다. 일 실시형태에서, MVC는 애플리케이션에 대해 제 2의 오버레이된 실질적인(de facto) 뷰를 포함할 수 있다. 특히, 일 실시형태에서, 터치 입력은 터치가 이루어졌을 때, 애플리케이션의 상태에 부분적으로 기반하는 UI 제어로부터 즉각적인 응답을 수신한다. 목표는 기저(underlying) 애플리케이션에 문맥적으로(contextually) 링크되는 거의 즉각적인 응답을 제공하는 것이다.
터치에 대해 시각적 응답에 독립적인 애플리케이션 상의 이전 작업은 시각적 복합성에 더해 UI의 시각적 요소로부터도 완전히 분리된다. 일 실시형태에서, 본원에 서술되는 시스템 및 방법에 따라, 시각적 응답의 세트가 UI 요소 자체에 완전히 통합되어 시각적 복합성을 감소시킨다. 따라서, 일 실시형태에서, 특정 시각이 나타나는 곳은 터치를 위한 실질적인 "마우스 포인터"를 제공하고, 목표는 고성능 응답을 제어 자체에 통합시켜 보다 통일화된 시각화를 제공하는 것이다. 그렇더라도, 일 실시형태에서, 시스템 및 방법은 이후 고지연 하부 시스템으로부터의 응답과 병합되는 저지연 하부 시스템에 의해 문맥 자유 응답의 렌더링을 가능하게 한다. 일 실시형태에서, 시각적인 것은 시스템 응답의 나머지로서 동일 렌더링 연동에 제시될 필요가 없다. 대신, 본원에서 논의되는 바와 같이 하이브리드 피드백을 사용하는 시스템 또는 방법은 종래 시스템에 의해 생성되는 고지연 응답에 더해 유저 입력에 대한 저지연 응답을 제시할 수 있다.
따라서, 일 실시형태에서, 가속되는 입력 상호 작용은 UI 요소에 전용화된 추가적인 세트의 피드백이 유저 인지 가능 지연을 목표로 저지연으로 제공되는 한편, 종래 직접 터치 소프트웨어가 통상 그랬듯 고지연 응답으로 실행되도록 디자인된다. 일 실시형태에서, 이 2개의 레이어는 2개 이상의 이미지를 중첩(superimposing)함으로써 결합된다. 일 실시형태에서, 2개의 결합된 이미지는 첫째 저지연 터치 장치로부터, 둘째 저지연 하부 시스템으로부터의 입력을 수신하는 전용 터치 소프트웨어를 실행하는 데스크탑 컴퓨터에 연결되는 종래 프로젝터로부터 투영되는 이미지를 포함할 수 있다.
상술한 2개의 프로젝터 솔루션은 저지연 응답과 종래 응답을 결합하는 보다 일반적인 아이디어의 특정 일 실시형태로서 역할할 때에만 의미있다. 일 실시형태에서, 저 및 고지연 서브 시스템으로부터의 시각적 출력은 디스플레이에 전송되므로 디스플레이되기 전에, 디스플레이 버퍼, 또는 그렇지 않으면 시스템에 논리적으로 결합된다. 일 실시형태에서, 투명한, 오버랩된 디스플레이는 유저에게 저 및 고지연 출력을 제공한다. 일 실시형태에서, 디스플레이의 픽셀은 비월(interlaced)되어, 몇몇은 저지연 하부 시스템에 의해 제어되고, 몇몇은 고지연 서브 시스템에 의해 제어된다. 비월을 통해, 이 디스플레이는 유저에게 오버랩되어 나타날 수 있다. 일 실시형태에서, 디스플레이 상에 나타나는 프레임은 비월되어, 몇몇 프레임은 저지연 하부 시스템에 의해 제어되고, 몇몇 프레임은 고지연 서브 시스템에 의해 제어된다. 프레임 비월을 통해, 이 디스플레이는 유저에게 결합된 이미지를 포함해서 나타날 수 있다. 일 실시형태에서, 저지연 응답은 하드웨어 내에 지배적으로(predominantly) 또는 전체적으로 생성될 수 있다. 일 실시형태에서, 저지연 응답은 입력 센서로부터 직접 수신되는 입력 센서 데이터로부터 생성될 수 있다. 일 실시형태에서, 저지연 응답은 디스플레이 하드웨어에 대해 높은 대역폭 링크를 가짐으로써 디스플레이된다.
저지연 하부 시스템용 유저 인터페이스를 디자인하는데 있어서, 다음 중 하나 이상의 제약이 고려될 수 있다.
ㆍ정보 : 입력에 대한 시스템의 응답을 형성하기 위해 고지연 하부 시스템으로부터 필요되는 임의의 정보 또는 프로세싱은 이러한 정보 또는 프로세싱이 예들 들면 미리 렌더링되거나 미리 역할하지 않는 한, 필수적으로 고지연을 가질 것이다.
ㆍ 성능 : 저지연으로 형성되는 응답을 고려한 시간은 필수적으로 제한된다. 하드웨어가 가속되어도, 응답의 디자인은 응답이 원하는 저지연을 충족시키는 것을 보장하도록 신중하게 성능 구동되어야 한다.
ㆍ정밀도 : 렌더링된 저지연 이미지의 정밀도는 고지연 렌더링(실제로, 이것은 고지연 시스템에 의해 미리 렌더링될 수 있다)으로부터 구별하기 어려울 수 있다. 예를 들면, 시각적인 것이 오직 단색 및/또는 시각적 기본소에 제한되고, 및/또는 청각적 또는 촉각적 응답의 지속(duration) 또는 특성이 제한되는 것과 같이, 성능을 향상시키도록 추가적인 제약이 정밀도와 관련될 수 있다. 이러한 타입의 제약은 하드웨어 가속을 포함하는 시스템의 다양한 요소에 의해, 또는 (디스플레이, 촉각적 출력 장치, 또는 스피커와 같은)출력 하드웨어에 의해 도입될 수 있다.
ㆍ불간섭 : 응답이 혼성 조합인 실시형태에서, 몇몇 애플리케이션 의 응답은 저지연 레이어, 몇몇은 고지연 레이어로 생성될 수 있고, 고려 사항은 예를 들면 유저의 입력에 무결정성(seamless) 응답을 제공하도록 2개가 어떻게 혼합되는지에 대한 것일 수 있다. 일 실시형태에서, 저지연 응답은 이후 필수적으로 발생할 어떤 가능한 애플리케이션 응답도 방해하지 않는다. 일 실시형태에서, 간섭은 저지연 응답과 종래 응답 사이에서 발생하지만, 간섭은 디자인을 통하거나 또는 응답의 혼합을 통해 처리될 수 있다.
일 실시형태에서, 디자인 프로세스는 차별화된 저 및 고지연 시각적 응답을 갖는 터치될 시각적 UI 제어의 세트를 생성하도록 수행된다. 응답의 2개의 레이어 사이의 무결정성 과도(transition)를 가능하게 할 수 있는 메타포어가 추구된다. 이 시각화는 목표 위치 및 상태로서 그러한 정보에 포함되었다. 디자인은 상기 설명된 제약을 사용해서 실행 가능성에 의거하여 추려졌다. 이러한 실시형태의 최종 디자인은 군용기에 사용되는 시각화와 유사하게 헤드업 디스플레이(HUD) 메타포어에 의거하였다. HUD는 종래 HUD가 기하학적으로 단순하고, 정확한 정밀도로 기하학적으로 단순한 디스플레이를 실행하는 것이 비교적 쉽기 때문에 적합했다. 다수의 HUD에서, 계산되는 디스플레이가 비디오 또는 "현실 세계" 그 자체에서 중첩되지만, HUD는 결합될 2개의 시각적 레이어 중 하나의 예만을 나타낸다. 따라서, HUD는 일반적으로 비간섭(non interfering)하도록 디자인된다.
HUD 메타포어에 기반하여, 예시적인 터치 이벤트 및 UI 특정 요소 저지연 레이어 시각화의 세트는 다수의 직접 터치 시스템에서 발견되는 UI 요소의 세트로 개발된다. 이 예시적 요소는 통상적이며 전형적이다. 그것들의 상호 작용(탭, 드래그, 두 손가락 피칭)은 현재의 직접 터치 장치에 사용되는 상호 작용 공간의 대부분을 커버한다. 이러한 실시형태에서 개발되는 저지연 응답은 표 1에 설명되고 그것들은 도 6~도 8에 도시된다.
Figure pct00001
표 1 : 터치 입력에 대한 표준 고지연 응답을 만족하는 각 요소 및 터치 이벤트에 대한 가속된 시각화
이 3개의 요소는 터치 입력에 대한 UI 툴킷의 넓은 범위를 나타낸다. 대부분의 고차 UI 요소는 이 더욱 단순한 요소로 구성된다(예를 들면, 라디오 버튼 및 체크 박스는 둘 다 "버튼"이며, 스크롤바는 제한된 변형 및 회전과 함께 "드래그 가능/리사이징 가능"하다.). 본원에 설명되는 가속된 입력 시스템 및 방법은 2개의 현저히 다른 지연 레벨에서 동작하는 시각화의 결합에 기반한다. 이 지연의 다름은 저지연 시각화의 디자인에 통합된다. 일 실시형태에서, 시각적 레이어가 정렬되었을 때 일관적인 동기화를 통해 유저는 두 시스템의 상태를 통지받을 수 있다. 일 실시형태에서, 유저는 시스템 피드백의 고 및 저 지연 위치 사이를 구별할 수 있다. 일 실시형태에서, 시각적 요소는 저지연 응답과 종래 응답 사이에 명백하지 않은 차이를 제공하는 방식으로 혼합된다.
일 실시형태에서, 애플리케이션 개발자는 GUI 제어를 어셈블링하는 일반 프로세스를 통해 그들의 애플리케이션 을 구축하기 위해 툴킷을 이용한다. 실행시에, UI 요소는 그들의 시각화를 분기하고, 고 및 저지연 시각화는 싱글 디스플레이 상에서 렌더링되고 오버레이된다. 이러한 시스템을 통해 흐르는 정보의 실시형태는 도 9에 도시된다. 입력 장치(910)로부터 시스템으로의 정보 흐름은 초기에 IPU 소프트웨어 툴킷(930)을 통해 프로그래밍되는 입력 프로세싱 유닛(IPU)(920)에 의해 프로세싱된다. 그 후, UI 이벤트는 2개의 하부 시스템, 저지연 저정밀도 하부 시스템(940)과 예를 들면 종래 소프트웨어 스택에서 실행되는 종래 소프트웨어와 같은 고지연 하부 시스템(950)에 의해 병렬적으로 프로세싱된다. 일 실시형태에서, 저지연 저정밀도 하부 시스템(940)은 도 4의 FPGA(440)와 같은 하드웨어에서 실행될 수 있다.
이 실시형태에서, 유저가 입력을 주기 전에, 적용 논리에 의해 필요되는 저지연 하부 시스템(940)에 의해 제공되는 초기 응답의 어떤 매개 변수화가 규정되어야만 하는 상태에서, 이 실시형태에서 설명되는 분기는 근본적인 통신 문제를 생성한다. 애플리케이션 에 의해 프레젠테이션시에 프로세싱을 필요로 하는 응답은 고지연 시스템(950) 상에 저지연 시스템(940)의 의존도를 도입하고, 따라서 시스템에 렉 백(lag back)을 도입할 수 있다. 일 실시형태에서, 입력에 대한 저지연 시스템(940)의 응답의 차후 상태는 고지연 하부 시스템(950)에 의존할 수 있다. 일 실시형태에서, 고지연 하부 시스템(950) 상의 입력에 대한 저지연 하부 시스템(940)의 응답의 차후 상태의 의존도가 처리되어, 의존도는 추가적인 지연을 도입하지 않는다. 일 실시형태에서 의존도는 전체적으로 회피될 수 있다.
일 실시형태에서, UI 요소 논리는 저지연 하부 시스템에 구축될 수 있다. 유저 입력 사이에, 고지연 하부 시스템(950)에서 실행되는 애플리케이션 은 UI 요소의 저지연 하부 시스템(940)의 모델에 대한 파라미터를 제공할 기회를 갖는다. 따라서, 일 실시형태에서, UI 소프트웨어 디자인의 MVC 모델은 저지연 피드백에 책임이 있는 분리된 컨트롤러를 제공함으로써 확장될 수 있다. 일 실시형태에서, 소프트웨어 디자인에 있어서, 다음 중 하나 이상이 각 제어에 대해 지정될 수 있다.
ㆍ요소 타입(예를 들면, 드래그 가능한 객체, 스크롤 가능한 리스트 등)
ㆍ바운딩 차원(예를 들면, x 위치, y 위치, 폭, 높이 등)
ㆍ조건 : 추가적인 기본소 정보(예를 들면, 스크롤 가능한 리스트의 경우 리스트 아이템의 사이즈 등)
일 실시형태에서, 터치 입력에 대한 주어진 요소 타입의 응답용 논리는 저지연 하부 시스템(940)에 저장된다. 또한, 유저 입력에 대한 저지연 서브 시스템의 응답의 매개 변수화는 동일한 방식으로 통신될 수 있어, 높은 등급의 전용화를 허용한다. 일 실시형태에서, 센서 데이터는 이벤트(또는 프로세싱되는 입력 스트림의 형식)를 생성하도록 프로세싱되고, 이후 저지연 하부 시스템(940)과 고지연 하부 시스템(950)으로 분리적으로 분배된다. 저지연 하부 시스템이 고지연 하부 시스템보다 빠르게 이벤트를 프로세싱할 수 있고, 높은 비율로 고지연 서브 시스템에 이벤트를 전송하는 것은 하부 시스템을 압도할 수 있기 때문에, 이벤트는 저지연 하부 시스템(940)과 고지연 하부 시스템(950)에 대해 다른 비율로 생성될 수 있다. 따라서, 유저 입력에 대한 저 및 고지연 하부 시스템의 응답은 독립적이지만 공동 작용할 수 있다. 일 실시형태에서, 하나의 하부 시스템은 유저 입력 사이에서 다른 하부 시스템의 상태를 설정하는 "마스터"로서 작용한다. 일 실시형태에서, 저 및 고지연 하부 시스템 사이의 관계는 2개의 하부 시스템 사이의 동기화를 포함한다. 일 실시형태에서, 저 및 고지연 하부 시스템 사이의 관계는 저지연 하부 시스템(940)을 프로세싱하는 것을 없애는 고지연 하부 시스템의 능력을 포함한다. 일 실시형태에서, 저 및 고지연 하부 시스템 사이의 관계는 프로세싱 로드를 줄이거나 및/또는 사전 프로세싱 또는 사전 렌더링을 위한 고지연 하부 시스템(950)을 이용하는 저지연 하부 시스템(940)의 능력을 포함한다. 일 실시형태에서, 제 2 그래픽 프로세싱 및 출력 시스템의 응답은 제 1 그래픽 프로세싱 및 출력 시스템에 의존하고, 상태 정보는 제 1 그래픽 프로세싱과 출력 시스템으로부터 제 2 그래픽 프로세싱과 출력 시스템까지 통과된다. 이러한 실시형태에서, 제 1 그래픽 프로세싱과 출력 시스템으로부터 제 2 그래픽 프로세싱과 출력 시스템까지 통과되는 정보는 유저 인터페이스 내의 하나 이상의 그래픽 요소를 나타내는 하나 이상의 데이터 조각으로 구성된다. 이 데이터는 예를 들면 사이즈, 위치, 외관, 대안적인 외관, 유저 입력에 대한 응답, 유저 인터페이스 내의 그래픽 요소의 타입일 수 있다. 제 1 그래픽 프로세싱과 출력 시스템으로부터 제 2 그래픽 프로세싱과 출력 시스템까지 통과되는 데이터는 제 2 그래픽 프로세싱 및 출력 시스템에 이용 가능한 고속 메모리에 저장될 수 있다. 통과되는 데이터는 외관, 및/또는 버튼의 속성, 슬라이더, 드래그 가능 및/또는 리사이징 가능 GUI 요소, 스크롤 가능 리스트, 스피너, 드롭 다운 리스트, 메뉴, 툴바, 콤보 박스, 이동 가능 아이콘, 고정 아이콘, 트리뷰, 그리드뷰, 스크롤바, 스크롤 가능 윈도우, 또는 유저 인터페이스 요소를 나타낼 수 있다.
일 실시형태에서, 입력 프로세싱 시스템은 하나 또는 두개의 제 1 또는 제 2 그래픽 프로세싱 및 출력 시스템에 의해 수신되기 전에 유저 입력 신호 상에 십진화(decimation)를 수행한다. 십진화된 입력 신호 또는 비십진화된 신호는 제 1 그래픽 프로세싱 및 출력 시스템으로부터 전송된 유저 인터페이스에 관한 정보에 의거하여 모든 입력 신호의 세트로부터 선택된다. 입력 신호의 십진화는 입력 신호의 세트를 입력 신호의 보다 작은 세트로 논리적으로 결합함으로써 수행될 수 있다. 입력 신호의 논리적 결합은 윈도우 평균(windowed averaging)을 통해 수행될 수 있다. 십진화는 입력 신호의 세트의 사이즈가 감소했을 때 유저 입력 신호의 시간을 고려한다. 입력 신호의 논리적 결합은 가중 평균(weighted averaging)을 통해 수행될 수 있다. 일 실시형태에서, 제 1 및 제 2 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 유저 입력 신호는 별도로 프로세싱된다.
일 실시형태에서, 고지연과 저지연 레이어 사이의 통신은 중요하다. 어떻게 고 및 저지연 하부 시스템이 동기화되어 유지되는지를 판별하는데 고려되는 몇몇 포인트가 아래에 설명된다.
ㆍ지연 차이 : 저지연 응답은 응답을 동기화하도록 고 및 저지연 레이어 사이의 지연에 관한 정보를 사용할 수 있다. 일 실시형태에서, 이 지연값은 정적(static)이며, 따라서 FPGA로 사전 프로그래밍된다. 지연 레벨이 하부 시스템 모두에서 변화할 수 있는 일 실시형태에서, 동기화될 수 없는 동적값을 갖는 것보다 항상 취득 가능한 상수의 지연 레벨에 고정하거나, 명료한 동기화 매커니즘을 제공하는 것이 바람직할 수 있다. 지연 레벨이 하부 시스템 모두에서 변화할 수 있는 일 실시형태에서, 동적값이 사용될 수 있지만, 비동기화되는 것을 피하기 위해 신중을 기해야만 한다. 지연 레벨이 하부 시스템 모두에서 변화할 수 있는 일 실시형태에서, 명료한 동기화 매커니즘이 하부 시스템(940, 950) 사이에 제공될 수 있다.
ㆍ히트 테스팅 : 히트 테스팅 결정은 종종 가시적 계층(hierarchy)과 가시적 UI 요소의 특성을 고려하면 데이터 상에서 조건적이다. 일 실시형태에서, 이 고려 사항은 UI의 평탄한(flat) '친화적 히트 테스트'를 요구하는 한정 직사각형을 오버랩하는 것을 허용하지 않음으로써 해결될 수 있다. 일 실시형태에서, 분리된 히트 테스팅은 저지연 하부 시스템에 필수 정보(객체 상태, z 오더, 및 청자)를 제공할 수 있다. 일 실시형태에서, 저 및 고지연 하부 시스템 모두 병렬적으로 히트 테스팅을 수행할 수 있다. 일 실시형태에서, 저지연 하부 시스템은 히트 테스팅을 수행하여, 고지연 하부 시스템에 결과를 제공한다.
ㆍ조건 응답 : 다수의 인터페이스 시각화는 즉각적인 유저 입력 상에서도, 적용 논리 내에 규정된 의사 결정(decision making) 논리 상에서도 조건적이다.
조건 응답 논리의 2개의 예시적인 예는 다음과 같다. 눌렸을 때 (이중 청구를 방지하도록)불가능하게 프로그래밍되지만, 형식에 맞게 입력된 데이터의 인증(validation)만을 따르는 신용카드 구입 의뢰 버튼을 고려한다. 이러한 경우, 버튼의 속성은 즉각적인 유저 상호 작용에 의존적일 뿐만 아니라, 또한 추가적인 정보 및 프로세싱에 따라 조건적이다. 또한, 도 10에 도시된 것과 같이 연계된 시각화를 고려한다. 이 경우, 그들이 조작하는 UI 요소(1010)뿐만 아니라 제 2 UI 요소(1020)에 의해 유저에게 피드백이 제공된다. 이 예는 저지연 하부 시스템에 직접 프로그래밍될 수 있다.
일 실시형태에서, 고 및 저지연 하부 시스템 사이의 분담은 임의의 인터페이스 요소와 독립적일 수 있다. 실제로, 하부 시스템 사이의 책임 분담은 다수의 인자에 의거하여 전용화될 수 있고, 유저 인터페이스 툴킷이 없는 시스템, 또는 이용 가능할 수 있는 UI 툴킷의 사용, 및 사용없이 애플리케이션 을 개발하는 매커니즘에 포함되는 시스템 내에서 여전히 가능할 수 있다. 일 실시형태에서, 2개의 하부 시스템 사이의 책임 분담은 하부 시스템이 실행되는 동안 동적으로 변경될 수 있다. 일 실시형태에서, UI 툴킷 자체가 저지연 하부 시스템 내에 포함될 수 있다. 응답을 전용화하는 능력은 본원에 설명되는 시스템 및 방법으로부터 벗어나지 않고, 다수의 방법으로 애플리케이션 개발자에게 제공될 수 있다. 일 실시형태에서, 응답은 UI 제어로 조정될 파라미터로서 전용화될 수 있다. 일 실시형태에서, 응답은 저지연 하부 시스템 또는 다른 고 또는 저지연 컴포넌트에서 자체 실행되는 코드로, 저지연 하부 시스템에 직접적으로 지시를 제공하는 능력을 고려해서 전용화될 수 있다. 일 실시형태에서, 저지연 하부 시스템의 상태는 애플리케이션 코드에 의해, 예를 들면 런타임에 생성되는 데이터를 사용해서 설정될 수 있다.
상술한 다수의 예가 터치 입력의 맥락으로 제공되는 반면, 제한 없이 펜 입력, 마우스 입력, 간접 터치 입력(예를 들면, 트랙 패드), 인에어 제스처 입력, 구두 입력 및/또는 다른 입력 양식을 포함하는 다른 실시형태가 고려된다. 설명되는 구성은 제한 없이 혼합 입력 이벤트(즉, 하나 이상의 양식으로 입력을 지원)를 포함하는 어떠한 유저 입력 이벤트에도 동등하게 적용될 수 있다. 일 실시형태에서, 혼합 입력 장치의 수는 각각의 저 및 고지연 하부 시스템에 의해 프로세싱할 때 생성되는 이벤트의 개수와 동일해지는 결과로 이어질 수 있다. 일 실시형태에서, 혼합 입력 장치의 수는 생성되는 이벤트의 수와 차별화될 수 있고, 따라서 예를 들면 터치 입력은 펜 입력보다 적은 이벤트를 가질 수 있다. 일 실시형태에서, 각각의 입력 양식은 자신의 저지연 하부 시스템을 포함한다. 일 실시형태에서, 다수의 입력 양식을 위한 다수의 저지연 하부 시스템을 포함하는 시스템에서, 하부 시스템은 그것들의 응답과 공동 작용하도록 통신할 수 있다. 일 실시형태에서, 다수의 입력 양식을 위한 다수의 저지연 하부 시스템을 포함하는 시스템에서, 다수의 하부 시스템은 공동 작용이 가능하도록 공용 메모리 영역을 공유할 수 있다.
입력 프로세싱
본 발명의 실시형태에서, 입력 하드웨어로부터의 저지연 입력 데이터는 입력 이벤트의 고속 스트림으로 최소한으로 프로세싱된다. 이 이벤트의 스트림은 추가 프로세싱을 위해 저지연 서브 시스템으로 직접 전송된다. 그 후, 이 동일 스트림으로터의 이벤트는 삭제될 수 있거나, 또는 그렇지 않으면, 스트림은 고지연 하부 시스템으로 전송되기 전에 감소되거나 필터링된다. 저지연 하부 시스템이 고지연 하부 시스템보다 빠르게 이벤트를 프로세싱할 수 있고, 고비율로 고지연 서브 시스템에 이벤트를 전송하는 것이 하부 시스템을 압도하기 때문에, 이벤트는 저지연 하부 시스템(940)과 고지연 하부 시스템(950)에 대해 다른 비율로 생성될 수 있다. 따라서, 유저 입력에 대한 저 및 고지연 하부 시스템의 응답은 독립적이지만 공동 작용할 수 있다.
이벤트의 감소는 최적화될 수 있다. 일 실시형태에서, 전형적인 이벤트는 애플리케이션 , UI 요소, 입력 장치 등 중 하나 이상과 관련된 기준(criteria)에 의거하여 후보 이벤트 중 선택될 수 있다. 유저가 디지털 잉크 스트로크를 드로윙할 때의 펜 입력에 대한 이 예는 유저의 드로윙 스크로크에 가장 잘 맞는 이벤트 선택을 포함한다. 음성 입력에 대한 또 다른 예는 출력 스트립의 차후 이벤트가 유사한 볼륨을 갖는 선호 이벤트이므로 마이크로폰으로부터 나오는 소리를 "이브닝 아웃(evening out)"한다. 터치 입력에 대한 또 다른 예는 일정한 속도를 갖고 보다 "매끄러운" 출력을 제공하는 출력 이벤트 스트림으로부터 기인할 수 있는 선호 이벤트이다. 이것은 고지연 하부 시스템의 성능을 감소시키지 않고 지능적 필터로서 작용하는 지능적 감소의 형태이다. 일 실시형태에서, 새로운 이벤트[예를 들면 통합된(consolidated) 이벤트 또는 가상 이벤트]가 생성될 수 있고, 이는 입력 스트림 내의 다른 이벤트의 합계를 나타낸다. 일 실시형태에서, 보다 바람직한 입력 스트림, 예를 들면 정정(correction) 또는 스무딩(smoothing)을 나타내는 새로운 이벤트[예를 들면 통합된(consolidated) 이벤트 또는 가상 이벤트]가 생성될 수 있다. 예를 들면, 인에어 제스처 입력에 있어서, 고속 입력 장치로부터의 10 이벤트마다, 고지연 하부 시스템에는 실제 입력 이벤트의 "평균"을 제공하는 동일 수 또는 보다 적은 이벤트가 전송될 수 있으므로, 입력을 매끄럽게 하고 지터(jitter)를 제거한다. 입력 장치의 다양한 파라미터의 다수의 "원하는" 레벨의 혼합물(amalgam)인 새로운 이벤트가 생성될 수 있다. 예를 들면, 틸트의 지능적 감소와 스타일러스의 압력 특성이 다른 이벤트의 선택에서 기인하는 것이라면, 단일의, 새로운 이벤트 객체가 생성되어(또는 하나 이상의 기존의 이벤트 객체가 수정되어) 이 각각의 특성에 대한 원하는 값을 포함할 수 있다.
일 실시형태에서, IPU 또는 저지연 하부 시스템은 프로세싱된 입력 정보를 갖는 고지연 시스템을 제공하도록 사용될 수 있다. 활성화된 2개의 하부 시스템과 공동 작용하도록 하나 이상의 방법이 사용될 수 있다. 이것은 다음을 포함한다.
a. 일 실시형태에서, 저지연 하부 시스템은 모든 유저 입력에 대해 즉각적으로 응답할 수 있지만, 고지연 시스템에 입력을 제공하기 전에 입력을 정지(예를 들면, 손가락 또는 펜을 들어올리거나 제스처를 끝낸다)하도록 유저를 기다린다. 이것은 전체 데이터를 계속 프로세싱하는 한편, 유저 상호 작용 동안 시스템을 클로깅하는 것을 피하는 장점을 갖는다.
b. 일 실시형태에서, 저지연 시스템은 거의 실시간으로 입력의 감소된 추정치(estimate)를 제공할 수 있고, 요청시에 고지연 시스템에 이용할 수 있는 완전한 입력 큐(queue)를 선택적으로 저장할 수 있다.
c. 일 실시형태에서, 유저 피드백은 2개의 스텝으로 분할될 수 있다. 첫째, 저지연 피드백은 도 11의 유저 입력(1130)의 정제되지 않은(rough) 즉각적인 표상을 제공할 수 있다. 둘째, 고지연 시스템 응답(1140)은 예를 들면 펜(1150) 팁을 들어올린 후 고지연 시스템이 정제된 응답을 계산할 수 있을 때는 언제라도, 첫번째(1130)를 대체할 수 있다. 대안적으로, 고지연 피드백은 저지연 피드백에 대해[또한 가능한 저지연 피드백을 포괄(subsuming)해서] 연속적으로 "캐칭 업(catching up)"할 수 있다.
d. 일 실시형태에서, 저지연 시스템은 입력 스트림으로부터 단순한 제스처 동작을 추론할 수 있고, 따라서 정제되지 않은 이벤트에 추가하여 또는 대체해서 입력 큐에 포함되는 제스처 이벤트를 생성한다.
e. 일 실시형태에서, IPU 또는 저지연 하부 시스템은 미래의 입력 위치를 예측하도록 다수의 입력 위치를 사용할 수 있다. 이 예측은 효과적인 지연을 감소하도록 고지연 하부 시스템을 따라 통과될 수 있다.
f. 일 실시형태에서, 추가적인 샘플 또는 이른 감지로부터 이득을 얻을 수 있는 알고리즘이 IPU 또는 저지연 하부 시스템에서 실행된다. 일 실시형태에서, 이 이벤트의 실행은 시간적으로 제한될 수 있다. 예를 들면, 초기(50) 이벤트는 특정 손가락의 입력을 분류하거나 또는 손가락과 펜 입력을 구별하는데 사용될 수 있다. 일 실시형태에서, 이 알고리즘은 연속적으로 실행될 수 있다.
g. 일 실시형태에서, 고지연 하부 시스템으로 이벤트의 스트림을 통과시키는 저지연 하부 시스템의 프로세싱은 그렇지 않으면 부정확하게 관련 없는 입력으로 여겨질 수 있는 추가적인 순차적인 또는 동시적인 관련 입력을 수신하도록 지연될 수 있다. 예를 들면, 글자 "t"는 종종 2번으로 나뉘어 드로윙되지만 스트로크와 관련될 수 있다. 정상적인 코스에 있어서, 저지연으로부터 고지연 시스템으로 통과되는 입력 스트림의 부분은 첫번째 라인을 드로윙한 끝부분에서 "펜 업" 신호를 포함할 수 있다. 일 실시형태에서, 감소 프로세스는 "업" 이벤트를 따라 통과하도록 샘플 윈도우 내에서 입력의 가장 마지막 프레임을 기다리고, 이 경우 펜은 윈도우 내의 디스플레이 상에서 다시 감지되므로 이벤트에 대한 필요성을 제거한다.
하드웨어 구성
일 실시형태에서, 2번의 오버래핑을 통한 데이터 흐름은 고 및 저지연 피드백을 지원하도록 시스템의 컴포넌트를 통해 지나간다. 도 12는 입력 장치(1210), IPU(1220), 시스템 버스(1230), CPU(1240) 및 디스플레이(1290)에 연결되는 GPU(1280)를 포함하는 하나의 그러한 시스템을 도시한다. 유저(1200)는 입력 장치(1210)를 사용해서 입력한다. 이 입력은 다양한 실시형태에서 FPGA, ASIC 또는 GPU(1280), MPU 또는 SoC에 통합되는 추가적인 소프트웨어 및 하드웨어 논리일 수 있는 IPU(1220)에 의해 감지된다. 이때, 제어 흐름은 시스템을 통해 두 갈래로 분기되고 2개의 분기된 경로를 따른다. 입력에 대한 저지연 응답에 있어서, IPU(1220)는 시스템 버스(1230)을 통해 GPU(1280)로 입력 이벤트를 전송하여 CPU(1240)를 바이패싱한다. 그 후, GPU(1280)는 유저(1200)에게 피드백을 빠르게 디스플레이한다. 입력에 대한 고지연 응답에 있어서, IPU(1220)는 그래픽 애플리케이션 을 실행하고 다른 시스템 컴포넌트와 상호 작용할 수 있는 CPU(1240)에 시스템 버스(1230)를 통해 입력 이벤트를 전송한다. 그 후, CPU(1240)는 유저(1200)에게 그래픽 피드백을 제공하도록 GPU(1280)에 시스템 버스(1230)를 통해 명령을 전송한다. 입력 장치(1210)로부터 IPU(1220), 시스템 버스(1230), GPU(1280)에 이르는 저지연 경로는 주로 하드웨어이며 저지연으로 동작한다. 입력 장치(1210)로부터 IPU(1220), 시스템 버스(1230), CPU(1240), 다시 시스템 버스(1230), GPU(1280)에 이르는 고지연 경로는 본 명세서에서 이전에 설명된 인자로 인해 고지연이다. 관련된 실시형태에서, 입력 장치(1210)는 GPU(1280)와 직접 통신하고 시스템 버스(1230)을 바이패싱한다.
도 13은 모델 뷰 컨트롤러로 불리우는 잘 알려진 프로그래밍 패러다임을 도시한다. 이 패러다임에서, 유저(1300)는 컨트롤러(1310) 상에서 입력을 수행하고, 이는 결국 이 입력에 의거한 모델(1320)을 조작한다. 모델(1320)의 변화는 뷰(1330)의 변화를 야기하고, 이는 유저(1300)에 의해 관찰된다. 본 발명에 의해 설명되는 몇몇 지연은 입력, 이 컴포넌트 사이의 통신, 및 뷰(1330) 컴포넌트에 의해 생성되는 그래픽의 디스플레이의 지연 때문이다.
도 14는 유저 입력에 대해 혼합된 고 및 저지연 응답을 갖는 시스템 상에서 애플리케이션 을 개발하고 실행하는 것을 지원하는 구성의 실시형태를 도시한다. 유저(1400)는 입력 장치(1410)로 입력을 수행한다. 이 입력은 IPU(1420)에 의해 수신된다. IPU(1420)는 종래 매커니즘을 통해 고지연 하부 시스템에서 실행되는 컨트롤러(1430)과 저지연 하부 시스템에서 실행되는 뷰 모델(L)(1490)에 동시에 입력 이벤트를 전송한다. 입력은 휘발성 메모리(1450), 고정 기억기(1470), 네트워크 리소스(1460) 등의 데이터와 상호 작용(렉을 야기하는 모든 상호 작용)할 수 있는 고지연 하부 시스템에서 실행되는 모델(1440)을 조작하는 컨트롤러(1430)에 의해 처리된다. 뷰 모델(L)(1490)에 의해 수신되는 입력 이벤트는 뷰 모델(L)의 변화를 야기하고, 이는 유저(1400)에 의해 보여지는 뷰(L)(1491)의 변화로 반영된다. 모델(1440)의 변화는 고지연 하부 시스템의 뷰(H)(1480)의 변화를 야기하고, 이는 또한 유저(1400)에 의해 보여진다. 일 실시형태에서, 유저에 의해 보여지는 이 2가지 타입의 변화는 동일 디스플레이 상에 나타난다. 일 실시형태에서, 이 2가지 타입의 변화는 (예를 들면, 소리 또는 진동과 같은)다른 출력 양식을 통해 유저에게 반영된다. 일 실시형태에서, 입력 사이에, 모델(1440)은 뷰 모델(L)(1490)과 뷰(L)(1491)의 상태를 업데이트해서, 뷰 모델(L)(1490)이 시스템의 디스플레이 상의 정확한 위치에 GUI의 컴포넌트를 나타내는데 필요되는 데이터를 포함하고, 뷰 모델(L)(1490)이 모델(1440)의 현재 상태의 맥락에 따라 IPU(1420)로부터 입력을 정확하게 해석할 수 있고, 뷰(L)(1491)가 모델(1440)의 현재 상태의 맥락에 따라 디스플레이를 위한 그래픽을 정확하게 생성할 수 있다.
한 예로서, 그것이 활성화되었음을 가리키는 외관을 변화시킴으로써, 기능 중 유저의 터치에 대해 응답하는 버튼을 갖는 터치 감응 애플리케이션 을 고려한다. 어플레케이션이 실행되었을 때, 애플리케이션 은 메모리와 컴파일된 애플리케이션 코드로부터 위치, 사이즈, 및 버튼의 외관의 상세를 판독한다. 뷰(H)(1480) 코드는 이 버튼을 디스플레이해서 유저에게 나타내는 필수 그래픽을 생성한다. 모델(1440)은 뷰 모델(L)의 상태를 업데이트해서, 이 그래픽 요소가 버튼이고, 터치되었을 때 "평상시" 외관으로부터 "눌림" 외관으로 외관을 변화시켜야 함을 기록한다. 또한, 모델(1440)은 뷰(L)(1491)의 상태를 업데이트해서, 뷰 모델(L)(1490)의 "평상시"와 "눌림" 상태에 대한 정확한 외관을 기록한다. 이 외관은 저정밀도 그래픽 요소의 묘사 또는 디스플레이를 위한 완전한 래스터(raster)일 수 있다. 일 실시형태에서, "눌림" 상태는 버튼 위치 둘레에 흰 박스를 디스플레이함으로써 나타내어진다.
유저는 터치 스크린 디스플레이를 터치하고, 그 터치를 표현하는 입력 데이터는 IPU(1420)에 의해 적어도 1㎳ 후에 수신된다. IPU(1420)는 입력 데이터로부터 터치 다운 이벤트를 나타내는 입력 이벤트를 생성하고, 이 입력 이벤트를 애플리케이션 컨트롤러(1430)에 전송한다. 컨트롤러(1430)는 모델(1440)을 조작한다. 이 경우, 컨트롤러(1430)는 버튼이 터치되었고, 애플리케이션 이 이 버튼과 관련된 어떠한 명령이라도 수행해야 함을 모델(1440)에 지시한다. IPU(1420)가 컨트롤러(1430)에 이벤트를 전송하는 동시에, 버튼이 터치되었음을 가리키는 뷰 모델(L)(1490)에 이벤트를 전송한다. 뷰 모델(L)(1490)은 모델(1440)에 의해 터치되었을 경우 어떤 것을 해야하는지 이전에 지시받았고, 이 경우 그 상태를 "눌림"으로 변경함으로써 터치 이벤트에 대해 응답한다. 뷰(L)(1491)는 "눌림" 외관에 상응하는 피드백인 버튼 주변에 화이트 박스를 디스플레이함으로써 이 변화에 응답한다. 버튼이 터치되는 모델(1440)에 대한 변화는 뷰(H)(1480)의 업데이트를 유발하여 버튼이 지금 터치되었음을 반영한다. 뷰(H)(1480)와 뷰(L)(1491) 모두의 출력을 본 유저는 뷰(H)(1480)로부터의 피드백에 의해 이후 두번째의 일부에 이어지는 뷰(L)(1491)에 의해 그 터치의 즉각적인 피드백을 본다.
본 출원의 텍스트 전반적으로 단어 "이벤트"는 유저 인풋의 속성을 표현하는 정보를 표현하는데 사용된다. 이 용어는 일반적으로 사용되고, 따라서 표현되는 "이벤트"가 단지 정보의 스트림으로 존재하는 보다 기본적인 입력 스트림뿐만 아니라 (실제 이벤트 대상이 소프트웨어 객체 사이로 통과되는) 이벤트 주도 아키텍처가 사용되는 실시형태를 포함한다. 이러한 이벤트는 예를 들면 비객체 지향 타입의 이벤트 또는 객체 지향 타입 이벤트일 수 있다.
본 시스템 및 방법은 블록 다이어그램, 방법의 조작적인 예시, 및 유저 입력을 수신하고 응답할 수 있는 컴퓨터 시스템을 포함하는 장치에 관하여 표현된다. 각 블록 다이어그램의 블록 또는 조작적인 예시, 및 블록 다이어그램 내 블록의 조합 또는 조작적인 예시는 아날로그 또는 디지털 하드웨어 및 컴퓨터 프로그램 명령에 의해 실행될 수 있다는 것이 이해될 것이다. 이 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터, ASIC 또는 다른 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 제공될 수 있고, 컴퓨터의 프로세서 또는 다른 프로그램 가능한 데이터 프로세싱 장치를 통해 실행되는 명령은 블록 다이어그램 또는 연산 블록 또는 블록들 내에 명시된 기능/역할을 실행한다. 몇몇 대안적인 실행에 있어서, 블록 내에 기록된 기능/역할은 조작적인 예시에 기록된 명령의 외부에서 일어날 수 있다. 예를 들면, 연속적으로 보여지는 2개의 블록은 사실 실질적으로 동시에 실행될 수 있거나, 또는 블록은 때때로 포함된 기능/역할에 따라 역순서로 실행될 수 있다.
본 발명이 바람직한 실시형태에 따라 특정적으로 보여지고 표현되었지만, 당업자에는 형태에 있어서 다양한 변경 및 상세가 본 발명의 사상 및 범위를 벗어나지 않고 이루어질 수 있다는 것을 이해할 것이다.

Claims (226)

  1. 유저 입력을 프로세싱하기 위한 시스템으로서,
    유저 인터페이스의 시각화를 포함하는 디스플레이와,
    터치 입력 및 펜 입력으로 구성되는 그룹으로부터 선택되는 적어도 하나를 포함하고, 유저 입력에 대응하는 신호를 출력하도록 적용되는 유저 입력 장치와,
    유저 입력 장치에 작동 가능하게 연결되고, 유저 입력에 대응하는 신호를 수신하고, 수신 신호에 대응하는 신호를 방출하도록 적용되는 입력 프로세싱 시스템과,
    소프트웨어 스택에서 실행되는 소프트웨어를 포함하고, 방출 신호의 적어도 일부를 수신하고, 디스플레이 상에 유저 인터페이스의 시각화에 영향을 줄 수 있는 고지연 데이터를 생성하고, 방출 신호의 적어도 일부에 응답하여 디스플레이에 의한 사용을 위해 고지연 데이터를 출력하도록 적용되는 제 1 그래픽 프로세싱 및 출력 시스템과,
    적어도 부분적으로 하드웨어에서 실행되고, 방출 신호의 적어도 일부를 실질적으로 동시에 수신하고, 디스플레이 상에 유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터를 생성하고, 방출 신호의 적어도 일부에 응답하여 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를 출력하도록 적용되는 제 2 그래픽 프로세싱 및 출력 시스템을 포함하고,
    방출 신호의 적어도 일부에 대한 응답에 대하여, 제 2 그래픽 프로세싱 및 출력 시스템은, 제 1 그래픽 프로세싱 및 출력 시스템에 의한 고지연 데이터의 출력에 대하여, 생성되는 저지연 데이터를 저지연으로 출력하도록 적용되고,
    디스플레이는 저지연 데이터의 적어도 일부 및 고지연 데이터의 적어도 일부를 유저 인터페이스의 시각화 상으로 디스플레이하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  2. 제 1 항에 있어서,
    저지연 데이터는, 규정된 응답에 대응하는 데이터를, 방출 신호의 적어도 일부 중 하나 이상과 연계시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  3. 제 1 항에 있어서,
    고지연 데이터는 방출 신호의 적어도 일부 중 하나 이상에 대한 응답을 렌더링함으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  4. 제 1 항에 있어서,
    고지연 데이터 및 저지연 데이터는 실질적으로 동일한 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  5. 제 1 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  6. 제 5 항에 있어서,
    고지연 데이터의 적어도 일부는, 대응하는 저지연 데이터보다 더 고화질인 것인 유저 입력을 프로세싱하기 위한 시스템.
  7. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 적어도 부분적으로, 필드 프로그램 가능한 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나에서 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  8. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 컴퓨팅 시스템의 기존의 컴포넌트에 통합되는 로직으로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  9. 제 8 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  10. 제 1 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템은 제 1 그래픽 프로세싱 및 출력 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  11. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 유저 인터페이스 요소 로직을 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  12. 제 11 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성에 관한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    제 2 그래픽 프로세싱 및 출력 시스템은 UI 요소 데이터의 정보에 기초하여 히트 테스팅을 수행하도록 적용되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  13. 제 1 항에 있어서,
    방출 신호는 제 1 및 제 2 그래픽 프로세싱 및 출력 시스템에 스트림으로 전송되고,
    제 2 그래픽 프로세싱 및 출력 시스템은, 방출 신호 중 하나 이상을 스트림으로부터 삭제하도록 적용되고, 이렇게 삭제되는 신호는 제 1 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 수신 데이터에 대응하는 방출 신호의 적어도 일부의 부분이 되는 것이 방지되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  14. 제 1 항에 있어서,
    디스플레이에 의한 사용을 위한 고지연 데이터에 대응하는 방출 신호의 적어도 일부는, 저지연 데이터에 대응하는 방출 신호의 적어도 일부와 다른 것인 유저 입력을 프로세싱하기 위한 시스템.
  15. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은, 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를, 대응하는 방출 신호를 수신하는 10㎳ 내에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  16. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은, 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를, 대응하는 방출 신호를 수신하는 5㎳ 내에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  17. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은, 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를, 대응하는 방출 신호를 수신하는 1㎳ 내에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  18. 제 1 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템은, 방출 신호의 적어도 일부에 응답하여, 추가적인 출력 장치에 의한 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  19. 제 18 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  20. 제 1 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터의 적어도 일부와 유저 인터페이스의 시각화에 영향을 줄 수 있는 대응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  21. 제 1 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터의 적어도 일부와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터의 적어도 일부는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  22. 제 1 항에 있어서,
    애플리케이션 로직에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  23. 제 1 항에 있어서,
    저지연 시스템 응답의 형식은, 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답 또는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  24. 제 1 항에 있어서,
    시스템 로직에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  25. 제 1 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량성 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 기술 중 적어도 하나를 채용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  26. 제 2 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 적어도 하나의 사전 렌더링되는 시각화를 포함하고, 저지연 데이터는 적어도 하나의 사전 렌더링되는 시각화 중 하나 이상에 대응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  27. 제 26 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  28. 제 26 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템은 제 1 그래픽 프로세싱 및 출력 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  29. 제 26 항에 있어서,
    가시적 UI 요소의 시각적 계층 및 특성에 관한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    제 2 그래픽 프로세싱 및 출력 시스템은 UI 요소 데이터의 정보에 기초하여 히트 테스팅을 수행하도록 적용되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  30. 제 26 항에 있어서,
    방출 신호는 제 1 및 제 2 그래픽 프로세싱 및 출력 시스템에 스트림으로 전송되고, 제 2 그래픽 프로세싱 및 출력 시스템은 방출 신호 중 하나 이상을 스트림으로부터 삭제하도록 적용되고, 이렇게 삭제되는 신호는 제 1 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 수신 데이터에 대응하는 방출 신호의 적어도 일부의 부분이 되는 것이 방지되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  31. 제 26 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템은, 방출 신호의 적어도 일부에 응답하여, 추가적인 출력 장치에 의한 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  32. 제 31 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  33. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템의 응답은 제 1 그래픽 프로세싱 및 출력 시스템과는 독립적인 것인 유저 입력을 프로세싱하기 위한 시스템.
  34. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템의 응답은 제 1 그래픽 프로세싱 및 출력 시스템에 의존적이고, 상태 정보는 제 1 그래픽 프로세싱 및 출력 시스템으로부터 제 2 그래픽 프로세싱 및 출력 시스템으로 전달되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  35. 제 34 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템으로부터 제 2 그래픽 프로세싱 및 출력 시스템에 전달되는 데이터는, 유저 인터페이스에 하나 이상의 그래픽 요소를 표현하는 데이터의 하나 이상의 조각으로 구성되고, 전달 데이터는 사이즈, 위치, 외관, 대안적인 외관, 유저 입력에 대한 응답, 유저 인터페이스 내의 그래픽 요소의 타입으로 구성되는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  36. 제 31 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템으로부터 제 2 그래픽 프로세싱 및 출력 시스템으로 전달되는 데이터는, 버튼, 슬라이더, 드래그 가능한 또는 리사이징 가능한 GUI 요소, 스크롤 가능한 리스트, 스피너, 드롭 다운 리스트, 메뉴, 툴 바, 콤보 박스, 이동 가능한 아이콘, 고정 아이콘, 트리 뷰, 그리드 뷰, 스크롤 바, 스크롤 가능한 윈도우, 또는 유저 인터페이스 요소의 외관 또는 동작을 표현하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  37. 제 1 항에 있어서,
    고지연 및 저지연 시각화는 투영되는 2개의 이미지를 오버랩하는 것, 디스플레이 버퍼 내의 시각화를 논리적으로 결합하는 것, 각각 고지연 및 저지연 시각화 중 하나를 디스플레이할 수 있는 2개의 투명한 레이어를 오버랩하는 것, 디스플레이의 픽셀을 비월해서 일부가 저지연 시각화로 채워지고 일부가 고지연 시각화로 채워지게 하는 것, 또는 디스플레이의 프레임을 비월하여 일부가 저지연 시각화로 채워지고 일부가 고지연 시각화로 채워지게 하는 것 중 적어도 하나에 의해 싱글 디스플레이 상에서 결합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  38. 제 1 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 제 1 그래픽 프로세싱 및 출력 시스템의 정밀도에 대해 저화질을 갖는 이벤트를 프로세싱하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  39. 제 1 항에 있어서,
    입력 프로세싱 시스템은 제 1 또는 제 2 그래픽 프로세싱 및 출력 시스템 중 하나 또는 양자에 의해 수신되기 전에 유저 입력 신호 상에 십진화를 수행하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  40. 제 1 항에 있어서,
    제 1 및 제 2 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 유저 입력 신호는 별도로 프로세싱되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  41. 유저 입력을 프로세싱하기 위한 시스템으로서,
    유저 인터페이스의 시각화를 포함하는 디스플레이와,
    유저 입력에 대응하는 신호를 출력하도록 적용되는 유저 입력 장치와,
    유저 입력 장치에 작동 가능하게 연결되고, 유저 입력에 대응하는 신호를 수신하고, 수신 신호의 적어도 일부에 대응하는 신호의 스트림을 방출하도록 적용되는 입력 프로세싱 시스템과,
    신호의 스트림의 적어도 일부를 수신하고, 디스플레이 상에 유저 인터페이스의 시각화에 영향을 줄 수 있는 고지연 데이터를 생성하고, 제 1 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서의 신호의 적어도 일부에 응답하여 디스플레이에 의한 사용을 위한 고지연 데이터를 출력하도록 적용되는 제 1 그래픽 프로세싱 및 출력 시스템과,
    신호의 스트림의 적어도 일부를 수신하고, 디스플레이 상에 유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터를 생성하고, 제 2 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서의 신호의 적어도 일부에 응답하여 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를 출력하도록 적용되고, 제 1 출력 그래픽 프로세싱 및 출력 시스템에 의한 고지연 데이터의 출력에 대하여, 생성되는 저지연 데이터를 저지연으로 출력하도록 구성되는 제 2 그래픽 프로세싱 및 출력 시스템과,
    저지연 데이터의 적어도 일부와 고지연 데이터의 적어도 일부를 유저 인터페이스의 시각화 상으로 통합하도록 구성되는 디스플레이를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  42. 제 41 항에 있어서,
    저지연 데이터는, 규정된 응답에 상응하는 데이터를, 제 2 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 신호의 적어도 일부 중 하나 이상과 연계시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  43. 제 41 항에 있어서,
    고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  44. 제 41 항에 있어서,
    고지연 데이터 및 저지연 데이터는 실질적으로 동일한 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  45. 제 41 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  46. 제 41 항에 있어서,
    고지연 데이터의 적어도 일부는, 대응하는 저지연 데이터보다 더 고화질인 것인 유저 입력을 프로세싱하기 위한 시스템.
  47. 제 41 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 적어도 부분적으로, 필드 프로그램 가능한 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나에서 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  48. 제 41 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은, 컴퓨팅 시스템의 기존의 컴포넌트에 통합되는 로직으로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  49. 제 48 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  50. 제 41 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템은 제 1 그래픽 프로세싱 및 출력 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  51. 제 41 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 유저 인터페이스 요소 로직을 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  52. 제 51 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성에 관한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    제 2 그래픽 프로세싱 및 출력 시스템은 UI 요소 데이터의 정보에 기초하여 히트 테스팅을 수행하도록 적용되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  53. 제 41 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 스트림으로부터 신호 중 하나 이상을 삭제하도록 적용되고, 이렇게 삭제되는 신호는 제 1 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 수신 데이터의 적어도 일부에 대응하는 신호의 스트림 중 적어도 일부의 부분이 되는 것이 방지되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  54. 제 41 항에 있어서,
    고지연 데이터에 대응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 대응하는 신호의 적어도 일부와 다른 것인 입력을 프로세싱하기 위한 시스템.
  55. 제 41 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은, 디스플레이에 의한 사용을 위해 생성되는 저지연 데이터를, 대응하는 방출 신호를 수신하는 5㎳ 내에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  56. 제 41 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템은, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여, 추가적인 출력 장치에 의한 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  57. 제 56 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  58. 제 41 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터의 적어도 일부와 유저 인터페이스의 시각화에 영향을 줄 수 있는 대응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  59. 제 41 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 저지연 데이터의 적어도 일부와 유저 인터페이스의 시각화에 영향을 줄 수 있는 대응하는 고지연 데이터의 적어도 일부는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  60. 제 41 항에 있어서,
    애플리케이션 로직에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  61. 제 60 항에 있어서,
    저지연 시스템 응답의 형식은 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답 또는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  62. 제 41 항에 있어서,
    시스템 로직에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 유저 입력을 프로세싱하기 위한 시스템.
  63. 제 41 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량성 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 기술 중 적어도 하나를 채용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  64. 제 42 항에 있어서,
    제 2 그래픽 프로세싱 및 출력 시스템은 적어도 하나의 사전 렌더링되는 시각화를 포함하고, 저지연 데이터는 적어도 하나의 사전 렌더링되는 시각화 중 하나 이상에 대응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  65. 제 64 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 화질을 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  66. 제 64 항에 있어서,
    제 1 그래픽 프로세싱 및 출력 시스템은 제 1 그래픽 프로세싱 및 출력 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  67. 제 64 항에 있어서,
    가시적 UI 요소의 시각적 계층 및 특성에 관한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    제 2 그래픽 프로세싱 및 출력 시스템은 UI 요소 데이터의 정보에 기초하여 히트 테스팅을 수행하도록 적용되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  68. 제 64 항에 있어서,
    방출 신호는 제 1 및 제 2 그래픽 프로세싱 및 출력 시스템에 스트림으로 전송되고,
    제 2 그래픽 프로세싱 및 출력 시스템은 스트림으로부터 하나 이상의 방출 신호를 삭제하도록 적용되고, 이렇게 삭제되는 신호는 제 1 그래픽 프로세싱 및 출력 시스템에 의해 수신되는 수신 데이터에 대응하는 방출 신호의 적어도 일부의 부분이 되는 것이 방지되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  69. 제 64 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 제 2 그래픽 프로세싱 및 출력 시스템은, 방출 신호의 적어도 일부에 응답하여, 추가적인 출력 장치에 의한 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  70. 제 69 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  71. 제 41 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  72. 유저 입력을 프로세싱하기 위한 시스템으로서,
    입력 장치와,
    입력 프로세싱 유닛과,
    고지연 하부 시스템과,
    적어도 부분적으로 하드웨어에서 실행되는 저지연 하부 시스템과,
    유저 입력에 응답하여 신호를 생성하기 위한 입력 프로세싱 유닛 소프트웨어와,
    출력 장치를 포함하고,
    저지연 하부 시스템은 신호를 수신하고, 고지연 하부 시스템에 대해 저지연을 갖는 적어도 하나의 저지연 출력을 생성하고, 고지연 하부 시스템은 적어도 몇몇 신호를 프로세싱하고, 저지연 하부 시스템에 대해 고지연을 갖는 적어도 하나의 고지연 출력을 생성하고,
    입력 장치, 입력 프로세싱 유닛, 고지연 하부 시스템, 저지연 하부 시스템, 입력 프로세싱 유닛 소프트웨어 및 출력 장치가 배치되어,
    저지연 프로세싱 하부 시스템이 고지연 프로세싱 하부 시스템에 대해 독립적으로 또한 병렬적으로 실행되고,
    적어도 몇몇 유저 입력 신호는 저지연 하부 시스템과 고지연 하부 시스템에 의해 프로세싱되고, 저지연 하부 시스템은 주어진 유저 입력 신호에 대한 응답을 출력 장치에 출력하고, 저지연 및 고지연 하부 시스템은 주어진 유저 입력 신호에 대한 응답을 저지연으로 출력 장치에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  73. 제 72 항에 있어서,
    저지연 데이터는 규정된 응답에 상응하는 데이터를 저지연 하부 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 적어도 몇몇 신호 중 하나 이상과 결합시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  74. 제 72 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  75. 제 72 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 실질적으로 동일한 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  76. 제 72 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  77. 제 72 항에 있어서,
    고지연 하부 시스템은 고지연 데이터를 생성하고, 저지연 하부 시스템은 저지연 데이터를 생성하며, 적어도 몇몇 고지연 데이터는 상응하는 저지연 데이터보다 높은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  78. 제 72 항에 있어서,
    저지연 하부 시스템은 적어도 부분적으로, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  79. 제 72 항에 있어서,
    저지연 하부 시스템은 컴퓨팅 시스템의 기존의 컴포넌트와 통합되는 논리로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  80. 제 79 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  81. 제 72 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  82. 제 72 항에 있어서,
    저지연 하부 시스템은 유저 인터페이스 요소 논리를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  83. 제 82 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  84. 제 72 항에 있어서,
    저지연 하부 시스템은 스트림으로부터 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 적어도 몇몇 수신된 데이터에 상응하는 신호의 스트림의 적어도 일부의 부분으로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  85. 제 72 항에 있어서,
    고지연 데이터에 상응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 상응하는 신호의 적어도 일부와 다른 것인 유저 입력을 프로세싱하기 위한 시스템.
  86. 제 72 항에 있어서,
    저지연 하부 시스템은 디스플레이에 의해 사용을 위해 생성되는 저지연 데이터를 상응하는 방출되는 신호를 5㎳ 내에 수신하여 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  87. 제 72 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  88. 제 87 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  89. 제 72 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  90. 제 72 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇의 상응하는 고지연 데이터는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  91. 제 72 항에 있어서,
    적용 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  92. 제 91 항에 있어서,
    저지연 시스템 응답의 형식은 응답 또는 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  93. 제 72 항에 있어서,
    시스템 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  94. 제 72 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 적어도 하나의 기술을 사용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  95. 제 73 항에 있어서,
    저지연 하부 시스템은 적어도 하나의 미리 렌더링된 시각화를 포함하고, 저지연 데이터는 적어도 하나의 미리 렌더링된 시각화 중 하나 이상에 상응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  96. 제 95 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  97. 제 95 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  98. 가시적 UI 요소의 시각적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  99. 제 95 항에 있어서,
    방출되는 신호는 고 및 저지연 하부 시스템에 스트림으로 전송되고, 저지연 하부 시스템은 스트림으로부터 하나 이상의 방출되는 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 수신된 데이터에 상응하는 적어도 몇몇 방출되는 신호의 일부로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  100. 제 95 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 적어도 몇몇 방출되는 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  101. 제 100 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  102. 제 72 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  103. 유저 입력을 프로세싱하기 위한 시스템으로서,
    입력 장치,
    입력 프로세싱 유닛,
    소프트웨어 스택에서 실행되는 소프트웨어를 포함하는 고지연 하부 시스템,
    저지연 하부 시스템,
    유저 입력에 응답하여 신호를 생성하도록 적용되는 입력 프로세싱 유닛 소프트웨어,
    출력 장치를 포함하고,
    저지연 하부 시스템은 고지연 하부 시스템에 대해 저지연을 갖는 신호를 프로세싱하고, 고지연 하부 시스템은 저지연 하부 시스템에 대해 고지연을 갖는 유저 입력 이벤트를 프로세싱하고,
    저지연 하부 시스템은 신호를 수신하고, 고지연 하부 시스템에 대해 저지연을 갖는 적어도 하나의 저지연 출력을 생성하고, 고지연 하부 시스템은 적어도 몇몇 신호를 프로세싱하고, 저지연 하부 시스템에 대해 고지연을 갖는 적어도 하나의 고지연 출력을 생성하고,
    입력 장치, 입력 프로세싱 유닛, 고지연 하부 시스템, 저지연 하부 시스템, 입력 프로세싱 유닛 소프트웨어 및 출력 장치가 배치되어,
    저지연 프로세싱 하부 시스템이 고지연 프로세싱 하부 시스템에 대해 독립적으로 또한 병렬적으로 실행되고,
    적어도 몇몇 유저 입력 신호는 저지연 하부 시스템과 고지연 하부 시스템에 의해 프로세싱되고, 저지연 하부 시스템은 주어진 유저 입력 신호에 대한 응답을 출력 장치에 출력하고, 저지연 및 고지연 하부 시스템은 주어진 유저 입력 신호에 대한 응답을 저지연으로 출력 장치에 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  104. 제 103 항에 있어서,
    저지연 하부 시스템에 의해 생성되는 저지연 데이터는 규정된 응답에 상응하는 데이터를 저지연 하부 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 적어도 몇몇 신호 중 하나 이상과 결합시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  105. 제 103 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  106. 제 103 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 실질적으로 동일한 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  107. 제 103 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  108. 제 103 항에 있어서,
    고지연 하부 시스템은 고지연 데이터를 생성하고, 저지연 하부 시스템은 저지연 데이터를 생성하며, 적어도 몇몇 고지연 데이터는 상응하는 저지연 데이터보다 높은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  109. 제 103 항에 있어서,
    저지연 하부 시스템은 적어도 부분적으로, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  110. 제 103 항에 있어서,
    저지연 하부 시스템은 컴퓨팅 시스템의 기존의 컴포넌트와 통합되는 논리로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  111. 제 110 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  112. 제 103 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  113. 제 103 항에 있어서,
    저지연 하부 시스템은 유저 인터페이스 요소 논리를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  114. 제 113 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  115. 제 103 항에 있어서,
    저지연 하부 시스템은 스트림으로부터 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 적어도 몇몇 수신된 데이터에 상응하는 신호의 스트림의 적어도 일부의 부분으로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  116. 제 103 항에 있어서,
    고지연 데이터에 상응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 상응하는 신호의 적어도 일부와 다른 것인 입력을 프로세싱하기 위한 시스템.
  117. 제 103 항에 있어서,
    저지연 하부 시스템은 디스플레이에 의해 사용을 위해 생성되는 저지연 데이터를 상응하는 방출되는 신호를 5㎳ 내에 수신하여 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  118. 제 103 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여, 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위해 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  119. 제 103 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  120. 제 103 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  121. 제 103 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇의 상응하는 고지연 데이터는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  122. 제 103 항에 있어서,
    적용 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  123. 제 122 항에 있어서,
    저지연 시스템 응답의 형식은 응답 또는 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  124. 제 103 항에 있어서,
    시스템 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  125. 제 103 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 적어도 하나의 기술을 사용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  126. 제 104 항에 있어서,
    저지연 하부 시스템은 적어도 하나의 미리 렌더링된 시각화를 포함하고, 저지연 데이터는 적어도 하나의 미리 렌더링된 시각화 중 하나 이상에 상응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  127. 제 126 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  128. 제 126 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  129. 제 126 항에 있어서,
    가시적 UI 요소의 시각적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  130. 제 126 항에 있어서,
    방출되는 신호는 고 및 저지연 하부 시스템에 스트림으로 전송되고, 저지연 하부 시스템은 스트림으로부터 하나 이상의 방출되는 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 수신된 데이터에 상응하는 적어도 몇몇 방출되는 신호의 일부로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  131. 제 126 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 적어도 몇몇 방출되는 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  132. 제 131 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  133. 제 103 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  134. 유저 입력을 프로세싱하기 위한 시스템으로서,
    입력 장치를 포함하고, 복수의 유저 입력에 응답하여 입력 장치에 입력에 관련된 정보를 포함하는 신호를 출력하도록 적용된 입력 하부 시스템,
    신호를 수신하고, 하나 이상의 신호에 응답하여 저지연 응답을 생성하고, 적어도 하나의 신호를 고지연 하부 시스템에 전송하도록 적용되는 저지연 하부 시스템,
    적어도 하나의 신호를 수신하고, 적어도 하나의 신호 중 하나 이상에 응답하여 고지연 응답을 생성하도록 적용되는 고지연 하부 시스템,
    저지연 하부 시스템과 고지연 하부 시스템에 가동 가능하게 연결되고, 저지연 응답과 고지연 응답을 혼합하도록 구성되는 출력 장치를 포함하고,
    저지연 하부 시스템은 고지연 하부 시스템에 대핸 저지연을 갖는 저지연 응답을 생성하고, 고지연 하부 시스템은 저지연 하부 시스템에 대해 고지연을 갖는 고지연 응답을 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  135. 제 134 항에 있어서,
    저지연 하부 시스템에 의해 생성되는 저지연 데이터는 규정된 응답에 상응하는 데이터를 저지연 하부 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 적어도 몇몇 신호 중 하나 이상과 결합시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  136. 제 134 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  137. 제 134 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 실질적으로 동일한 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  138. 제 134 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  139. 제 134 항에 있어서,
    고지연 하부 시스템은 고지연 데이터를 생성하고, 저지연 하부 시스템은 저지연 데이터를 생성하며, 적어도 몇몇 고지연 데이터는 상응하는 저지연 데이터보다 높은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  140. 제 134 항에 있어서,
    저지연 하부 시스템은 적어도 부분적으로, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  141. 제 134 항에 있어서,
    저지연 하부 시스템은 컴퓨팅 시스템의 기존의 컴포넌트와 통합되는 논리로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  142. 제 134 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  143. 제 134 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  144. 제 134 항에 있어서,
    저지연 하부 시스템은 유저 인터페이스 요소 논리를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  145. 제 144 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  146. 제 134 항에 있어서,
    저지연 하부 시스템은 스트림으로부터 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 저지연 하부 시스템에 의해 수신되는 적어도 몇몇 수신된 데이터에 상응하는 신호의 스트림의 적어도 일부의 부분으로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  147. 제 134 항에 있어서,
    고지연 데이터에 상응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 상응하는 신호의 적어도 일부와 다른 것인 유저 입력을 프로세싱하기 위한 시스템.
  148. 제 134 항에 있어서,
    저지연 하부 시스템은 디스플레이에 의해 사용을 위해 생성되는 저지연 데이터를 상응하는 방출되는 신호를 5㎳ 내에 수신하여 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  149. 제 134 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  150. 제 149 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  151. 제 134 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  152. 제 134 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇의 상응하는 고지연 데이터는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  153. 제 134 항에 있어서,
    적용 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  154. 제 153 항에 있어서,
    저지연 시스템 응답의 형식은 응답 또는 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  155. 제 134 항에 있어서,
    시스템 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  156. 제 134 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 적어도 하나의 기술을 사용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  157. 제 135 항에 있어서,
    저지연 하부 시스템은 적어도 하나의 미리 렌더링된 시각화를 포함하고, 저지연 데이터는 적어도 하나의 미리 렌더링된 시각화 중 하나 이상에 상응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  158. 제 157 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  159. 제 157 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  160. 제 157 항에 있어서,
    가시적 UI 요소의 시각적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  161. 제 157 항에 있어서,
    방출되는 신호는 고 및 저지연 하부 시스템에 스트림으로 전송되고, 저지연 하부 시스템은 스트림으로부터 하나 이상의 방출되는 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 수신된 데이터에 상응하는 적어도 몇몇 방출되는 신호의 일부로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  162. 제 157 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 적어도 몇몇 방출되는 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  163. 제 162 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  164. 제 134 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  165. 유저 입력을 프로세싱하기 위한 시스템으로서,
    입력 장치,
    입력 프로세싱 유닛,
    고지연 하부 시스템,
    저지연 하부 시스템,
    유저 입력에 응답하여 신호를 생성하도록 적용되는 입력 프로세싱 유닛 소프트웨어,
    출력 장치를 포함하고,
    저지연 하부 시스템은 고지연 하부 시스템에 대해 저지연을 갖는 복수의 신호를 프로세싱하고, 고지연 하부 시스템은 저지연 하부 시스템에 대해 고지연을 갖는 복수의 신호를 프로세싱하고,
    입력 장치, 입력 프로세싱 유닛, 고지연 하부 시스템, 저지연 프로세싱 하부 시스템, 입력 프로세싱 유닛 소프트웨어, 출력 장치가 배치되어,
    적어도 몇몇 신호가 상기 저지연 하부 시스템 및 상기 고지연 하부 시스템에 의해 병렬적으로 프로세싱되고, 저지연 하부 시스템은 저지연으로 출력 장치에 출력에 대해 프로그래밍 가능한 응답을 생성하고, 고지연 하부 시스템은 고지연으로 출력 장치에 출력에 대한 응답을 생성하고,
    출력 장치는 응답이 그곳에 출력되었을 때, 저지연 하부 시스템으로부터의 응답 및 고지연 하부 시스템으로부터의 응답을 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  166. 제 165 항에 있어서,
    저지연 하부 시스템에 의해 생성되는 저지연 데이터는 규정된 응답에 상응하는 데이터를 저지연 하부 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 적어도 몇몇 신호 중 하나 이상과 결합시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  167. 제 165 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  168. 제 165 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 실질적으로 동일한 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  169. 제 165 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  170. 제 165 항에 있어서,
    고지연 하부 시스템은 고지연 데이터를 생성하고, 저지연 하부 시스템은 저지연 데이터를 생성하며, 적어도 몇몇 고지연 데이터는 상응하는 저지연 데이터보다 높은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  171. 제 165 항에 있어서,
    저지연 하부 시스템은 적어도 부분적으로, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  172. 제 165 항에 있어서,
    저지연 하부 시스템은 컴퓨팅 시스템의 기존의 컴포넌트와 통합되는 논리로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  173. 제 165 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  174. 제 165 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  175. 제 165 항에 있어서,
    저지연 하부 시스템은 유저 인터페이스 요소 논리를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  176. 제 175 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  177. 제 165 항에 있어서,
    저지연 하부 시스템은 스트림으로부터 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 적어도 몇몇 수신된 데이터에 상응하는 신호의 스트림의 적어도 일부의 부분으로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  178. 제 165 항에 있어서,
    고지연 데이터에 상응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 상응하는 신호의 적어도 일부와 다른 것인 입력을 프로세싱하기 위한 시스템.
  179. 제 165 항에 있어서,
    저지연 하부 시스템은 디스플레이에 의해 사용을 위해 생성되는 저지연 데이터를 상응하는 방출되는 신호를 5㎳ 내에 수신하여 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  180. 제 165 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  181. 제 180 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  182. 제 165 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  183. 제 165 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇의 상응하는 고지연 데이터는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  184. 제 165 항에 있어서,
    적용 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  185. 제 184 항에 있어서,
    저지연 시스템 응답의 형식은 응답 또는 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  186. 제 165 항에 있어서,
    시스템 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  187. 제 165 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 적어도 하나의 기술을 사용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  188. 제 165 항에 있어서,
    저지연 하부 시스템은 적어도 하나의 미리 렌더링된 시각화를 포함하고, 저지연 데이터는 적어도 하나의 미리 렌더링된 시각화 중 하나 이상에 상응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  189. 제 188 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  190. 제 188 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  191. 제 188 항에 있어서,
    가시적 UI 요소의 시각적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  192. 제 188 항에 있어서,
    방출되는 신호는 고 및 저지연 하부 시스템에 스트림으로 전송되고, 저지연 하부 시스템은 스트림으로부터 하나 이상의 방출되는 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 수신된 데이터에 상응하는 적어도 몇몇 방출되는 신호의 일부로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  193. 제 188 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 적어도 몇몇 방출되는 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  194. 제 193 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  195. 제 165 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  196. 유저 입력을 프로세싱하기 위한 시스템으로서,
    입력 장치,
    출력 장치,
    입력 프로세싱 유닛,
    유저 입력에 응답하여 신호를 생성하도록 적용되는 입력 프로세싱 유닛 소프트웨어,
    적어도 몇몇 신호에 대해 고지연 응답을 생성하도록 적용되는 고지연 응답 하부 시스템,
    적어도 부분적으로 하드웨어에서 실행되고, 적어도 몇몇 신호에 대한 저지연 응답을 생성하도록 적용되고, 저지연 응답에 영향을 주는 하나 이상의 파라미터를 포함하는 저지연 응답 하부 시스템을 포함하고,
    저지연 응답은 고지연 응답보다 높은 지연이 아니고, 고지연 응답은 공통 신호에 대해 저지연 응답보다 낮은 지연이 아니며,
    입력 장치, 출력 장치, 입력 프로세싱 유닛, 입력 프로세싱 유닛 소프트웨어, 고지연 응답 하부 시스템, 저지연 응답 하부 시스템이 배치되어,
    유저 입력 신호가 상기 저지연 하부 시스템 및 상기 고지연 하부 시스템에 의해 병렬적으로 프로세싱되고,
    출력 장치는 저지연 응답 및 고지연 응답을 출력하고,
    애플리케이션 소프트웨어는 저지연 응답에 영향을 주는 하나 이상의 파라미터를 변화시킬 수 있는 것인 유저 입력을 프로세싱하기 위한 시스템.
  197. 제 196 항에 있어서,
    저지연 하부 시스템에 의해 생성되는 저지연 데이터는 규정된 응답에 상응하는 데이터를 저지연 하부 시스템에 의해 수신되는 신호의 스트림의 적어도 일부에 있어서 적어도 몇몇 신호 중 하나 이상과 결합시킴으로써 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  198. 제 196 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터는 렌더링에 의해 생성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  199. 제 196 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 실질적으로 동일한 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  200. 제 196 항에 있어서,
    고지연 하부 시스템에 의해 생성되는 고지연 데이터 및 저지연 하부 시스템에 의해 생성되는 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  201. 제 196 항에 있어서,
    고지연 하부 시스템은 고지연 데이터를 생성하고, 저지연 하부 시스템은 저지연 데이터를 생성하며, 적어도 몇몇 고지연 데이터는 상응하는 저지연 데이터보다 높은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  202. 제 196 항에 있어서,
    저지연 하부 시스템은 적어도 부분적으로, 필드 프로그램 가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 마이크로 컨트롤러, 그래픽 프로세싱 유닛(GPU), 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  203. 제 196 항에 있어서,
    저지연 하부 시스템은 컴퓨팅 시스템의 기존의 컴포넌트와 통합되는 논리로 실행되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  204. 제 196 항에 있어서,
    컴퓨팅 시스템의 기존의 컴포넌트는 그래픽 프로세싱 유닛(GPU), 입력 장치 컨트롤러, 중앙 프로세싱 유닛(CPU), 마이크로 컨트롤러, 또는 시스템 온 칩(SoC)의 그룹으로부터 선택되는 적어도 하나를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  205. 제 196 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  206. 제 196 항에 있어서,
    저지연 하부 시스템은 유저 인터페이스 요소 논리를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  207. 제 206 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  208. 제 196 항에 있어서,
    저지연 하부 시스템은 스트림으로부터 하나 이상의 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 적어도 몇몇 수신된 데이터에 상응하는 신호의 스트림의 적어도 일부의 부분으로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  209. 제 196 항에 있어서,
    고지연 데이터에 상응하는 신호의 스트림의 적어도 일부는 저지연 데이터에 상응하는 신호의 적어도 일부와 다른 것인 입력을 프로세싱하기 위한 시스템.
  210. 제 196 항에 있어서,
    저지연 하부 시스템은 디스플레이에 의해 사용을 위해 생성되는 저지연 데이터를 상응하는 방출되는 신호를 5㎳ 내에 수신하여 출력하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  211. 제 196 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 신호의 스트림의 적어도 일부에 있어서 하나 이상의 신호에 응답하여, 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위해 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  212. 제 211 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  213. 제 196 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 상응하는 고지연 데이터 사이의 차이점은 유저에게 인지 가능한 것인 유저 입력을 프로세싱하기 위한 시스템.
  214. 제 196 항에 있어서,
    유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇 저지연 데이터와 유저 인터페이스의 시각화에 영향을 줄 수 있는 적어도 몇몇의 상응하는 고지연 데이터는 유저에 의해 식별 가능하지 않은 방식으로 혼합되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  215. 제 196 항에 있어서,
    적용 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  216. 제 215 항에 있어서,
    저지연 시스템 응답의 형식은 응답 또는 청각적 응답, 시각적 응답, 및 촉각적 응답으로 구성되는 그룹으로부터 선택되는 응답의 세트를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  217. 제 196 항에 있어서,
    시스템 논리에 의해 명령되는 형식으로 저지연 시스템 응답을 제공하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  218. 제 196 항에 있어서,
    유저 입력 장치는 저항성, 직접 조명, 전반사 장애, 확산 조명, 투영형 용량, 용량 결합, 음파, 및 픽셀 내 센서로 구성되는 그룹으로부터 선택되는 적어도 하나의 기술을 사용하는 직접 터치 입력 장치를 포함하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  219. 제 196 항에 있어서,
    저지연 하부 시스템은 적어도 하나의 미리 렌더링된 시각화를 포함하고, 저지연 데이터는 적어도 하나의 미리 렌더링된 시각화 중 하나 이상에 상응하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  220. 제 219 항에 있어서,
    고지연 데이터 및 저지연 데이터는 동일하지 않은 정밀도를 갖는 것인 유저 입력을 프로세싱하기 위한 시스템.
  221. 제 219 항에 있어서,
    고지연 하부 시스템은 고지연 하부 시스템의 적어도 하나의 상태를 반영하는 상태 정보를 포함하고, 저지연 하부 시스템의 응답은 상태 정보에 의존하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  222. 제 219 항에 있어서,
    가시적 UI 요소의 가시적 계층 및 특성을 고려한 데이터를 포함하는 UI 요소 데이터를 더 포함하고,
    저지연 하부 시스템은 UI 요소 데이터의 정보에 의거하여 히트 테스팅을 수행하도록 적용된 것인 유저 입력을 프로세싱하기 위한 시스템.
  223. 제 219 항에 있어서,
    방출되는 신호는 고 및 저지연 하부 시스템에 스트림으로 전송되고, 저지연 하부 시스템은 스트림으로부터 하나 이상의 방출되는 신호를 삭제하도록 적용되어, 이러한 삭제되는 신호가 고지연 하부 시스템에 의해 수신되는 수신된 데이터에 상응하는 적어도 몇몇 방출되는 신호의 일부로 되는 것을 방지하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  224. 제 219 항에 있어서,
    추가적인 출력 장치를 더 포함하고, 적어도 몇몇 방출되는 신호에 응답하여 저지연 하부 시스템은 추가적인 출력 장치에 의해 사용을 위한 추가적인 출력 데이터를 생성하는 것인 유저 입력을 프로세싱하기 위한 시스템.
  225. 제 224 항에 있어서,
    추가적인 출력 장치 및 추가적인 출력 데이터는 오디오 출력 장치와 오디오 데이터, 및 촉각적 피드백 장치와 촉각적 피드백 데이터를 포함하는 그룹으로부터 선택되는 것인 유저 입력을 프로세싱하기 위한 시스템.
  226. 제 219 항에 있어서,
    유저 입력 장치는 터치, 멀티 터치, 펜, 안구의 움직임, 안구 추적, 인에어 제스처, 오디오, 마우스, 키보드 및 압력 변화로 구성되는 그룹으로부터 선택되는 적어도 하나의 형식으로 유저 입력을 수신하도록 구성되는 것인 유저 입력을 프로세싱하기 위한 시스템.
KR1020157011748A 2012-10-05 2013-10-04 저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법 KR101867494B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261710256P 2012-10-05 2012-10-05
US61/710,256 2012-10-05
PCT/US2013/063569 WO2014055942A1 (en) 2012-10-05 2013-10-04 Hybrid systems and methods for low-latency user input processing and feedback

Publications (2)

Publication Number Publication Date
KR20150087210A true KR20150087210A (ko) 2015-07-29
KR101867494B1 KR101867494B1 (ko) 2018-07-17

Family

ID=50435494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157011748A KR101867494B1 (ko) 2012-10-05 2013-10-04 저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법

Country Status (13)

Country Link
US (5) US9507500B2 (ko)
EP (1) EP2904484A4 (ko)
JP (1) JP6293763B2 (ko)
KR (1) KR101867494B1 (ko)
CN (1) CN104903832B (ko)
AU (1) AU2013326854A1 (ko)
BR (1) BR112015007617A2 (ko)
CA (1) CA2885184A1 (ko)
HK (1) HK1213663A1 (ko)
IL (1) IL238127B (ko)
MX (1) MX347342B (ko)
SG (2) SG11201502619UA (ko)
WO (1) WO2014055942A1 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
EP2847658B1 (en) * 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
EP2904484A4 (en) * 2012-10-05 2016-06-01 Tactual Labs Co HYBRID SYSTEMS AND METHODS FOR THE PROCESSING AND FEEDBACK OF LOW-LATENCY USER ENTRY
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
US9483171B1 (en) * 2013-06-11 2016-11-01 Amazon Technologies, Inc. Low latency touch input rendering
CN105378639A (zh) * 2013-07-12 2016-03-02 触觉实验室股份有限公司 用限定的交叉控制行为降低控件响应等待时间
GB2519118A (en) * 2013-10-10 2015-04-15 Ibm Web page reload
US9342331B2 (en) 2013-10-21 2016-05-17 International Business Machines Corporation Secure virtualized mobile cellular device
US10156976B2 (en) * 2014-01-30 2018-12-18 Samsung Display Co., Ltd. System and method in managing low-latency direct control feedback
US9894405B2 (en) * 2014-03-11 2018-02-13 Amazon Technologies, Inc. Object discovery and exploration in video content
US9747727B2 (en) 2014-03-11 2017-08-29 Amazon Technologies, Inc. Object customization and accessorization in video content
US9892556B2 (en) 2014-03-11 2018-02-13 Amazon Technologies, Inc. Real-time exploration of video content
US10939175B2 (en) 2014-03-11 2021-03-02 Amazon Technologies, Inc. Generating new video content from pre-recorded video
US9933880B2 (en) 2014-03-17 2018-04-03 Tactual Labs Co. Orthogonal signaling touch user, hand and object discrimination systems and methods
US9507845B1 (en) * 2014-03-27 2016-11-29 EMC IP Holding Company, LLC Virtual splitter
US9912562B2 (en) * 2014-03-31 2018-03-06 Microsoft Technology Licensing, Llc Measuring latency in an interactive application
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
US9508166B2 (en) 2014-09-15 2016-11-29 Microsoft Technology Licensing, Llc Smoothing and GPU-enabled rendering of digital ink
WO2016044807A1 (en) 2014-09-18 2016-03-24 Tactual Labs Co. Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US9633466B2 (en) 2014-09-29 2017-04-25 Microsoft Technology Licensing, Llc Low latency ink rendering pipeline
US20160117080A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Hit-test to determine enablement of direct manipulations in response to user actions
US10241760B2 (en) * 2014-11-18 2019-03-26 Tactual Labs Co. System and method for performing hit testing in a graphical user interface
US9721365B2 (en) 2014-12-09 2017-08-01 Synaptics Incorporated Low latency modification of display frames
KR102320771B1 (ko) * 2015-01-15 2021-11-02 삼성디스플레이 주식회사 데이터 구동회로 및 이를 이용한 표시장치
US10089291B2 (en) 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9779466B2 (en) * 2015-05-07 2017-10-03 Microsoft Technology Licensing, Llc GPU operation
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US20170168966A1 (en) * 2015-12-10 2017-06-15 Qualcomm Incorporated Optimal latency packetizer finite state machine for messaging and input/output transfer interfaces
US10241620B2 (en) * 2016-02-02 2019-03-26 Tactual Labs Co. Area filtering for low-latency and high-latency input event paths from a single touch sensor
US10395550B2 (en) * 2016-02-17 2019-08-27 Cae Inc Portable computing device and method for transmitting instructor operating station (IOS) filtered information
US10203860B2 (en) * 2016-03-18 2019-02-12 Ebay Inc. Graphical user interface element adjustment
CN106919285B (zh) * 2017-02-28 2021-01-15 北京小米移动软件有限公司 一种终端
US20190279100A1 (en) * 2018-03-09 2019-09-12 Lattice Semiconductor Corporation Low latency interrupt alerts for artificial neural network systems and methods
US20200371616A1 (en) * 2019-05-20 2020-11-26 Brydge Global Pte Ltd. Wireless Multi-Touch Device Systems and Methods
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110609645B (zh) 2019-06-25 2021-01-29 华为技术有限公司 一种基于垂直同步信号的控制方法及电子设备
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
FR3105686A1 (fr) * 2019-12-18 2021-06-25 Sagemcom Broadband Sas Equipement décodeur à double liaison audio
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11706656B2 (en) * 2020-06-29 2023-07-18 Qualcomm Incorporated Downlink data prioritization for time-sensitive applications
KR20220155679A (ko) * 2021-05-17 2022-11-24 삼성전자주식회사 제어 방법 및 그 방법을 이용하는 장치
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691974A (en) * 1995-01-04 1997-11-25 Qualcomm Incorporated Method and apparatus for using full spectrum transmitted power in a spread spectrum communication system for tracking individual recipient phase, time and energy
US20060031565A1 (en) * 2004-07-16 2006-02-09 Sundar Iyer High speed packet-buffering system
US20060114836A1 (en) * 2004-08-20 2006-06-01 Sofie Pollin Method for operating a combined multimedia -telecom system
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
KR20070094723A (ko) * 2004-09-01 2007-09-21 스미스 리서치 엘엘씨 개인화된 헤드폰 가상화 방법
US20120216134A1 (en) * 2011-02-18 2012-08-23 Nuance Communications, Inc. Latency Hiding Techniques for Multi-Modal User Interfaces

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3052997B2 (ja) * 1996-01-12 2000-06-19 日本電気株式会社 手書き入力表示装置
US6292857B1 (en) * 1997-06-05 2001-09-18 Microsoft Corporation Method and mechanism for coordinating input of asynchronous data
US6538667B1 (en) * 1999-07-23 2003-03-25 Citrix Systems, Inc. System and method for providing immediate visual response to user input at a client system connected to a computer system by a high-latency connection
US7483042B1 (en) * 2000-01-13 2009-01-27 Ati International, Srl Video graphics module capable of blending multiple image layers
US6539354B1 (en) * 2000-03-24 2003-03-25 Fluent Speech Technologies, Inc. Methods and devices for producing and using synthetic visual speech based on natural coarticulation
US6882346B1 (en) 2000-11-17 2005-04-19 Hewlett-Packard Development Company, L.P. System and method for efficiently rendering graphical data
JP4011320B2 (ja) * 2001-10-01 2007-11-21 株式会社半導体エネルギー研究所 表示装置及びそれを用いた電子機器
JP3853637B2 (ja) 2001-11-02 2006-12-06 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、方法及びコンピュータプログラム
US7292629B2 (en) * 2002-07-12 2007-11-06 Rambus Inc. Selectable-tap equalizer
US9756349B2 (en) 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
US7233164B2 (en) * 2003-12-17 2007-06-19 Rambus Inc. Offset cancellation in a multi-level signaling system
EP1603108B1 (en) * 2004-06-02 2017-03-22 BlackBerry Limited Mixed Monochrome and Colour Display Driving Technique
GB0502891D0 (en) 2005-02-12 2005-03-16 Next Device Ltd User interfaces
US9135951B2 (en) * 2006-10-10 2015-09-15 Qualcomm Incorporated System and method for dynamic audio buffer management
US7917784B2 (en) 2007-01-07 2011-03-29 Apple Inc. Methods and systems for power management in a data processing system
JP5030651B2 (ja) * 2007-04-17 2012-09-19 任天堂株式会社 描画処理プログラムおよび描画処理装置
US8766955B2 (en) 2007-07-25 2014-07-01 Stmicroelectronics, Inc. Methods and apparatus for latency control in display devices
US8856196B2 (en) * 2008-07-22 2014-10-07 Toyota Jidosha Kabushiki Kaisha System and method for transferring tasks in a multi-core processor based on trial execution and core node
US8243970B2 (en) * 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
US20100201636A1 (en) * 2009-02-11 2010-08-12 Microsoft Corporation Multi-mode digital graphics authoring
EP2425322A4 (en) * 2009-04-30 2013-11-13 Synaptics Inc CONTROL CIRCUIT ELEMENTS AND METHOD
US8171154B2 (en) 2009-09-29 2012-05-01 Net Power And Light, Inc. Method and system for low-latency transfer protocol
US8073995B2 (en) * 2009-10-19 2011-12-06 Research In Motion Limited Efficient low-latency buffer
JP5430491B2 (ja) * 2010-05-17 2014-02-26 キヤノン株式会社 情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法
EP2625591A4 (en) 2010-10-05 2014-04-30 Citrix Systems Inc TOUCH SUPPORT FOR REMOTE APPLICATIONS
US8804794B2 (en) * 2010-12-04 2014-08-12 Aquantia Corporation Adjustable latency transceiver processing
US20120215531A1 (en) * 2011-02-18 2012-08-23 Nuance Communications, Inc. Increased User Interface Responsiveness for System with Multi-Modal Input and High Response Latencies
CN102651001B (zh) * 2011-02-28 2016-07-27 腾讯科技（深圳）有限公司 一种图片浏览的方法及装置
EP2783270B1 (en) 2011-11-21 2018-12-26 Microsoft Technology Licensing, LLC Customizing operation of a touch screen
US10296205B2 (en) 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
US20130155018A1 (en) 2011-12-20 2013-06-20 Synaptics Incorporated Device and method for emulating a touch screen using force information
US10504485B2 (en) 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
CN103186329B (zh) 2011-12-27 2017-08-18 富泰华工业（深圳）有限公司 电子设备及其触摸输入控制方法
EP2904484A4 (en) 2012-10-05 2016-06-01 Tactual Labs Co HYBRID SYSTEMS AND METHODS FOR THE PROCESSING AND FEEDBACK OF LOW-LATENCY USER ENTRY

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691974A (en) * 1995-01-04 1997-11-25 Qualcomm Incorporated Method and apparatus for using full spectrum transmitted power in a spread spectrum communication system for tracking individual recipient phase, time and energy
US20070005795A1 (en) * 1999-10-22 2007-01-04 Activesky, Inc. Object oriented video system
US20060031565A1 (en) * 2004-07-16 2006-02-09 Sundar Iyer High speed packet-buffering system
US20060114836A1 (en) * 2004-08-20 2006-06-01 Sofie Pollin Method for operating a combined multimedia -telecom system
KR20070094723A (ko) * 2004-09-01 2007-09-21 스미스 리서치 엘엘씨 개인화된 헤드폰 가상화 방법
US20120216134A1 (en) * 2011-02-18 2012-08-23 Nuance Communications, Inc. Latency Hiding Techniques for Multi-Modal User Interfaces

Also Published As

Publication number Publication date
US20190196681A1 (en) 2019-06-27
US9507500B2 (en) 2016-11-29
IL238127B (en) 2018-02-28
MX347342B (es) 2017-04-21
KR101867494B1 (ko) 2018-07-17
US10222952B2 (en) 2019-03-05
EP2904484A1 (en) 2015-08-12
BR112015007617A2 (pt) 2017-07-04
SG11201502619UA (en) 2015-05-28
US20220253185A1 (en) 2022-08-11
US20140139456A1 (en) 2014-05-22
EP2904484A4 (en) 2016-06-01
SG10201601697SA (en) 2016-04-28
MX2015004244A (es) 2015-09-23
US9927959B2 (en) 2018-03-27
US20170235457A1 (en) 2017-08-17
HK1213663A1 (zh) 2016-07-08
WO2014055942A1 (en) 2014-04-10
AU2013326854A1 (en) 2015-04-30
CN104903832A (zh) 2015-09-09
JP6293763B2 (ja) 2018-03-14
CN104903832B (zh) 2020-09-25
JP2015536008A (ja) 2015-12-17
US20140143692A1 (en) 2014-05-22
CA2885184A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
KR101867494B1 (ko) 저지연 유저 입력 프로세싱과 피드백용 하이브리드 시스템 및 방법
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
US11727650B2 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
Ng et al. Designing for low-latency direct-touch input
US9830014B2 (en) Reducing control response latency with defined cross-control behavior
JP2016528612A5 (ko)
EP3019943A1 (en) Reducing control response latency with defined cross-control behavior
WO2023231749A9 (zh) 基于光场显示装置的交互方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right