KR20140117475A - 저 레이턴시 터치 입력 장치 - Google Patents

저 레이턴시 터치 입력 장치 Download PDF

Info

Publication number
KR20140117475A
KR20140117475A KR1020147021623A KR20147021623A KR20140117475A KR 20140117475 A KR20140117475 A KR 20140117475A KR 1020147021623 A KR1020147021623 A KR 1020147021623A KR 20147021623 A KR20147021623 A KR 20147021623A KR 20140117475 A KR20140117475 A KR 20140117475A
Authority
KR
South Korea
Prior art keywords
handwriting
physical layer
input device
screen display
touch screen
Prior art date
Application number
KR1020147021623A
Other languages
English (en)
Other versions
KR102055959B1 (ko
Inventor
티모시 앤드류 라지
스티븐 나빌 바티세
폴 헨리 디에츠
버나드 케이 린
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140117475A publication Critical patent/KR20140117475A/ko
Application granted granted Critical
Publication of KR102055959B1 publication Critical patent/KR102055959B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 문서는 저 레이턴시 터치 입력 장치의 실시예를 설명한다. 저 레이턴시 터치 입력 장치는 장치에 대한 입력으로서 필기(writing)를 수신하고 장치의 터치스크린 디스플레이에 겹쳐지는 물리적 레이어 상에 필기를 일시적으로 디스플레이한다. 필기는 터치 입력 장치가 입력을 처리하기 전에 물리적 레이어 상에 일시적으로 즉각적으로 디스플레이된다. 저 레이턴시 터치 입력 장치는 이후에 입력을 처리하여 필기의 디지털 표현을 생성하고, 필기의 디지털 표현을 터치스크린 디스플레이 상에 렌더링하여 물리적 레이어 상에 디스플레이된 필기를 교체한다.

Description

저 레이턴시 터치 입력 장치{LOW-LATENCY TOUCH-INPUT DEVICE}
통상적인 터치 입력 장치(예, 태블릿 장치 또는 신용 카드 서명 장치)에 터치스크린 디스플레이가 장착된다. 터치스크린 디스플레이는 사용자가 필기 도구(예, 스타일러스, 전자 펜 또는 사용자의 손가락)를 사용하여 필기하는 것을 가능하게 한다. 그러나 전형적인 터치 입력 장치는 약 100ms의 레이턴시를 가진다. 레이턴시는 터치스크린 디스플레이를 통해 수신되는 필기(writing)와 터치스크린 디스플레이 상에 렌더링되는 필기의 디지털 표현 사이의 지연이다. 전기영동식(electrophoretics)과 같은 저속 디스플레이 장치에서는 이러한 지연이 더 길어질 수 있다. 터치스크린 디스플레이 상에 렌더링되는 디지털 표현이 필기 도구의 순간적인 위치에 바로 링크되지 않기 때문에 이러한 레이턴시는 터치 입력 장치 상에 필기하는 것을 더 어렵게 한다.
본 문서는 저 레이턴시 터치 입력 장치의 실시예를 설명한다. 저 레이턴시 터치 입력 장치는 장치에 대한 입력으로서 필기(writing)를 수신하고 장치의 터치스크린 디스플레이 위에 놓인 물리적 레이어 상에 필기를 일시적으로 디스플레이한다. 필기는 터치 입력 장치가 입력을 처리하기 전에 물리적 레이어 상에 일시적으로 그리고 즉각적으로 디스플레이된다. 저 레이턴시 터치 입력 장치는 이후에 입력을 처리하여 필기의 디지털 표현을 생성하고, 필기의 디지털 표현을 터치스크린 디스플레이 상에 렌더링하여 물리적 레이어 상에 디스플레이된 필기를 교체한다.
본 요약은 이하의 발명을 실시하기 위한 구체적인 내용에서 더 기술될 개념을 선택하여 단순화된 형식으로 소개하기 위해 제공된다. 본 요약은 특허청구범위에 기재된 발명의 대상의 주요 특징 또는 핵심 특징을 밝히고자 하는 것이 아니며, 특허청구범위의 발명의 대상의 범위를 결정하는 것을 보조하는 데 사용하려는 것도 아니다.
저 레이턴시 터치 입력 장치의 실시예가 다음의 도면을 참조하여 설명된다. 도면 전체에서 동일한 번호는 동일한 특징 및 컴포넌트를 참조하는 데 사용된다.
도 1은 저 레이턴시 터치 입력 장치가 구현될 수 있는 예시적인 환경을 도시한다.
도 2a 및 도 2b는 저 레이턴시 터치 입력 장치의 상세한 예를 나타낸다.
도 3은 저 레이턴시 터치 입력 장치를 제어하는 예시적인 방법을 나타낸다.
도 4는 저 레이턴시 터치 입력 장치가 구현될 수 있는 예시적인 장치를 나타낸다.
통상적인 터치 입력 장치(예, 태블릿 장치 또는 신용 카드 서명 장치)에는 터치스크린 디스플레이가 장착되며, 터치스크린 디스플레이는 필기 도구(예, 스타일러스, 전자 펜 또는 사용자의 손가락)를 사용하여 사용자가 필기하는 것을 가능하게 한다. 예를 들어, 태블릿 장치는 사용자가 수기를 하는 데 사용될 수 있다. 유사하게, 신용 카드 서명 장치는 사용자가 신용 카드를 사용하여 구매를 한 후에 사용자의 서명을 수신하는 데 사용될 수 있다.
그러나, 일반적인 터치 입력 장치는 터치스크린 디스플레이를 통해 수신되는 필기와 터치스크린 디스플레이 상에 렌더링되는 필기의 디지털 표현 사이의 레이턴시 또는 지연을 가질 수 있다. 저속 디스플레이 장치(예, 전기영동식)에 관해, 이러한 지연이 더 길어질 수 있다. 이러한 지연은 필기의 디지털 표현이 사용자의 움직임 이후에 보이게 하고, 이는 손의 움직임을 터치스크린 디스플레이 상에 렌더링되는 필기의 디지털 표현에 맞게 조정하는 사용자의 두뇌 속의 피드백 루프를 깨뜨린다. 그러한 효과는 지연된 청각 피드백과도 유사하며, 말더듬이 현상(stammering)을 일으키는 것으로 널리 알려져 있다. 지연은 일반적으로 센서 프로세서, 내부 버스, 코어 프로세서, 디스플레이 버퍼 및 터치스크린 디스플레이 상에 물리적으로 필기를 하는 데 걸리는 시간을 포함하는 서브 컴포넌트에서의 적은 시간 지연의 누적이다. 따라서, 지연은 통상적인 터치 입력 장치의 터치스크린 디스플레이 상에 필기를 하는 것을 어렵게 한다.
본 문서는 레이턴시의 효과를 줄이거나 제거하는 저 레이턴시 터치 입력 장치에 대해 기술한다. 저 레이턴시 터치 입력 장치는 장치의 터치스크린 디스플레이 위에 놓인 물리적 레이어 상에 필기 도구가 쓰기를 하는 경우에 장치에 대한 입력으로서 필기를 수신한다. 물리적 레이어는 필기가 수신됨에 따라, 터치 입력 장치가 입력을 처리하기 전에, 일시적으로 그리고 즉각적으로 필기를 디스플레이한다. 일부 실시예에서, 물리적 레이어는 필기가 수신된 후에 50 밀리초 미만으로 필기를 디스플레이할 수 있다. 필기를 즉시 디스플레이함으로써, 사용자의 두뇌의 피드백 루프(이는 사용자의 손의 움직임을 디스플레이 상의 필기의 표현에 맞게 조정함)를 깨트리지 않는다. 저 레이턴시 터치 입력 장치는 이후에 입력을 처리하여 필기의 디지털 표현을 생성하고 터치스크린 디스플레이 상에 필기의 디지털 표현을 렌더링하여 물리적 레이어 상에 디스플레이된 필기를 대체한다.
예시적인 환경
도 1은 저 레이턴시 터치 입력 장치가 구현될 수 있는 예시적인 환경(100)의 도면이다. 환경(100)은 저 레이턴시 터치 입력 장치(102)(터치 입력 장치)를 포함하고, 이는 태블릿 장치로서 본 예에 설명된다. 그러나, 터치 입력 장치(102)가 제한이 아닌 예로서 신용 카드 서명 장치, 스마트 폰, 랩톱 컴퓨터, 텔레비전 장치 또는 데스크톱 컴퓨터 중 하나를 포함하는 터치스크린 디스플레이를 통해 입력을 수신하도록 구성되는 임의의 장치로서 구현될 수 있다는 것을 이해할 수 있을 것이다.
저 레이턴시 터치 입력 장치(102)는 프로세서(들)(104) 및 컴퓨터 판독가능 매체(106)를 포함하고, 컴퓨터 판독가능 매체는 메모리 매체(108) 및 저장 매체(110)를 포함한다. 컴퓨터 판독가능 매체(106) 상의 컴퓨터 판독가능 명령어로서 구현되는 애플리케이션 및/또는 운영체제(도시되지 않음)가 프로세서(들)(104)에 의해 실행되어 본 명세서에 설명된 기능 중 일부 또는 전부를 제공할 수 있다. 또한, 컴퓨터 판독가능 매체는 터치 입력 장치(102)에 의해 수신되는 필기를 필기의 디지털 표현으로 변환하는 디지타이저(112) 및 컨트롤러(114)를 포함한다. 컨트롤러(114)가 구현되고 사용되는 방식은 변경될 수 있으며 이하에 논의되는 방법의 일부로서 설명된다.
터치 입력 장치(102)는 또한 터치스크린 디스플레이(116)를 포함하고, 이는 사용자가 필기 도구(118)를 사용하여 터치 입력 장치(102) 상에 쓰기를 하는 경우에 입력으로서 필기를 수신하고, 필기의 디지털 표현을 디스플레이하도록 구성된다. 본 명세서에 설명된, "필기 도구(writing tool)"라는 용어는 제한이 아닌 예로서, 스타일러스, 전자 펜, 광원이 장착된 라이트 펜(light pen) 또는 사용자의 손가락을 포함하는, 터치스크린 상에 필기를 할 수 있는 임의의 도구를 나타낸다. 일부 실시예에서, 터치 입력 장치는 스타일러스, 전자 펜 또는 광원이 장착된 라이트 펜을 통해 입력을 수신하도록 구체적으로 구성되는 펜 입력 장치일 수 있다.
터치스크린 디스플레이(116)는 필기 도구(118)가 터치스크린 디스플레이(116)에 겹쳐지는 물리적 레이어(120)와 접촉하는 경우에 입력으로서 필기를 수신하도록 구현될 수 있다. 터치스크린 디스플레이(116)는 필기 도구(118)가 물리적 레이어(120)와 접촉을 하는 경우에도 입력을 수신한다. 따라서, 물리적 레이어(120)는 필기가 터치스크린 디스플레이(120)에 의해 입력으로서 수신되는 것을 허용할 만큼 유연 및/또는 투명할 수 있다. 컨트롤러(114)는 터치스크린 디스플레이 상에서 필기가 수신되는 위치를 포함하는 이러한 입력을 디지타이저(112)에 송신하며, 디지타이저는 입력을 처리하거나 "디지털화하여" 필기의 디지털 표현을 생성한다. 이후에, 컨트롤러(114)는 터치스크린 디스플레이(116) 상에 필기의 디지털 표현을 렌더링한다. 터치스크린 디스플레이(116)는 다양한 유형의 터치스크린 디스플레이(제한이 아닌 예로서, 용량성 터치스크린 디스플레이, 저항성 터치스크린 디스플레이, 적외선 터치스크린 디스플레이 또는 광학 터치스크린 디스플레이 중 하나를 포함함)로서 구현될 수 있다.
다양한 실시예에 따르면, 물리적 레이어(120)는 필기가 수신되면, 터치 입력 장치(102)가 터치스크린 디스플레이(116) 상에서 필기의 표현을 처리하고 렌더링할 수 있기 전에, 필기를 일시적이고 즉각적으로 디스플레이하도록 구성된다. 예를 들어, 물리적 레이어는 필기가 수신된 후에 50 밀리초 미만으로 필기를 디스플레이할 수 있다. 일 실시예에서, 물리적 레이어(120)는 터치 입력 장치(102)가 입력을 처리하지 않고 필기를 즉시 디스플레이하는 압력 감지 레이어(pressure-sensitive layer)로서 구현될 수 있다. 예를 들어, 물리적 레이어(120)는 물리적 레이어(120)와 필기 도구(118) 사이의 물리적 접촉에 응답하여 광을 즉시 또는 실질적으로 즉시 방출하거나 반사할 수 있다. 이러한 방식으로, 터치 입력 장치(102) 상에 필기하는 경우에 사용자는 레이턴시 없이 즉각적인 피드백을 수신하고, 이는 사용자로 하여금 터치 입력 장치 상에 필기하는 것을 훨씬 쉽게 한다.
물리적 레이어(120) 상에 디스플레이되는 필기는 필기가 물리적 레이어로부터 완전히 사라지거나 삭제되기 전에 일시적으로만 디스플레이된다. 필기가 물리적 디스플레이로부터 완전히 사라지거나 또는 삭제되기 전에 또는 이와 동시에, 터치 입력 장치(102)는 터치스크린 디스플레이(116) 상에 필기의 디지털 표현을 렌더링한다. 필기의 디지털 표현은 물리적 레이어(120) 상에 디스플레이되는 필기를 대체한다. 일부 실시예에서, 물리적 레이어(120) 상에 디스플레이되는 필기 및 터치스크린 디스플레이(116) 상에 렌더링되는 필기의 디지털 표현이 터치 입력 장치(102) 상에서 동일하거나 실질적으로 동일한 위치를 점유하기 때문에 이들을 사용자가 구별가능하지 않다. 나아가, 필기를 디스플레이하는 물리적 계층(120)과 필기의 디지털 표현을 디스플레이하는 터치스크린 디스플레이(116) 사이의 전환이 사용자에게 인식되지 않을 수 있다. 따라서, 일부 실시예에서, 사용자에게 터치 입력 장치(102)는 필기가 수신되는 것과 동시에 필기의 디지털 표현을 디스플레이하는 것으로 보인다.
터치 입력 장치(102)는 다양한 다른 기법을 사용하여 물리적 레이어(120) 상에 필기를 일시적으로 디스플레이할 수 있다. 일 실시예에서, 물리적 레이어(120) 상에 디스플레이되는 필기가 시간이 지남에 따라 사라진다. 예를 들어, 물리적 레이어(120) 상에 디스플레이되는 필기는 필기가 물리적 레이어(120)로부터 완전히 사라질 때까지, 일정 시간에 걸쳐 서서히 흐릿해질 수 있다. 이러한 소멸 시간(decay time) 동안, 터치 입력 장치(102)는 터치스크린 디스플레이(116) 상에 필기의 디지털 표현을 렌더링하여 물리적 레이어(120) 상에 디스플레이되는 필기를 대체한다.
다른 실시예에서, 물리적 레이어(120)는 예를 들면, 일정한 시간 간격으로 주기적으로 리프레시되어 물리적 레이어 상에 디스플레이되는 필기를 제거한다. 예를 들어, 컨트롤러(114)는 2초 마다 물리적 레이어(120)를 리프레시하여 물리적 레이어로부터 필기를 제거하도록 구현될 수 있다. 하나의 다른 실시예에서, 컨트롤러(114)는 물리적 레이어(120)로부터 필기를 삭제하도록 결정할 수 있고 이어서 물리적 레이어로부터 필기를 삭제한다. 컨트롤러(114)는 다른 다양한 방식으로 이러한 결정을 할 수 있다. 예를 들어, 컨트롤러(114)는 일정 기간 동안 사용자가 필기를 중단하는 경우, 완전한 단어가 사용자에 의해 쓰여진 경우 또는 사용자가 새로운 라인 상에 필기를 시작하는 경우에 필기를 물리적 레이어로부터 삭제하도록 결정할 수 있다. 다른 예에서, 컨트롤러(114)는 터치스크린 디스플레이(116) 상의 필기의 디지털 표현을 처리하고 렌더링하는 데 걸리는 시간의 양에 기초한 시간 간격으로 필기를 물리적 레이어로부터 삭제하도록 결정할 수 있다.
또 다른 예에서, 컨트롤러(114)는 예를 들면 사용자가 e-북의 페이지를 돌리는 것과 같은 사용자 액션에 응답하여 필기를 물리적 레이어(120)로부터 제거하도록 결정할 수 있다. 예를 들어, 사용자가 e-북의 페이지 상에 노트를 작성하는 경우에, 노트가 물리적 레이어(120) 상에 즉시 디스플레이될 수 있다. 이어서, 사용자가 e-북의 다음 페이지로 네비게이션하는 경우에, 노트가 물리적 레이어(120)로부터 삭제될 수 있다. 이후에 사용자가 다시 페이지로 돌아가면, 노트의 디지털 표현이 터치스크린 디스플레이(116) 상에 디스플레이될 수 있어 물리적 레이어(120) 상에 이전에 디스플레이되었던 노트를 교체한다. 이는 컨트롤러(114)가 물리적 레이어(120)로부터 필기를 삭제하도록 결정할 수 있는 가능한 방식 중 일부일 뿐이라는 것을 이해할 수 있을 것이다.
물리적 레이어(120)는, 필기 도구가 물리적 레이어와 접촉하는 경우에, 필기와 같은 입력을 즉시 디스플레이할 수 있는 임의의 유형의 물질로 구현될 수 있다. 제한이 아닌 예로서, 물리적 레이어(120)는 터치스크린 디스플레이(116) 위에 놓인 압력 감지 콜레스테릭 액정 레이어(pressure-sensitive cholesteric liquid crystal layer)로 구현될 수 있고, 필기 도구로부터의 압력이 압력 감지 콜레스테릭 액정 레이어에 가해지는 경우에 필기를 일시적으로 디스플레이한다. 물리적 레이어(120)가 압력 감지 콜레스테릭 액정 레이어로 구현되는 경우에, 물리적 레이어(120)는 필기 도구(118)로부터 필기를 수신할 수 있고 즉시 필기를 디스플레이한다. 이어서, 주기적으로 압력 감지 콜레스테릭 액정 레이어가 전자적으로 리프레시되어 필기의 디스플레이를 삭제하고, 이는 터치스크린 디스플레이(116) 상의 필기의 디지털 표현에 의해 교체될 수 있다.
다른 예로서, 물리적 레이어(120)는 광원에 의해 접촉되는 경우에 즉각적으로 빛을 반사하도록 구성되는 야광 레이어(luminous layer)로서 구현될 수 있다. 이러한 예에서, 광원을 포함하는 라이트 펜이 터치 입력 장치(102) 상에 필기를 하는 데 사용될 수 있고, 이에 따라 라이트 펜이 야광 레이어와 접촉하면 광원으로부터 방출된 빛이 즉시 반사된다. 따라서, 물리적 레이어(120)가 야광 레이어로서 구현되는 경우에, 물리적 레이어(120)는 라이트 펜으로부터 필기를 수신하고 필기를 즉시 디스플레이한다. 이어서 필기는 시간이 지남에 따라 사라져 야광 물질로부터 필기의 디스플레이를 제거할 수 있으며, 이는 터치스크린 디스플레이(116) 상의 필기의 디지털 표현으로 교체될 수 있다.
도 2a 및 도 2b는 터치 입력 장치(102) 상의 필기의 상세한 예(200)를 나타낸다. 도 2a에서, 단계(202)에서, 사용자가 필기 도구(118)를 사용하여 터치 입력 장치(102) 상에 글자 "Joh"를 쓴다. 터치 입력 장치(102)는 사용자로부터 필기가 수신되는 즉시 글자 "Joh"를 디스플레이한다. 그러나, 필기가 수신된 후에 바로, 터치스크린 디스플레이(116)는 필기의 디지털 표현을 디스플레이하지 않는데(단계(204)), 이는 터치 입력 장치(102)가 아직 필기의 디지털 표현을 처리하고 렌더링하지 않았기 때문이다. 반면에, 물리적 레이어(120)는 단계(206)에서 필기가 수신될 때 즉시 글자 "Joh"를 디스플레이한다. 물리적 레이어(120)가 터치스크린 디스플레이(116) 위에 놓이기 때문에, 단계(202)에서 사용자에게는 필기의 디지털 표현이 동시에 디스플레이되는 것으로 보인다는 점에 주의한다.
계속하여 이제 도 2b를 참조하면, 단계(208)에서, 사용자는 필기 도구(118)를 사용하여 터치 입력 장치(102) 상에 문자 "n"을 쓴다. 단계(210)에서, 터치스크린 디스플레이(116)는 이제 문자 "Joh"의 디지털 표현을 디스플레이한다는 점에 주의한다. 그러나, 터치스크린 디스플레이(116)는 아직 문자 "n"의 디지털 표현을 디스플레이하지 않는데 이는 터치 입력 장치(120)가 아직 문자 "n"의 디지털 표현을 처리하고 렌더링하지 않았기 때문이다. 한편, 단계(212)에서 물리적 레이어(120)는 필기가 수신되는 즉시 문자 "n"을 디스플레이한다. 그러나 이러한 시점에, 문자 "Joh"는 물리적 레이어(120)로부터 삭제되거나 사라지고 있는 중이다. 물리적 레이어(120)가 터치스크린 디스플레이(116) 위에 놓여 있기 때문에, 단계(208)에서 사용자에게 문자 "John"의 디지털 표현이 즉시 디스플레이되는 것처럼 보인다.
예시적인 방법
도 3은 저 레이턴시 터치 입력 장치를 제어하는 예시적인 방법(300)을 나타내는 흐름도이다. 블록(302)은 터치 입력 장치로서 필기를 수신한다. 예를 들어, 터치 입력 장치(102, 도 1)는 필기 도구(118)가 터치스크린 디스플레이(116)와 겹쳐지는 물리적 레이어(120)와 접촉하는 경우에 입력으로서 필기를 수신한다.
블록(304)은 터치 입력 장치의 터치스크린 디스플레이와 겹쳐지는 물리적 레이어 상에 필기를 일시적으로 디스플레이한다. 예를 들어, 물리적 레이어(120)(터치스크린 디스플레이(116)와 겹쳐짐)는 필기를 일시적으로 디스플레이한다. 물리적 레이어(120)는 터치 입력 장치가 입력을 처리하기 전에 즉각적으로 필기를 디스플레이할 수 있다.
블록(306)은 입력을 처리하여 필기의 디지털 표현을 생성한다. 예를 들어, 디지타이저(112)는 입력을 처리하여 필기의 디지털 표현을 생성한다. 블록(308)은 터치스크린 디스플레이 상에 필기의 디지털 표현을 렌더링하여 물리적 레이어 상에 디스플레이된 필기를 교체한다. 예를 들어, 컨트롤러(114)는 터치스크린 디스플레이(116) 상에 필기의 디지털 표현을 렌더링하여 물리적 레이어(120) 상에 디스플레이된 필기를 교체한다.
예시적인 장치
도 4는 이전의 도 1 내지 3을 참조하여 설명된 임의의 유형의 클라이언트, 서버, 온-칩 시스템 및/또는 디스플레이 장치로서 구현될 수 있는 예시적인 장치(400)의 다양한 컴포넌트를 도시하여 저 레이턴시 터치 입력 장치를 가능하게 하는 기법을 구현한다. 실시예에서, 장치(400)는 유선 및/또는 무선 장치 중 하나 또는 이들의 조합, 평판 디스플레이의 형태로서의 헤드 장착 디스플레이 장치(예, 안경, 선글라스 등), 텔레비전, 텔레비전 클라이언트 장치(예, 텔레비전 셋톱 박스, 디지털 비디오 레코드(DVR) 등), 소비자 장치, 컴퓨터 장치, 서버 장치, 휴대용 컴퓨터 장치, 사용자 장치, 통신 장치, 비디오 프로세싱 및/또는 렌더링 장치, 애플리케이션 장치, 게이밍 장치, 전자 장치 및/또는 다른 유형의 장치로서 구현될 수 있다. 또한, 장치(400)는 뷰어(예, 사람이나 사용자) 및/또는 장치를 동작시키는 엔티티와 연관될 수 있어 장치가 사용자, 소프트웨어, 펌웨어 및/또는 장치의 조합을 포함하는 로직 장치를 기술하도록 한다.
장치(400)는 장치 데이터(404)(예, 수신된 데이터, 수신되고 있는 중인 데이터, 브로드캐스트를 위해 스케줄링된 데이터, 데이터의 데이터 패킷 등)의 유선 및/또는 무선 통신을 가능하게 하는 통신 장치(402)를 포함한다. 장치 데이터(404) 또는 다른 장치 콘텐트는 장치의 환경 설정(configuration settings), 장치에 저장된 미디어 콘텐트, 및/또는 장치의 사용자와 연관된 정보를 포함할 수 있다. 장치(400) 상에 저장된 미디어 콘텐트는 임의의 유형의 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 장치(400)는 하나 이상의 데이터 입력부(406)를 포함하고, 데이터 입력부를 통해, 예를 들면 사용자 선택가능 입력, 메시지, 음악, 텔레비전 미디어 콘텐트, 레코딩된 비디오 콘텐트 및 임의의 콘텐트 및/또는 데이터 소스로부터 수신되는 임의의 다른 유형의 오디오, 비디오 및/또는 이미지 데이터와 같은 임의의 유형의 데이터, 미디어 콘텐트 및/또는 입력이 수신된다.
또한, 장치(400)는 통신 인터페이스(408)를 포함하고, 이는 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 유형의 네트워크 인터페이스, 모뎀 중 하나 이상 및 임의의 다른 유형의 통신 인터페이스로서 구현될 수 있다. 통신 인터페이스(408)는 장치(400) 및 통신 네트워크(이에 의해 다른 전자, 컴퓨팅 및 통신 장치가 장치(400)와 데이터를 통신함) 사이의 연결 및/또는 통신 링크를 제공한다.
장치(400)는 하나 이상의 프로세서(410)(예, 임의의 마이크로프로세서, 컨트롤러 등)를 포함하며, 이는 다양한 컴퓨터 실행가능 명령어를 처리하여 장치(400)의 동작을 제어하고 저 레이턴시 터치 입력 장치를 구현하는 기법을 가능하게 한다. 택일적으로 또는 추가로, 장치(400)가 하드웨어, 펌웨어 또는 단계(412)에서 일반적으로 식별되는 프로세싱 및 제어 회로와 함께 구현될 수 있는 고정 로직 회로 중 임의의 하나 또는 이들의 조합으로 구현될 수 있다. 도시되지 않았으나, 장치(400)는 시스템 버스 또는 장치 내의 다양한 컴포넌트를 연결하는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 서로 다른 버스 구조(예, 메모리 버스 또는 메모리 컨트롤러, 주변회로 버스, 범용 직렬 버스, 및/또는 다양한 버스 아키텍처 중 임의의 것을 사용하여 프로세서 또는 로컬 버스) 중 하나 또는 이들의 조합을 포함할 수 있다.
또한, 장치(400)는 컴퓨터 판독가능 저장 매체(414)(예, 지속적인 및/또는 비 일시적인 데이터 저장을 가능하게 하는 하나 이상의 메모리 장치(즉, 단순한 신호 전송과 대비됨))를 포함하며, 컴퓨터 판독가능 저장 매체의 예로서는, RAM, 비휘발성 메모리(예, ROM, 비휘발성 RAM(NVRAM), 플래시 메모리, EPROM, EEPROM 등 중 하나 이상) 및 디스크 저장 장치가 포함된다. 디스크 저장 장치는 하드 디스크 드라이브, 레코딩 가능한 및/또는 재기입 가능한 CD(compact disc), 임의의 유형의 DVD 등과 같은 임의의 유형의 자기 또는 광학 저장 장치로서 구현될 수 있다. 또한, 장치(400)는 대용량 저장 매체 장치(416)를 포함할 수 있다.
컴퓨터 판독가능 저장 매체(414)는 장치 데이터(404)를 저장하기 위한 데이터 저장 메커니즘과 함께 다양한 장치 애플리케이션(418) 및 장치 동작 측면에 관련된 임의의 다른 유형의 정보 및/또는 데이터를 제공한다. 예를 들어, 운영체제(400)는 컴퓨터 판독가능 저장 매체(414)와 함께 컴퓨터 애플리케이션으로 관리될 수 있고 프로세서(410) 상에서 실행될 수 있다. 장치 애플리케이션(418)은 장치 매니저(예를 들면, 컨트롤 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정한 장치에 고유한 코드, 특정한 장치에 대한 하드웨어 추상 레이어 등의 임의의 형태)를 포함할 수 있다.
또한, 장치 애플리케이션(418)은 저 레이턴시 터치 입력 장치를 사용하는 또는 인에이블링하는 기법을 구현하기 위한 임의의 시스템 컴포넌트 또는 모듈을 포함한다. 이러한 예에서, 장치 애플리케이션(418)은 디지타이저(112) 및 저 레이턴시 터치 입력 장치를 제어하는 컨트롤러(114)를 포함할 수 있다.
결론
본 문서는 저 레이턴시 터치 입력 장치의 실시예를 설명한다. 본 발명은 구조적 특징 및/또는 방법론적 단계에 특정된 언어로 설명되었으나, 첨부된 청구항에 정의된 발명은 설명된 구체적인 특징이나 단계에 반드시 제한될 필요가 없다. 오히려, 특정한 특징 및 단계는 청구된 발명을 구현하는 예시적인 형태로서 개시된 다.

Claims (10)

  1. 터치 입력 장치로서,
    상기 터치 입력 장치에 대한 입력으로서 필기(writing)를 수신하는 터치스크린 디스플레이와,
    상기 터치스크린 디스플레이에 겹쳐지는 물리적 레이어 - 상기 물리적 레이어는 상기 필기를 일시적으로 디스플레이하도록 구성됨 - 와,
    상기 입력을 처리하여 상기 필기의 디지털 표현을 생성하는 디지타이저(digitizer)와,
    상기 터치스크린 디스플레이 상에 상기 필기의 디지털 표현을 렌더링하여 상기 물리적 레이어 상에 디스플레이된 상기 필기를 교체하는 컨트롤러
    를 포함하는 터치 입력 장치.
  2. 제1항에 있어서,
    상기 물리적 레이어는 추가로, 상기 디지타이저가 상기 입력을 처리하기 전에 상기 필기를 즉각적으로 디스플레이하도록 구성되는
    터치 입력 장치.
  3. 제1항에 있어서,
    상기 터치 입력 장치는 스타일러스, 전자 펜, 라이트 펜 또는 사용자의 손가락이 상기 터치스크린 디스플레이와 접촉하는 경우에 입력으로서 상기 필기를 수신하도록 구성되는
    터치 입력 장치.
  4. 제1항에 있어서,
    상기 컨트롤러는,
    상기 물리적 레이어를 일정한 시간 간격으로 주기적으로 리프레시하여 상기 물리적 레이어로부터 상기 필기를 제거하고,
    상기 터치스크린 디스플레이 상에 상기 필기의 디지털 표현을 렌더링하여 상기 물리적 레이어로부터 제거되는 상기 필기를 교체함으로써
    상기 필기의 디지털 표현을 렌더링하도록 구성되는
    터치 입력 장치.
  5. 제1항에 있어서,
    상기 물리적 레이어 상에 디스플레이되는 필기는 시간이 지남에 따라 사라지도록 구성되고,
    상기 컨트롤러는 상기 필기가 상기 물리적 레이어로부터 완전히 사라지기 전에 상기 터치스크린 디스플레이 상에 상기 필기의 디지털 표현을 렌더링하도록 구성되는
    터치 입력 장치.
  6. 제1항에 있어서,
    상기 물리적 레이어는, 필기 도구로부터의 압력이 압력 감지 콜레스테릭 액정 레이어(pressure-sensitive cholesteric liquid crystal layer)에 가해지는 경우에 상기 필기를 일시적으로 디스플레이하는 상기 압력 감지 콜레스테릭 액정 레이어를 포함하는
    터치 입력 장치.
  7. 제1항에 있어서,
    상기 물리적 레이어는 광원을 포함하는 필기 도구가 형광 레이어와 접촉하는 경우에, 상기 필기를 일시적으로 디스플레이하는 상기 형광 레이어를 포함하는
    터치 입력 장치.
  8. 터치 입력 장치에 대한 입력으로서 필기를 수신하는 단계와,
    상기 터치 입력 장치의 터치스크린 디스플레이 위에 놓이는 물리적 레이어 상에 상기 필기를 일시적으로 디스플레이하는 단계와,
    상기 입력을 처리하여 상기 필기의 디지털 표현을 생성하는 단계와,
    상기 터치스크린 디스플레이 상에 상기 필기의 디지털 표현을 렌더링하여 상기 물리적 레이어 상에 디스플레이된 필기를 교체하는 단계
    를 포함하는 컴퓨터로 구현되는 방법.
  9. 제8항에 있어서,
    상기 렌더링하는 것은,
    상기 물리적 레이어로부터 상기 필기를 제거하는 것과,
    상기 터치스크린 디스플레이 상에 상기 필기의 디지털 표현을 렌더링하여 상기 물리적 레이어로부터 제거되는 상기 필기를 교체하는 것
    을 더 포함하는 컴퓨터로 구현되는 방법.
  10. 제9항에 있어서,
    상기 제거하는 것은,
    상기 물리적 레이어를 일정한 시간 간격으로 주기적으로 리프레시하여 상기 필기를 상기 물리적 레이어로부터 제거하는 것, 또는
    상기 필기를 시간이 지남에 따라 사라지게 하여 상기 필기를 상기 물리적 레이어로부터 제거하는 것
    을 포함하는 컴퓨터로 구현되는 방법.
KR1020147021623A 2012-02-02 2013-01-23 저 레이턴시 터치 입력 장치 KR102055959B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/365,169 US9612739B2 (en) 2012-02-02 2012-02-02 Low-latency touch-input device
US13/365,169 2012-02-02
PCT/US2013/022614 WO2013116047A1 (en) 2012-02-02 2013-01-23 Low-latency touch-input device

Publications (2)

Publication Number Publication Date
KR20140117475A true KR20140117475A (ko) 2014-10-07
KR102055959B1 KR102055959B1 (ko) 2020-01-22

Family

ID=48902441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021623A KR102055959B1 (ko) 2012-02-02 2013-01-23 저 레이턴시 터치 입력 장치

Country Status (7)

Country Link
US (1) US9612739B2 (ko)
EP (1) EP2810145B1 (ko)
JP (1) JP6115965B2 (ko)
KR (1) KR102055959B1 (ko)
CN (1) CN104067208B (ko)
TW (1) TWI601038B (ko)
WO (1) WO2013116047A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160195975A1 (en) * 2012-12-23 2016-07-07 Microsoft Technology Licensing, Llc Touchscreen computing device and method
US9383840B2 (en) 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay
US9483171B1 (en) * 2013-06-11 2016-11-01 Amazon Technologies, Inc. Low latency touch input rendering
US10156976B2 (en) * 2014-01-30 2018-12-18 Samsung Display Co., Ltd. System and method in managing low-latency direct control feedback
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
KR102171389B1 (ko) * 2014-04-21 2020-10-30 삼성디스플레이 주식회사 영상 표시 시스템
KR102151206B1 (ko) 2014-07-07 2020-09-03 삼성디스플레이 주식회사 이동 단말기 및 그 제어방법
KR102206047B1 (ko) 2014-09-15 2021-01-21 삼성디스플레이 주식회사 단말 및 디스플레이 지연 감소 방법 및 장치
KR102314110B1 (ko) * 2014-09-16 2021-10-18 삼성디스플레이 주식회사 시각화 가속부를 포함하는 터치 표시 장치
US9633466B2 (en) 2014-09-29 2017-04-25 Microsoft Technology Licensing, Llc Low latency ink rendering pipeline
US9721365B2 (en) * 2014-12-09 2017-08-01 Synaptics Incorporated Low latency modification of display frames
US10089291B2 (en) 2015-02-27 2018-10-02 Microsoft Technology Licensing, Llc Ink stroke editing and manipulation
RU2668959C1 (ru) * 2017-06-19 2018-10-05 Шэньчжэнь Викью Оптоэлектроникс. Ко. Лтд Жидкокристаллическая пленка для записи информации и способ и устройство для изготовления жидкокристаллической пленки для записи информации
CN108153505B (zh) * 2017-12-26 2019-01-18 掌阅科技股份有限公司 手写输入内容的显示方法、电子设备及计算机存储介质
KR102521800B1 (ko) 2018-08-08 2023-04-14 삼성전자주식회사 드로잉 입력에 의한 애니메이티드 메시지를 생성하는 전자 장치
US20220121318A1 (en) * 2019-07-10 2022-04-21 Hewlett-Packard Development Company, L.P. Writing Feeling Improvement On Active Pen With Hover Detection
KR20210023434A (ko) * 2019-08-23 2021-03-04 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11862116B2 (en) * 2019-09-25 2024-01-02 Zhangyue Technology Co., Ltd Handwriting reading device, method for processing report point data, and computer storage medium
TWI774019B (zh) * 2020-07-13 2022-08-11 元太科技工業股份有限公司 電子紙顯示裝置及電子紙顯示面板的驅動方法
CN113936611B (zh) * 2020-07-13 2022-11-08 元太科技工业股份有限公司 电子纸显示设备及电子纸显示面板的驱动方法
CN112987373A (zh) * 2021-02-25 2021-06-18 维沃移动通信有限公司 显示装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020103A1 (en) * 2008-07-27 2010-01-28 Ure Michael J Interface with and communication between mobile electronic devices
JP2010230935A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 書込装置
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08227336A (ja) 1995-02-20 1996-09-03 Wacom Co Ltd 感圧機構及びスタイラスペン
US5905488A (en) 1996-10-11 1999-05-18 Xerox Corporation Local inking with gray pixels
JP2000029612A (ja) 1998-07-15 2000-01-28 Smk Corp タッチパネル入力装置
US7009626B2 (en) 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
KR100347439B1 (ko) 2001-02-28 2002-08-03 주식회사 에이터치 터치 패널의 압력 감지 구조 및 감지 방법
US20030146906A1 (en) 2002-02-04 2003-08-07 Chung-Chen Lin Tracking and pressure-sensitive digital pen
US7136048B2 (en) * 2002-02-19 2006-11-14 Nokia Corporation Electrically erasable writing surface
US7408598B2 (en) 2002-02-20 2008-08-05 Planar Systems, Inc. Light sensitive display with selected interval of light sensitive elements
JP2004312174A (ja) 2003-04-03 2004-11-04 Sharp Corp 電子機器の表示装置
US7170502B2 (en) 2003-04-04 2007-01-30 Seiko Epson Corporation Method for implementing a partial ink layer for a pen-based computing device
KR20060029180A (ko) * 2003-07-11 2006-04-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 전기 영동 디스플레이 유닛
US20080224989A1 (en) * 2004-01-22 2008-09-18 Koninklijke Philips Electronic, N.V. Electrophoretic Display and a Method and Apparatus for Driving an Electrophoretic Display
CN1851549A (zh) 2005-04-22 2006-10-25 青岛讯源光电有限公司 超高分辨率留迹式胆甾液晶书写输入显示屏
US9064772B2 (en) * 2005-10-07 2015-06-23 Integrated Digital Technologies, Inc. Touch screen system having dual touch sensing function
TW200816133A (en) * 2006-09-29 2008-04-01 Fujitsu Ltd Display element, electronic paper using the same, electronic terminal device using the same, display system using the same, and display element image processing method
US8063887B2 (en) 2007-02-09 2011-11-22 Ricoh Co., Ltd. Thin multiple layer input/output device
US8416197B2 (en) 2007-06-15 2013-04-09 Ricoh Co., Ltd Pen tracking and low latency display updates on electronic paper displays
US20090036176A1 (en) 2007-08-01 2009-02-05 Ure Michael J Interface with and communication between mobile electronic devices
WO2009031227A1 (ja) * 2007-09-06 2009-03-12 Fujitsu Limited 表示装置及びその駆動方法
JP2009175492A (ja) * 2008-01-25 2009-08-06 Seiko Epson Corp 電気泳動表示装置及びその駆動方法並びに電子機器
US20090189875A1 (en) 2008-01-29 2009-07-30 Research In Motion Limited Electronic device and touch screen display
JP2010162706A (ja) * 2009-01-13 2010-07-29 Fuji Xerox Co Ltd 感圧表示媒体及び筆記表示装置
US8493340B2 (en) 2009-01-16 2013-07-23 Corel Corporation Virtual hard media imaging
WO2010138568A2 (en) * 2009-05-28 2010-12-02 Kent Displays Incorporated Writing tablet information recording device
US20110273380A1 (en) 2010-05-07 2011-11-10 Research In Motion Limited Portable electronic device and method of controlling same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020103A1 (en) * 2008-07-27 2010-01-28 Ure Michael J Interface with and communication between mobile electronic devices
JP2010230935A (ja) * 2009-03-26 2010-10-14 Fuji Xerox Co Ltd 書込装置
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium

Also Published As

Publication number Publication date
KR102055959B1 (ko) 2020-01-22
US9612739B2 (en) 2017-04-04
JP2015505630A (ja) 2015-02-23
JP6115965B2 (ja) 2017-04-19
CN104067208B (zh) 2017-02-22
EP2810145B1 (en) 2019-09-25
CN104067208A (zh) 2014-09-24
EP2810145A4 (en) 2015-09-09
TW201346674A (zh) 2013-11-16
US20130201112A1 (en) 2013-08-08
EP2810145A1 (en) 2014-12-10
WO2013116047A1 (en) 2013-08-08
TWI601038B (zh) 2017-10-01

Similar Documents

Publication Publication Date Title
KR102055959B1 (ko) 저 레이턴시 터치 입력 장치
EP3017350B1 (en) Manipulation of content on a surface
US9658766B2 (en) Edge gesture
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
CN103562838B (zh) 边缘手势
TWI455011B (zh) 觸控顯示裝置及條件式改變顯示範圍之方法
US20090322697A1 (en) Touch-screen based input system and electronic device having same
US20120304132A1 (en) Switching back to a previously-interacted-with application
WO2019015097A1 (zh) 基于双系统的笔迹显示方法和系统、存储介质及设备
JP2008197634A (ja) 情報を表示する装置及び方法
EP2715504A1 (en) Edge gesture
US20130100035A1 (en) Graphical User Interface Interaction Using Secondary Touch Input Device
US11068151B2 (en) Content display device, content display method and program
US20190087202A1 (en) Waking and sleeping a display among a plurality of displays using gestures
TW201519078A (zh) 觸控式顯示裝置以及其防止誤觸方法
US10503694B2 (en) Deleting items based on user interation
KR20220049407A (ko) 디스플레이 장치 및 그 제어 방법
US20140003610A1 (en) Method of reproducing sound source of terminal and terminal thereof
TWI434251B (zh) 動態觸碰雲紋（ｍｕｒａ）補償方法及相關液晶顯示系統
JP2013200826A (ja) 表示システムおよび表示プログラム
JP2015114802A (ja) 表示装置及びタッチ入力方法
JP2014164328A (ja) 情報処理装置、情報処理方法およびプログラム
JP2013228908A (ja) 情報処理装置、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant