KR102326766B1 - 디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치 - Google Patents

디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치 Download PDF

Info

Publication number
KR102326766B1
KR102326766B1 KR1020140085204A KR20140085204A KR102326766B1 KR 102326766 B1 KR102326766 B1 KR 102326766B1 KR 1020140085204 A KR1020140085204 A KR 1020140085204A KR 20140085204 A KR20140085204 A KR 20140085204A KR 102326766 B1 KR102326766 B1 KR 102326766B1
Authority
KR
South Korea
Prior art keywords
keyboard
key
image frame
display device
identifying
Prior art date
Application number
KR1020140085204A
Other languages
English (en)
Other versions
KR20150006382A (ko
Inventor
시옹 웨이
세토 프랭크
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20150006382A publication Critical patent/KR20150006382A/ko
Application granted granted Critical
Publication of KR102326766B1 publication Critical patent/KR102326766B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

복수의 키를 포함하는 키보드 레이아웃을 갖는 디스플레이 장치의 키보드에서 선택된 적어도 하나의 키를 식별하는 방법이 제공된다. 상기 방법은, 상기 디스플레이 장치의 표시된 키보드에서 상기 선택된 적어도 하나의 키의 위치를 기반으로 상기 선택된 적어도 하나의 키를 식별하는 단계, 제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지로 업데이트하여 상기 디스플레이 장치가 상기 선택된 적어도 하나의 키를 표시하기 위해 상기 선택된 하나의 키를 나타내는 업데이트된 영상 프레임을 생성하는 단계, 및 상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 디스플레이 장치가 상기 업데이트된 영상 프레임을 표시하는 단계를 포함한다.

Description

디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치{DISPLAY DEVICE AND METHOD OF INDICATING SELECTED AT LEAST ONE OF KEYS}
본 출원은 2013년 7월 8일에 출원된 미국특허출원 61/843,890에 기초한 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다
본 발명의 실시예는 가상 키보드를 디스프레이하기 위한 데이터 프로세싱 장치에 관한 것이다.
최근, 터치스크린 장치는 휴대폰, 테블릿, 랩탑 등과 같은 개인 휴대 장치로 흔히 사용되고 있다. 휴대용 장치에 더하여, 터치스크린은 여러 산업 분야 및 사용자와 디스플레이된 내용 사이의 빠르고, 직감적이며, 정확한 상호작용을 허용하지 않는 키보드-마우스 시스템과 같은 자동차와 키오스크에 사용되고 있다.
터치스크린 디스플레이는, 예를 들어 스크린 센싱 터칭 (혹은, 두드림), 터치 스크린에 근접한 사용자의 손가락 또는 손 동작을 감지해서 사용자 입력을 인식한다. 이미지가 투사되고 터치가 감지되는 어떤 면이라도 터치스크린이 될 수 있다. 터치 스크린은 가상 키보드 (또는, 소프트 키보드)를 주로 사용하는데, 이 키보드는 물리적인 키들이 아니라 터치 스크린의 특정 영역으로 표시된다. 사용자가 스크린에서 가상 키를 터치하면, 터치 시스템은 터치를 감지하고 시스템 프로세서에 신호를 보내서 가상 키보드를 업데이트하고, 예를 들어, 하이라이트 되거나 확대된 가상 키를 보여주어 사용자에게 키 터치/누름(press)를 알려준다. 그러나, 상기 시스템 프로세서는 상기 터치 스크린 장치의 다른 프로세스 (예를 들어, 운영시스템 및 다른 많은 애플리케이션 구동)도 관리하기 때문에, 가상 키보드를 업데이트하는데 필요한 시간이 느려질 수 있으며, 사용자가 키를 터치한 시간과 키 프레스에 대한 시각적인 피드백이 발생하는 시간 사이에 현저한 래그(lag)가 발생할 수 있다.
따라서, 본 발명의 실시예들은 디스플레이 장치(e.g., 터치스크린 장치)의 디스플레이에 효율적인 인지 응답시간을 위한 장치를 제공하고, 기존의 프로세서 및/또는 운영 시스템의 변경을 요하지 않은 방법과 장치를 제공하고, 응용 소프트웨어에 의해 수정 및/또는 활성화 및/또는 비활성화되는 기능성을 제공한다.
본 발명의 실시예들은 디스플레이 장치의 가상 키에 대한 사용자의 선택에 응답하여 피드백 (e.g., 시각적인 피드백)을 제공하기 위한 방법 및 장치에 대한 것이다. 또한, 본 발명의 실시예들은 디스플레이 장치의 가상 키가 눌러진 시간으로부터 디스플레이 장치가 키 눌림에 대한 응답을 스크린에 표시하는 시간의 래그(lag)를 줄임으로써 거의 즉각적인 사용자 응답을 제공하는 것이다.
본 발명의 한 실시예에 따르면, 복수의 키를 포함하는 키보드 레이아웃을 갖는 디스플레이 장치의 키보드에서 선택된 적어도 하나의 키를 식별하는 방법이 제공된다. 상기 방법은, 상기 디스플레이 장치의 표시된 키보드에서 상기 선택된 적어도 하나의 키의 위치를 기반으로 상기 선택된 적어도 하나의 키를 식별하는 단계, 제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지로 업데이트하여 상기 디스플레이 장치가 상기 선택된 적어도 하나의 키를 표시하기 위해 상기 선택된 하나의 키를 나타내는 업데이트된 영상 프레임을 생성하는 단계, 및 상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 디스플레이 장치가 상기 업데이트된 영상 프레임을 표시하는 단계를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 상기 선택된 적어도 하나의 키를 식별하기 전에 응용 소프트웨어의 입력에 근거해서 키보드 레이아웃에 대응하는 키보드 템플릿을 식별하는 단계를 더 포함한다.
상기 키보드 템플릿을 식별하는 단계는 상기 키보드 레이아웃에 대응하는 저장된 키보드 템플릿을 식별하는 단계, 및 상기 저장된 키보드 템플릿의 크기를 일 회이상 조절하거나 회전하여 상기 키보드 템플릿을 생성하는 단계를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 상기 적어도 하나의 선택된 키의 저장된 이미지는 상기 적어도 하나의 선택된 키에 대응하는 키보드 템플릿의 세그먼트를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 키보드 레이아웃 변경을 감지한 후, 정해진 시간이 지나면 디스플레이 장치가 상기 다른 영상 프레임을 표시하는 단계를 더 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 상기 키보드 레이아웃 변경을 감지하는 단계는 현재 제공된 영상 프레임이 상기 키보드 템플릿에 대응하지 않음을 결정하는 단계를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 상기 키보드 레이아웃 변경을 감지하는 단계는 그다음 적어도 하나의 키 선택을 식별하는 단계를 포함한다.
상기 적어도 하나의 키 선택을 식별하는 단계는, 상기 디스플레이 장치의 상기 표시된 키보드에서 상기 선택된 적어도 하나의 키에 대한 위치를 감지하는 단계 및 상기 선택된 적어도 하나의 키에 대한 위치에 대응하는 키보드 마스크의 적어도 하나의 엔트리를 변경하는 단계를 포함하고, 상기 키보드 마스크는 상기 적어도 하나의 엔트리를 포함하는 상기 복수의 키에 대응하는 복수의 엔트리를 포함한다. 여기서, 상기 복수의 엔트리는 이진수 "1"과 이진수"1"을 포함한다.
상기 선택된 적어도 하나의 키에 대한 저장된 이미지는 키보드 마스크의 상기 적어도 하나의 변경된 엔트리에 대응하는 키보드 템플릿의 세그먼트를 포함한다.
상기 제공된 영상 프레임을 업데이트하는 단계는 키보드 템플릿과 상기 적어도 하나의 키 선택을 나타내는 키보드 마스크를 활용해서 수행된다.
상기 제공된 영상 프레임의 업데이트는 상기 복수의 키에 대응하는 복수의 이진수 엔트린를 포함하고 상기 적어도 하나의 키 선택을 나타내는 키보드 템플릿과 키보드 마스크를 기반으로 수행될 수 있다.
상기 선택된 적어도 하나의 키는 디스플레이 장치가 신속하게 표시된 키보드의 키보드 레이아웃을 제2 키보드 레이아웃으로 변경하도록 하는 기능키를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 제2의 적어도 하나의 키 선택을 식별하는 단계 및 응용 소프트웨ㅇ로부터 상기 제2 키보드 레이아웃에 대응하는 제2 키보드 템플릿을 수신하는 단계를 포함한다.
디스플레이 장치의 선택된 키 식별 방법은 현재 영상 프레임이 상기 키보드 레이아웃에 대응하지 않음을 결정하는 단계 및 템플릿 버퍼로부터 상기 제2 키보드 레이아웃에 대응하는 제2 키보드 템플릿을 수신하는 단계를 더 포함한다.
상기 제공된 영상 프레임을 업데이트하는 단계는 상기 적어도 하나의 선택된 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지의 픽셀들로 대체하는 단계를 포함한다.
상기 제공된 영상 프레임을 업데이트하는 단계는 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지의 픽셀들과 블렌딩하는 단계를 포함한다.
상기 선택된 적어도 하나의 키를 식별하고 상기 제공된 영상 프레임을 업데이트하는 단계는 하나의 영상 프레임 기간 동안에 발생한다.
디스플레이 장치의 선택된 키 식별 방법은 상기 디스플레이 장치 외부에 있는 그래픽 프로세서로부터 상기 제공된 영상 프레임을 수신하는 단계를 더 포함한다.
상기 선택된 적어도 하나의 키를 식별하는 단계는 터치 센서가 상기 선택된 적어도 하나의 키의 위치를 식별하는 단계를 포함한다.
상기 표시된 키보드는 표면에 투사된 키보드일 수 있다.
본 발명의 실시예에 따른 디스플레이 장치는 복수의 키를 포함하는 키보드 레이아웃을 갖는 디스플레이 장치의 키보드에서 적어도 하나의 선택된 키를 식별한다. 상기 디스플레이 장치는 상기 표시된 키보드를 나타내는 영상 프레임을 표시하기위해 구성된 디스플레이 유닛; 프로세서; 그리고, 명령들이 저장되어 있는 메모리를 포함하고, 상기 명령들이 실행되면 상기 프로세서는, 적어도 하나의 키 선택에 대한 응답으로: 상기 디스플레이 장치의 표시된 키보드에 있는 키 중 상기 선택된 적어도 적어도 하나의 키의 위치를 근거로 상기 선택된 적어도 하나의 키를 식별하는 명령; 제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대응하는 선택된 키의 저장된 이미지로 업데이트하여 상기 선택된 적어도 하나의 키를 나타내는 업데이트된 영상 프레임을 생성하도록 하는 명령; 및 상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 상기 업데이트된 영상 프레임을 디스플레이 장치에 출력하여 상기 디스플레이 장치가 업데이트된 영상 프레임을 표시하도록 하는 명령을 수행한다.
상기 실행된 명령들에 의해 상기 프로세서는 상기 선택된 적어도 하나의 키를 식별하기 전에 키보드에 대응하는 키보드 템플릿을 식별하고 정해신 시간이 경과하거나 상기 키보드 레이아웃의 변경이 감지된 후에 디스플레이 장치가 상기 다른 영상 프레임을 표시하도록 하는 명령을 더 수행할 수 있다.
상기 키보드 레이아웃의 변경을 감지하는 명령은 현재 제공된 영상 프레임이 상기 키보드 템플릿에 대응되지 않음을 결정하는 것을 포함할 수 있다.
상기 키보드 레이아웃의 변경을 감지하는 명령은 그다음의 적어도 하나의 키 선택을 식별하는 것을 포함할 수 있다.
상기 제공된 영상 프레임을 업데이트하는 명령은 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 키에 대한 저장된 이미지의 픽셀들로 대체하는 명령을 포함할 수 있다.
상기 제공된 영상 프레임을 업데이트하는 명령은 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 키에 대한 저장된 이미지의 픽셀들과 블렌딩하는 명령을 포함할 수 있다.
상기 선택된 적어도 하나의 키를 식별하고 상기 제공된 영상 프레임을 업데이트하는 단계는 하나의 영상 프레임 기간동안에 발생할 수 있다.
상기 선택된 적어도 하나의 키를 식별하는 단계는 터치 센서가 상기 선택된 적어도 하나의 키의 위치를 식별하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 복수의 키를 포함하는 키보드 레이아웃을 갖는 표시된 키보드에서 선택된 키를 식별하는 터치 인식 디스플레이 장치가 제공된다. 상기 터치 인식 디스플레이 장치는 상기 키보드를 표시하기위해 구성된 디스플레이 유닛; 상기 표시된 키보드에서 적어도 하나의 키 선택에 대한 응답으로 상기 선택된 적어도 하나의 키의 위치를 검출하기 위해 구성된 터치 센서; 프로세서; 및 명령들이 저장되어 있는 메모리를 포함하고, 상기 명령들이 실행되면, 프로세서는: 상기 터치 센서로부터 상기 선택된 적어도 하나의 키의 위치를 수신하고; 상기 선택된 적어도 하나의 키의 위치를 기반으로 상기 선택된 적어도 하나의 키를 식별하고; 제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대응하는 선택된 키의 저장된 이미지로 업데이트하여 상기 선택된 적어도 하나의 키를 나타내는 업데이트된 영상 프레임을 생성하고; 그리고 상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 상기 업데이트된 영상 프레임을 디스플레이 장치에 출력하여 상기 디스플레이 장치가 업데이트된 영상 프레임을 표시하도록 하는 프로세서를 포함한다.
상기 실행된 명령들은 프로세서가 상기 디스플레이 외부에 있는 그래픽 프로세서로부터 제공된 영상 프레임을 수신하도록 하는 명령을 더 포함한다.
이 도면들은 본 발명의 예시적인 실시예를 설명하는데 참조하기 위함이므로, 본 발명의 기술적 사상을 첨부한 도면에 한정해서 해석하여서는 아니된다.
도 1은 본 발명의 일부 실시예에 따른 가상 키보드에서 사용자 입력을 수신하고, 사용자에게 시각적인 피드백을 제공하기 위해 가상 키보드를 업데이트하기 위한 데이터 프로세싱 장치의 개략적인 블록도이다.
도 2는 본 발명의 일부 실시예에 따른 가상키보드 누름과 이에 대한 시각적 반응 사이의 사용자 인식 시간 래그를 줄이기 위해 가속기를 사용하는 데이터 프로세싱 장치(100a)의 개략적인 블록도이다.
도3(A)는 본 발명의 일부 실시예에 따른 사용자 선택을 감지하거나 그래픽 프로세서가 시각적인 피드백을 보여주는 영상 프레임을 제공하기 전에 시각적인 피드백을 제공함으로써 가상 키보드를 표시하는 프로세서(300)의 순서도이다.
도 3(B)은 본 발명의 일부 실시에에 따른 사용자 선택 감지에 대한 응답으로 디스플레이 장치의 표시된 키보드에 선택된 키를 나타내고, 그래픽 프로세서가 해당 선택을 나타내는 영상 프레임을 제공하기 전에 이와 같은 응답을 표시하는 프로세스에 대한 흐름도이다.
도 4(A)는 본 발명의 일부 실시예에 따른 비기능 가상키에 대한 사용자 선택에 대한 응답으로 디스플레이 장치에 의한 가상 키보드 변경 및 대응하는 키보드 템플릿과 키보드 마스크를 도시하는 일련의 도표를 도시한다.
도 4(B)는 본 발명의 일부 실시예에 따른 기능 가상키에 대한 사용자 선택에 대한 응답으로 디스플레이 장치에 의한 가상 키보드 변경 및 대응하는 키보드 템플릿과 키보드 마스크를 도시하는 일련의 도표를 도시한다,
도 4(C)는 본 발명의 일부 실시예에 따른 가상 키보드의 키보드 레이아웃을 도시한다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 가상 키보드에서 사용자 입력(e.g., 사용자 선택)을 수신하고, 사용자에게 시각적인 피드백을 제공하기 위해 가상 키보드를 업데이트하기 위한 데이터 프로세싱 장치(100)의 개략적인 블록도이다.
본 실시예에 따르면, 데이터 프로세싱 장치(100)는 터치 센서(101), 터치 조절기(102), 응용 프로세서 (AP)(104), 디스플레이 드라이버(또는, 타이밍 컨트롤러)(112), 디스플레이 유닛(114), 그리고 가속기(120)를 포함한다. 본 발명의 실시예에서, 디스플레이 장치(12)는 터치 조절기(102)와 통합될 수 있다. 상기 AP(104)는 중앙처리장치(CPU)(106), 응용 소프트웨어 (SW)(108), 그리고 그래픽 프로세싱 유닛 (GPU)(110)를 포함할 수 있다. 상기 가속기(120)는 하나의 개별적인 구성요소로 구현되거나, 터치 조절기(102), AP(104), 및/또는 디스플레이 드라이버(112) 중 어느 하나에 통합될 수 있다. 예를 들어, 도 1은 상기 가속기(12)가 디스플레이 드라이버(112)에 통합된 실시예를 도시한다.
본 발명의 실시예에 따르면, 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이해할 수 있는 바와 같이, 디스플레이 장치는 앞서 언급된 데이터 프로세싱 장치(100)의 하나 이상의 적절한 구성요소를 포함한다. 예를 들어, 표시 장치는 디스플레이 유닛(114)과 가속기(120)를 포함할 수 있으며, 하나 이상의 터치 센서(101), 터치 조절기(102), AP(104), 그리고 디스플레이 드라이버(112)를 더 포함할 수 있다
터치 센서 (e.g., 터치 스크린)(101)는사용자 선택(e.g., 사용자 터치 or 제스쳐)를 감지하고, 이에 대응하는 신호들을 터치 조절기(102)로 보낸다. 본 발명의 실시예에 따르면, 사용자 선택은 디스플레이 표면과 사용자 손가락(들) 및 스타일러스 등의 사이에 물리적인 접촉을 포함하거나, 디스플레이 표면에 근접한 사용자 손가락 제스쳐를 포함할 수 있다. 디스플레이 표면은 이미지가 표시되거나 투사되는 면 (스마트 폰, 태블릿, 또는 광학 가상 키보드 이미지가 투사되는 테이블 탑 (table top)의 디스플레이 패널)을 포함할 수 있다.
터치 조절기(102)는 터치 센서(101)로부터 수신된 신호들을 처리하고, 사용자 선택 이벤트 (e.g., 사용자 터치 이벤트)에 대응하는 신호를 AP(104)로 출력한다. 이 신호는 선택된 위치(e.g., 터치 위치)의 좌표를 포함할 수 있다. 그러면, AP(104)는 선택이벤트를 처리하고, 소프트웨어(SW)(108)는 CPU(106)를 구동해서 디스플레이 구성물들(e.g., 디스플레이 유닛(114)에 표시될 정보)을 적절하게 업데이트한다. GPU(110)는 디스플레이 구성물을 처리하고 적절한 영상 프레임(e.g., 표시될 이미지; 도2에 표시된 키보드 부분(420))을 제공하여 디스플레이 드라이버(112)에 포함된 디스플레이 드라이버 인터페이스(DDI)에 전송한다. 상기 DDI 컨트롤러는 CPU(114)에서 전송된 영상 프레임들을 순차적으로 처리하고 구동 신호(e.g., 픽셀 구동 신호 혹은 이미지 투사 신호)를 디스플레이 유닛(e.g., 디스플레이 패널 혹은 광학 프로젝터)로 출력한다.
본 실시예에 따른 가속기(120)를 사용하지 않을 경우, 선택 입력(e.g., 터치입력) 에서 디스플레이 출력의 긴 과정으로 인해 사용자가 키 선택 시간 (e.g., 가상 키보드 누름)과 피드백을 (e.g., 눌려진 키에 대응하는 하이라이트된 키를 표시하는 것) 이 제공되는 시간 사이에 현저한 지연을 인지할 수도 있다. 이와 같은 터치-to-디스플레이 루프(loop) (또는, 터치-to-디스플레이 래그 또는 선택-to-디스플레이 래그) 지연은, 예를 들어, 사용자에게 대략 100ms 혹은 그 이상으로 인지될 수 있다. 터치-to-디스플레이 래그로 인한 이와 같은 지연의 일부는, 대략 20ms 정도로 정해진, 터치 센서(101)의 응답 시간과 터치 조절기(102)의 처리 시간에 기인한다. 더욱이, 상기 지연의 일부는 AP(104)의 처리 시간에 기인한다. AP(104)의 처리 시간은 CPU(106)의 처리시간과 같이 기 설정되지 않으며 (e.g., 약 60ms에서 약 100ms), 어떤 시간이든, 하나 이상의 우선 순위가 높은 프로세스를 운영하느라 바쁘거나 그렇지 않을 수도 있다.
가속기(120)를 사용하면, 본 발명의 실시예는, GPU(110)가 업데이트 된 영상 프레임들을 제공하기 위한 시간 전에, 메모리에 저장된 선택된 키의 이미지를 표시해서 더 빠른 가상 키보드 응답을 허용할 수 있다. 본 발명의 실시예에 따르면, 상기 저장된 이미지들은 소프트웨어 애플리케이션에 프로그램될 수 있다. 본 발명의 일 실시예에서, 이와 같은 기능성은 애플리케이션 스프트웨어를 경유해서 활성화되거나 비활성화될 수 있다.
도 2는 본 발명의 실시예에 따른 가상키보드 누름과 이에 대한 시각적 반응 사이의 래그를 줄이기 위해 가속기(120)를 사용하는 데이터 프로세싱 장치(100a)의 개략적인 블록도이다.
본 발명의 한 실시예에 따르면, 가속기(120)는 디스플레이 드라이버(112)와 통합될 수 있다. 한 실시예에서, 가속기(120)는 템플릿 버퍼(122), 키보드 인식 유닛(124), 검출 논리 유닛(126), 템플릿 선택기(128), 스케일러(130), 마스크 생성기(132), 그리고 출력 논리 유닛(134)을 포함할 수 있다.
템플릿 버퍼(122)는 각각 하이라이트된 가상 키들의 이미지와 대응하는 키보드 레이아웃을 포함하는 다수의 키보드 템플릿(428)을 저장할 수 있다. 상기 키보드 레이아웃은 장치 디스플레이 스크린이나 투사 표면에 가상 키들을 정렬하는 것을 말한다. 예를 들어, 모바일 장치에 사용되는 표준 영자 키보드는 네가지의 키보드 레이아웃을 포함한다. 네 가지의 키보드 레이아웃은, 소문자 레이아웃, 대문자 레이아웃, 숫자와 일반 기호("@," "&," "#," "%," 및/또는 이러한 것), 그리고 일반적이지 않은 기호들("[," "]," "<," ">," "?," 및/또는 이러한 것)을 포함한다. 템플릿 버퍼(122)는 앞서 언급된 네 종류의 표준 레이아웃에 대응하는 키보드 템플릿들(428)을 저장할 수 있다. 눌러지지 않은 상태에 있는 가상 키들과 비교하면, 하이라이트된 가상 키들의 이미지들은, 예를 들어, 색상이 있는 이미지, 역색상이 있는 이미지, 및/또는 확대된 이미지들일 수 있다
본 발명의 일 실시예에서, 키보드 템플릿들(428)은 디스플레이의 다양한 성향과 줌 레벨을 위해 스크린 표현의 1:1 맵핑을 포함한다. 또다른 일 실시예에서, 메모리 사용을 줄이거나 최소화하기 위해 키보드 템플릿들(428)은 하나 이상의 방향에서 크기가 조절된 가상 키보드의 표현을 저장한다. 본 발명의 실시예에 따르면, 키보드 템플릿(428)은 SW(108) 및/또는 다른 소프트웨어 애플리케이션에 의해 제공되며, 소프크웨어를 통해 변경되고 업데이트된다.
템플릿 버퍼(122)는 각 키보드 템플릿(428)을 위해 디스플레이 스크린/표면에 있는 기능 키들의 위치를 저장할 수 있다. 기능 키는 글자, 문자, 숫자, 부호 등의 입력 이외에 연관된 기능을 갖는 표준 또는 문자 키일 수 있다. 한 실시예에서, 기능 키를 눌러서 가상 기보드의 레이아웃을 변경한다. 예를 들어, "123"와 같은 기능 키를 누르면 소문자 레이아웃에서 숫자와 일반 기호 레이아웃으로 키보드의 레이아웃이 변경될 수 있으며, 현재 키보드 템플릿(428)이 대응하는 저장된 키보드 템플릿으로 변경될 수 있다.. 본 발명의 실시예에 따르면, 템플릿 버퍼(122)는 모든 저장된 키보드 템플릿(428)을 위한 기능 키들의 위치(도2에 표시된 "기능 키 위치")를 검출 논리 유닛(126)에 제공한다.
키보드 인식 유닛(124)은 영상 프레임의특정 영역(예를 들어, 키보드를 나타내는 영상 프레임의 키보드 부분(420))에 있는 이미지를 템플릿 버퍼(122)로부터 수신된 저장된 키보드 템플릿(428)과 비교한다. 키보드 인식 유닛(124)에 의한 상기 비교는 매 영상 프레임별로 수행되거나, 정해진 프레임 간격으로 수행될 수 있다. 만일, 일치하는 경우가 발생되면, 키보드 인식 유닛(124)는 디스플레이 스크린/표면에서 가상 키보드가 활성화된(e.g., 가상 키가 선택된 것을) 것을 확인한다. 키보드 인식 유닛(124)은 또한 표시된 키보드 레이아웃을 추적하고 표시된 키보드 레이아웃이 변경될 경우(키보드 레이아웃이 소문자에서 숫자와 일반 기호로 변경될 경우), 이를 인식한다.
검출 논리 유닛(126)은 AP(104)로부터 디스플레이 구성 매개변수(예를 들어, 도2의 "구성 매개변수")를 수신한다. 디스플레이 구성 매개변수는 키보드 활성화 (즉, 가상 키보드 표시 여부)와 같은 표시 상태 정보, 스크린 크기, 스크린 방향, 줌 레벨, 및 이와 같은 정보를 포함할 수 있다.
검출 논리 유닛(126)은 키보드 인식 유닛(124)의 출력과 AP(104)의 구성 매개변수를 모니터하고, 둘 중 하나가 활성화된 키보드(e.g., 가상 키보드가 표시됨)를 나타내면, 검출 논리 유닛(126)은 터치 조절기(102)로부터 즉각적인 선택 이벤트(e.g., 터치 이벤트)를 처리한다.
AP(104)로부터 수신된 구성 매개변수들이 나타내는 스크린 크기와 스크린 방향에 기초해서, 그리고, 템플릿 버퍼(122)로부터 수신된 기능 키들의 위치 정보에 기초해서, 검출 논리 유닛(126)은 선택 이벤트(e.g., 제1 사용자 선택)이 키보드 텝플릿 변경을 개시하는 여부를 결정한다. 키보드 템플릿 변경은 GPU(110)에서 출력된 영상 프레임에서 키보드 레이아웃 변경을 인식한 키보드 인식 유닛(124)에 의해 선택적으로 신호가 보내지거나, 검출 논리 유닛(126)의 추가적인 선택 이벤트(e.g., 제2 선택이나 사용자의 제2 키 누름) 감지에 의해 인식될 수 있디.
키보드 템플릿 변경 개시가 검출 논리 유닛(126)에 의해 결정될 경우, 검출 논리 유닛(126)은 템플릿 선택기(128)가 선택된 키보드 템플릿(428)을 적절한 키보드 템플릿으로 변경하도록 하고, 스케일러(130)가 현재 스크린 크기와 방향, 및/또는 줌 레벨에 대응하는 크기와 같은 구성 매개변수들에 따라 선택된 키보드 템플릿(428)의 크기를 조절하도록 한다. 일부 실시예들에서, 스케일러(130)는 키보드 템플릿의 방향을 정하거나 회전시킬 수 있다.
선택 이벤트(e.g., 터치 이벤트)를 확인하면, 검출 논리 유닛(126)은 마스크 생성기(132)에 선택 위치를 제공한다. 검출 논리 유닛(126)으로부터의 선택 위치(e.g., 터치 위치)와 스케일러(13)로 부터의 크기가 조절된 키보드 템플릿(422)에 따라, 마스크 생성기(132)는 변경될 영상 프레임(e.g., 하이라이트되거나, 대응되는역색상의 이미지)의 픽셀 위치(e.g, 영상 프레임의 키보드 부분(420))를 나타내기 위해 키보드 마스크(424)를 생성한다(예를 들어, 기존의 키보드 마스크(424)를 업데이트한다). 키보드 마스크(424)는 크기가 조절되는 키보드 템플릿에 있는 키들 각각에 대응하는 엔트리들을 포함할 수 있다. 엔트리는, 예를 들어, "1"들과 "0"들의 형태를 갖는다. "1"은 대응되는 키가 선택되었음을 (예를 들어, 터치 또는 누름)을 나타낼 수 있으며, "0"은 대응되는 키에 어떤 작용도 발생되지 않았음을 나타낼 수 있다.
출력 논리 유닛(134)이 GPU(110)으로부터 입력되는 영상 프레임의 각 픽셀을 처리하면, 출력 논리 유닛(134)은 키보드 마스크(424)에 있는 엔트리, 예를 들어, "1"에 따라 GPU(110)으로부터 전송된 영상 데이터를 스케일러(130)에서 전송된 템플린 데이터로 대체 및/또는 블렌딩(blending)을 실행한다.
GPU(110)에서 전송된 영상 데이터를 스케일러(130)에서 전송된 템블릿 데이터로 대체하는 본 발명의 실시예에서, 출력 논리 유닛(134)의 출력 동작은 키보드 마스크(424)에 있는 엔트리에 의해 정의된 단일 비트를 사용해서 기재될 수 있다. 예를 들어, "0" 은 그래픽 프로세서(e.g., GPU(110))에서 제공된 영상 데이터 출력을 나타내고, "1" 은 템플릿 데이터 출력을 나타낼 수 있다.
출력 논리 유닛(134)이 영상 데이터와 템플릿 데이터의 블랜딩을 수행하는 실시예에서, 출력 동작은 키보드 마스크(424)에 있는 엔트리에 의해 정의된 대로 다중 비트("0" 또는 "1"의 단일 비트와는 반대로)를 사용해서 기재될 수 있다. 출력 논리 유닛(134)은 스케일러(130)로부터 수신된 템플릿 데이터를 기반으로 영상 프레임의 영상 데이터에 다양한 동작들을 수행할 수 있다. 이와 같은 동작은 엣지-블렌딩(edge-blenging), 안티 엘리어싱(anti-aliasing), 콘트라스트 향상 (또는 증가), 투명도 조절, 및/또는 이와 같은 것들을 포함할 수 있다.
검출 논리 유닛(126)은 각 키보드 마스크(424)의 지속 시간을 조절하는 내부 타이머를 포함한다. 일 실시예에서, 키보드 마스크(424)의 지속 시간은, 업데이트된 엔트리(e.g., "1")가 마스크 생성기(132)에 의해서 원래의 기본값 (e.g., "0")으로 되돌하가기 전에 키보드 마스크(424)에 지속되는 시간을 나타낸다. 일 실시예에서, 키보드 마스크의 지속 시간은 당업자에게 알려신 적절한 프로세스나 방법에 따라 조절될 수 있다. 일 실시예에서, 상기 지속 시간은 터치-to-디스플레이 루프(도1을 참조로 예를 들어 설명한 바와 같이)의 지연에 대략적으로 일치/대응되게 설정된다. 상기 지속 시간은 AP(104)가 출력하는 구성 매개변수를 사용해서 설정될 수 있다. 본 발명의 일 실시예에서, 검출 논리 유닛(126)의 내부 타이머가 종료될 경우, 검출 논리 유닛(126)은 마스크 생성기(132)가 신속히 키보드 마스크(424)에서 활성 엔트리(e.g., "1")를 불활성 엔트리(e.g., "0")으로 변경하도록 한다.
통상의 지식을 가진 자라면 인식할 수 있듯이, 앞서 논의된 가속기(120)의 기능 블록들의 기능들은 하나 이상의 유닛에 병합될 수 있다. 또한, 본 발명의 일부 실시예들에서, 가속기(120)는 터치 조절기(102)나 AP(104)에 통합되어 위치할 수 있다. 더욱이, 본 발명의 일부 실시예들에서, 가속기(120)의 하나 이상의 기능 블록들 (e.g., 검출논리(126) 및/또는 마스크 생성기(132)은 소프트 웨어나 펌웨어로 구현될 수 있다.
도3(A)은 본 발명의 실시예에 따른 사용자 선택(e.g., 사용자 키 누름)을 검출하거나 그래픽 프로세서(e.g., 도2에 도시된 GPU(110))가 시각적인 피드백을 보여주는 영상 프레임을 제공하기 전에 시각적인 피드백을 제공함으로써 가상 키보드를 표시하는 프로세서(300)의 순서도이다. 이하에서, 상기 프로세서(300)를 도1 및 도2와 관련해서 앞서 설명한 본 발명의 실시예를 참조해서 설명한다.
블록(302)에서, 가속기(120)는 그래픽 프로세서로부터 영상 프레임(키보드부(420)를 포함)을 수신한다. 그래픽 프로세서로, 도2에 도시된 바와 같이 GPU(110)나, 데이터 프로세싱 장치(100) (또는, 디스플레이 장치)에서 표시되는 영상 프레임을 제공하기 위한 어떠한 프로세스도 가능하다. 키보드 인식 유닛(124)은 키보드의 활성화 여부를 결정하기 위해 영상 프레임들(e.g., 영상 프레임의 키보드부(420))을 모니터한다. 활성 키보드의 검출에 따라, 키보드 인식 유닛(124)은 터치 조절기(102)로부터 즉각적인 선택 이벤트(e.g., 터치 이벤트)를 처리하기 위해 검출 논리 유닛(126)에 신호를 전송한다.
블록(304)에서, 가속기(120)는 터치 조절기(102)로부터의 입력을 기초로 사용자 선택 이벤트를 확인한다. 터치 조절기(102)는 가상 키보드에서 사용자 선택을 검출하거나 선택 이벤트에 대한 정보를 선택 (e.g., 터치) 위치와 함께 검출 논리 유닛(126)에 전송할 수 있다. 만일, 키보드 인식 유닛(124)이나 구성 매개변수가 키보드 활성화를 나타내고 선택 위치가 키보드의 위치에 대응하면, 검출 논리 유닛(126)은 키가 눌러졌음을 결정한다.
블록(306)에서, 가속기(120)는 가상 키보드에서 선택된 위치에 대응되는 눌러진 키를 구별한다. 템플릿 버퍼(122)에서 전송된 기능 키들의 위치와 AP(104)에서 수신된 스크린 크기와 스크린 방향을 나타내는 구성 매개변수에 기초해서, 검출 논리 유닛(126)은 사용자 선택이 기능 키에 대응하는지 결정한다(e.g., 도2를 참조로 앞서 설명한 바와 같이). 일 실시예에서, 기능 키 눌림이 인식될 경우, 검출 논리 유닛(126)은 템플릿 선택기(128)에 신호를 보내 현재 키보드 템플릿(428)을 상기 기능 키와 연관된 적절한 템플릿으로 변경하도록 하고, 스케일러(130)에 신호를 보내 템플릿의 크기를 조절하고 회전하여 구성 매개 변수를 기반으로 스크린 크기와 방향 및/또는 줌 레벨에 일치하도록 한다.
검출 논리 유닛(126)은 마스크 생성기(132)에 선택된 위치(e.g., 터치된 위치의 좌표)를 제공한다. 검출 논리 유닛(126)에서 전송된 선택 위치와 스케일러(130)에서 크기가 조절된 키보드 템플릿(422)를 사용해서 마스크 생성기(132)는 눌러진 키의 위치에 대응하고 사용자에게 시각적인 피드백을 제공하기 위해 변경된 픽셀들의 위치/좌표를 나타내기 위해 엔트리를 업데이트한다.
블록(308)에서, 가속기(120)는 가상 키보드에서 눌러진 키에 대응하는 하이라이트된 키의 저장된 이미지로 영상 프레임(영상 프레임의 키보드부(420))을 업데이트한다. 출력 논리 유닛(134)이 키보드 마스크(424)에서 업데이트된 엔트리에 대응하는 영상 프레임의 픽셀에 출력 동작을 수행하면 영상 프레임이 변경된다 (예를 들어, 업데이트된다). 출력 동작은 영상 프레임의 픽셀을 크기가 조절된 키보드 템플릿(422)의 픽셀과 치환하는 픽셀대 픽셀 치환, 또는 영상 프레임의 픽셀 데이터와 키보드 데이터 템플릿의 픽셀 데이터 블랜딩을 포함할 수 있다. 예를 들어, 출력 논리 유닛(134)은 활성 마스크 엔트리(e.g., "1")에 대응하는 영상 프레임과 크기가 조절된 키보드 템플릿(422)의 픽셀에 치환 또는 블랜딩을 수행할 수 있다.
블록(310)에서, 출력 논리 유닛(134)은 수정된(e.g., 업데이트되거나 변경된) 영상 프레임(426)을 디스플레이 유닛(114)에 출력한다. 수정/업데이트된 비디오 프레임(426)은 디스플레이 표면, 예를 들어, 터치스크린 디스플레이 또는 업데이트된 영상 프레임(426)이 투사된 프로젝트 표면에 나타날 수 있다.
블록(312)에서, 검출 논리 유닛(126)은 내부 타이머 시간 경과 여부 및 키보드 레이아웃 변경 검출 여부를 체크한다. 검출 논리 유닛(126)의 내부 타이머는 터치-디스플레이 루프의 예상 지연과 동일하거나 비슷하게 설정 혹은 사전 설정될 수 있거나, AP(104)에서 수신된 구성 매개변수를 통해 설정될 수 있다. 내부 타이머 시간이 경과되면, 검출 논리 유닛(126)은 마스크 생성기(132)가 신속히 키보드 마스크(424)를 원래 상태로 (예를 들어, 키보드 마스크(424)에서 활성 엔트리, e.g., "1"에서 비활성 엔트리, e.g., "0"으로 변경) 되돌려 놓도록 하여, 출력 논리 유닛(134)가 신속히 영상 프레임의 픽셀을 크기가 조절된 키보드 템플릿과 치환 또는 블랜딩을 수행하는 것을 중지하도록 한다.
키보드 레이아웃 변경은 여러 방식으로 검출된 수 있다. 예를 들어, 표시될 키보드 레이아웃의 변경을 위해 그래픽 프로세서(e.g., GPU(110))로부터 출력된 영상 프레임의 특정 영역(e.g., 각 프레임의 키보드부(420))을 모니터할 수 있는 키보드 인식 유닛(124)에 의해 키보드 레이아웃 변경이 수행될 수 있다. AP(104)는 스크린 크기, 방향, 줌 레벨 등과 같은 변화를 나타내는 구성 매개변수를 사용해서 키보드 레이아웃 변경을 검출 논리 유닛(126)에 알려줄 수 있다..
만일, 블록(312)에서 어떠한 조건도 만족되지 않을 경우, 즉, 사전설정된 타임이 경과되지 않았거나 키보드 레이아웃 변경이 검출되지 않을 경우, 출력 논리 유닛(134)는 블록(310)에 출력된 수정된 영상 프레임(426)을 계속 표시한다. 그러나, 만일, 내부 타이머 시간이 경과되었거나 키보드 레이아웃 변경이 블록(312)에서 검출될 경우, 블록(314)에서, 출력 논리 유닛(134)은 수정된 영상 프레임(426)의 출력 동작을 중지하고 그래픽 프로세서(e.g., GPU(110))에서 수신된 수정되지 않은 영상 프레일임을 출력할 수 있다. 만일, 기능 키 누름이 블록(306)에서 감지되었을 경우, 검출 논리 유닛(126)이 키보드 레이아웃 변경이나 제2 키보드 누름을 검출한 이후에만 키보드 템플릿(422)과 해당 레이아웃 마스크(424)는 적절한 기능 키보드 템플릿과 기능 레이아웃 마스크로 변경될 수 있다.
도 3(B)은 사용자 선택(e.g., 사용자 키 누름) 감지에 대한 응답으로 디스플레이 장치의 표시된 키보드에 선택된 키를 나타내고, 그래픽 프로세서(e.g., 도2의 GPU(110))가 해당 선택을 나타내는 영상 프레임을 제공하기 전에 이와 같은 응답을(e.g., 시각적인 피드백 제공) 표시하는 프로세스(320)에 대한 흐름도이다.
이하에서, 도1 및 도2를 참조로 설명된 본 발명의 실시예를 참조로 프로세스(320)를 설명한다.
일 실시예에서, 디스플레이 장치는 가속기(120)와 AP(104)를 포함한다. 다른 실시예에서, AP(104)는 표시 장치 외부에 마련될 수 있다.
디스플레이 장치에 의해 표시된 (예를 들어, 스크린에 표시되거나 표면에 투사된) 키보드(예를 들어, 가상 키보드)는 키보드 레이아웃과 관련되며, 복수의 키를 포함한다. 사용자 선택 (e.g., 표시된 키보드의 키들 중 적어도 하나의 선택)에 대한 응답으로, 디스플레이 장치는 본 살명의 실시예에 따라 다음과 같이 수행한다.
블록(322)에서, 표시 장치(예를 들어, 가속기(120))는 디스플레이 장치의 표시된 키보드에 있는 키들 중 적어도 하나의 선택된 키의 위치를 기반으로 적어도 하나의 선택된 키에 대응되는 하나 이상의 키를 확인하나다. 사용자 키 선택은 터치 센서(101)에 의해 감지되고, 표시된 키보드에서 선택 위치는 터치 조절기(102)에 의해 결정된다. 일 실시예로서, 가속기(120)는 AP(104) (e.g., GPU(110))로부터 제공된 영상프레임을 더 포함할 수 있다.
일 실시예로서, 가속기(120)는 상기 적어도 하나의 키를 확인하기 전에 AP(104)로부터의 입력(e.g., 구성 매개변수 및/또는 제공된 영상 프레임(420))에 따른 키보드 레이아웃에 대응하는 키보드 템플릿(422)을 확인한다. 예를 들어, 가속기(120)는 키보드 레이아웃에 대응하는 저장된 키보드 템플릿을 확인하고 상기 저장된 키보드 템플릿을 일회 이상 스케일링하고 회전하여 키보드 템플릿(422)을 생성할 수 있다.
블록(324)에서, 표시 장치(예를 들어, 가속기(120))는 제공된 영상 프레임(428)을 선택된 키에 대한 저장된 이미지로 업데이트하여 디스플레이 장치가 표시할 수 있는 키들 중 적어도 하나의 선택을 나타내는 업데이트된 영상 프레임(426)을 생성한다. 상기 선택된 키에 대한 저장된 이미지는 사용자 선택(e.g., 상기 선택된 적어도 하나의 키)에 대응한다). 상기 선택된 키의 저장된 이미지는 상기 선택된 적어도 하나의 키에 대응하는 키보드 템플릿(422)의 세그먼트를 포함할 수 있다. 일 실시예로서, 디스플레이 장치는 상기 선택된 적어도 하나의 키에 대응하는 상기 제공된 영상 프레임(420)의 픽셀을 선택된 키의 저장된 이미지의 픽셀로 대체함으로써 상기 제공된 영상 프레임(420)을 업데이트할 수 있다. 다른 실시예에서, 디스플레이 장치는 상기 선택된 적어도 하나의 키에 대응하는 상기 제공된 영상 프레임(420)의 픽셀을 선택된 키의 저장된 이미지의 픽셀과 블랜딩함으로써 상기 제공된 영상 프레임(420)을 업데이트할 수 있다.
블록(326)에서, 적어도 하나의 키 선택을 나타내는 다른 영상 프레임(420)이 제공되는 동안 (e.g., GPU(110)에 의해 제공되는 동안), 디스플레이 장치는 업데이트된 영상 프레임을 표시한다. 일부 실시예에 따르면, 디스플레이 장치는 GPU(110)가 상기 다른 영상 프레임(420)을 제공하거나, 설정된 시간(e.g., 대략 100ms)이 경과하거나, 가속기(120)가 키보드 레이아웃 변경을 검출할 때까지, 업데이트된 영상 프레임(426)를 계속 표시한다. 디스플레이 장치는, 예를 들어, 현재 제공된 영상 프레이(420)이 키보드 템플릿에 대응되지 않거나 이후의 기능키 선택이 검출될 경우, 키보드 레이아웃이 변경된 것을 결정한다.
본 발명의 실시예에 따르면, 디스를레이 장치는 하나의 영상 프레임 기간 이내에 블록(322)와 블록(323)에서 보여준 특징들을 수행한다.
도 4(A) 및 도 4(B)는 본 발명의 일부 실시예에 따른 가상 키의 사용자 선택(e.g., 누름 또는 활성화)에 대한 디스플레이 장치의 응답으로, 가상 키보드의 프레임별 변경과 이에 대응되는 키보드 템플릿과 키보드 마스크(424)의 변경 및 출력 영상 프레임(426)을 도시하는 연속적인 도면(스크린 샷 포함)이다. 도 4(A) 및 도 4B에서, 입력 영상 프레임(420)은 그래픽 프로세서(e.g., 도2의 GPU(110))에서 생성되고 출력 논리 유닛(134)에서 수신된 영상 프레임의 키보드부를 표현하고; 키보드 템플릿(422)는 스케일러(130)에서 마스크 생성기(132)로 전송되고 출력 논리 유잇(134)로 전송된 템플릿을 표현하고; 키보드 마스크(424)는 마스크 생성기(132)에서 생성되고 출력 논리 유닛(134)로 전송된 키보드 마스크를 표현하고; 그리고, 출력 영상 프레임(426)은 출력 논리 유닛(134)에서 디스플레이 유닛(114)로 출력된 영상 프레임의 키보드부를 표현한다.
도 4(A)는 본 발명의 일부 실시예에 따른 사용자가 가상 키보드의 비기능 키 (글자, 문자, 숫자, 심볼 등의 입력 이외에 일반적으로 그에 연관된 기능을 갖지 않 는 표준 키나 문자키)를 선택하는 예를 도시한다. 예를 들어, 영상 프레임의 한 프레임(e.g., 프레임 0)에 대응하는 시점(402)에, 사용자가 가상 키보드에서 하나의 키(e.g., "h") 를 선택(e.g., 터치)한다.
영상 프레임의 그 다음 프레임 (e.g., 프레임 1)과 일치하는 시점(404)에, 마스크 생성기(132)는 터치 조절기(102)에 의해 검출되고 검출 논리 유닛(126)에 의해 확인된 사용자 선택(e.g., 사용자 터치)의 위치에 근거해서 키보드 마크스(424)를 업데이트 할 수도 있다 (e.g., "h"키에 대응되는 엔트리를 "0"에서 "1"로 변경함으로써). 또한, 시점 (404)/프레임 1에서, 키보드 마스크의 업데이트된 엔트리에 따라 출력 논리 유닛(134)은 입력 영상 프레임(420)과 키보드 템플릿(422)을 이용해서 출력 영상 프레임(426)을 수정할 수도 있다.
터치-to-디스플레이 지연으로 인해, 그래픽 프로세서(e.g., 도2에 도시된 AP(104)의 GPU(110))는 영상 프레임에서 N번째 프레임(e.g., frame 6)과 일치하는 시점(406)까지 하이라이트된 키를 갖는 가상 키보드를 제공하지 못할 수도 있다. 시점 (406)/프레임 6에서, 업데이트된 키보드 마스크(424)는 변경되지 않고 유지될 수 있으며, 출력 논리 유닛(134)는 시점(404)/프레임 1에서 생성되었던 출력 영상 프레임(426)과 동일한 영상 프레임을 유지할 수 있다. 그다음 프레임(e.g., 프레임 7)과 일치하는 시점(408)에, 검출 논리 유닛(126(의 내부 타이머가 만료되어 검출 논리 유닛(126)이 신속히 신호를 보내서, 마스크 생성기(132)가 키보드 마스크(424)에서 업데이트된 (또는, 활성된) 엔트리를 원래 값(e.g., "0")으로 변경하면, 출력 논리 유닛(134)이 신속히 수신된 입력 영상 프레임(420)이 표시되도록 출력하고, 더 이상의 출력 동작 (e.g., 대체 또는 블렌딩)을 중지하도록 한다.
따라서, 가속기(120)는 키 누름에 대한 응답으로 사용자에게 시각적인 피드백을 제공하는데 필요한 시간을 줄인다 (e.g., 현저하게 줄인다). 예를 들어, 앞서 설명된 본 발명의 실시에에 따르면, 사용자가 인식한 시각적인 응답 래그는 대략 여섯 프레임 (e.g., 약 100ms)에서 대략 하나의 프레임(e.g., 약 17ms)로 짧아져, 시각적인 응답이 거의 사용자의 눈에 동시에 나타날 수 있게 된다.
도 4(B)는 본 발명의 일부 실시예에 따른 사용자가 가상 키보드의 기능키(도2를 참조서 앞서 설명된 바와 같이)를 선택하는 예들을 도시한다. 영상 프레임0에 대응하는 시점(402)에 기능키 누름(e.g., 사용자가 "123"키를 누름)이 확인되면, 가속기(120)는 도4(A)를 참조로 설명했던 실시예들과 실제적으로 비슷하게 동작하여 시점(404) (프레임1에 대응하는 시간)에 하이라이트된 기능키와 같은 시각적인 피드백을 표시하고 시점(408)(프레임7에 대응하는 시간)에 입력 영상 프레임(420)을 표시할 수 있다.
그 후에, AP(104)는 새로운 기능 키보드 레이아웃으로 표시된 키보드 레이아웃(도4C에 키보드 레이아웃(421)으로 표현된 것과 같이 가상 키보드의 키 정렬을 나타냄)을 업데이트 할 수 있다. 그러나, 키보드 템플릿(422)과 키보드 마스크(424)는 프레임X에 대응하는 시점(410)에 사용자가 제2 키(e.g., 숫자 "3")을 누르거나 가속기(120)가 키보드 레이아웃 변경을 검출할 때까지 변경되지 않은 채로 유지될 수 있다.
시점(410)/프레임 X에서, 검출 논리 유닛(126)은 템플릿 버퍼(122), 템플릿 선택기(128), 그리고 스케일러(130)가 기능 기보드 레이아웃에 일치되도록 키보드 템플릿(422) 업데이트를 지시할 수 있다. 그런 다음, 검출 논리 유닛(126)은 키보드 마스크(424)가 이에 따른 업데이트를 수행하도록 지시하고, 출력 논리 유닛(134)이 키보드 마스크(424)의 엔트리에 따라서 입력 영상 프레임(420)과 키보드 템플릿(422)을 사용해서 출력 영상 프레임(426)을 업데이트하도록 지시할 수 있다. 시점 (412) (예를 들어, 연속 프레임 X+1에 대응되는)에, 출력 논리 유닛은 업데이트된 출력 영상 프레임(426)을 디스플레이 유닛(114)에 출력할 수 있다.
해당 기술 분야에서 통상의 지식을 가진 자에게, 가속기(120)가 AP(104)에 비해 빠른 응답을 제공할 뿐 아니라 AP(104)의 키보드 응답 기능의 제공을 완전히 대신함은 자명하다. 예를 들어, 본 발명의 일 실시예에서, 그래픽 프로세서(e.g., GPU(110))는 가상 키보드에 키 누름에 대한 시각적인 응답을 제공하지 않도록 프로그램 될 수 있다. 이와 같은 실시예에서, 가속기(120)는 사용자 가상 키 누름에 대한 시각적인 피드백을 제공할 수 있는 유일한 기본 수단일 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (29)

  1. 복수의 키를 포함하는 키보드 레이아웃을 갖는 디스플레이 장치의 표시된 키보드에서 선택된 적어도 하나의 키를 표시하는(indicate) 방법으로서,
    상기 디스플레이 장치의 표시된 키보드에서 상기 선택된 적어도 하나의 키의 위치를 기반으로 상기 선택된 적어도 하나의 키를 식별하는(identify) 단계,
    제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지로 업데이트하여 상기 적어도 하나의 키가 선택되었음을 나타내는 업데이트된 영상 프레임을 생성하는 단계, 그리고
    상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 상기 디스플레이 장치가 상기 업데이트된 영상 프레임을 표시하는 단계
    를 포함하며,
    상기 제공된 영상 프레임을 업데이트하는 단계는 키보드 템플릿과 상기 적어도 하나의 키 선택을 나타내는 키보드 마스크를 활용하고, 상기 선택된 적어도 하나의 키를 식별하기 전에 응용 소프트웨어의 입력에 근거해서 상기 키보드 레이아웃에 대응하는 키보드 템플릿을 식별하고, 정해진 시간이 지나면 상기 디스플레이 장치가 상기 다른 영상 프레임을 표시하며,
    상기 정해진 시간이 지나면 상기 키보드 마스크가 원래 상태로 되돌아가는
    디스플레이 장치의 선택된 키 표시 방법.
  2. 제1 항에 있어서,
    상기 선택된 적어도 하나의 키를 식별하기 전에 응용 소프트웨어의 입력에 근거해서 상기 키보드 레이아웃에 대응하는 키보드 템플릿을 식별하는 단계를 더 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  3. 제2 항에 있어서,
    상기 키보드 템플릿을 식별하는 단계는,
    상기 키보드 레이아웃에 대응하는 저장된 키보드 템플릿을 식별하는 단계, 및
    상기 저장된 키보드 템플릿의 크기를 일 회이상 크기 조절하거나 회전하여 상기 키보드 템플릿을 생성하는 단계를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  4. 제2 항에 있어서,
    상기 적어도 하나의 선택된 키의 상기 저장된 이미지는 상기 적어도 하나의 선택된 키에 대응하는 상기 키보드 템플릿의 세그먼트를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  5. 제2 항에 있어서,
    상기 키보드 레이아웃의 변경을 감지한 후, 또는 정해진 시간이 지나면 상기 디스플레이 장치가 상기 다른 영상 프레임을 표시하는 단계를 더 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  6. 제5 항에 있어서,
    상기 키보드 레이아웃의 변경은 현재 제공된 영상 프레임이 상기 키보드 템플릿에 대응하지 않음을 결정하는 것을 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  7. 제5 항에 있어서,
    상기 키보드 레이아웃의 변경은 뒤따르는 적어도 하나의 키 선택을 식별하는 것을 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  8. 제2 항에 있어서,
    상기 적어도 하나의 키 선택을 식별하는 단계는,
    상기 디스플레이 장치의 상기 표시된 키보드에서 상기 선택된 적어도 하나의 키에 대한 위치를 감지하는 단계, 그리고
    상기 선택된 적어도 하나의 키에 대한 위치에 대응하는 키보드 마스크의 적어도 하나의 엔트리를 변경하는 단계
    를 포함하고,
    상기 키보드 마스크는 상기 적어도 하나의 엔트리를 포함하는 복수의 엔트리를 포함하며,
    상기 복수의 엔트리는 상기 복수의 키에 대응하는
    디스플레이 장치의 선택된 키 표시 방법.
  9. 제8 항에 있어서,
    상기 선택된 적어도 하나의 키에 대한 상기 저장된 이미지는 상기 키보드 마스크의 상기 변경된 적어도 하나의 엔트리에 대응하는 상기 키보드 템플릿의 세그먼트를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  10. 제1 항에 있어서,
    상기 제공된 영상 프레임을 업데이트하는 단계는 키보드 템플릿과 상기 적어도 하나의 키 선택을 나타내는 키보드 마스크를 활용해서 수행되는 디스플레이 장치의 선택된 키 표시 방법.
  11. 제1항 에 있어서,
    상기 선택된 적어도 하나의 키는 디스플레이 장치가 표시된 키보드의 키보드 레이아웃을 제2 키보드 레이아웃으로 변경하도록 하는 기능키를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  12. 제11 항에 있어서,
    제2의 적어도 하나의 키 선택을 식별하는 단계, 및
    템플릿 버퍼로부터 상기 제2 키보드 레이아웃에 대응하는 제2 키보드 템플릿을 수신하는 단계를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  13. 제11 항에 있어서,
    현재 영상 프레임이 상기 키보드 레이아웃에 대응하지 않음을 결정하는 단계, 및
    템플릿 버퍼로부터 상기 제2 키보드 레이아웃에 대응하는 제2 키보드 템플릿을 수신하는 단계를 더 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  14. 제1 항에 있어서,
    상기 제공된 영상 프레임을 업데이트하는 단계는 상기 적어도 하나의 선택된 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지의 픽셀들로 대체하는 단계를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  15. 제1 항에 있어서,
    상기 제공된 영상 프레임을 업데이트하는 단계는 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지의 픽셀들과 블렌딩하는 단계를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  16. 제1 항에 있어서,
    상기 선택된 적어도 하나의 키를 식별하고 상기 제공된 영상 프레임을 업데이트하는 단계는 하나의 영상 프레임 기간 동안에 발생하는 디스플레이 장치의 선택된 키 표시 방법.
  17. 제1 항에 있어서,
    상기 디스플레이 장치 외부에 있는 그래픽 프로세서로부터 상기 제공된 영상 프레임을 수신하는 단계를 더 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  18. 제1 항에 있어서,
    상기 선택된 적어도 하나의 키를 식별하는 단계는 터치 센서가 상기 선택된 적어도 하나의 키의 위치를 식별하는 단계를 포함하는 디스플레이 장치의 선택된 키 표시 방법.
  19. 제1 항에 있어서,
    상기 표시된 키보드는 표면에 투사된 키보드인 디스플레이 장치의 선택된 키 표시 방법.
  20. 복수의 키를 포함하는 키보드 레이아웃을 갖는 표시된 키보드에 선택된 키를 표시하는 디스플레이 장치로서,
    상기 표시된 키보드를 나타내는 영상 프레임을 표시하는 디스플레이 유닛,
    프로세서, 그리고
    명령들이 저장되어 있는 메모리
    를 포함하고,
    상기 프로세서는, 상기 명령들을 실행하면, 상기 복수의 키 중 적어도 하나를 선택한 것에 대한 응답으로,
    상기 디스플레이 장치의 표시된 키보드에서 상기 선택된 적어도 적어도 하나의 키의 위치를 근거로 상기 선택된 적어도 하나의 키를 식별하고,
    제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지로 업데이트하여 상기 적어도 하나의 키가 선택되었음을 나타내는 업데이트된 영상 프레임을 생성하고,
    상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 상기 업데이트된 영상 프레임을 상기 디스플레이 장치에 출력하여 상기 디스플레이 장치가 상기 업데이트된 영상 프레임을 표시하도록 하며,
    상기 제공된 영상 프레임을 업데이트하는 것은 키보드 템플릿과 상기 적어도 하나의 키 선택을 나타내는 키보드 마스크를 활용하고, 상기 선택된 적어도 하나의 키를 식별하기 전에 응용 소프트웨어의 입력에 근거해서 상기 키보드 레이아웃에 대응하는 키보드 템플릿을 식별하고, 정해진 시간이 지나면 상기 디스플레이 장치가 상기 다른 영상 프레임을 표시하며,
    상기 정해진 시간이 지나면 상기 키보드 마스크가 원래 상태로 되돌아가는
    디스플레이 장치.
  21. 제20 항에 있어서,
    상기 실행된 명령들에 의해 상기 프로세서는,
    상기 선택된 적어도 하나의 키를 식별하기 전에 키보드에 대응하는 키보드 템플릿을 식별하고
    정해신 시간이 경과하거나 상기 키보드 레이아웃의 변경이 감지된 후에 디스플레이 장치가 상기 다른 영상 프레임을 표시하도록 하는 명령을 더 수행하는 디스플레이 장치.
  22. 제21 항에 있어서,
    상기 키보드 레이아웃의 변경을 감지하는 명령은 현재 제공된 영상 프레임이 상기 키보드 템플릿에 대응되지 않음을 결정하는 것을 포함하는 디스플레이 장치.
  23. 제21 항에 있어서, 상
    기 키보드 레이아웃의 변경을 감지하는 명령은 그다음의 적어도 하나의 키 선택을 식별하는 것을 포함하는 디스플레이 장치.
  24. 제23 항에 있어서,
    상기 제공된 영상 프레임을 업데이트하는 명령은 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 키에 대한 저장된 이미지의 픽셀들로 대체하는 명령을 포함하는 디스플레이 장치.
  25. 제20 항에 있어서,
    상기 제공된 영상 프레임을 업데이트하는 명령은 상기 선택된 적어도 하나의 키에 대응하여 제공된 영상 프레임의 픽셀들을 상기 선택된 키에 대한 저장된 이미지의 픽셀들과 블렌딩하는 명령을 포함하는 디스플레이 장치.
  26. 제25 항에 있어서,
    상기 선택된 적어도 하나의 키를 식별하고 상기 제공된 영상 프레임을 업데이트하는 단계는 하나의 영상 프레임 기간동안에 발생하는 디스플레이 장치.
  27. 제26 항에 있어서,
    상기 선택된 적어도 하나의 키를 식별하는 단계는 터치 센서가 상기 선택된 적어도 하나의 키의 위치를 식별하는 단계를 포함하는 디스플레이 장치.
  28. 복수의 키를 포함하는 키보드 레이아웃을 갖는 표시된 키보드에 선택된 키를 표시하는 터치 인식 디스플레이 장치로서,
    상기 키보드를 표시하는 디스플레이 유닛,
    상기 표시된 키보드에서 상기 복수의 키 중 적어도 하나 키를 선택한 것에 대한 응답으로 상기 선택된 적어도 하나의 키의 위치를 검출하는 터치 센서,
    프로세서, 그리고
    명령들이 저장되어 있는 메모리
    를 포함하고,
    상기 프로세서는 상기 명령들을 실행하면,
    상기 터치 센서로부터 상기 선택된 적어도 하나의 키의 위치를 수신하고,
    상기 선택된 적어도 하나의 키의 위치를 기반으로 상기 선택된 적어도 하나의 키를 식별하고,
    제공된 영상 프레임을 상기 선택된 적어도 하나의 키에 대한 저장된 이미지로 업데이트하여 상기 적어도 하나의 키가 선택되었음을 나타내는 업데이트된 영상 프레임을 생성하고,
    상기 선택된 적어도 하나의 키를 나타내는 다른 영상 프레임이 제공되는 동안, 상기 업데이트된 영상 프레임을 디스플레이 장치에 출력하여 상기 디스플레이 장치가 업데이트된 영상 프레임을 표시하도록 하며,
    상기 제공된 영상 프레임을 업데이트하는 것은 키보드 템플릿과 상기 적어도 하나의 키 선택을 나타내는 키보드 마스크를 활용하고, 상기 선택된 적어도 하나의 키를 식별하기 전에 응용 소프트웨어의 입력에 근거해서 상기 키보드 레이아웃에 대응하는 키보드 템플릿을 식별하고, 정해진 시간이 지나면 상기 디스플레이 장치가 상기 다른 영상 프레임을 표시하며,
    상기 정해진 시간이 지나면 상기 키보드 마스크가 원래 상태로 되돌아가는
    터치 인식 디스플레이 장치.
  29. 제28 항에 있어서,
    상기 실행된 명령들은 프로세서가 상기 디스플레이 외부에 있는 그래픽 프로세서로부터 제공된 영상 프레임을 수신하도록 하는 명령을 더 포함하는 터치 인식 디스플레이 장치.
KR1020140085204A 2013-07-08 2014-07-08 디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치 KR102326766B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361843890P 2013-07-08 2013-07-08
US61/843,890 2013-07-08
US14/303,457 2014-06-12
US14/303,457 US9483176B2 (en) 2013-07-08 2014-06-12 Method and apparatus to reduce display lag of soft keyboard presses

Publications (2)

Publication Number Publication Date
KR20150006382A KR20150006382A (ko) 2015-01-16
KR102326766B1 true KR102326766B1 (ko) 2021-11-16

Family

ID=51211031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140085204A KR102326766B1 (ko) 2013-07-08 2014-07-08 디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치

Country Status (4)

Country Link
US (1) US9483176B2 (ko)
EP (1) EP2824562B1 (ko)
KR (1) KR102326766B1 (ko)
CN (1) CN104281318B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483176B2 (en) * 2013-07-08 2016-11-01 Samsung Display Co., Ltd. Method and apparatus to reduce display lag of soft keyboard presses
KR102171389B1 (ko) * 2014-04-21 2020-10-30 삼성디스플레이 주식회사 영상 표시 시스템
US9804709B2 (en) * 2015-04-28 2017-10-31 Samsung Display Co., Ltd. Vector fill segment method and apparatus to reduce display latency of touch events
CN106708411B (zh) * 2016-12-27 2018-07-27 北京万方数据股份有限公司 一种虚拟键盘的显示方法及显示装置
CN106909393B (zh) * 2017-03-01 2020-06-05 腾讯科技（深圳）有限公司 一种输入法面板的显示调整方法及移动终端
US11614824B2 (en) * 2021-07-29 2023-03-28 Talent Unlimited Online Services Pvt. Ltd. System and method to measure latency in displaying a key tap event

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US7346689B1 (en) * 1998-04-20 2008-03-18 Sun Microsystems, Inc. Computer architecture having a stateless human interface device and methods of use
US6573844B1 (en) * 2000-01-18 2003-06-03 Microsoft Corporation Predictive keyboard
US6962454B1 (en) * 2000-04-04 2005-11-08 Costello Pamella A Keyboard protective cover
US6883985B2 (en) * 2002-02-26 2005-04-26 Robin Catherine Roberson Printable, reusable key masks
US20030189551A1 (en) * 2002-04-04 2003-10-09 Olsen Jesse Dale System and method for identifying functions invoked by function keys on a keyboard
US20040160419A1 (en) * 2003-02-11 2004-08-19 Terradigital Systems Llc. Method for entering alphanumeric characters into a graphical user interface
US7103852B2 (en) * 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
JP2004364214A (ja) 2003-06-09 2004-12-24 Konica Minolta Business Technologies Inc 画像形成装置および表示装置
US7443316B2 (en) * 2005-09-01 2008-10-28 Motorola, Inc. Entering a character into an electronic device
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
US9110590B2 (en) * 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
KR100907287B1 (ko) * 2007-11-26 2009-07-13 (주)디앤티 프로젝션 키보드의 키보드 템플릿 좌표 보정 방법
US9092134B2 (en) * 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8289286B2 (en) * 2008-12-19 2012-10-16 Verizon Patent And Licensing Inc. Zooming keyboard/keypad
EP3629139A1 (en) * 2009-04-30 2020-04-01 Wacom Co., Ltd. Operating a touch screen control system according to a plurality of rule sets
US8745518B2 (en) * 2009-06-30 2014-06-03 Oracle America, Inc. Touch screen input recognition and character selection
US8390583B2 (en) * 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices
JP5407950B2 (ja) * 2010-03-11 2014-02-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20110109551A (ko) * 2010-03-31 2011-10-06 삼성전자주식회사 터치스크린 장치 및 터치스크린 장치의 입력 처리 방법
US20120081297A1 (en) 2010-10-01 2012-04-05 Google Inc. Touch keyboard with phonetic character shortcuts
KR20120058312A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 터치스크린을 구비한 휴대용 단말기의 입력 방법 및 장치
KR101578769B1 (ko) 2010-11-30 2015-12-21 애플 인크. 동적으로 위치되는 온스크린 키보드
KR101188044B1 (ko) * 2010-12-28 2012-10-04 주식회사 포스코 전기자동차 모터 장착 구조
US8725443B2 (en) * 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
WO2012138404A2 (en) * 2011-04-07 2012-10-11 Cleankeys Inc. Systems and methods for detecting a press on a touch-sensitive surface
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US9383840B2 (en) * 2013-04-22 2016-07-05 Samsung Display Co., Ltd. Method and apparatus to reduce display lag using image overlay
US9483176B2 (en) * 2013-07-08 2016-11-01 Samsung Display Co., Ltd. Method and apparatus to reduce display lag of soft keyboard presses
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
US10488981B2 (en) * 2014-11-26 2019-11-26 Samsung Display Co., Ltd. System and method of measuring continuous touch controller latency

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
국제공개특허 제2012-075197호(2012.06.07.) 1부.*
미국공개특허 제2012-0268376호(2012.10.25.) 1부.*
한국공개특허 제10-2009-0054143호(2009.05.29.) 1부.*
한국공개특허 제10-2011-0109551호(2011.10.06.) 1부.*
한국공개특허 제10-2012-0058312호(2012.06.07.) 1부.*

Also Published As

Publication number Publication date
US20150012868A1 (en) 2015-01-08
CN104281318A (zh) 2015-01-14
KR20150006382A (ko) 2015-01-16
US9483176B2 (en) 2016-11-01
EP2824562A1 (en) 2015-01-14
CN104281318B (zh) 2018-11-06
EP2824562B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
KR102326766B1 (ko) 디스플레이 장치의 선택된 키 표시 방법 및 디스플레이 장치
JP6240619B2 (ja) 画面に表示された客体のサイズ調整方法及び装置
KR100686165B1 (ko) 오에스디 기능 아이콘을 갖는 휴대용 단말기 및 이를이용한 오에스디 기능 아이콘의 디스플레이 방법
KR20080041809A (ko) 휴대용 단말기에서 디스플레이 제어 방법 및 장치
US20100259482A1 (en) Keyboard gesturing
US9880697B2 (en) Remote multi-touch control
WO2017155623A1 (en) Virtual input device using second touch-enabled display
US11314411B2 (en) Virtual keyboard animation
KR20110041915A (ko) 데이터 표시 방법 및 그를 수행하는 단말기
KR20140087727A (ko) 듀얼 디스플레이 방법 및 장치
US9124740B2 (en) Reproduction of touch operation in information processing apparatus
JP2010139686A (ja) プロジェクター、プログラムおよび情報記憶媒体
KR20160086645A (ko) 디스플레이 장치 및 그 제어 방법
JP2009098990A (ja) 表示装置
JP6711632B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
TWI505137B (zh) 輸入裝置
JP2009223532A (ja) アイコンインタフェースの操作制御方法
WO2017016333A1 (zh) 一种屏幕调整方法及装置
US20200210063A1 (en) Display method and electronic device
JP2009301523A (ja) タッチパネル式操作電子機器
JP2015210504A (ja) 表示装置および表示方法
JP2019117649A (ja) 画像表示装置および画像表示方法
US20100265107A1 (en) Self-description of an adaptive input device
CN110851066B (zh) 一种支持多显示屏触控的方法和装置
JP6496345B2 (ja) 数値制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant