KR20120023642A - 사용자 입력 객체들의 사이즈 및/또는 각도 방위를 검출하며 그에 응답하는 전자 장치들을 위한 디스플레이들 - Google Patents

사용자 입력 객체들의 사이즈 및/또는 각도 방위를 검출하며 그에 응답하는 전자 장치들을 위한 디스플레이들 Download PDF

Info

Publication number
KR20120023642A
KR20120023642A KR1020117026532A KR20117026532A KR20120023642A KR 20120023642 A KR20120023642 A KR 20120023642A KR 1020117026532 A KR1020117026532 A KR 1020117026532A KR 20117026532 A KR20117026532 A KR 20117026532A KR 20120023642 A KR20120023642 A KR 20120023642A
Authority
KR
South Korea
Prior art keywords
user
keys
selection
response
display
Prior art date
Application number
KR1020117026532A
Other languages
English (en)
Inventor
죄르겐 버클러
Original Assignee
소니 에릭슨 모빌 커뮤니케이션즈 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 에릭슨 모빌 커뮤니케이션즈 에이비 filed Critical 소니 에릭슨 모빌 커뮤니케이션즈 에이비
Publication of KR20120023642A publication Critical patent/KR20120023642A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

전자 장치는 전자기 방사 검출기들의 어레이를 포함하는 터치 감응형 디스플레이 스크린을 포함한다. 전자기 방사 검출기들의 어레이는 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하며, 디스플레이 스크린이 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성된다. 전자 장치는, 키보드를 형성하는 복수의 키들을 디스플레이하며 키들 상에 문자들을 디스플레이하도록 구성되는 컨트롤러 회로를 더 포함한다. 컨트롤러는, 이미지 신호로부터 디스플레이 스크린에 대한 사용자 입력 객체의 사이즈 및/또는 각도 방위를 식별한다. 컨트롤러는, 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 터치 신호에 응답하여 키보드 키들 상에 표시된 문자들 중에서 사용자의 선택을 식별하며, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 출력한다.

Description

사용자 입력 객체들의 사이즈 및/또는 각도 방위를 검출하며 그에 응답하는 전자 장치들을 위한 디스플레이들{DISPLAYS FOR ELECTRONIC DEVICES THAT DETECT AND RESPOND TO THE SIZE AND/OR ANGULAR ORIENTATION OF USER INPUT OBJECTS}
관련 출원
본 출원은, 2008년 10월 13일자로 출원되었으며 발명의 명칭이 "User Input Displays For Mobile Devices"인 함께 계류 중이며 공동 양도된 미국 출원 제12/250,108호, 및 2008년 11월 14일자로 출원되었으며 발명의 명칭이 "Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects"인 함께 계류 중이며 공동 양도된 미국 출원 제12/271,239호와 관련되는데, 이들 모두의 개시물들은 본 명세서에 참조로서 완전히 포함된다.
기술분야
본 발명은 전자 장치를 위한 디스플레이들, 구체적으로는 사용자 입력을 수신하기 위한 디스플레이들에 관한 것이다.
터치 감응형 디스플레이들(touch sensitive displays)에서 스타일러스 및/또는 손가락 접촉을 검출하기 위해 다양한 기술들이 이용가능하다. 예를 들어, 저항성 터치 스크린 패널은 2개의 이격된 얇은 금속 전기 전도성 및 저항성 층들을 포함한다. 사용자 입력 객체가 패널을 터치하는 경우, 층들은 접속되어, 전류의 변화를 일으킨다. 이러한 전류의 변화는 사용자 입력 접촉 이벤트로서 검출된다. 저항성 터치 스크린들은 통상적으로 비교적 정확하지만, 특히 터치 스크린에 접촉하기 위해 사용자의 손가락이 이용되는 경우에, 충분히 민감하지 않을 수 있다.
용량성 터치 스크린은 통상적으로 센서에 걸쳐 연속 전류를 전도하는 인듐 주석 산화물(indium tin oxide)과 같은 재료로 코팅된다. 센서는 캐패시턴스를 달성하기 위하여 수평 및 수직 축들 모두에서 저장된 전자들의 제어되는 필드를 보인다. 센서의 캐패시턴스 필드가 다른 캐패시턴스 필드, 예를 들어 사용자의 손가락에 의해 변경되는 경우, 패널의 각각의 코너에 배치된 전자 회로들은 왜곡을 측정하며, 교란의 위치를 식별한다. 용량성 터치 스크린들은 비교적 높은 감도를 갖지만, 이벤트의 위치가 검출되는 정확도는 낮을 수 있다.
사이드 광학 터치 스크린(side-optical touchscreen)은 디스플레이의 표면의 상부에 있는 광학 검출기들의 그리드를 이용한다. 광은 한쪽 사이드로부터 다른쪽 사이드로 전송되고 수평 및 수직으로 모두 검출기들에 의해 수신된다. 위치가 검출기들에 의해 좌표들로 변환될 수 있도록 손가락 또는 스타일러스가 아주 근접하게 있는 경우에 광의 빔들은 차단된다(broken). 그러나, 광원들 및 검출기들은 디스플레이의 상부에 배치될 필요가 있기 때문에, 이러한 구성은 일반적으로 모바일 장치들에서 바람직하지 않은 높이를 구축한다.
다른 타입의 광학 터치 스크린은 내부 전반사(total internal reflection) 원리를 이용한다. 굴절 매체가 광으로 채워지고, 손가락 또는 다른 객체가 표면에 대해 눌러지는 경우, 내부 반사 광 경로가 차단되고, 이에 의해 광이 굴절 매체의 밖으로 반사되게 된다. 굴절 매체 외부의 광은 카메라에 의해 검출될 수 있다. 굴절 광학 터치 스크린들은 일반적으로 양호한 감도 및 정확도를 갖는다. 그러나, 광원들 및 굴절 매체에 요구되는 공간은 디스플레이의 치수들을 증가시킬 수 있고 또한 디스플레이의 콘트라스트를 제한할 수 있으며 - 그것이 카메라와 결합되기 때문임 -, 따라서 이러한 타입의 광학 터치 스크린은 핸드-헬드 장치들과 함께 사용하기에 실용적이지 않을 수 있다.
또한, 터치 스크린들은 사용자 입력들이 스크린과의 접촉 시에만 생성될 수 있기 때문에 마우스 기반 사용자 인터페이스와 동일한 일반적인 프로토콜들을 이용하여 동작가능하지 않을 수 있다. 따라서, 사용자가 예를 들어 영역을 선택하기 위해 아이콘의 움직임을 추적하는 것이 마우스에 의해 실현될 수 있는 것보다 더욱 어려울 수 있다. 그러나, 마우스 입력 장치는 콤팩트한 핸드-헬드 장치와 함께 사용하기에 바람직하지 않을 수 있다.
일부 실시예들에 따른 전자 장치는 전자기 방사 검출기들의 어레이를 포함하는 터치 감응형 디스플레이 스크린을 포함한다. 전자기 방사 검출기들의 어레이는 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하고, 디스플레이 스크린이 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성된다. 전자 장치는, 키보드를 형성하는 복수의 키들을 디스플레이하고 키들 상에 문자들을 디스플레이하도록 구성되는 컨트롤러 회로를 더 포함한다. 컨트롤러는 이미지 신호로부터 디스플레이 스크린에 대한 사용자 입력 객체의 사이즈 및/또는 각도 방위(angular orientation)를 식별한다. 컨트롤러는 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 터치 신호에 응답하여 키보드 키들 상에 표시된 문자들 중에서 사용자의 선택을 식별하고, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 출력한다.
일부 다른 실시예들에서, 컨트롤러는 또한 복수의 키보드 키들 각각 상에 적어도 2개의 상이한 문자를 디스플레이하고, 키를 선택하고 있는 사용자 입력 객체의 식별된 각도 방위에 응답하여, 멀티-문자 키들(multi-character keys) 중 선택된 키 상에 디스플레이된 문자들 중에서 사용자의 선택을 식별하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 입력 객체의 식별된 각도 방위에 의해 표시된 방향으로 발생하는 선택된 키 상의 다수의 문자들 중 제1 문자를 사용자 선택 문자인 것으로서 식별하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 객체의 식별된 각도 방위에 응답하여 왼손 손가락에 의한 키보드 키들 중 하나의 선택을 오른손 손가락에 의한 선택으로부터 구별하는 선택 신호를 생성하고, 사용자가 선택된 키 상에 디스플레이된 다수의 문자들 중 가장 왼쪽의 문자를 선택하였다고 판정함으로써 선택이 왼손 손가락에 의해 이루어진 것임을 식별하는 선택 신호에 응답하고, 사용자가 선택된 키 상에 디스플레이된 다수의 문자들 중 가장 오른쪽의 문자를 선택하였다고 판정함으로써 선택이 오른손 손가락에 의해 이루어진 것임을 식별하는 선택 신호에 응답하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 입력 객체의 식별된 각도 방위에 응답하여 사용자의 왼손에 있는 손가락에 의한 키보드 키들 중의 선택을 사용자의 오른손에 있는 다른 손가락에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되고, 사용자 선택 키보드 문자들의 시퀀스를 이용하여 정의된 단어들의 데이터베이스 중에서 후보 단어를 선택하는 예측 텍스트 엔트리 동작(predictive text entry operation)을 활성화함으로써 사용자가 한 손을 이용하여 타이핑하고 있음을 표시하는 선택 신호에 응답하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 복수의 키보드 키들 각각 상에 적어도 2개의 상이한 문자를 디스플레이하고, 키를 선택하는 사용자 입력 객체의 식별된 사이즈에 응답하여, 키들 중 선택된 키 상에 디스플레이된 다수의 문자들 중에서 사용자의 선택을 식별하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 입력 객체의 식별된 사이즈에 응답하여 사용자의 엄지 손가락을 이용하는 키보드 키들 중의 선택을 다른 비-엄지 손가락(non-thumb finger)을 이용하는 선택으로부터 구별하는 선택 신호를 생성하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자의 가능한 문자 선택을 디스플레이된 비-숫자 문자들(non-numeric characters)로 제한함으로써 사용자의 엄지 손가락에 의한 선택을 식별하는 선택 신호에 응답하고, 사용자의 가능한 문자 선택을 디스플레이된 비-알파벳 문자들(non-alphabetic characters)로 제한함으로써 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 선택 신호에 응답하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 선택된 알파벳 문자들의 시퀀스를 이용하여 정의된 단어들의 데이터베이스 중에서 후보 단어를 선택하는 예측 텍스트 엔트리 동작을 활성화함으로써 사용자의 엄지 손가락들 중 하나 또는 이들 모두에 의한 디스플레이된 알파벳 문자들의 시퀀스의 선택을 식별하는 선택 신호에 응답하고, 사용자의 비-엄지 손가락들 중 하나에 의한 적어도 하나의 키의 선택을 식별하는 선택 신호에 응답하여 예측 텍스트 동작을 중단하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 입력 객체의 식별된 사이즈에 응답하여 키보드 키들 중 적어도 일부의 디스플레이된 사이즈를 수정하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 입력 객체의 제1 임계 사이즈를 식별하는 것에 응답하여 디스플레이 스크린 상에 QWERTY 키보드의 제1의 복수의 키들을 디스플레이하고, 사용자 입력 객체의 제2 임계 사이즈를 식별하는 것에 응답하여, 디스플레이 스크린 상에서 QWERTY 키보드의 제2의 복수의 키들로 디스플레이된 제1의 복수의 키들을 대체하도록 구성된다. 제2 임계 사이즈는 제1 임계 사이즈보다 크고, 제2의 복수의 키들은 제1의 복수의 키들보다 적다.
일부 다른 실시예들에서, 컨트롤러는 또한 식별된 사이즈에 응답하여 사용자의 엄지 손가락에 의한 키들의 선택을 사용자의 비-엄지 손가락들 중 하나에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되고, 사용자의 엄지 손가락에 의한 선택을 식별하는 것에 응답하여, 키보드 키들 중 적어도 하나의 디스플레이된 사이즈를 확대하고, 그 다음에 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 것에 응답하여, 이전에 확대된 적어도 하나의 키의 디스플레이된 사이즈를 감소시키도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 객체의 식별된 사이즈에 응답하여 사용자의 엄지 손가락에 의한 키들의 선택을 사용자의 비-엄지 손가락들 중 하나에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되고, 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 것에 응답하여, QWERTY 키보드 구성으로 배열된 제1의 복수의 키들의 상이한 것 상에 제1의 복수의 알파벳 문자들을 각각 디스플레이하도록 구성되고, 사용자의 엄지 손가락에 의한 선택을 식별하는 것에 응답하여, 제1의 복수의 디스플레이된 키들보다 적은 제2의 복수의 디스플레이된 키들 상에 제1의 복수의 알파벳 문자들의 그룹들(groupings)을 디스플레이하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 제1의 복수의 디스플레이된 키들보다 더 큰 키 심볼들로서 제2의 복수의 디스플레이된 키들을 디스플레이하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자 객체의 식별된 각도 방위에 응답하여 키보드 키들 중 하나의 선택이 왼손 손가락에 의한 것인지 또는 오른손 손가락에 의한 것인지를 표시하기 위해 선택 신호를 생성하고, 제1의 복수의 키들 중에서 선택하기 위해 사용자가 오른손과 왼손 모두로부터의 손가락들을 이용하고 있음을 식별하는 선택 신호에 응답하여, 제1의 복수의 키들의 디스플레이를 제2의 복수의 키들의 디스플레이로 대체하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 적어도 복수의 임계 횟수의 키 선택들에 대하여, 하나 또는 다른 엄지 손가락을 이용하지만 이들 모두를 이용하지는 않고 사용자가 디스플레이된 키들 중에서 선택하고 있음을 식별하는 선택 신호에 응답하여, 제1의 또는 제2의 복수의 키들의 디스플레이를 제3의 복수의 키들의 디스플레이로 대체하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 사용자의 비-엄지 손가락들 중 적어도 하나를 이용하여 제2의 복수의 키들 중에서 사용자가 선택하고 있음을 식별하는 선택 신호에 응답하여, 제2의 복수의 키들의 디스플레이를 제1의 복수의 키들의 디스플레이로 대체하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 임계 시간 내에 오른손과 왼손의 엄지 손가락들 모두를 이용하여 제1의 복수의 키들 중에서 사용자가 선택하고 있음을 식별하는 선택 신호에 응답하여, 제1의 복수의 키들의 디스플레이를 제2의 복수의 키들의 디스플레이로 대체하고, 사용자의 비-엄지 손가락들 중 적어도 하나를 이용하여 제2의 복수의 키들 중에서 사용자가 선택하고 있음을 식별하는 선택 신호에 응답하여, 제2의 복수의 키들의 디스플레이를 제1의 복수의 키들의 디스플레이로 대체하도록 구성된다.
일부 다른 실시예들에서, 컨트롤러는 또한 제2의 복수의 키들 중 선택된 키 상에 디스플레이된 문자들 중 가장 왼쪽의 문자의 사용자의 선택을 식별함으로써 왼손 손가락에 의한 키 선택을 식별하는 선택 신호에 응답하고, 제2의 복수의 키들 중 선택된 키 상에 디스플레이된 문자들 중 가장 오른쪽의 문자의 사용자의 선택을 식별함으로써 오른손 손가락에 의한 선택을 식별하는 선택 신호에 응답하도록 구성된다.
일부 다른 실시예들에서, 전자 장치는 터치 감응형 디스플레이 스크린 및 컨트롤러 회로를 포함한다. 터치 감응형 디스플레이 스크린은 전자기 방사 검출기들의 어레이를 포함하고, 전자기 방사 검출기들의 어레이는 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하고, 디스플레이 스크린이 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성된다. 컨트롤러는 키보드를 형성하는 복수의 키들을 디스플레이 스크린 상에 디스플레이하고 키들 상에 문자들을 디스플레이하도록 구성된다. 컨트롤러는 이미지 신호로부터 디스플레이 스크린에 대한 사용자 입력 객체의 사이즈 및/또는 각도 방위를 식별한다. 컨트롤러는 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 터치 신호에 응답하여 키보드 키들 상에 표시된 문자들 중에서 사용자의 선택을 식별하고, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 출력한다. 컨트롤러는 사용자 입력 객체의 제1 임계 사이즈를 식별하는 것에 응답하여 QWERTY 키보드 구성으로 배열된 제1의 복수의 키들의 상이한 것 상에 제1의 복수의 알파벳 문자들을 각각 디스플레이하고, 사용자 입력 객체의 제2 임계 사이즈를 식별하는 것에 응답하여, 제2의 복수의 디스플레이된 키들 상에 제1의 복수의 알파벳 문자들의 그룹들을 디스플레이한다. 제2 임계 사이즈는 제1 임계 사이즈보다 크고, 제2의 복수의 키들은 제1의 복수의 키들보다 적다. 컨트롤러는 사용자 객체의 식별된 각도 방위에 응답하여 왼손 손가락에 의한 키보드 키들 중 하나의 선택을 오른손 손가락에 의한 선택으로부터 구별하고, 사용자 입력 객체의 식별된 각도 방위에 의해 표시된 방향으로 발생하는 선택된 키 상의 다수의 문자들 중 제1 문자를 사용자 선택 문자인 것으로서 식별한다.
본 명세서에 포함되며 그 일부를 구성하는 다음의 도면들은 본 발명의 실시예들을 예시하고, 설명과 함께 본 발명의 원리들을 설명하는 역할을 한다.
도 1은 본 발명의 실시예들에 따른 디스플레이를 갖는 모바일 통신 장치의 전면도이다.
도 2는 도 1의 디스플레이의 확대도이다.
도 3은 도 1의 디스플레이의 단면도이다.
도 4는 본 발명의 실시예들에 따른 전자기 방사 방출기들 및 검출기들을 포함하는 도 1의 디스플레이의 층의 단면도이다.
도 5의 (a)는 본 발명의 실시예들에 따른 전자기 방사 프로파일의 디지털 이미지이다.
도 5의 (b)는 도 5의 (a)의 이미지로부터 도출되는 향상된 이미지이다.
도 5의 (c)는 도 5의 (a) 및 도 5의 (b)의 이미지들을 이용하는 사용자 입력 장치의 식별의 개략적인 실례이다.
도 5의 (d)는 도 5의 (c)의 실례에 기초하여 식별된 타깃 영역의 개략적인 실례이다.
도 6은 본 발명의 실시예들에 따른 동작들을 예시하는 흐름도이다.
도 7은 본 발명의 일부 실시예들에 따른 터치 감응형 디스플레이의 단면도이다.
도 8은 본 발명의 일부 실시예들에 따른 다른 터치 감응형 디스플레이의 단면도이다.
도 9는 본 발명의 실시예들에 따른 동작들을 예시하는 흐름도이다.
도 10은 본 발명의 일부 실시예들에 따른 무선 모바일 통신 장치를 갖는 무선 통신 시스템을 예시하는 개략적인 블록도이다.
도 11은 다른 실시예들에 따른 디스플레이의 평면도이다.
도 12는 다른 실시예들에 따른 디스플레이의 픽셀의 개략적인 실례이다.
도 13은 본 발명의 실시예들에 따른 동작들을 예시하는 흐름도이다.
도 14는 다양한 실시예들에 따른 사용자 입력 객체들의 디지털 이미지들을 예시한다.
도 15는 일부 실시예들에 따라 캡처되고 특징화될 수 있는 핫스폿(hotspot)의 일부 속성들을 예시한다.
도 16은 일부 실시예들에 따라 컨트롤러 회로가 디스플레이 장치 상에 드로잉(draw)할 수 있는 예시적인 QWERTY 키보드를 예시한다.
도 17은 일부 실시예들에 따라 컨트롤러 회로가 디스플레이 장치 상에 드로잉할 수 있는 다른 예시적인 키보드를 예시한다.
도 18은 일부 실시예들에 따라 키보드 키들 상에 디스플레이되는 다수의 문자들 중에서 사용자의 선택을 식별하도록 컨트롤러에 의해 실행될 수 있는 동작들의 흐름도이다.
도 19는 일부 실시예들에 따라 선택된 키보드 키 상에 디스플레이되는 2개의 문자 중에서 사용자의 선택을 식별하도록 컨트롤러에 의해 실행될 수 있는 동작들의 흐름도이다.
도 20은 일부 실시예들에 따라 예측 텍스트 엔트리 동작을 활성화하며 비활성화하도록 컨트롤러에 의해 실행될 수 있는 동작들의 흐름도이다.
도 21은 일부 실시예들에 따라 예측 텍스트 엔트리 동작을 활성화하며 비활성화하고, 키를 선택한 사용자의 손가락의 사이즈에 응답하여 선택된 키 상에 디스플레이되는 숫자, 알파벳 및/또는 다른 문자들 중에서 사용자 선택을 결정하도록 컨트롤러에 의해 실행될 수 있는 동작들의 흐름도이다.
도 22는 일부 실시예들에 따라 컨트롤러가 키당 하나의 문자를 갖는 디스플레이 장치 상에 디스플레이할 수 있는 예시적인 QWERTY 키보드를 예시한다.
도 23은 일부 실시예들에 따라 컨트롤러가 키당 2개의 문자를 갖는 디스플레이 장치 상에 디스플레이할 수 있는 더 콤팩트한 QWERTY 키보드를 예시한다.
도 24는 일부 실시예들에 따라 컨트롤러가 키당 2개의 문자를 갖는 디스플레이 장치 상에 디스플레이할 수 있는 훨씬 더 콤팩트한 키보드를 예시한다.
도 25는 일부 실시예들에 따라 사용자가 비-엄지 손가락 또는 엄지 손가락으로 키를 선택하였는지에 응답하여 각각의 키 상에 디스플레이된 문자들의 수 및 키보드 키들의 사이즈와 수를 제어하기 위해 적어도 일부 기능을 수행하도록 컨트롤러에 의해 실행될 수 있는 예시적인 동작들의 흐름도이다.
도 26은 일부 실시예들에 따라 사용자가 엄지/비-엄지 손가락으로 타이핑하고 있는지 및 사용자가 양손을 이용하여 타이핑하고 있는지에 응답하여 각각의 키 상에 디스플레이된 문자들의 수 및 키보드 키들의 사이즈와 수를 제어하기 위해 적어도 일부 기능을 수행하도록 컨트롤러에 의해 실행될 수 있는 예시적인 동작들의 흐름도이다.
이하, 본 발명은 본 발명의 실시예들이 도시되는 첨부 도면들 및 예들을 참조하여 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있고, 본 명세서에 설명된 실시예들로 제한되는 것으로서 해석되어서는 안 된다. 오히려, 이들 실시예들은 본 개시물이 완전하고 완벽하도록 그리고 당업자에게 본 발명의 범위를 충분히 전달하도록 제공된다.
유사한 번호들은 전체에 걸쳐서 유사한 요소들을 가리킨다. 도면들에서, 특정 선들, 층들, 컴포넌트들, 요소들 또는 피처들의 두께는 명확성을 위해 과장될 수 있다.
본 명세서에 이용된 용어는 오직 특정 실시예들을 설명하기 위한 것이며, 본 발명을 한정하기 위한 것이 아니다. 본 명세서에 이용된 바와 같이, 단수형들("a", "an" 및 "the")은 문맥이 달리 명백히 나타내지 않는 한 복수형들도 포함하는 것으로 의도된다. 또한 "포함한다" 및/또는 "포함하는"이라는 용어들은 본 명세서에 이용되는 경우에 서술된 특징들, 단계들, 동작들, 요소들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 그 그룹들의 존재 또는 부가를 배제하지 않음을 이해할 것이다. 본 명세서에 이용된 바와 같이, "및(그리고)/또는"이라는 용어는 연관된 나열 항목들 중 하나 이상의 임의의 모든 조합들을 포함한다. 본 명세서에 이용된 바와 같이, "X와 Y 사이" 및 "약 X와 Y 사이"와 같은 어구들은 X와 Y를 포함하도록 해석되어야 한다. 본 명세서에 이용된 바와 같이, "약 X와 Y 사이"와 같은 어구들은 "약 X와 약 Y 사이"를 의미한다. 본 명세서에 이용된 바와 같이, "약 X로부터 Y로"와 같은 어구들은 "약 X로부터 약 Y로"를 의미한다.
달리 정의되지 않는 한, 본 명세서에 이용된 모든 용어들(기술적 및 과학적 용어들을 포함함)은 본 발명이 속하는 기술분야의 당업자에 의해 일반적으로 이해되는 바와 동일한 의미를 갖는다. 또한, 일반적으로 이용되는 사전들에 정의된 것과 같은 용어들은 본 명세서 및 관련 기술의 문맥에서 그들의 의미와 부합하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에 명백하게 그렇게 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되어서는 안 된다는 것을 이해할 것이다. 잘 알려진 기능들 또는 구성들은 간결성 및/또는 명확성을 위해 상세히 설명되지 않을 수 있다.
요소가 다른 요소 "상에", 그에 "부착된", 그에 "접속된", 그와 "연결된", "접촉하는" 것 등으로서 언급되는 경우, 그것은 직접적으로 다른 요소 상에 있거나, 그에 부착되거나, 그에 접속되거나, 그와 연결되거나 그에 접촉하고 있을 수 있거나, 중간 요소들이 또한 존재할 수 있다는 것을 이해할 것이다. 반대로, 요소가 예를 들어 다른 요소 "상에 직접적으로", 그에 "직접적으로 부착된", 그에 "직접적으로 접속된", 그와 "직접적으로 연결된" 또는 "직접적으로 접촉하는" 것으로서 언급되는 경우, 중간 요소들이 존재하지 않는다. 또한, 당업자라면, 다른 피처에 "인접하여" 배치되는 구조 또는 피처에 대한 언급들은 인접하는 피처에 겹쳐지거나 그 아래에 있는 부분들을 가질 수 있다는 것을 알 것이다.
"아래에(under)", "밑에(below)", "하부에(lower)", "위에(over)", "상부에(upper)" 등과 같은 공간적으로 상대적인 용어들은 설명의 편의를 위해 도면들에 도시된 바와 같이 하나의 요소 또는 피처의 다른 요소(들) 또는 피처(들)에 대한 관계를 설명하는데 본 명세서에 이용될 수 있다. 공간적으로 상대적인 용어들은 도면들에 도시된 방위에 부가하여 사용 또는 동작 시에 장치의 상이한 방위들을 포함하도록 의도된다는 것을 이해할 것이다. 예를 들어, 도면들 내의 장치가 뒤집히는 경우, 다른 요소들 또는 피처들 "아래에" 또는 "밑에(beneath)" 있는 것으로서 설명된 요소들은 다른 요소들 또는 피처들 "위에" 오리엔팅될 것이다. 따라서, "아래에"라는 예시적인 용어는 "위에" 및 "아래에"의 두 방위를 포함할 수 있다. 장치는 달리 오리엔팅(90도 또는 다른 방위로 회전)될 수 있고, 본 명세서에 이용된 공간적으로 상대적인 기술어들은 그에 따라 해석될 수 있다. 유사하게, "위쪽으로", "아래쪽으로", "수직", "수평" 등의 용어들은 본 명세서에 달리 특정하게 나타내지 않는 한 설명의 목적으로만 이용된다.
"제1", "제2" 등의 용어들은 다양한 요소들을 설명하기 위해 본 명세서에 이용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것을 이해할 것이다. 이들 용어들은 오직 한 요소를 다른 요소로부터 구별하기 위해 이용된다. 따라서, 아래에서 논의되는 "제1" 요소는 또한 본 발명의 교시로부터 벗어나지 않고 "제2" 요소라고 불릴 수 있다. 동작들(또는 단계들)의 순서는 달리 특정하게 나타내지 않는 한 청구항들 또는 도면들에 제공된 순서로 한정되지 않는다.
본 명세서에 이용된 바와 같이, "모바일 통신 단말기" 또는 "단말기"는 예를 들어 셀룰러 네트워크, WAN(Wide Area Network), WLAN(wireless local area network), GPS 시스템 및/또는 다른 RF 통신 장치로부터 무선 인터페이스를 통해 통신 신호들을 수신하도록 구성되는 통신 장치를 포함하지만, 이에 한정되지는 않는다.
본 명세서에 이용된 바와 같이, "디스플레이"는 정보를 디스플레이하기 위한 그리고/또는 심미적인 목적들을 위한 그래픽, 조명 또는 역광 조명(back-lighting)과 같은 시각적 표현을 제공할 수 있는 장치를 포함하지만, 이에 한정되지는 않는다.
도 1 내지 도 3에 예시된 바와 같이, 예시적인 핸드-헬드 모바일 전자 장치(10)는 액정 다이오드(liquid crystal diode: LCD) 디스플레이(12)를 포함한다. 디스플레이(12)는 역광 조명층(14), 액정층(16), (유리와 같은) 보호층(18) 및 터치 패널층(20)을 포함한다. 도 4에 예시된 바와 같이, 역광 조명층(14) 및/또는 액정층(16)이 생략되는, 유기 발광 다이오드들(OLED들)을 이용하는 대안적인 구성이 이용될 수 있다. 도 4의 디스플레이(12)는 기판(S) 상에 전자기 방사 방출기들(E) 및 전자기 방사 검출기들(D)의 어레이를 포함한다. 일부 실시예들에서, 전자기 방사 방출기들(E) 및 전자기 방사 검출기들(D)은 각각 적외선 방출기들 및 검출기들을 포함할 수 있다. 기판(S)은 또한 디스플레이(12) 상에 다양한 컬러들의 픽셀들을 디스플레이하기 위해 이용되는 발광 다이오드들(LED들) 또는 OLED들과 같은 광 방출기들(R, G 및 B)을 포함한다.
도 3에 도시된 바와 같이, 방출기들은 디스플레이(12)로부터 전자기 방사(electromagnetic radiation: ER)를 방출한다. 손가락과 같은 사용자 입력 객체(22)가 디스플레이(12)에 인접하여(이 디스플레이와 반드시 접촉하지는 않음) 배치되는 경우, 전자기 방사(ER)는 디스플레이(12)를 향하는 방향으로 반사된다. 반사된 전자기 방사(ER)는 액정층(16) 내의 그리고/또는 아래의 검출기들(D)에 의해 검출될 수 있다. 사용자 입력 객체(22)와 디스플레이 사이의 접촉은 요구되지 않고, 전자기 방사(ER)는 객체(22)가 디스플레이(12)로부터 이격되는 경우에 객체(22)에 의해 반사될 수 있다.
도 5의 (a) 내지 도 5의 (d) 및 도 6에 예시된 바와 같이, 전자기 방사 검출기(D)의 출력들은 사용자에 의해 선택되거나 강조되는 디스플레이의 영역과 같이 사용자 입력을 식별(도 5의 (d); 도 6의 블록 102)하기 위해 이용될 수 있는, 검출된 전자기 방사 프로파일(도 5의 (a); 도 6의 블록 100)에 응답하여 2차원 이미지를 생성하는데 이용될 수 있다. 이 구성에서, 손가락 또는 스타일러스와 같은 사용자 입력 객체는 객체가 디스플레이(12)로부터 이격되며 이 디스플레이와 물리적으로 접촉하지 않는 경우에 검출될 수 있다.
예를 들어, 도 5의 (a)에 도시된 바와 같이, 검출기들(D)로부터의 데이터는 사용자의 손가락의 예시적인 적외선(IR) 이미지를 예시하는 도 5의 (a)에 도시된 이미지를 제공하는데 이용될 수 있다. 이미지의 픽셀들 사이의 콘트라스트는 선택적으로 도 5의 (b)에 도시된 바와 같이 향상될 수 있다. 그 다음에 사용자의 손가락(F)의 형상이 도 5의 (c)에 도시된 바와 같이 식별될 수 있다. 도 5의 (d)에 도시된 바와 같이, 예를 들어 손가락(F)(예를 들어, 손가락(F)의 팁)의 형상으로부터 영역을 식별하기 위해 당업자에게 알려진 이미지 분석 기법들을 이용함으로써 타깃 영역(T)이 그 다음에 식별될 수 있다. 일부 실시예들에서, 타깃 영역(T)은 예를 들어 타깃 영역(T)에 아이콘을 디스플레이함으로써, 도 1 내지 도 4의 디스플레이(12) 상에 표시될 수 있다. 따라서, 사용자 입력 객체 또는 손가락(F)의 움직임은 손가락(F)의 움직임에 응답하여 아이콘을 디스플레이함으로써 디스플레이(12) 상에서 추적될 수 있다. 이 구성에서, 다양한 사용자 입력들은 손가락(F)으로부터 접촉 없이 디스플레이에 의해 레지스터링될 수 있다.
특정 실시예들에서, 디스플레이(12)는 사용자 입력 객체가 디스플레이에 접촉하는 경우에 부가적인 사용자 입력들이 검출될 수 있도록 터치 감응형 디스플레이를 더 포함할 수 있다. 이 구성에서, 종래의 마우스 환경에서 이용되는 것들과 유사한 디스플레이(12)에 대한 사용자 입력들이 이용될 수 있다. 도 5의 (a) 내지 도 5의 (d)와 관련하여 설명되는 것과 같이, 사용자가 디스플레이(12)에 접촉하지 않고 사용자 입력 객체를 이동시키는 경우에 종래의 마우스 화살표와 같은 아이콘이 이동될 수 있다. 사용자가 디스플레이(12)를 터치하는 경우, 특정 위치에서 마우스 버튼을 선택 또는 "클릭"하는 것과 유사할 수 있는 다른 사용자 입력이 전자 장치(10)에 의해 수신될 수 있다. 따라서, 디스플레이(12)는 종래의 마우스 환경과 유사한 사용자 인터페이스를 제공하기 위해 사용자 입력 객체의 모션 및/또는 접촉을 검출할 수 있다.
본 발명에 따른 실시예들이 도 4의 적외선 전자기 방사 방출기들(E) 및 적외선 전자기 방사 검출기들(D)에 대하여 설명되지만, 다른 적합한 기법들이 사용자 입력 객체의 위치에 응답하여 전자기 방사 프로파일을 제공하는데 이용될 수 있다는 것을 이해해야 한다. 예를 들어, 일부 실시예들에서, 도 4에 도시된 방출기들(E)은 생략될 수 있고, 검출기들(D)은 사용자 입력 객체의 위치에 응답하여 배경 전자기 방사의 차단을 검출하도록 구성될 수 있다. 일부 실시예들에서, 전자기 방사 검출기들(D)은 예를 들어 적외선(IR) 신호로서 사용자의 손의 손가락(digit or finger)으로부터의 열적 방사(thermal radiation)를 검출하도록 구성될 수 있다.
본 발명의 다른 실시예들에 따르면, 터치 감응형 디스플레이 시스템이 제공될 수 있다. 도 7에 예시된 바와 같이, 디스플레이(12')는 전자기 방사 방출기들(E1, E2) 및 전자기 방사 검출기들(D1, D2)의 어레이, 및 굴절 매체(30)를 포함할 수 있다. 방출기 E2 및 검출기 D2에 대하여 도시된 바와 같이 손가락(F)과 같은 사용자 입력 객체로부터의 접촉의 부재 시에, 방출기 E2는 굴절 매체(30)를 향하여 전자기 방사를 방출하도록 구성되고, 굴절 매체(30)의 내부 전반사는 검출기 D2를 향하여 전자기 방사를 반사한다. 굴절 매체(30)의 내부 전반사는 방출기 E1 및 검출기 D1에 대하여 도시된 바와 같이 손가락(F)으로부터의 접촉에 의해 교란되거나 변경되어, 반사된 전자기 방사의 방향이 변경되고 검출기 D1은 전자기 방사의 감소된 양을 검출한다. 굴절 매체(30)는 투명 및/또는 반투명 플라스틱, 엘라스토머 재료들 또는 유리를 포함하는 임의의 적합한 재료로 형성될 수 있다. 일부 실시예들에서, 표면(30S)은 반사성 또는 부분적으로 반사성 코팅을 포함할 수 있다. 그러므로, 손가락(F)의 존재는 검출기 D1에서 검출된 전자기 방사의 감소 또는 제거에 의해 검출될 수 있다.
도 8에 도시된 바와 같은 일부 실시예들에서, 방출기들(E) 및 검출기들(D)은 적색, 녹색 및 청색 광 각각을 위한 광 방출기들(R, G, B)과 함께 기판(S) 상에 제공될 수 있다. 광 방출기들(R, G, B)은 LED들 또는 OLED들일 수 있다. 따라서, 방출기들(E) 및/또는 검출기들(D)은 디스플레이에 통합될 수 있다.
도 9에 예시된 바와 같이, 방출기들(E) 및 검출기들(D)은 예를 들어 디스플레이(12') 상의 검출기들(D)의 어레이에 의해 검출된 전자기 방사의 양을 검출함으로써 디스플레이의 전자기 방사 프로파일을 검출하는데 이용될 수 있다(블록 150). 디스플레이의 굴절 매체가 접촉될 수 있고(블록 152), 결과적인 전자기 방사 프로파일의 변화가 검출될 수 있다(블록 154). 접촉 영역은 예를 들어 검출기들이 반사된 광의 감소된 양을 검출하는 영역의 식별에 기초하여 검출될 수 있다(블록 156).
특정 실시예들에서, 도 7 및 도 8에 도시된 구성은 도 2 내지 도 6과 관련하여 설명되는 바와 같이 디스플레이(12')와 접촉하지 않은 사용자 입력 객체를 검출하도록 구성되는 부가적인 방출기들(E) 및 검출기들(D)을 포함할 수 있다. 도 7 및 도 8의 굴절 매체(30)의 표면은 방출기(E)에 의해 방출된 전자기 방사의 입사각(예를 들어, 플라스틱 또는 유리 및 공기 계면에 대해 약 45도)에 기초하여 반사성으로 될 수 있다. 다른 각도들에서, 굴절 매체(30)의 표면은 투과성일 수 있다. 따라서, 굴절 매체(30) 상의 방출기들(E)의 입사각들은 도 7 및 도 8과 관련하여 설명된 바와 같이 (즉, 굴절 매체(30)와의 접촉에 의한 반사된 전자기 방사 및 그 교란들을 검출하도록) 구성되는 방출기(E) 및 검출기(D) 쌍들과, 도 2 내지 도 6과 관련하여 설명된 바와 같이 (즉, 디스플레이(12, 12')로부터 이격되는 사용자 입력 객체들을 검출하도록) 굴절 매체(30)를 통해 전자기 방사를 방출하거나 투과시키는 방출기들(E)을 모두 제공하도록 선택될 수 있다.
도 10은 셀룰러 기지국(202) 및/또는 무선 로컬 네트워크(216)로부터 무선 통신 신호들을 수신하는 모바일 무선 통신 단말기와 같은 무선 단말기(200)를 포함하는 무선 통신 시스템의 개략적인 블록도이다. 셀룰러 기지국(202)은 MTSO(206)에 접속되고, 이는 다음에 PSTN(212) 및 네트워크(214)(예를 들어, 인터넷)에 접속된다. 모바일 단말기(200)는 802.11a, 802.11b, 802.11e, 802.11g, 802.11i 및/또는 다른 WLAN(wireless local area network) 프로토콜들을 포함할 수 있지만 이에 한정되지는 않는 통신 프로토콜을 이용하여 무선 로컬 네트워크(216)와 통신할 수 있다. 무선 로컬 네트워크(216)는 네트워크(214)에 접속될 수 있다.
본 발명의 일부 실시예들에서, 모바일 단말기(200)는 컨트롤러 회로(232), 셀룰러 송수신기 회로(234), 메모리 회로(236), 타이밍 회로(클록)(238), 로컬 네트워크 송수신기 회로(240), 스피커 장치(242), 마이크로폰 장치(244), 디스플레이 장치(246) 및 키패드(248)를 포함한다. 디스플레이(246)는 본 명세서에 논의된 디스플레이들(12, 12')의 요소들을 통합할 수 있다.
메모리(236)는 컨트롤러(232)에 의해 실행되는 소프트웨어를 저장하고, 하나 이상의 소거가능 및 프로그램가능 판독 전용 메모리들(EPROM 또는 플래시 EPROM), 배터리 백업형 랜덤 액세스 메모리(battery backed random access memory: RAM), 자기, 광학 또는 다른 디지털 저장 장치를 포함할 수 있고, 컨트롤러(232)로부터 분리될 수 있거나 적어도 부분적으로 이 컨트롤러 내에 있을 수 있다. 컨트롤러(232)는 예를 들어 공통 패키지에 동봉되거나 서로 별개로 떨어져 있을 수 있는 범용 프로세서 및 디지털 신호 프로세서와 같은 하나보다 많은 프로세서를 포함할 수 있다.
특히, 컨트롤러(232)는 예를 들어 디스플레이(12, 12')의 검출기들(D)에 의해 검출된 전자기 방사 프로파일로부터 사용자 입력을 식별함으로써 그리고 식별된 입력에 응답하여 디스플레이 장치(246) 상에 디스플레이되는 항목들 중에서 사용자의 선택을 결정함으로써, 도 1 내지 도 9와 관련하여 설명된 바와 같은 동작들을 제어하도록 구성될 수 있다.
셀룰러 송수신기(234)는 통상적으로 양방향 통신을 허용하기 위해 송신기(TX)(250)와 수신기(RX)(252)를 모두 포함하지만, 본 발명은 이러한 장치들로 한정되지 않고, 본 명세서에 이용된 바와 같이, "송수신기"는 수신기(252)만을 포함할 수 있다. 모바일 단말기(200)는 이에 의해 안테나(254)를 통해 통신될 수 있는 무선 주파수 신호들을 이용하여 기지국(202)과 통신할 수 있다. 예를 들어, 모바일 단말기(200)는 예를 들어 AMPS(Advanced Mobile Phone Service), ANSI-136, GSM(Global Standard for Mobile) 통신, GPRS(General Packet Radio Service), EDGE(enhanced data rates for GSM evolution), CDMA(code division multiple access), 광대역-CDMA, CDMA2000, 및 UMTS(Universal Mobile Telecommunications System)와 같은 하나 이상의 셀룰러 통신 프로토콜을 이용하여 셀룰러 송수신기(234)를 통해 통신하도록 구성될 수 있다. 본 명세서에 이용된 바와 같은 통신 프로토콜들은 통신되는 정보, 타이밍, 주파수, 변조, 및/또는 통신 접속을 셋업 및/또는 유지하기 위한 동작들을 특정할 수 있다. 일부 실시예들에서, 안테나들(228 및 254)은 단일 안테나일 수 있다.
다른 실시예들이 도 11 및 도 12에 도시된다. 거기에 도시된 바와 같이, 디스플레이(12)는 복수의 픽셀(42)을 포함할 수 있고, 그 각각은 OLED 및/또는 LED 방출기들(R, G, B) 및 IR 검출기(D)를 포함할 수 있다. IR 검출기들(D)의 출력들은 디스플레이(12)에 근접한 공간의, 도 5의 (a)에 예시된 IR 이미지와 같은 감지된 이미지를 표현하는 이미지 신호를 생성하기 위해 샘플링될 수 있다. 위에서 언급한 바와 같이, IR 이미지는 사용자의 손가락 및/또는 스타일러스와 같은 사용자 입력 객체의 존재를 식별하기 위해 종래의 이미지 프로세싱 기법들을 이용하여 처리될 수 있다. 일부 실시예들에 따르면, 사용자 입력 객체에 의한 모션들 및/또는 액션들은 다양한 타입의 입력들 또는 커맨드들에 대응하는 것으로서 컨트롤러(232)에 의해 해석될 수 있다. 검출기들(D)의 어레이는 사용자 입력 객체가 디스플레이(12)를 터치하기 전에 이 사용자 입력 객체의 모션을 감지할 수 있기 때문에, 모바일 단말기(200)는 터치들 또는 터치 기반 제스처들 외에 다른 타입의 액션들 또는 액션들의 조합들에 응답할 수 있다. 일부 실시예들에 따르면, 터치 기반 제스처들과 결합된 비-터치 기반 제스처들(non-touch based gestures)은 모바일 단말기(200)의 동작들을 제어하는데 이용될 수 있다.
일부 실시예들에 따른 제스처 해석은 종래의 터치-전용 터치패드(touch-only touchpad)를 이용하는 제스처 해석보다 더 복잡할 수 있다(involved). 예를 들어, 도 13은 일부 실시예들에 따른 제스처 해석을 예시하는 도면이다. 도 13의 도면 블록들은 모바일 단말기(200)에 의한 제스처 해석에 이용된 단계들을 표현할 수 있고, 모바일 단말기(200)의 컨트롤러(232)에 의해 실행되는 소프트웨어 프로그램 내의 기능 모듈들로서 구현될 수 있다.
도 13을 참조하면, 제스처 해석은 이미지 취득(블록/모듈 302), 이미지 필터링 및 정규화(블록/모듈 304), 형상 식별(블록/모듈 306), 핫스폿 검출(블록/모듈 308), 터치 검출(블록/모듈 310) 및 제스처 결정(블록/모듈 312) 중 하나 이상을 포함할 수 있다.
이미지 취득(블록/모듈 302)은 IR 검출기들(D)의 출력들을 샘플링하고 이에 응답하여 사용자 입력 객체(예를 들어, 손가락 또는 스타일러스)의 2차원 전자기 이미지를 표현하는 이미지 신호를 생성함으로써 수행될 수 있다. 생성된 이미지 신호는 노이즈의 감소, 에지의 선명화, 이미지 특징들의 강조 또는 다른 목적들을 위해 필터링되고 정규화될 수 있다(블록/모듈 304). 형상 식별(블록/모듈 306)은 이미지 신호에 표현된 형상들을 식별하기 위해 패턴 인식을 이용한다. 일반적으로, 패턴 인식은 이미지에 관한 수치 또는 기호 정보가 계산되는 특징 추출을 수반할 수 있다. 분류 또는 기술(description) 스킴이 추출된 특징들을 분류한다. 예를 들어, 이미지 신호에 의해 표현된 이미지로부터 추출될 수 있는 특징들은 이미지의 스케일-불변(scale-invariant) 및/또는 회전-불변(rotation-invariant) 특징들을 포함할 수 있다. 객체/이미지 인식 기법들은 당업자에게 잘 알려져 있고 본 명세서에 상세히 설명될 필요가 없다.
일단 사용자의 손가락, 스타일러스 팁 등과 같은 사용자 입력 객체의 형상이 이미지에서 식별되었다면, 사용자 입력 객체의 "핫스폿"의 위치가 식별된다(블록/모듈 308). "핫스폿"은, 사용자가 사용자 입력 객체로 디스플레이(12)를 터치하였다면, 사용자 입력 객체와 디스플레이 스크린(12) 사이의 접촉이 예상되는 사용자 입력 객체 상의 포인트를 가리킨다. 즉, 사용자 입력 객체(예를 들어, 손가락, 스타일러스 등)가 디스플레이(12)와 접촉하지 않더라도, 모바일 단말기(200)의 동작은 아래에서 더 상세히 논의되는 바와 같이 핫스폿의 위치에 응답하여 제어될 수 있다.
핫스폿 결정은 하나 이상의 발견적 및/또는 결정적 기법들을 이용하여 수행될 수 있다. 예를 들어, 핫스폿은 특정 식별된 사용자 입력 객체가 사용자의 손가락, 사용자의 엄지 손가락, 또는 스타일러스나 다른 인공 포인팅 장치라는 결정에 기초하여 예측될/찾을 수 있다. 핫스폿 결정은 또한 캘리브레이션 데이터에 기초하여 수행될 수 있다. 예를 들어, 예비 핫스폿이 결정될 수 있고, 사용자에게는 그 다음에 스크린을 터치하라고 요청될 수 있다. 핫스폿의 위치는 그 다음에 스크린 상의 터치의 예상 위치와 실제 위치 사이의 차이에 기초하여 조정될 수 있다.
형상 결정은 도 14에 더 상세히 예시된다. 거기에 도시된 바와 같이, 형상 결정은 에지 블러(edge blur)에 의해 결정되는 바와 같이 스크린까지의 거리, 방위(왼쪽 또는 오른쪽 손) 및 형상(예를 들어, 집게 손가락, 엄지 손가락 또는 스타일러스)과 같은 사용자 입력 객체(55)의 속성들을 결정하는데 이용될 수 있다. 예를 들어, 도 14의 (d)에 도시된 바와 같이, 스크린으로부터 떨어져서 유지되는 사용자 입력 객체(55)는 에지 블러링(55a)을 나타낼 수 있다. 에지 블러의 양은 디스플레이(12)로부터의 사용자 입력 객체(55)의 거리의 측정치로서 해석될 수 있다.
도 14의 (a)를 참조하면, 사용자 입력 객체(55)의 위치 및 방위에 기초하여 핫스폿(60)이 결정된다. 핫스폿(60)은 도 15에 더 상세히 도시된다.
일부 실시예들에 따르면, 모바일 단말기(200)는 디스플레이(12)의 검출기들(D)에 의해 캡처된 이미지를 분석하는 핫스폿 검출 모듈(308)을 포함할 수 있다. 핫스폿 검출 모듈은 형상(s), 위치 (x, y), 각도 방위(θ), 반경(r), 디스플레이 스크린으로부터의 거리(z) 및/또는 속도 벡터(u, v, w)와 같은 핫스폿의 다양한 속성들을 식별하고 출력할 수 있다. 하나 이상의 제스처들은 이들 속성들에 응답하여 추론될 수 있다. 일부 실시예들에서, 하나 이상의 제스처들은 터치 스크린 디스플레이(12) 상의 터치와 함께 이들 속성들에 응답하여 추론될 수 있다.
형상(s)은 손가락, 엄지 손가락, 스타일러스 등과 같은 핫스폿 검출 모듈(308)에 의해 사용자 입력 객체로서 검출된 형상의 타입을 가리킨다.
위치 (x, y)는 핫스폿(60)의 중심을 나타낸다. 이는 사용자 입력 객체로서 이용되는 형상의 타입의 정보에 기초하여 결정될 수 있다. 일단 형상이 식별되었다면, 핫스폿 검출 모듈(308)은 형상의 타입에 기초하여 핫스폿(60)의 중심을 찾기 위해 발견적 또는 결정적 기법을 적용할 수 있다. 또한, 일부 실시예들에서, 상이한 형상들이 모바일 단말기(200)에서 상이한 기능들을 활성화하기 위해 사용자 입력 객체로서 이용될 수 있다. 예를 들어, 엄지 손가락 형상(thumb shape)은 일부 실시예들에서 손가락 형상(finger shape)과 상이한 기능을 활성화하기 위해 이용될 수 있다. 핫스폿 중심 위치는 특정 제스처에 의해 활성화되는 디스플레이(12) 상의 위치를 정의한다.
핫스폿 중심 위치 (x, y)는 디스플레이(12) 상의 위치를 터치하도록 사용자에게 명령함으로써 캘리브레이션될 수 있다. 위치는 디스플레이 상의 임의의 위치일 수 있거나, 그래픽 아이콘에 의해 표시된 위치와 같은 미리 정의된 위치일 수 있다. 터치의 위치는 디스플레이(12)의 터치 스크린 기능에 의해 검출되고, 형상(s)에 대한 핫스폿 중심의 위치 (x, y)가 결정된다.
각도 방위(θ)는 디스플레이 스크린(12)의 방위에 대한 사용자 입력 객체의 주축의 각도를 표현할 수 있다. 각도 방위(θ)를 알면, 더욱 정확한 핫스폿 결정이 허용될 수 있다. 또한, 일부 실시예들에서, 사용자 입력 객체의 각도 방위에 기초하여 상이한 커맨드들이 호출될 수 있다.
핫스폿(60)의 사이즈는 핫스폿(60)의 반경(r)에 의해 표현된다. 반경은 디스플레이(12)와 접촉하는 사용자 입력 객체의 부분의 사이즈를 표현한다. 예를 들어, 손가락은 스타일러스보다 디스플레이 스크린(12)과 더 큰 접촉 반경을 가질 수 있다. 핫스폿(60)의 반경은 제스처의 영향의 활성화 영역을 결정하는데 이용될 수 있다. 일부 실시예들에서, 제스처에 의해 디스플레이 스크린(12)의 어느 영역이 활성화되는지를 추정하거나 예측하기 위해 핫스폿의 사이즈를 고려하는 확률론적 모델이 이용될 수 있다.
출력(z)은 사용자 입력 객체(55)의 디스플레이 스크린(12)까지의 거리를 표현한다. 사용자 입력 객체의 디스플레이 스크린까지의 거리를 추적함으로써, 제스처들이 해석되고 이용되어 사용자 입력 객체가 디스플레이 스크린에 접촉하지 않더라도 모바일 단말기(200)에서 커맨드들 또는 액션들을 호출할 수 있다.
일부 실시예들에 따르면, 핫스폿(60)으로부터 스크린(12)까지의 거리(z)는 추적된 객체의 에지들의 상대적 블러리니스(relative blurriness)를 분석함으로써 추정될 수 있다. 즉, 거리(z)는 추적된 객체의 블러리니스뿐만 아니라 추적되는 객체의 타입/형상 모두의 함수로서 추정될 수 있다. 디스플레이 스크린(12)으로부터의 사용자 입력 객체의 거리는 이미지 줌 기능을 호출하기 위해 일부 실시예들에서 이용될 수 있다.
핫스폿의 속도 벡터(u, v, w)는 z-방향으로의 핫스폿의 속도(w)뿐만 아니라 x-방향 및 y-방향으로의 핫스폿의 속도(u 및 v)를 추적한다. 핫스폿의 속도(u, v, w)는 최종 알려진 핫스폿 좌표로부터 커버되는 거리를 계산함으로써 결정될 수 있다. z-방향으로의 속도 벡터(w)는 또한 z-방향에서 속도를 결정하는 경우에 핫스폿 반경(r)의 변화들을 고려할 수 있다.
디스플레이(12)는 또한 터치 스크린 능력을 포함하고, 모바일 단말기(200)는 스크린(12)이 사용자 입력 객체에 의해 터치되는 때 및 장소를 결정하도록 구성된다(블록/모듈 310). 디스플레이(12)는 종래의 터치 스크린(예를 들어, 저항성, 용량성 등)을 포함할 수 있고/있거나, 사용자 입력 객체에 의한 터치를 검출하기 위해 도 7 및 도 8의 실시예들에 대하여 전술한 바와 같이 구성될 수 있다.
제스처 결정은 핫스폿 검출 모듈(308)에 의해 출력되는 핫스폿 속성들 중 하나 이상에 기초할 수 있다. 예를 들어, 아래 표 1에 나타낸 제스처들은 하나 이상의 핫스폿 속성들에 기초하여 식별될 수 있다. 표 1에 나타낸 바와 같이, 제스처는 선조건(pre-condition), 트리거 및 후조건(post-condition)에 기초하여 식별될 수 있다. 선조건, 트리거 및 후조건의 조합은 모바일 단말기(200)에서 특징 또는 기능에 매핑될 수 있는 이벤트의 발생을 나타낸다. 표 1에서, "HS"는 "핫스폿"을 가리킨다. "이벤트" 컬럼은 제스처 검출로부터 상위 계층(예를 들어, 애플리케이션 계층)으로 전달되는 데이터를 표현한다. 문제의 제스처에 따라, 상이한 데이터가 애플리케이션들에 이용가능할 수 있다. 이벤트 컬럼의 숫자 "1"은 하나의 이벤트가 존재함을 나타낸다. 이벤트 컬럼의 심볼 "*"는 제스처가 검출되는 동안에 다수의 이벤트들이 존재할 수 있음을 나타낸다.
Figure pct00001
표 1로부터 알 수 있는 바와 같이, 3차원 사용자 입력 객체 추적 및 제스처 해석은 터치 패드들 및 터치 스크린들의 사용자들에 익숙한 2차원 제스처 해석의 상위 집합(superset)이다. 그러나, 3차원 사용자 입력 객체 추적 및 제스처 해석은 드래그 앤 드롭과 같은 직관적 제스처들(intuitive gestures)을 포함하는 폭넓은 제스처들이 구현될 수 있게 한다.
사용자 입력 객체 추적과 상이한 제스처들을 검출하는 알고리즘들을 결합함으로써, 광범위한 고유 사용자 인터페이스 액션들의 생성 및 구현이 가능해진다. 예를 들어, 표 1은 "클릭" 제스처뿐만 아니라 "선택" 제스처를 모두 정의한다. "선택" 제스처는 핫스폿의 검출(선조건), 그 다음에 디스플레이 상의 터치의 검출(트리거링 이벤트), 그 다음에 다시 핫스폿의 검출(후조건)에 응답하여 해석된다. "클릭" 제스처는 디스플레이 상의 터치의 검출과 z-방향으로의 속도(w)가 임계 속도 wclick를 초과하는 것(트리거링 이벤트), 그 다음에 다시 핫스폿의 검출(후조건)에 응답하여 해석된다. 이들 제스처들은 유사할 수 있지만, 이들 제스처들은 상이한 효과들을 가질 수 있다. 예를 들어, "선택" 제스처는 웹페이지 상에 디스플레이된 하이퍼링크와 같은 디스플레이 스크린의 작은 부분을 느리게 선택하는데 이용될 수 있는 한편, "클릭" 제스처는 터치 스크린 상의 클릭가능한 버튼과 같은 큰 히트 영역(large hit area)을 선택하는데 이용될 수 있다.
"추적" 제스처는 예를 들어 고밀집 웹페이지들에서 더 나은 유용성을 제공할 수 있고, 여기서 실제 링크는 디스플레이 스크린의 어떤 부분이 "선택" 제스처로 선택될 것인지의 시각적 피드백을 사용자에게 제공하기 위해 마우스 포인터로 강조될 수 있다.
제스처들은 이용된 특정 사용자 입력 객체에 따라 상이할 수 있고/있거나, 어떤 사용자 입력 객체가 이용되는지(예를 들어, 손가락 대 엄지 손가락)에 따라 동일한 제스처가 모바일 단말기(200) 내의 상이한 기능들을 활성화할 수 있다는 것을 알 것이다. 따라서, 일부 실시예들에서, 상이한 이벤트들을 트리거하기 위해 형상들이 이용될 수 있다는 것을 알 것이다. 또한, 형상들은 의도된 타깃들의 선택의 정확도를 증가시키는데 이용될 수 있다.
일부 다른 실시예들에 따르면, 전자 장치는 터치 감응형 디스플레이, 및 디스플레이에 대한 사용자 터치 객체의 사이즈 및/또는 각도 방위를 검출하고, 그 정보를 이용하여 키보드 상에 시각적으로 디스플레이되는 어느 문자들이 사용자에 의해 선택되고 있는지를 결정하는 것을 돕고/도우며 키보드 및 연관된 문자들이 어떻게 사용자에게 디스플레이되는지를 수정하도록 구성되는 컨트롤러 회로를 포함한다. 이들 및 다른 실시예들은 도 16 내지 도 26과 관련하여 아래에서 상세히 설명된다. 다양한 실시예들이 도 10의 모바일 단말기(200)의 문맥에서 본 명세서에 설명되지만, 본 발명은 이것으로 한정되지 않고, 이는 터치 감응형 디스플레이 스크린 및 컨트롤러 회로를 포함하는 임의의 전자 장치에 구현될 수 있다.
본 명세서에 이용된 바와 같이, "선택된"이라는 용어는 손가락 또는 다른 사용자 입력 객체가 터치 감응형 디스플레이(246)와 같은 디스플레이에 가깝게 위치하지만 디스플레이를 반드시 터치하고 있지는 않음을 표시하는 이미지 신호를 가리킨다. 따라서, 사용자 입력 객체가 키에 인접하지만 키를 터치하고 있지 않는 경우에 디스플레이된 키를 선택했다고 결정될 수 있다. 따라서, 일부 실시예들에 따르면, 사용자 입력 객체는 디스플레이된 키보드 상의 문자들을 선택하는 것 및/또는 상이한 키보드 구성들이 디스플레이되게 하는 것과 같이 본 명세서에 설명된 다양한 기능의 동작을 트리거하기 위해 디스플레이에 근접하게 배치될 수 있지만 디스플레이를 반드시 터치하지는 않는다. 대안적으로, 일부 다른 실시예들에서, 이러한 기능은 사용자 입력 객체가 디스플레이의 하나 이상의 정의된 영역들에 물리적으로 접촉할 때까지 트리거되지 않을 수 있다.
일부 실시예들에서, 전술한 바와 같이, 디스플레이 장치(246)는 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하도록 구성되는 전자기 방사 검출기들(D)의 어레이를 포함한다. 사용자 입력 객체는 사용자의 손에 있는 손가락들 및/또는 사용자에 의해 조작되는 스타일러스나 다른 객체를 포함할 수 있지만, 이에 한정되지는 않는다. 검출기들(D)은 또한 디스플레이(246)가 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성될 수 있다.
컨트롤러 회로(232)는 키보드를 형성하는 배열로 복수의 키들을 디스플레이 장치(246) 상에 시각적으로 디스플레이하고, 키들 상에 문자들을 디스플레이하도록 구성된다. 본 명세서에 이용된 바와 같이, "키보드"라는 용어는 전체 또는 부분 QWERTY 키보드 레이아웃, 터치패드 레이아웃(예를 들어, 알파벳 및 숫자 심볼들을 갖는 종래의 전화기 키패드 배열), 또는 임의의 다른 키 레이아웃을 포함하지만, 이에 한정되지는 않는다. 도 16은 컨트롤러 회로(232)가 디스플레이 장치(246) 상에 드로잉할 수 있는 예시적인 QWERTY 키보드를 예시한다. 도 16을 참조하면, QWERTY 키보드는 키들(300) 내에 디스플레이되는 문자들 및 키들(300)을 표현하는 그래픽 심볼들을 포함한다.
컨트롤러(232)는 디스플레이 장치(246)에 대해 가깝게 이격된 사용자 입력 객체의 사이즈 및/또는 각도 방위를 이미지 신호로부터 식별하도록 구성될 수 있다. 컨트롤러(232)는 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 터치 신호에 응답하여 키보드 키들(300) 상에 표시된 문자들 중에서 사용자의 선택을 식별하고, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 모바일 단말기(200)의 다른 회로/기능 애플리케이션들로 출력할 수 있다.
예를 들어, 터치 포인트가 2개의 인접하는 키들(300) 사이에 있는 것으로 보이는 경우, 컨트롤러(232)는 사용자 입력 객체의 식별된 각도 방위에 의해 표시된 방향으로 발생하는 2개의 키들 중 제1 키를 사용자 선택 키인 것으로서 식별할 수 있다. 따라서, 왼손으로부터의 손가락이 2개의 수평으로 인접한 키들 사이에서 키보드를 터치하는 경우, 컨트롤러(232)는 왼쪽 키가 선택되었음을 판정함으로써 그에 응답할 수 있다. 유사하게, 오른손으로부터의 손가락이 2개의 수평으로 인접한 키들 사이에서 키보드를 터치하는 경우, 컨트롤러(232)는 오른쪽 키가 선택되었음을 판정함으로써 그에 응답할 수 있다.
대안적으로 또는 부가적으로, 컨트롤러(232)는 사용자의 손가락의 사이즈에 응답하여 선택 키 상에 디스플레이되는 복수의 문자들 중에서 사용자의 선택을 식별할 수 있다. 예를 들어, 컨트롤러(232)는 사용자의 엄지 손가락에 의해 행해진 키 선택들을 사용자의 다른 비-엄지 손가락들(예를 들어, 집게 손가락)에 의해 행해진 선택들로부터 구별할 수 있다. 따라서, 사용자의 손가락의 각도 방위 및/또는 사이즈는 키보드 상의 어느 키가 선택되었는지를 식별하기 위해 그리고/또는 선택된 키 상에 디스플레이되는 복수의 문자들 중에서 어느 문자가 선택되었는지를 식별하기 위해 이용될 수 있다. 이들 및 다른 실시예들은 아래에서 더 상세히 설명된다.
컨트롤러(232)는 키보드 키들(300) 중 일부 또는 전부 상에 복수의 상이한 문자들을 디스플레이하고, 키를 선택하고 있는 사용자 입력 객체의 식별된 각도 방위에 응답하여 멀티-문자 키들(300) 중 선택된 키 상에 디스플레이된 문자들 중에서 사용자의 선택을 식별하도록 구성될 수 있다.
도 17은 컨트롤러(232)가 디스플레이 장치(246) 상에 드로잉할 수 있는 예시적인 키보드(예를 들어, 키패드)를 예시한다. 도 17을 참조하면, 키보드는 각각의 키(310) 상에 디스플레이되는 복수의 문자들을 포함한다. 예시된 문자들은 알파벳 문자들 및 비-알파벳 문자들(예를 들어, 숫자들, 수학적 및 다른 심볼들)을 포함한다. 컨트롤러 회로(232)는 키를 선택하고 있는 사용자 입력 객체의 식별된 각도 방위에 응답하여 멀티-문자 키들(310) 중 선택된 키 상에 디스플레이된 다수의 문자들 중에서 사용자의 선택을 식별하도록 구성될 수 있다.
도 18은 도 17의 키보드(310) 상과 같이 키보드 키들 상에 디스플레이되는 다수의 문자들 중에서 사용자의 선택을 식별하도록 컨트롤러(232)에 의해 실행될 수 있는 동작들(320)의 흐름도이다. 도 17 및 도 18을 참조하면, 디스플레이(246)는 사용자 입력 객체가 디스플레이(246)에 접촉하기 전에 그리고/또는 후에 이 사용자 입력 객체의 취득된 이미지를 표현하는 이미지 신호를 생성할 수 있다(블록 322). 컨트롤러(232)는 디스플레이(246)에 대해 이미지 신호에 의해 표시된 사용자 입력 객체의 각도 방위를 식별한다(블록 324). 컨트롤러(232)는 그 다음에 식별된 각도 방위에 응답하여 선택된 키(310) 상에 디스플레이된 다수의 문자들 중에서 사용자 선택을 식별하고(블록 326), 사용자 선택 문자를 출력한다(블록 328).
예를 들어, 도 17에 도시된 키들(310) 중 하나는 알파벳 문자들 "a", "b" 및 "c"를 포함한다. 컨트롤러(232)는 사용자의 손가락이 왼쪽으로부터 선택된 키에 접근하는 경우에는 사용자에 의해 선택된 것으로서 가장 왼쪽의 문자("a")를 식별하고, 사용자의 손가락이 오른쪽으로부터 선택된 키에 접근하는 경우에는 사용자에 의해 선택된 것으로서 가장 오른쪽의 문자("c")를 식별하고, 사용자의 손가락이 키보드 키들(310)의 상부/하부로부터 선택된 키에 접근하는 경우에는 사용자에 의해 선택된 것으로서 중심 문자("b")를 식별하도록 구성될 수 있다.
도 19는 도 17의 키보드(310) 상과 같이 키보드 키들 상에 디스플레이되는 2개의 문자들 중에서 사용자의 선택을 식별하도록 컨트롤러(232)에 의해 실행될 수 있는 다른 동작들(330)의 흐름도이다. 사용자가 식별된 각도 방위에 응답하여 왼손 또는 오른손에 있는 손가락을 이용하여 키를 선택하였는지를 컨트롤러(232)가 식별할 수 있고, 그에 응답하여 선택된 키 상의 2개의 문자들 중에서 선택할 수 있다는 점에서, 도 19의 동작들(330)은 주로 도 18의 동작들(320)과 상이하다.
도 19를 참조하면, 디스플레이(246)는 선택된 키에 대한 손가락의 취득된 이미지를 표현하는 이미지 신호를 생성한다(블록 332). 컨트롤러(232)는 왼손에 있는 손가락에 의해 행해진 키 선택을 오른손에 있는 손가락에 의해 행해진 키 선택으로부터 구별하는 선택 신호를 생성한다(블록 334). 컨트롤러(232)는 사용자의 왼손에 있는 손가락이 키를 선택했는지를 판정하고(블록 336), 그러한 경우, 이 컨트롤러는 선택된 키 상에 디스플레이된 2개의 문자들 중 왼쪽 문자를 사용자 선택 문자로서 출력한다(블록 338). 반대로, 사용자의 오른손에 있는 손가락이 키를 선택한 경우, 컨트롤러(232)는 선택된 키 상에 디스플레이된 오른쪽 문자를 사용자 선택 문자로서 출력한다.
일부 다른 실시예들은 디스플레이에 대한 사용자 입력 객체의 각도 방위에 응답하여 예측 텍스트 엔트리 동작을 활성화 및 비활성화하는 것에 관한 것이다. 예측 텍스트 엔트리 동작은 터치 감응형 디스플레이 상에 디스플레이되는 키보드 상에 사용자가 타이핑하는 경우에 입력되는 알파벳 문자들의 시퀀스를 이용하여 정의된 단어들의 데이터베이스 중에서 후보 단어를 선택한다.
도 20은 예측 텍스트 엔트리를 활성화 및 비활성화하도록 컨트롤러(232)에 의해 실행될 수 있는 동작들(340)의 흐름도이다. 도 20을 참조하면, 디스플레이(246)는 선택된 키에 대한 손가락의 취득된 이미지를 표현하는 이미지 신호를 생성한다(블록 342). 컨트롤러(232)는 사용자 입력 객체의 식별된 각도 방위에 응답하여 사용자의 왼손에 있는 손가락에 의한 키보드 키들 중의 선택을 사용자의 오른손에 있는 손가락에 의한 선택으로부터 구별하는 선택 신호를 생성한다(블록 344). 컨트롤러(232)는 선택 신호로부터 사용자가 한 손으로 타이핑하고 있는지를 판정하고(블록 346), 그러한 경우, 이 컨트롤러는 한 손을 이용하여 키보드 상에 사용자가 타이핑하는 경우에 사용자 선택 키보드 문자들의 시퀀스를 이용하여 단어들을 찾기 위해 데이터베이스 중에서 후보 단어를 선택하는 예측 텍스트 엔트리 동작을 활성화한다(블록 348). 대안적으로, 컨트롤러(232)는 예측 텍스트 엔트리 동작을 비활성화함으로써(블록 349) 양손을 이용하여 키보드 상에 사용자가 타이핑하고 있다는 판정(블록 346)에 응답한다.
일부 다른 실시예들은, 예측 텍스트 엔트리 동작을 활성화 및 비활성화하고, 키를 선택한 사용자의 손가락의 사이즈에 응답하여 선택된 키 상에 디스플레이되는 숫자, 알파벳 및/또는 다른 문자들 중에서 사용자 선택을 결정하는 것에 관한 것이다. 도 21은 이 기능의 적어도 일부를 수행하도록 컨트롤러(232)에 의해 실행될 수 있는 동작들(350)의 흐름도이다. 도 21을 참조하면, 디스플레이(246)는 선택된 키에 대한 손가락의 취득된 이미지를 표현하는 이미지 신호를 생성한다(블록 352). 컨트롤러(232)는 선택하는 손가락의 사이즈에 응답하여 사용자가 엄지 손가락을 이용하여 키를 선택하는 것과 비-엄지 손가락을 이용하여 키를 선택하는 것을 구별하는 선택 신호를 생성한다(블록 354). 컨트롤러(232)는 선택 신호로부터 사용자가 엄지 손가락으로 키를 선택했는지를 판정하고(블록 356), 그러한 경우, 이 컨트롤러는 예측 텍스트 엔트리 동작을 활성화하고(블록 358), 사용자의 가능한 문자 선택들을 선택된 키의 다수의 디스플레이 문자들 중 비-숫자 문자들로 제한한다(블록 360). 대안적으로, 컨트롤러(232)는 (활성이었다면) 예측 텍스트 엔트리 동작을 비활성화하고(블록 362), 사용자의 가능한 문자 선택들을 선택된 키의 다수의 디스플레이 문자들 중 숫자 문자들로 제한함으로써(블록 364) 사용자가 비-엄지 손가락을 이용하여 키를 선택하였다는 판정(블록 356)에 응답한다.
특정 비제한적인 예로서, 도 17에 도시된 키보드 키들(310)을 참조하면, 컨트롤러(232)는 예측 텍스트 엔트리를 비활성화하고 사용자의 가능한 문자 선택들을 선택된 키 상의 디스플레이된 비-알파벳 문자들(예를 들어, 숫자들 및 수학적 심볼들)로 제한함으로써 사용자가 비-엄지 손가락(예를 들어, 집게 손가락)을 이용하여 키를 선택하는 것에 응답할 수 있다. 반대로, 컨트롤러(232)는 예측 텍스트 엔트리를 활성화하고 사용자의 가능한 문자 선택들을 선택된 키 상의 디스플레이된 알파벳 문자들로 제한함으로써 사용자가 엄지 손가락을 이용하여 키를 선택하는 것에 응답할 수 있다.
일부 다른 실시예들은, 키보드 키들을 선택하기 위해 사용자가 이용하는 손가락들의 수 및 사용자의 손가락의 사이즈에 응답하여 각각의 키 상에 디스플레이되는 문자들의 수 및/또는 키보드 키들의 사이즈 및/또는 수를 제어하는 것에 관한 것이다. 예시적인 실시예들은 도 22 내지 도 26과 관련하여 아래에서 설명된다. 도 22는 사용자가 키보드 상에 타이핑하기 위해 비-엄지 손가락(예를 들어, 집게 손가락)을 이용하는 것에 응답하여 컨트롤러(232)가 키당 하나의 문자로 디스플레이 장치(246) 상에 디스플레이할 수 있는 예시적인 QWERTY 키보드(370)를 예시한다. 도 23은 사용자가 키보드(380) 상에 타이핑하기 위해 2개의 엄지 손가락을 이용하는 것에 응답하여 컨트롤러(232)가 키당 2개의 문자로 디스플레이 장치(246) 상에 디스플레이할 수 있는 더욱 콤팩트한 QWERTY 키보드(380)를 예시한다. 도 24는 사용자가 키보드(380) 상에 타이핑하기 위해 2개의 엄지 손가락을 이용하는 것에 응답하여 컨트롤러(232)가 키당 2개의 문자로 디스플레이 장치(246) 상에 디스플레이할 수 있는 훨씬 더 콤팩트한 키보드(390)(예를 들어, 전화기 키패드 구성)를 예시한다.
도 25는 사용자가 비-엄지 손가락으로 키를 선택하였는지 또는 엄지 손가락으로 키를 선택하였는지에 응답하여 각각의 키 상에 디스플레이되는 문자들의 수 및 키보드 키들의 사이즈와 수를 제어하기 위해 적어도 일부 기능을 수행하도록 컨트롤러(232)에 의해 실행될 수 있는 예시적인 동작들(400)의 흐름도이다. 도 22 및 도 23의 예시적인 키보드와 함께 도 25를 참조하면, 디스플레이(246)는 선택된 키에 대한 손가락의 취득된 이미지를 표현하는 이미지 신호를 생성한다(블록 402). 컨트롤러(232)는 선택하는 손가락의 사이즈에 응답하여 사용자가 엄지 손가락을 이용하여 키를 선택하는 것과 비-엄지 손가락을 이용하여 키를 선택하는 것을 구별하는 선택 신호를 생성한다(블록 404). 컨트롤러(232)는 선택 신호로부터 사용자가 비-엄지 손가락(예를 들어, 집게 손가락)으로 키를 선택했는지를 판정하고(블록 406), 그러한 경우, 이 컨트롤러는 각각의 키 상에 상이한 문자를 갖는 제1의 복수의 QWERTY 키보드 키들(370)을 디스플레이한다(블록 408). 사용자가 엄지 손가락을 이용하여 키를 선택하였다고 컨트롤러(232)가 판정하는 경우(블록 410), 이 컨트롤러는 키보드(370)의 키들보다 더 크지만 더 작은 수의 키를 갖는 더 콤팩트한 QWERTY 키보드(380)를 디스플레이한다(블록 412). 키보드(380)의 더 큰 키들은 키보드(380) 상에 타이핑하기 위해 하나 또는 두 엄지 손가락을 이용하는 사용자에 의해 더욱 정확하게 선택될 수 있다. 컨트롤러(232)는 또한 사용자가 키보드(380) 상에 타이핑하기 위해 엄지 손가락을 이용하고 있다는 판정에 응답하여 예측 텍스트 엔트리 동작을 활성화할 수 있다(블록 414).
따라서, 컨트롤러(232)는 사용자가 엄지 손가락들로 타이핑하고 있는지 또는 비-엄지 손가락들로 타이핑하고 있는지에 응답하여 사용자에게 상이한 키보드들을 디스플레이할 수 있고, 여기서 상이한 키보드들은 특히 연관된 엄지 손가락들/비-엄지 손가락들을 이용하는 사용자에 의해 더 쉽고 더 정확한 타이핑을 용이하게 하도록 구성될 수 있다.
도 26은 사용자가 엄지/비-엄지 손가락들로 타이핑하고 있는지 그리고 사용자가 양손을 이용하여 타이핑하고 있는지에 응답하여 각각의 키 상에 디스플레이되는 문자들의 수 및 키보드 키들의 사이즈와 수를 제어하기 위해 적어도 일부 기능을 수행하도록 컨트롤러(232)에 의해 실행될 수 있는 예시적인 동작들(420)의 흐름도이다. 도 22 내지 도 24의 예시적인 키보드와 함께 도 26을 참조하면, 디스플레이(246)는 선택된 키에 대한 손가락의 취득된 이미지를 표현하는 이미지 신호를 생성한다(블록 422). 컨트롤러(232)는 디스플레이(246)에 대한 손가락들의 식별된 각도 방위에 응답하여 사용자가 왼손에 있는 손가락들로 타이핑하고 있는 것과 오른손에 있는 손가락들로 타이핑하고 있는 것을 구별하는 선택 신호를 생성한다(블록 424). 컨트롤러(232)는 선택 신호로부터 사용자가 비-엄지 손가락들을 이용하여 타이핑하고 있는지를 판정하고(블록 426)(예를 들어, 비-엄지 손가락 키 선택들의 정의된 길이 시퀀스를 검출하고), 그러한 경우, 이 컨트롤러는 각각의 키 상에 상이한 문자를 갖는 제1의 복수의 QWERTY 키보드 키들(370)을 디스플레이한다(블록 428). 사용자가 양손으로부터의 것들을 이용하여 타이핑하고 있다고 컨트롤러(232)가 판정하는 경우(블록 430), 이 컨트롤러는 키보드(370)의 키들보다 더 크지만 더 작은 수의 키를 갖는 더 콤팩트한 QWERTY 키보드(380)를 디스플레이한다(블록 432). 키보드(380)의 더 큰 키들은 두 엄지 손가락으로 타이핑하는 사용자에 의해 더욱 정확하게 선택될 수 있다. 도시되지 않았지만, 컨트롤러(232)는 또한 사용자가 키보드(380) 상에 두 엄지 손가락으로 타이핑하는 경우에 단어들을 예측하기 위해 예측 텍스트 엔트리 동작을 활성화할 수 있다. 사용자가 한 손(예를 들어, 한 손에 있는 하나의 엄지 손가락)만을 이용하여 타이핑하고 있다고 컨트롤러(232)가 판정하는 경우(블록 434), 이 컨트롤러는 키보드(370)의 키들보다 더 크지만 더 작은 수의 키들을 갖는 더 콤팩트한 키보드(380)를 디스플레이한다(블록 436). 더 콤팩트한 키보드(380)의 더 큰 키들은 하나의 엄지 손가락으로 타이핑하는 사용자에 의해 더 쉽고 정확하게 선택될 수 있다. 컨트롤러(232)는 한 손을 이용하여 키보드(390) 상에 사용자가 타이핑하는 경우에 단어들을 예측하기 위해 예측 텍스트 엔트리 동작을 활성화할 수 있다(블록 438).
전술한 것은 본 발명의 예시이며, 그 제한으로서 해석되어서는 안 된다. 본 발명의 수개의 예시적인 실시예들이 설명되었지만, 당업자는 본 발명의 새로운 교시들 및 이점들로부터 실질적으로 벗어나지 않고 예시적인 실시예들에서 많은 수정들이 가능하다는 것을 쉽게 알 것이다. 따라서, 모든 이러한 수정들은 청구항들에 정의된 바와 같은 본 발명의 범위 내에 포함되도록 의도된다. 그러므로, 전술한 것은 본 발명의 예시이며, 개시된 특정 실시예들로 제한되는 것으로서 해석되어서는 안 되며, 개시된 실시예들에 대한 수정들뿐만 아니라 다른 실시예들은 첨부된 청구항들의 범위 내에 포함되도록 의도된다는 것을 이해해야 한다. 본 발명은 다음의 청구항들에 의해 정의되며, 청구항들의 등가물들이 그 안에 포함된다.

Claims (20)

  1. 전자 장치로서,
    전자기 방사 검출기들의 어레이를 포함하는 터치 감응형 디스플레이 스크린 - 상기 전자기 방사 검출기들의 어레이는, 상기 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하며, 상기 디스플레이 스크린이 상기 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성됨 -; 및
    키보드를 형성하는 복수의 키들을 상기 디스플레이 스크린 상에 디스플레이하고, 상기 키들 상에 문자들을 디스플레이하고, 상기 이미지 신호로부터 상기 디스플레이 스크린에 대한 상기 사용자 입력 객체의 사이즈 및/또는 각도 방위(angular orientation)를 식별하고, 상기 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 상기 터치 신호에 응답하여, 키보드 키들 상에 표시된 문자들 중에서 사용자의 선택을 식별하며, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 출력하도록 구성된 컨트롤러 회로
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 컨트롤러 회로는 또한 복수의 상기 키보드 키들 각각 상에 적어도 2개의 상이한 문자들을 디스플레이하며, 키를 선택하고 있는 상기 사용자 입력 객체의 식별된 각도 방위에 응답하여 멀티-문자 키들(multi-character keys) 중 선택된 키 상에 디스플레이된 문자들 중에서 사용자의 선택을 식별하도록 구성되는 전자 장치.
  3. 제3항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 각도 방위에 의해 표시된 방향으로 발생하는 상기 선택된 키 상의 다수의 문자들 중 제1 문자를 상기 사용자 선택 문자인 것으로서 식별하도록 구성되는 전자 장치.
  4. 제2항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 각도 방위에 응답하여 왼손 손가락에 의한 상기 키보드 키들 중 하나의 선택을 오른손 손가락에 의한 선택으로부터 구별하는 선택 신호를 생성하고, 상기 사용자가 상기 선택된 키 상에 디스플레이된 다수의 문자들 중 가장 왼쪽의 문자를 선택하였다고 판정함으로써 상기 선택이 왼손 손가락에 의해 이루어진 것임을 식별하는 상기 선택 신호에 응답하며, 상기 사용자가 상기 선택된 키 상에 디스플레이된 다수의 문자들 중 가장 오른쪽의 문자를 선택하였다고 판정함으로써 상기 선택이 오른손 손가락에 의해 이루어진 것임을 식별하는 상기 선택 신호에 응답하도록 구성되는 전자 장치.
  5. 제1항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 각도 방위에 응답하여 상기 사용자의 왼손에 있는 손가락에 의한 상기 키보드 키들 중의 선택을 상기 사용자의 오른손에 있는 다른 손가락에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되며, 사용자 선택 키보드 문자들의 시퀀스를 이용하여 정의된 단어들의 데이터베이스 중에서 후보 단어를 선택하는 예측 텍스트 엔트리 동작(predictive text entry operation)을 활성화함으로써 사용자가 한 손을 이용하여 타이핑하고 있음을 표시하는 상기 선택 신호에 응답하도록 구성되는 전자 장치.
  6. 제1항에 있어서,
    상기 컨트롤러 회로는 또한 복수의 상기 키보드 키들 각각 상에 적어도 2개의 상이한 문자들을 디스플레이하며, 키를 선택하는 상기 사용자 입력 객체의 식별된 사이즈에 응답하여, 상기 키들 중 선택된 키 상에 디스플레이된 다수의 문자들 중에서 사용자의 선택을 식별하도록 구성되는 전자 장치.
  7. 제1항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 사이즈에 응답하여 상기 사용자의 엄지 손가락을 이용하는 상기 키보드 키들 중의 선택을 다른 비-엄지 손가락(non-thumb finger)을 이용하는 선택으로부터 구별하는 선택 신호를 생성하도록 구성되는 전자 장치.
  8. 제7항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자의 가능한 문자 선택을 디스플레이된 비-숫자 문자들(non-numeric characters)로 제한함으로써 상기 사용자의 엄지 손가락에 의한 선택을 식별하는 상기 선택 신호에 응답하며, 상기 사용자의 가능한 문자 선택을 디스플레이된 비-알파벳 문자들(non-alphabetic characters)로 제한함으로써 상기 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 상기 선택 신호에 응답하도록 구성되는 전자 장치.
  9. 제7항에 있어서,
    상기 컨트롤러 회로는 또한 선택된 알파벳 문자들의 시퀀스를 이용하여 정의된 단어들의 데이터베이스 중에서 후보 단어를 선택하는 예측 텍스트 엔트리 동작을 활성화함으로써 상기 사용자의 엄지 손가락들 중 하나 또는 이들 모두에 의한 디스플레이된 알파벳 문자들의 시퀀스의 선택을 식별하는 상기 선택 신호에 응답하며, 상기 사용자의 비-엄지 손가락들 중 하나에 의한 적어도 하나의 키의 선택을 식별하는 상기 선택 신호에 응답하여 상기 예측 텍스트 엔트리 동작을 중단하도록 구성되는 전자 장치.
  10. 제1항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 사이즈에 응답하여 상기 키보드 키들 중 적어도 일부의 디스플레이된 사이즈를 수정하도록 구성되는 전자 장치.
  11. 제10항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 제1 임계 사이즈를 식별하는 것에 응답하여 상기 디스플레이 스크린 상에 QWERTY 키보드의 제1의 복수의 키들을 디스플레이하고, 상기 사용자 입력 객체의 제2 임계 사이즈를 식별하는 것에 응답하여 상기 디스플레이 스크린 상에서 상기 디스플레이된 제1의 복수의 키들을 상기 QWERTY 키보드의 제2의 복수의 키들로 대체하도록 구성되고, 상기 제2 임계 사이즈는 상기 제1 임계 사이즈보다 크며, 상기 제2의 복수의 키들은 상기 제1의 복수의 키들보다 적은 전자 장치.
  12. 제10항에 있어서,
    상기 컨트롤러 회로는 또한 상기 식별된 사이즈에 응답하여 상기 사용자의 엄지 손가락에 의한 키들의 선택을 상기 사용자의 비-엄지 손가락들 중 하나에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되며, 상기 사용자의 엄지 손가락에 의한 선택을 식별하는 것에 응답하여 상기 키보드 키들 중 적어도 하나의 디스플레이된 사이즈를 확대하고, 그 다음에 상기 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 것에 응답하여 이전에 확대된 적어도 하나의 키의 디스플레이된 사이즈를 감소시키도록 구성되는 전자 장치.
  13. 제10항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 사이즈에 응답하여 상기 사용자의 엄지 손가락에 의한 키들의 선택을 상기 사용자의 비-엄지 손가락들 중 하나에 의한 선택으로부터 구별하는 선택 신호를 생성하도록 구성되고, 상기 사용자의 비-엄지 손가락들 중 하나에 의한 선택을 식별하는 것에 응답하여, QWERTY 키보드 구성으로 배열된 제1의 복수의 키들의 상이한 것 상에 제1의 복수의 알파벳 문자들을 각각 디스플레이하도록 구성되고, 상기 사용자의 엄지 손가락에 의한 선택을 식별하는 것에 응답하여, 상기 제1의 복수의 디스플레이된 키들보다 적은 제2의 복수의 디스플레이된 키들 상에 상기 제1의 복수의 알파벳 문자들의 그룹들(groupings)을 디스플레이하도록 구성되는 전자 장치.
  14. 제13항에 있어서,
    상기 컨트롤러 회로는 또한 상기 제1의 복수의 디스플레이된 키들보다 더 큰 키 심볼들로서 상기 제2의 복수의 디스플레이된 키들을 디스플레이하도록 구성되는 전자 장치.
  15. 제13항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 각도 방위에 응답하여 상기 키보드 키들 중 하나의 선택이 왼손 손가락에 의한 것인지 또는 오른손 손가락에 의한 것인지를 표시하기 위해 상기 선택 신호를 생성하며, 상기 제1의 복수의 키들 중에서 선택하기 위해 상기 사용자가 오른손과 왼손 모두로부터의 손가락들을 이용하고 있음을 식별하는 상기 선택 신호에 응답하여, 상기 제1의 복수의 키들의 디스플레이를 상기 제2의 복수의 키들의 디스플레이로 대체하도록 구성되는 전자 장치.
  16. 제15항에 있어서,
    상기 컨트롤러 회로는 또한 적어도 복수의 임계 횟수의 키 선택들에 대하여, 하나 또는 다른 엄지 손가락을 이용하지만 이들 모두를 이용하지는 않고 상기 사용자가 디스플레이된 키들 중에서 선택하고 있음을 식별하는 상기 선택 신호에 응답하여, 상기 제1의 또는 제2의 복수의 키들의 디스플레이를 제3의 복수의 키들의 디스플레이로 대체하도록 구성되는 전자 장치.
  17. 제15항에 있어서,
    상기 컨트롤러 회로는 또한 상기 사용자가 상기 사용자의 비-엄지 손가락들 중 적어도 하나를 이용하여 상기 제2의 복수의 키들 중에서 선택하고 있음을 식별하는 상기 선택 신호에 응답하여, 상기 제2의 복수의 키들의 디스플레이를 상기 제1의 복수의 키들의 디스플레이로 대체하도록 구성되는 전자 장치.
  18. 제15항에 있어서,
    상기 컨트롤러 회로는 또한 임계 시간 내에 상기 사용자가 오른손과 왼손의 엄지 손가락들 모두를 이용하여 상기 제1의 복수의 키들 중에서 선택하고 있음을 식별하는 상기 선택 신호에 응답하여, 상기 제1의 복수의 키들의 디스플레이를 상기 제2의 복수의 키들의 디스플레이로 대체하며, 상기 사용자가 상기 사용자의 비-엄지 손가락들 중 적어도 하나를 이용하여 상기 제2의 복수의 키들 중에서 선택하고 있음을 식별하는 상기 선택 신호에 응답하여, 상기 제2의 복수의 키들의 디스플레이를 상기 제1의 복수의 키들의 디스플레이로 대체하도록 구성되는 전자 장치.
  19. 제15항에 있어서,
    상기 컨트롤러 회로는 또한 상기 제2의 복수의 키들 중 선택된 키 상에 디스플레이된 문자들 중 가장 왼쪽의 문자의 상기 사용자의 선택을 식별함으로써 상기 왼손 손가락에 의한 키 선택을 식별하는 상기 선택 신호에 응답하며, 상기 제2의 복수의 키들 중 선택된 키 상에 디스플레이된 문자들 중 가장 오른쪽의 문자의 상기 사용자의 선택을 식별함으로써 상기 오른손 손가락에 의한 선택을 식별하는 상기 선택 신호에 응답하도록 구성되는 전자 장치.
  20. 전자 장치로서,
    전자기 방사 검출기들의 어레이를 포함하는 터치 감응형 디스플레이 스크린 - 상기 전자기 방사 검출기들의 어레이는, 상기 디스플레이에 가깝게 이격되는 사용자 입력 객체의 이미지를 표현하는 이미지 신호를 생성하며, 상기 디스플레이 스크린이 상기 사용자 입력 객체에 의해 터치되는 것에 응답하여 터치 신호를 생성하도록 구성됨 -; 및
    키보드를 형성하는 복수의 키들을 상기 디스플레이 스크린 상에 디스플레이하고, 상기 키들 상에 문자들을 디스플레이하고, 상기 이미지 신호로부터 상기 디스플레이 스크린에 대한 상기 사용자 입력 객체의 사이즈 및/또는 각도 방위를 식별하고, 상기 사용자 입력 객체의 식별된 사이즈 및/또는 각도 방위에 응답하여 그리고 상기 터치 신호에 응답하여, 키보드 키들 상에 표시된 문자들 중에서 사용자의 선택을 식별하며, 식별된 사용자 선택 문자에 대응하는 문자 데이터를 출력하도록 구성된 컨트롤러 회로
    를 포함하고,
    상기 컨트롤러 회로는, 상기 사용자 입력 객체의 제1 임계 사이즈를 식별하는 것에 응답하여, QWERTY 키보드 구성으로 배열된 제1의 복수의 키들의 상이한 것 상에 제1의 복수의 알파벳 문자들을 각각 디스플레이하고, 상기 사용자 입력 객체의 제2 임계 사이즈를 식별하는 것에 응답하여, 제2의 복수의 디스플레이된 키들 상에 상기 제1의 복수의 알파벳 문자들의 그룹들을 디스플레이하고, 상기 제2 임계 사이즈는 상기 제1 임계 사이즈보다 크고, 상기 제2의 복수의 키들은 상기 제1의 복수의 키들보다 적고, 상기 컨트롤러 회로는 또한 상기 사용자 입력 객체의 식별된 각도 방위에 응답하여 왼손 손가락에 의한 상기 키보드 키들 중 하나의 선택을 오른손 손가락에 의한 선택으로부터 구별하며, 상기 사용자 입력 객체의 식별된 각도 방위에 의해 표시된 방향으로 발생하는 선택된 키 상의 다수의 문자들 중 제1 문자를 상기 사용자 선택 문자인 것으로서 식별하도록 구성되는 전자 장치.
KR1020117026532A 2009-05-12 2009-11-18 사용자 입력 객체들의 사이즈 및/또는 각도 방위를 검출하며 그에 응답하는 전자 장치들을 위한 디스플레이들 KR20120023642A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/464,403 US8169418B2 (en) 2009-05-12 2009-05-12 Displays for electronic devices that detect and respond to the size and/or angular orientation of user input objects
US12/464,403 2009-05-12

Publications (1)

Publication Number Publication Date
KR20120023642A true KR20120023642A (ko) 2012-03-13

Family

ID=41818620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117026532A KR20120023642A (ko) 2009-05-12 2009-11-18 사용자 입력 객체들의 사이즈 및/또는 각도 방위를 검출하며 그에 응답하는 전자 장치들을 위한 디스플레이들

Country Status (6)

Country Link
US (1) US8169418B2 (ko)
EP (1) EP2430513A1 (ko)
JP (1) JP5323987B2 (ko)
KR (1) KR20120023642A (ko)
CN (1) CN102422254B (ko)
WO (1) WO2010132076A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864514B2 (en) 2013-02-21 2018-01-09 Samsung Electronics Co., Ltd. Method and electronic device for displaying virtual keypad

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
EP2198359A1 (en) * 2007-08-31 2010-06-23 Sony Ericsson Mobile Communications AB Portable communication device having a near-infrared touch input display
US9043718B2 (en) * 2009-06-05 2015-05-26 Blackberry Limited System and method for applying a text prediction algorithm to a virtual keyboard
GB2473239B (en) 2009-09-04 2014-07-09 Cambridge Display Tech Ltd Touch screen display device
US20110102334A1 (en) * 2009-11-04 2011-05-05 Nokia Corporation Method and apparatus for determining adjusted position for touch input
US8786639B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating a collection of objects
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US20130047110A1 (en) * 2010-06-01 2013-02-21 Nec Corporation Terminal process selection method, control program, and recording medium
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
JP5561089B2 (ja) * 2010-10-15 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8766937B2 (en) * 2011-09-08 2014-07-01 Blackberry Limited Method of facilitating input at an electronic device
US9612670B2 (en) * 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US9250681B2 (en) * 2011-10-25 2016-02-02 Nook Digital, Llc Infrared reflection based cover detection
US20130125016A1 (en) * 2011-11-11 2013-05-16 Barnesandnoble.Com Llc System and method for transferring content between devices
US8581870B2 (en) * 2011-12-06 2013-11-12 Apple Inc. Touch-sensitive button with two levels
US10504485B2 (en) 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
KR101819513B1 (ko) * 2012-01-20 2018-01-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US8436828B1 (en) 2012-01-27 2013-05-07 Google Inc. Smart touchscreen key activation detection
CN103874973B (zh) * 2012-02-07 2017-05-24 英派尔科技开发有限公司 信号增强
US9244612B1 (en) * 2012-02-16 2016-01-26 Google Inc. Key selection of a graphical keyboard based on user input posture
JP5962085B2 (ja) 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム
WO2013171747A2 (en) * 2012-05-14 2013-11-21 N-Trig Ltd. Method for identifying palm input to a digitizer
US8487897B1 (en) 2012-09-12 2013-07-16 Google Inc. Multi-directional calibration of touch screens
CN104685451B (zh) * 2012-09-18 2018-04-17 谷歌有限责任公司 姿势适应选择
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
KR102059359B1 (ko) * 2012-11-13 2019-12-26 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 동작 방법 및 제조 방법
US9081417B2 (en) * 2012-11-30 2015-07-14 Blackberry Limited Method and device for identifying contactless gestures
WO2014093506A1 (en) * 2012-12-11 2014-06-19 University Of Washington Through Its Center For Commercialization Use of hand posture to improve text entry
JP2014203288A (ja) * 2013-04-05 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150070283A1 (en) * 2013-09-06 2015-03-12 Linkedln Corporation Techniques for providing a scrolling carousel
US9483143B2 (en) 2013-09-27 2016-11-01 International Business Machines Corporation Method and system providing viewing-angle sensitive graphics interface selection compensation
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US10095361B2 (en) 2015-03-18 2018-10-09 Microsoft Technology Licensing, Llc Stylus detection with capacitive based digitizer sensor
US10423268B2 (en) 2015-12-22 2019-09-24 Microsoft Technology Licensing, Llc System and method for detecting grounding state of a touch enabled computing device
US10296146B2 (en) 2015-12-22 2019-05-21 Microsoft Technology Licensing, Llc System and method for detecting grip of a touch enabled device
US9823774B2 (en) 2016-02-23 2017-11-21 Microsoft Technology Licensing, Llc Noise reduction in a digitizer system
DE102016216388A1 (de) 2016-08-31 2018-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Trennen eines rohrförmigen Bauteils
CN107870665A (zh) * 2016-09-23 2018-04-03 中兴通讯股份有限公司 一种控制终端的方法、装置及终端
US10732787B2 (en) * 2018-03-09 2020-08-04 Abl Ip Holding Llc Lighting wall controller with configurable user interface
US10678348B2 (en) 2018-03-12 2020-06-09 Microsoft Technology Licensing, Llc Touch detection on an ungrounded pen enabled device
US10616349B2 (en) 2018-05-01 2020-04-07 Microsoft Technology Licensing, Llc Hybrid sensor centric recommendation engine
DK180359B1 (en) 2019-04-15 2021-02-03 Apple Inc Accelerated scrolling and selection
US11327651B2 (en) 2020-02-12 2022-05-10 Facebook Technologies, Llc Virtual keyboard based on adaptive language model
US11853509B1 (en) 2022-05-09 2023-12-26 Microsoft Technology Licensing, Llc Using a camera to supplement touch sensing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110730A (ja) * 1993-10-13 1995-04-25 Fujitsu Ltd キーボード
US7006080B2 (en) * 2002-02-19 2006-02-28 Palm, Inc. Display system
JP2003271310A (ja) * 2002-03-13 2003-09-26 Canon Inc 情報入出力装置、その制御方法および該制御方法を実現するためのプログラム
US9030415B2 (en) * 2003-07-09 2015-05-12 Varia Holdings Llc Shared input key method and apparatus
US20070152980A1 (en) * 2006-01-05 2007-07-05 Kenneth Kocienda Touch Screen Keyboards for Portable Electronic Devices
US20080098331A1 (en) 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US20070097096A1 (en) 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
JP2008052536A (ja) * 2006-08-25 2008-03-06 Nissan Motor Co Ltd タッチパネル式入力装置
EP2198359A1 (en) 2007-08-31 2010-06-23 Sony Ericsson Mobile Communications AB Portable communication device having a near-infrared touch input display
CN101169689B (zh) * 2007-12-10 2011-06-01 北京安效技术有限公司 应用手指识别的输入方法和键盘
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864514B2 (en) 2013-02-21 2018-01-09 Samsung Electronics Co., Ltd. Method and electronic device for displaying virtual keypad

Also Published As

Publication number Publication date
JP2012527035A (ja) 2012-11-01
WO2010132076A1 (en) 2010-11-18
CN102422254B (zh) 2014-07-23
US20100289752A1 (en) 2010-11-18
CN102422254A (zh) 2012-04-18
US8169418B2 (en) 2012-05-01
EP2430513A1 (en) 2012-03-21
JP5323987B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
US8169418B2 (en) Displays for electronic devices that detect and respond to the size and/or angular orientation of user input objects
US8514190B2 (en) Displays for electronic devices that detect and respond to the contour and/or height profile of user input objects
US20100123665A1 (en) Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects
US10409490B2 (en) Assisting input from a keyboard
US10254878B2 (en) Operating a touch screen control system according to a plurality of rule sets
US8381118B2 (en) Methods and devices that resize touch selection zones while selected on a touch sensitive display
EP2350796B1 (en) User input displays for mobile devices
US20110012856A1 (en) Methods for Operation of a Touch Input Device
US20110148786A1 (en) Method and apparatus for changing operating modes
US20090289902A1 (en) Proximity sensor device and method with subregion based swipethrough data entry
EP3617834B1 (en) Method for operating handheld device, handheld device and computer-readable recording medium thereof
US20170192465A1 (en) Apparatus and method for disambiguating information input to a portable electronic device
US10564844B2 (en) Touch-control devices and methods for determining keys of a virtual keyboard
KR20140130798A (ko) 터치 스크린 패널 디스플레이 및 터치 키 입력 장치 및 방법
US20120169607A1 (en) Apparatus and associated methods
TW202248820A (zh) 電子裝置
KR101919515B1 (ko) 터치스크린을 구비하는 단말에서 데이터 입력 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid