KR100627378B1 - 터치 스크린 장치 및 방법 - Google Patents
터치 스크린 장치 및 방법 Download PDFInfo
- Publication number
- KR100627378B1 KR100627378B1 KR1019997001648A KR19997001648A KR100627378B1 KR 100627378 B1 KR100627378 B1 KR 100627378B1 KR 1019997001648 A KR1019997001648 A KR 1019997001648A KR 19997001648 A KR19997001648 A KR 19997001648A KR 100627378 B1 KR100627378 B1 KR 100627378B1
- Authority
- KR
- South Korea
- Prior art keywords
- representation
- key
- main image
- pixels
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Abstract
본 발명의 실시예에 따른 스크린 주변 장치는, 주 이미지를 생성하는 컴퓨터 기기와; 사용자가 볼 수 있는 합성 이미지를 생성하여 표시하는 터치 감응식 입력 장치를 포함한다. 상기 합성 이미지는 입력 기능을 활성화시키기 위한 적어도 하나의 키, 이를테면 쿼티(QWERTY) 키보드의 표현과, 컴퓨터 기기에 의해 제공된 주 이미지를 동시에 포함한다. 상기 키보드 표현은 상기 주 이미지 위에 놓이는 것이 바람직하다. 일 실시형태에 따르면, 상기 주 이미지는 상기 컴퓨터가 실행하고 있는 응용 프로그램에 의해 생성되는 출력 이미지이다. 또한 기타 터치 스크린 시스템과 방법도 논의된다.
Description
본 발명의 주제는 1996년 8월 28일자로 출원된 미국 가출원 제 60/024,780호, 1996년 10월 9일자로 출원된 미국 가출원 제 60/028,028호, 1997년 1월 21일자로 출원된 미국 가출원 제 60/036,195호의 주제와 관련된 것이며, 이들 가출원은 모두 미국특허 법전에 35 제 199조(e)에 의한 우선권으로 포함되어 본 명세서에 참조로 합병되어 있다.
본 발명은 접촉감응식 입력 및 출력 장치(touch-sensitive input and output devices)에 관한 것으로, 좀더 상세하게는 배경 이미지 위에 겹쳐지는(즉, 중첩되는) 키보드 타입 이미지를 표시할 수 있는 터치 스크린(즉, 접촉식 화면)에 관한 것이다. 본 발명은 또한 터치 감응식 입력/출력 장치의 다른 특징들에 관한 것이다. 본 발명의 실시형태들은 착용가능한(wearable) 컴퓨터 장치 및 환경에 대한 특정 응용예를 나타낸 것이지만 비착용성(non-wearable) 실시형태들도 또한 고려될 수 있다.
삭제
터치 감응식 입력 표시장치상에서 컴퓨터로 수행되는 응용 프로그램에 의하여 출력되는 이미지 위에 키보드를 중첩시키는 기술, 즉 "가상(phantom)" 키보드를 형성하는 기술은 종래 공지되어 있다. 예를 들면 미국 특허 제5,581,243호(Ouellette 등)는 그의 전체 내용이 본 명세서에 참조로 합병되어 있는 것으로서, 아래 깔린 응용 출력(application output) 이미지를 가리지 않고 터치 감응식 디스플레이 상에 가상 키보드를 표시하는 시스템에 관해 개시되어 있다. 출력 이미지는 생성되면, 소정의 지속성을 갖는 제1의 발광 강도로 제1의 기간 동안 표시된다. 가상 키보드 이미지가 생성되면, 소정의 지속성을 갖는 제2의 하위의 발광 강도로 제2의 짧은 기간 동안 표시된다. 상기 키보드 이미지와 출력 이미지는 교대로 생성되는 데, 각각의 표시되는 시간이 조절되어 두 이미지가 연속적으로 표시되는 환영을 창조해 낸다.
그러나, 상기 미국특허 제5,581,243호 공보에 개시된 시스템은 많은 단점이 있는 것으로 여겨진다. 첫째로, 상기 특허공보에 개시된 바와 같이 응용 화면과 키보드 화면 간의 번쩍거림(flashing)은 연속적으로 표시되는 응용 출력(또는 키보드) 이미지에 대해 달성할 수 있는 재생 속도(refresh rate)를 현저하게 감소시킬 수 있다. 이러한 감소는 보는 이에게 상당한 해를 끼칠 수 있고, 해당 표시된 설명적 특징을 잠재적으로 혼란시킬 수 있다. 둘째로, 키보드 출력과 응용 출력을 교대로 표시하는 것은 적당한 기능수행을 위한 부가적인 하드웨어적인 특성, 예를 들면 화면 사이에서 전후로 절환하기 위한 제2의 프레임 버퍼(a second frame buffer) 등이 필요한 것으로 여겨진다. 게다가, 이 특성은 상기 특허 공보에 개시되거나 확실하게 상정되어 있지 않지만, 무선 전송(이를테면 RF) 환경, 이를테면 착용가능한 컴퓨터 등에 있어서의 Ouellette 장치를 사용할 경우, 무선으로의 전송을 위해서 2배의 정보가 필요하므로 필요한 대역 폭도 상당히 증가할 것이다.
그러나, 상기 미국특허 제5,581,243호 공보에 개시된 시스템은 많은 단점이 있는 것으로 여겨진다. 첫째로, 상기 특허공보에 개시된 바와 같이 응용 화면과 키보드 화면 간의 번쩍거림(flashing)은 연속적으로 표시되는 응용 출력(또는 키보드) 이미지에 대해 달성할 수 있는 재생 속도(refresh rate)를 현저하게 감소시킬 수 있다. 이러한 감소는 보는 이에게 상당한 해를 끼칠 수 있고, 해당 표시된 설명적 특징을 잠재적으로 혼란시킬 수 있다. 둘째로, 키보드 출력과 응용 출력을 교대로 표시하는 것은 적당한 기능수행을 위한 부가적인 하드웨어적인 특성, 예를 들면 화면 사이에서 전후로 절환하기 위한 제2의 프레임 버퍼(a second frame buffer) 등이 필요한 것으로 여겨진다. 게다가, 이 특성은 상기 특허 공보에 개시되거나 확실하게 상정되어 있지 않지만, 무선 전송(이를테면 RF) 환경, 이를테면 착용가능한 컴퓨터 등에 있어서의 Ouellette 장치를 사용할 경우, 무선으로의 전송을 위해서 2배의 정보가 필요하므로 필요한 대역 폭도 상당히 증가할 것이다.
상기한 내용과 기타 단점들을 극복하기 위해서, 본 발명의 실시형태에 따른 스크린 주변 장치는 주 이미지(main image)를 제공하기 위한 컴퓨터 기기와 사용자에게 보여질 수 있는 합성 이미지(composite image)를 생성하여 표시하기 위한 터치 감응식 입력 장치를 포함한다. 합성 이미지는 적어도 하나의 키 표현(key representation)(본 명세서에서의 "표현"(representation)이란 대상을 형상화하여 나타낸 것을 의미하며, 통상의 "표시"(display)란 용어와의 번역상의 혼동을 피하기 위해 사용한 것임), 예를 들어 입력 기능을 활성화시키기 위한 쿼티(QWERTY) 키보드 이미지와 컴퓨터 기기에 의해 제공되는 주 이미지를 동시에 포함한다. 이 키보드 표현은 주 이미지 위에 놓이는 것이 바람직하다.
이 스크린 주변 장치는 키보드 표현과 주 이미지를 형성하는 가변 화소 제어(variable-pixel control)를 구비하는 데, 키보드 표현을 형성하기 위해 선택되는 화소들과 주 이미지 형성을 위해 선택되는 화소들은 상호 의존적으로 선택 제어된다. 다시 말하면, 키보드 표현 화소는 주 이미지 화소와 독립적이지 않다. 일 실시형태에 의하면, 주 이미지는 컴퓨터 기기에 의해 수행되고 있는 응용 프로그램에 의해 생성되는 출력 이미지이다.
다양한 이미지 조정(image-adjustment), 방식 절환(mode-switching), 확대/축소(zoom-up/zoom down) 및 기타 본 발명과 관련된 실시형태들도 대응하는 방법으로 설명되어 있다.
본 발명의 실시형태는 특히 착용가능한 컴퓨터 기기에 응용할 수 있는 데, 이러한 기기들로서는 미네소타주 노스필드에 소재한 비아 인크사(ViA Inc.)에서 시판중인 것들이 있다. 또한 이와 관련한 내용은 미국특허 제5,581,492호 공보; 미국특허 제5,572,401호 공보; 미국특허 제5,555,490호 공보; 미국특허 제5,491,651호 공보; 및 미국특허 제5,285,398호 공보에 개시되어 있고, 이들은 모두 비아 인크사의 소유의 특허로서 그 내용은 모두 참조로 본 명세서에 병합되어 있다.
본 발명의 실시형태는 많은 컴퓨터 환경에서 다양하게 응용된다. 본 발명은 특히 상기한 바와 같이 착용 가능한 컴퓨터 환경에 응용할 수 있으며 휴대성과 소형성을 기본적으로 고려하고 있다. 본 발명은 또한 많은 다른 입력/출력 장치에도 응용될 수 있다. 예를 들어 본 발명의 실시형태들은 실물 크기이거나 부분적인 또는 감소된 크기의 키를 갖거나, 영문자나 비영문자 키보드를 가진 입력/출력 장치를 고려하고 있다. 이러한 키보드는 하나 이상의 "키", "버튼", "접촉 구역(contact zones)" 등을 포함한다. 또한 본 발명은 단지 사용자의 손가락 등에 의한 직접적이고 수동적인 접촉을 요구하는 화면이 아닌 사용자가 손이나 음성으로 어떠한 키를 활성화시켜 지시할 수 있는 많은 입력 장치도 고려한다. 본 발명의 실시형태는 접근이나 펜 또는 음성에 기초한 입력 기능을 포함한다. 사실상, 본 발명의 실시형태에서는, 어떠한 "포인팅(pointing)" 기구, 즉, 표시장치상의 특정 지점이나 구역을 가리키는 기구에 의한 어떠한 표시장치도 상정가능하다. 그러므로, 특정 실시형태들이 터치 스크린, 키보드 및 접촉에 의한 입력에 관해 설명할지라도, 본 발명은 필요에 따라 광범위하에 해석될 수 있고 반드시 이들 특정 실시형태로 한정되는 것은 아니다.
본 발명의 실시예는 도면을 참고하여 설명될 것이며, 도면상의 동일한 참조번호는 동일한 구성요소들을 나타낸다.
도 1은 본 발명의 실시예에 따른 착용가능한 컴퓨터 환경의 사시도,
도 2는 본 발명의 실시예에 따른 키보드 표현을 도시한 도면,
도 3은 본 발명의 실시예에 따른 주 이미지를 도시한 도면,
도 4는 본 발명의 실시예에 따른 합성 이미지를 도시한 도면,
도 5는 본 발명의 실시예에 따른 두 번째 합성 이미지를 도시한 도면,
도 6은 본 발명의 실시예에 따른 동작 단계를 나타낸 순서도,
도 7은 축소키 키보드를 도시한 도면,
도 8은 본 발명의 실시예에 따른 터치 스크린을 도시한 도면,
도 9, 도 10, 도 11, 도 12 및 도 13은 본 발명의 실시예에 따른 손잡이가 달린 터치 스크린을 도시한 도면.
본 발명의 실시형태에 의하면 다양한 이미지가 배합되거나 중첩될 수 있다. 주된 실시예에 있어서, 겹쳐진 이미지는 예를 들어 키보드에서는 적어도 하나의 키에 의한 것이다. 배경 이미지는 개인이나 상업적, 군사적, 공공 서비스 분야나 기타 분야에서 사용되는 그래픽, 스프레드시트(spreadsheet), 문서처리 등과 같은 컴퓨터 기기에 의해 실행되는 응용 프로그램에 의한 출력이다. 그러나, 배경 이미지나 겹쳐진 이미지는 서로 다른 형태일 수 있다. 예를 들면 배경 이미지 또는 두 개의 이미지 모두 응용 프로그램 대신에 시스템과 관련된 프로세서나 저장 장치에 의해 제공될 수 있는데, 각각 또는 두 이미지는 서로 다른 크기의 구성요소를 갖는 합성 이미지의 제공을 위해 확대나 축소 과정을 거칠 수 있다. 또 본 발명에 의하면 한 둘 이상의 이미지가 조합될 수 있다. 즉, 응용, 키보드 또는 다른 이미지들의 어떠한 조합도 합성 이미지에 있어서 배합될 수 있다. 그러므로 본 명세서에 기재된 특정한 실시예가 응용 출력 이미지, 키보드 등과 관련하여 설명되더라도, 본 발명은 필요에 따라서 광범위하게 해석될 수 있고 반드시 이들 특정 실시예로 한정되는 것은 아니다.
본 발명의 실시예에 따른 터치 스크린 키보드 오버레이(touch screen keyboard overlays)는, 예를 들면 착용 가능한 개인 컴퓨터와 같은 관련된 개인용 컴퓨터 기기의 사용자에 의해 선택적으로 작동/비작동시킬 수 있다. 후술하는 바와 같이, 키보드의 표현은 터치 스크린상의 주 이미지 위에 놓이는 데, 이때 주 이미지는 주 응용 소프트웨어와 관련되어 형성되어 있는 것이 바람직하다. 본 발명에 따른 키보드 오버레이는 물리적 키보드를 제거하며, 예를 들면 하단 부분에는 터치 키보드를 그리고 나머지 상단 부분에는 주 이미지를 압착해 놓은 분리된 화면을 가질 필요가 없게 된다. 또한 본 발명에 따른 키보드 오버레이는 응용 출력 이미지의 중요한 부분으로서 겹쳐진 키보드가 표시화면과 동일한 위치를 차지할 때 일어날 수 있는 공간 경쟁 문제를 줄이거나 없앨 수 있다.
본 발명에 따른 키보드 오버레이는 특히 아주 작은 화면용으로 특히 유리하다. 그 이유는 비교적 크고 접근하기 쉬운 오버레이 "버튼들"(키들)이 제공되는데다가, 키보드 밑에 있는 모든 데이타를 동시에 볼 수 있는 능력이 제공되기 때문이다.
본 발명의 실시예들은 특히 음성에 기초한 입력이 바람직하지 않은 상황에서 매우 유용하다. 비록 음성 인식 기술이 주목할 정도로 진보하고 있기는 하나, 일례로, 회의 중에는 방해가 될 수 있는 음성 입력을 여전히 필요로 한다. 음성 입력은 또한 잠재적으로는 가청범위의 모든 사람에게 정확한 메모를 알리는 것이다. 따라서 본 발명의 실시예에 의하면, 사용자는 완전한 침묵 속에서 기계에 직접 입력할 수 있다. 그러나, 음성에 기초한 입력은 많은 경우에 바람직하므로 음성 입력과 키보드 오버레이 입력을 임의로 절환할 수 있는 스위치 역시 고려되고 있다. 이것은 터치 스크린이나 관련 장치의 옆면이나 기타 면에 있는 물리적 버튼이나 키보드에 의해 활성화될 수 있고, 스크린 자체의 접촉감지부 위의 버튼이나 키에 의해 또는 음성에 의해서도 활성화될 수 있다.
본 발명의 실시예에 의한 키보드 오버레이는 많은 형태를 취할 수 있다. 일례로서, 각 키의 외곽을 형성하는 실선이나 점선의 오버레이를 상정할 수 있다. 또는, 사용자에 의해 양자택일 또는 선택적으로 채택되었을 때, 각 키는 도트로 표시될 수 있거나, 혹은, x표시나 도트 (dots) 등과 같은 중재 마커(intervening markers) 사이의 문자영역 구역(letter-area zone)으로서 표시될 수 있다. 이상적으로, 키보드의 표현은 표준 화면에서 흐릿하게 제공되어서 주 프로그램으로부터의 데이터/이미지를 동시에 볼 수 있다. 이후 좀더 상세히 설명될 가변 화소 제어들은 키보드 표현의 두께, 밝기, 도트성(dotted-ness)을 변화시킬 수 있다. 많은 경우에 키보드 오버레이는 극도로 흐릿할 수 있다.
각 키나 구역과 관련된 문자들과 같은 키보드 자체의 특성들은 만일 사용자가 키보드 배치를 기억하고 있다면 오프(turn off)시켜도 된다. 즉, 키보드의 키/구역의 표현을 보지 않고도 효율적으로 타이핑을 할 수 있는 사용자를 위해 키보드 내의 특성이 전혀 보이지 않는 상태로도 활성화될 수 있다.
콘트라스트 조정용 버튼은 터치 스크린 자체 상에 표시되는 것이 바람직하다고 고려되나, 키보드와 주 이미지 간의 콘트라스트 조정을 위해서 가능하다면 콘트라스트 버튼을 터치 스크린의 케이스에 표시시켜도 된다. 또한 키보드의 온/오프 버튼도 상기와 같이 적용된다. 한편, 이들 특성들은 음성에 의해서도 조정될 수 있다.
가변 화소 제어
본 발명의 실시예에 따르면, 소프트웨어에 기초한 가변 화소 제어는 키보드 표현을 표시하기 위해 사용되는 터치 스크린 화소와 주 이미지를 표시하기 위한 화소들을 결정하고 조정하도록 제공된다. 몇몇의 경우 각각의 스크린 화소는 키보드나 주 이미지에 대해 100% 전용된다. 또 다른 경우에, 터치 스크린 화소들은 키보드와 주 이미지 전용으로 되어, 후술하는 바와 같은 "배합" 효과("blended" effect)를 발휘한다.
본 발명에 따르면 가상 키보드의 이미지와 디스플레이 상의 통상의 출력 이미지와의 합병은 다양한 방법과 프로그래밍 과정에 의해 일어날 수 있다. 그러나 현행의 대부분의 비디오 그래픽 제어기의 사용시, 이미지의 합병을 수행할 수 있는 가장 유효한 방법은 비트-블록 또는 비트-블록-형태(bit-block-type) 전송 연산, 즉, 빗블라이트 연산(BitBlt operations)을 이용하는 것으로 여겨진다.
빗블라이트 연산은 래스터계(raster-based) 표시장치에서 3가지 화소 세트까지의 논리 결합을 수행하는 효율적인 방법을 제공한다. 본 발명의 실시예에 따르면, 빗블라이트 연산은 다음의 3가지 화소 세트에 사용된다:
(1) 디스플레이 상의 원래의 화소들, 즉 가상 키보드가 없을 때 제공되는 이미지;
(2) 가상 키보드의 이미지를 나타내는 화소들; 및
(3) 가상 키보드 내의 화소들과 원래의 표시 화소들의 합병시 조정을 담당하는 이미지 마스크(image mask).
빗블라이트 연산의 사용시, 가상 키보드는 다양한 효과를 이용해서 디스플레이와 배합될 수 있다. 다음의 표 1은 수행 가능한 전형적인 연산을 요약한 것이다.
소스(Source)(S) 목적지(Destination) (D) 마스크(Mask) (M) | 1 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 1 1 1 0 0 0 0 | 불연산 (Boolean Operation) | 연산 (Operation) |
결과 | 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 1 1 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 1 0 1 0 1 1 0 1 0 0 1 1 0 0 1 1 0 1 0 0 0 1 0 0 0 1 0 1 1 1 0 1 1 1 1 0 0 0 0 0 0 1 1 0 0 1 1 0 0 1 1 1 0 1 1 1 0 1 1 1 1 0 0 0 0 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 | 0 ~ (S|D) ~ S S & ~ D ~ D M ^ D S ^ D S & D ~ S|D M&S S S|D M M|~ S|D 1 | Blackness Not source erase Not soource copy Source erase Destination invert Mask invert Source invert Source and Merge paint Merge copy Source copy Source paint Mask copy Mask paint Whiteness |
또한, 당업자라면, 마찬가지의 논리 함수가 전술한 색차 특성에 적용될 수 있고, 이러한 함수는 흑색/백색/회색에 한정되는 것이 아님은 충분히 이해할 수 있을 것으로 여겨진다.
이후 설명되는 논리연산들 각각은 서로 다른 배합 효과(blending effect) 또는 합병효과(merging effect)를 갖는다. 비록 논리연산의 일부가 예를 들면, 목적지(destination) 내로 원본(source)을 복사하거나 또는 0이나 1로 채워 원본이나 목적지가 가지고 있는 것은 무시하는 일 등의 실질적인 효과를 갖지 않을지라도, 이들 연산의 대부분은 키보드 이미지와 응용 출력 이미지가 함께 맞물리는 방법을 결정하기 위한 많은 다른 효과를 창조하는데 사용될 수 있다. 또한 다양한 논리 연산들은 필요에 따라 배합되어, 나머지 이미지에 대해서 하나의 이미지의 거친 정도/강도(harshness/intensity)와 같은 훨씬 큰 다양한 시각적 효과를 산출해낼 수 있게 된다.
이후 설명되는 논리연산들 각각은 서로 다른 배합 효과(blending effect) 또는 합병효과(merging effect)를 갖는다. 비록 논리연산의 일부가 예를 들면, 목적지(destination) 내로 원본(source)을 복사하거나 또는 0이나 1로 채워 원본이나 목적지가 가지고 있는 것은 무시하는 일 등의 실질적인 효과를 갖지 않을지라도, 이들 연산의 대부분은 키보드 이미지와 응용 출력 이미지가 함께 맞물리는 방법을 결정하기 위한 많은 다른 효과를 창조하는데 사용될 수 있다. 또한 다양한 논리 연산들은 필요에 따라 배합되어, 나머지 이미지에 대해서 하나의 이미지의 거친 정도/강도(harshness/intensity)와 같은 훨씬 큰 다양한 시각적 효과를 산출해낼 수 있게 된다.
이하, 본 발명에 따라 고려된 무수히 많은 맞물림(meshing) 가능성 중 두 가지 예를 설명한다. 첫번째 예로, 키보드는, 해당 키보드를 나타내는 화소의 25 %와 원래의 표시 이미지를 나타내는 화소의 75%를 사용하여, 원래의 표시응용 출력 이미지와 배합된다. 두번째 예로, 두 이미지로 구성된 마지막 합성 표시 이미지의 각각의 화소와 함께 두 이미지가 좀 더 정확하게 혼합된다. 두번째 예에서, 합성이 완료된 이미지는 예를 들면, 원래의 이미지로부터 배합된 음영(blended shadow)으로서 나타날 수도 있다. 상기 두 예 모두에서, 일실시형태에 따르면 컴퓨터 체계의 그래픽 제어기가 화소마다 256색을 가진 대부분의 전형적인 개인용 컴퓨터인 8비트×8비트 평면(8-bit bit plane)을 사용하는 것을 가정하고 있다. 물론, 당업자가 현재 및 장래의 그래픽 제어기들, 비트 평면 등에 이용하기 위해 이들 예를 채용하는 것은 용이하다.
첫번째 예에서, 키보드는 해당 키보드를 표현하기 위한 화소의 25 %와 원래의 표시 이미지를 표현하기 위한 화소의 75 %를 사용하여 디스플레이와 함께 배합될 수 있으며, 각각의 디스플레이 갱신은 세 단계로 수행되는 것이 바람직하다. 첫번째 단계는 보이지 않는 키보드 이미지 부분을 제거하는 것, 즉, 키보드 이미지의 75 %를 제거하는 것이다. 두번째 단계는 보이지 않는 주 이미지 부분을 제거하는 것, 즉, 주 표시 이미지의 25 %를 제거하는 것이다. 세번째 단계를 이들 두 이미지를 합병하는 것이다. 다음의 유사부호(pseudocode)는 이러한 예에 따라 사용된 관련처리의 일실시형태를 나타낸다:
reduced_kbd : = BitBlt (source => keyboard image,
reduced_kbd : = BitBlt (source => keyboard image,
삭제
destination => keyboard image,
mask => [0xF0, 0x00, 0x00, 0x00,
0xF0, 0x00, 0x00,x0x00, ...]
operation => merge copy) ;
reduced_display : = BitBlt (source => original display image,
destination => original display image,
mask => [0x00, 0xF0, 0xF0, 0xF0,
0x00, 0xF0, 0xF0, 0xF0, ...]
operation => merge copy) ;
display : = BitBlt (source => reduced_kbd,
destination => reduced_display,
mask => null,
operation => source paint) ;
첫번째 예에서는, 실행시 최초의 빗블라이트는 일단 초기화가 수행되면 그 다음에 장래의 디스플레이 갱신시의 재사용을 위해 저장된다. 본질적으로 이 과정에서는 사용자에게 보여지는 단 하나의 마지막 합성 이미지에 적합하지 않은 화소들은 상기 두 이미지로부터 제거된다. 이와 같이 해서, 어떠한 이미지도 중첩하는 화소를 포함하지 않게 되는 것이다. 그러므로 합성된 이미지에 있어서 각각의 화소는 키보드나 디스플레이 중 어느 하나가 100 % 기여하지만, 이들이 번갈아 기여하는 것은 0%이다.
두번째 예에서는 일실시형태에 의하면 하나의 빗블라이트를 사용하여 두 이미지를 논리적으로 합성한다. 이하의 유사부호(pseudocode)는 이러한 예에 따라 사용된 관련된 처리의 일실시형태를 나타낸다:
display : = BitBlt (source => keyboard image,
destination => original display image,
mask => null,
operation => source paint) ;
본 발명의 현행 실시형태는 수행이유에 대해 다음과 같은 가정을 채용한다. 본 발명의 실시형태는 전형적으로 이용가능한 운용 체계(operating systems)에 대한 것인데, 이 체계는 다중 작업을 지원하며, 각각의 응용 프로그램은 자체의 조정 한계를 지니고 있고, 또한, 각 작업의 시각적 표현으로서 윈도우를 이용하는 그래픽 유저 인터페이스를 지니고 있다. 이러한 운용체계들의 예는 마이크로소프트 윈도우(Microsoft Windows) 95, 마이크로소프트 윈도우 NT, SCO Unix, 선즈 솔라리스(Sun's Solaris) 운용체계가 있다. 또한 본 발명의 실시형태는 전형적인 비디오 그래픽 제어기에 관한 것이다. 이 제어기는 비트-블록 전송 연산 및 프로세서 메모리와 비디오 메모리 사이의 DMA(Direct Memory Access)를 지원한다. 칩스 앤 테크놀로지즈(Chips and Technologies), 에스 3사(S3), 네오매직사(NeoMagic Corporation), 트리덴트사(Trident) 등의 각종 회사 제품의 그래픽 제어기가 이들 연산을 지원한다.
본 발명의 실시형태는 예를 들면, (1개의 기기에 멀티프로세스를 사용하는 것과 같이) 하드웨어와 소프트웨어의 기술의 발전함에 따라, 이러한 가정들에 반드시 의지하지 않고도 사용할 수 있어야 한다. 심지어 현재도, 비록 적어도 몇몇 환경에 있어서의 수행이 좀 더 복잡하고 더 느린 작동으로 진행된다고 할지라도, 본 발명에 의하면 상기에서 설명된 것들 이상의 환경에서의 수행이 고려되고 있다.
이와 같이 본 발명의 실시형태에 따르면, 예를 들면, 도 1 내지 도 5에 표시된 바와 같이, 본 발명의 실시형태에 의한 스크린 주변 장치(5)는, 예를 들면, 응용 소프트웨어를 실행하는 컴퓨터 기기(10)와, 상기 스크린 주변 장치(5)의 사용자(20)가 볼 수 있는 합성 이미지를 생성하여 표시하는 터치 감응식 입력장치(15)를 포함한다. 상기 합성 이미지는, 일실시예에 의하면, 예를 들면, 키보드 입력 기능과 같은 입력기능을 활성화하기 위해 적어도 하나의 키의 표현을 포함한다. 또한, 합성 이미지는 주 표시 이미지를 포함하는 데, 그 예로서는 컴퓨터 기기(10)에 의해 수행되는 응용 소프트웨어에 의해 생성되는 출력 이미지를 들 수 있다. 적어도 하나의 키의 표현은 응용 소프트웨어에 의해 생성되는 주 이미지 위에 놓인다.
도 1은 앞에서 설명되었듯이 특히 본 발명의 실시형태에 잘 부합되는 착용가능한 컴퓨터 환경에 있어서의 스크린 주변 장치(5)를 나타낸 것이다. 본 발명의 실시형태는 또한 사용자에 대한 근접성에 기초한 선택적 제어를 허용하는 소형, 저전력, 대역확산 "바디랜" 타입 시스템(a miniature, low-power, spread-spectrum "bodyLAN"-type system)과 관련되어 사용될 수 있다. 이러한 시스템에 의해, 상기 터치 감응식 입력 장치(15)는, 컴퓨터 기기(10) 및/또는 LAN, WAN과 같은 기타 기기/시스템과 유선 또는 무선 통신할 수 있다. 유선 및 무선 통신의 실시예는 비착용성 컴퓨터 기기의 사용시에도 고려된다. 상기 입력 장치와 착용성 컴퓨터 또는 기타 컴퓨터 사이를 잇거나, 시스템의 다른 구성요소들 사이를 잇는 광학섬유, 전기, 적외선 및 기타 데이타 전송 설계에 고려된다. 본 별명의 실시예는 특히 테이블-형태의 터치 스크린과 다른 소형의 휴대가능하거나 포켓 속에 넣을 수 있는 입력/출력 장치에 유효하다.
또한 본 발명의 실시예는 헤드업(heads-up) 디스플레이 장치; 및 바디원(body-worn) 디스플레이 장치; 혹은 각각과 관련되어 있다. 듀얼 스크린 스테레오 디스플레이와 같은 것이 상기 두 장치의 예이다. 본 발명에 의하면, 키보드 오버레이와 음성-감응 키보드 오버레이 및 음성-조정 키보드 오버레이는 양자 동시에 혹은 독립적으로 표시 화면상에 나타나기 때문에, 사용자가 내려다 보지 않고 데이타를 입력할 수 있다.
스크린 주변 장치(5)는 적어도 하나의 키의 표현과 예시로서 상기 설명된 방법에 따른 출력 이미지를 형성하는 가변 화소 제어를 구비한다. 가변 화소 제어의 작용은, 예로서 상기 설명된 방법에 따라, 적어도 하나의 키의 표현을 형성하는 데 사용되는 화소와 출력 이미지를 형성하는 데 사용된 화소가 직접적으로 상호 의존하도록 하는 것이다. 다시 말하면, 상기에서 밝혀진 Ouellette의 참조문헌과는 달리 상기 이미지 표시를 위해 선택된 화소들은 독립적이지 않다.
가변 화소 제어는 적어도 하나의 키의 표현와 소프트웨어 응용에 의해 생성된 출력 이미지 사이의 콘트라스트 조정을 제공할 수 있다. 콘트라스트 조정은 적어도 하나의 키의 표현의 두께, 명도 및 도트성(dotted-ness) 중 적어도 하나를 변경하는 것을 포함한다.
상기에서 언급한 바와 같이, 한 예에 따르면 컴퓨터 기기(10)는 적어도 하나의 키의 표현 전체의 화소로부터 합성 이미지에서 보이지 않는 키보드 영역을 표시하는 X %를 제거한다. 비록 X가 특정 표시나 목적에 적합한 다양한 값을 가질 수 있다 할지라도, 상기 설명한 첫번째 예에서 X=75이다. 또한 컴퓨터 기기(10)는 전체 응용 출력 이미지 중의 화소의 (100-X) %를 제거한다. 여기서 (100-X) %는 합성 이미지에서는 보이지 않는 응용 출력 이미지 영역을 나타낸다. 예를 들어 상기에서 설명된 경우는 25 %이다. 또, 컴퓨터 기기(10)는 화소가 제거된 키 표시와 화소가 제거된 주 이미지를 합병하여 합성 이미지를 형성한다. 양자택일적 및/또는 부가적으로, 상기에서 설명된 두 번째 예에서처럼, 합성 이미지는 적어도 하나의 키의 표현과 주 이미지와의 배합 음영을 포함할 수 있다. 일실시예에 의하면, 컴퓨터 기기(10)는 적어도 하나의 키 표현과 주 이미지의 화소들의 배합을 조절함으로써 상기 배합 음영의 명암 정도를 조절할 수 있다. 합성 이미지의 키보드 영역과 같은 합성 이미지 화소의 암도(darkness)를 변화시킴으로써, 키보드가 다른 이미지 속에 물려서 나타나게 할 수 있다. 따라서, 키보드는 주 이미지로부터 화소를 적절하게 "도용"하거나 주 이미지 화소를 선택된 방법으로 가려서 키보드 이미지를 생산하는 것이다.
당해 기술 분야에서 통상의 지식을 가진 자가 본 명세서를 읽음으로써 이해할 수 있도록, 상기에서 설명된 기기와 시스템에 부합되는 방법도 상정할 수 있다.
도 2 내지 도 5는 본 발명의 실시예에 의한 샘플 이미지와 합성 화면의 예를 예시하고 있다. 도 2는 적어도 하나의 키의 표현을 예시한 것으로, 여기에서는 몇몇의 기능/옵션 키/버튼을 갖춘 완전한 쿼티 키보드를 예로 든다. 도 3은 컴퓨터 기기에 의해 생성되는 주 이미지를 예시한 것이다. 도 3은 주 이미지가 컴퓨터 기기의 프로세서나 기타 구성요소가 실행하는 응용 프로프램의 출력 이미지 또는 응용프로그램들의 출력 이미지들인 상황도 망라하는 것으로 해석할 필요가 있다. 도 4는 상기의 첫번째 예에 따라 형성된 합성 이미지를 나타내며, 도 5는 상기 두번째 예에 따라 형성된 합성 이미지를 나타낸다.
도 6은 가상 키보드가 정상적 표시 위에 겹쳐지는 것을 허용하는 범용 처리를 나타내는 본 발명의 일실시예의 순서도를 예시한 것이다. 이 처리는 가상 키보드 이미지와 표시중인 나머지 정보와의 정합성을 유지한다.
개시 스텝(100) 이후, 스텝(105)에서 가상 키보드 이미지가 작성된다. 키보드는 스텝(110)에서 현재의 표시화면상에 겹쳐진 상태로서 그려지고, 이어서 스텝(115)에서 이벤트(event)를 대기한다. 스텝(120)에서 터치가 일어나면, 스텝(125)에서 이와 같이 해서 접촉된 가상 키가 결정되고, 스텝(130)에서 키보드는 현행 태스크/윈도우(task/window)로 보내진다. 그 다음 스텝(115)에서 대기 상태가 된다.
만일 스텝(120)에서 어떠한 터치도 없다면, 스텝(135)에서 관련된 윈도우가 재작성되어 있는지의 여부를 판정한다. 만일 그렇다면, 스텝(140)에서 상기 재작성된 스크린 영역이 판정되고, 이어서, 스텝(145)에서는 상기 재작성된 스크린 영역이 키보드 이미지와 겹쳐지는지의 여부를 판정한다. 만일 그렇지 않다면, 그 다음은 스텝(115)에서 대기상태가 된다. 만일 그렇다면, 스텝(110)에서 키보드는 현행 표시 위에 겹치도록 (재)작성된다. 또한, 스텝(150)에서 윈도우가 삭제되었는지의 여부를 판정하고, 스텝(155)에서는, 윈도우가 작성되었는지의 여부를 판정한다. 만일 대답이 "예"(yes)라면, 상기에서 설명된 바와 같이 스텝(140), 스텝(145)를 거쳐 스텝(110) 또는 스텝(115)로 진행한다. 만일 대답이 "아니오"(no)라면, (여전히) 스텝(115)에서 대기 상태가 된다.
방식 절환(mode switching)
일실시예에 의하면, 만약 하나의 키나 버튼의 표현이 소정의 설정 시간, 이를테면 1초 동안 눌러져 있다면, 커서가 눌린 키의 지점에서 나타나고 키보드의 나머지 부분은 (선택적으로) 사라진다. 사용자는 상기 터치 스크린을 따라 손가락을 드래그(drag)하여(즉, 끌어서), 커서를 원하는 위치로 이동시킬 수 있다. 일 실시형태에 따르면, 커서 방식으로 들어가면, 수많은 새로운 키/버튼(혹은 상기한 바와 같이 상기 키/버튼의 표현들)은 스크린의 한쪽 면에 예를 들면, "잘라내기(cut)", "붙이기(paste)", "복사(copy)", "삭제(delete)" 및/또는 "유지(hold)버튼 등으로서 나타난다. 적절히 위치한 마우스 버튼 역시 상기 스크린 위, 이를테면 스크린의 구석에서 상정되어 사용자의 엄지손가락으로 접근할 수 있게 된다. 사용자의 엄지손가락의 용이한 접근을 허용하는 통상적인 스크린 고정 메커니즘을 이하에 설명한다.
사용자는 사용시 원하는 시간 동안 상기 키보드 오버레이 상에 타이핑하고 나서, 설정된 시간 동안 한 손가락을 눌러 키보드 방식을 빠져나가 커서 방식으로 들어간다. 선택된 텍스트는 예를 들면 터치 스크린의 한쪽 변이나 구석에 있는 상기 마우스 버튼을 이용함으로써 강조될 수 있으며, 이어서 상기 커서는 드래그되어 "잘라내기" 버튼 혹은 기타 원하는 버튼 상에 떠다닐 수 있다. 사용자의 손가락이 제자리에 유지되어 있을 때에는 사용자의 손가락 동작이 마우스의 동작과 일치되며, 마우스용 터치 버튼이 스크린의 구석에 있어서 사용자의 엄지손가락이 마우스 터치 버튼에 접근할 수 있다. 상기 커서 방식을 빠져나오면, 사용자의 손가락은 다시 타이핑에 사용된다.
축소키(reduced-key)
키보드 오버레이의 일실시예에 의하면, 가상 쿼티 키보드의 키의 개수는 이를테면 12개로 줄일 수 있는데, 이 중 9개는 문자키이고 나머지 3개는 "시프트"(SHIFT) 키, "삭제"(DELETE) 키, "선택"(SELECT) 키가 된다. 도 7은 일종의 축소키 키보드(200)을 나타내고 있다. 각 문자 키는 이를테면 3개의 문자나 문자 조합 같은 다수의 문자를 나타낸다. 단어 인식 프로그램이 단어를 구별해 내는 방법의 예는, "선택" 키(또는 "스페이스"(space) 키)를 누르면서 문자 키를 타이핑하는 것이다. 상기 축소키 키보드 패턴에 의하면, 본 발명에 따라 실현가능한 소형화가 강화될 뿐 아니라 다른 장점들이 제공된다.
본 발명의 일실시예에 의하면, 도 8에 도시한 바와 같이, 축소키 키보드는 표준 터치 스크린/슬라이드 패드 마우스(touch screen/slide pad mouse)(220) 상에 가상적(virtual) 또는 물리적(physical) 터치 레이아웃(touch layout)(210)으로서 통합된다. 프로그램은 터치 스크린(220)을 지속적으로 감시하면서, 가상 옵션 버튼(230)이나 물리적 옵션 버튼(240)이 선택되어 조작 방식이 표준 터치패드 마우스("상대적" 방식)에서 키보드 입력 터치패드("절대적" 방식)로 전환되는 때를 탐지한다. 키보드 방식으로 들어가면, 본 발명에 따른 키 패턴 오버레이(key pattern overlay, 예를 들면 문자 키보드, 숫자판 그리고/또는 개별 키)는 터치 스크린 상에 직접 및/또는 관련된 화면상에 표시된다. 그 다음에 사용자가 문자/단어 혹은 기타 입력을 만들어 내기 위해 키보드에서 어떤 키를 두드리는지 탐지된다. 축소키 키보드를 표준 터치패드 마우스와 연결하여 사용할 때, 상기 방식 절환에 의하면, 상당한 표시 소형화뿐만 아니라, 손가락 타이핑 속도의 고속화 등의 기타 장점이 제공된다.
또 다른 실시예에 따르면, 가상 혹은 물리적 선택 버튼이나 기타 버튼(230), (240)을 여러 번 누르거나 장시간 유지시켜 다양한 조작의 부속 방식(submode)으로 들어가거나 빠져나갈 수 있다. 첫 번째 터치는 상대적 방식에서 절대적 방식으로 전환되도록 할 수 있으며, 그 이후의 터치는 영문자, 숫자, 구두점 및/또는 기타 부속 방식과 같은 절대적 부속 방식으로의 전환을 일으킬 수 있다. 예를 들면, 만약 사용자가 표준 상대적 마우스 방식에 있는 동안 구두점을 입력하고자 한다면, 사용자는 처음에는 적당한 버튼 혹은 버튼들을 2회 두드려, 절대적 방식으로 들어간 다음, 이어서 구두점 입력 부속 방식으로 들어가, 적당한 구두점을 넣고, 다음에, 재차 상기 버튼 또는 버튼들을 2회 두드려 절대적 키패드 방식으로 돌아간다. 버튼을 한 번 혹은 여러 번 누르면, 상대적 방식과 절대적 방식 간의 절환이 가능하고, 어느 한 가지 방식, 이를테면 절대적 방식 안에서는 키보드, 숫자판, 구두점 입력 부방식 혹은 기타 추가 선택사항을 채택하는 것이 가능하다.
영문자, 숫자 및 기능 서브키보드를 이용해서 각 키 위에 서브키보드의 키를 겹쳐 키보드의 크기를 줄이는 기술 또한 알려져 있다. 일례로서, 영문자 서브키보드를 숫자와 기능 서브키보드 위에 겹쳐 놓는 것을 한가지 예로 들 수 있다. 숫자 입력을 위해, 숫자들은 각 키 위에 인쇄되어 있지 않고 인접한 여러 키가 만나는 지점, 즉 키 사이의 간극에 인쇄되어 있다. 따라서 4개의 "쿼터(quarter)" 키들은 원하는 숫자를 등록하기 위해 함께 조작되지만, 각 가상 숫자키는 실물크기를 갖는다. 각 숫자에 관련된 4개의 문자키의 밑에는 감지 영역(sensing area), 즉 포인트 혹은 구성 요소(element) 혹은 영역(region)이 존재하며, 사용자의 손가락이 원하는 숫자를 등록하면 충분한 수의 감지 영역이 활성화된다. 상기 기술로 키보드의 크기를 예를 들면 신용카드의 크기로 줄일 수 있다. 상기 종류의 키 레이아웃의 예로는 미국특허 제5,612,690호 공보 등이 있으며, 여기에서는 미국특허 제 5,612,690호 공보가 참조로 본 명세서에 병합되어 있다.
숫자 및/또는 기능 서브키보드 상에 영문자 서브키보드를 겹치는 것처럼, 각각의 키 위에 다양한 서브키보드의 키를 겹쳐놓는 기술을 도 7 내지 도 8에 대한 상기 설명한 축소키 개념과 결합시켜, 본 발명에 따른 키보드 혹은 키보드 오버레이의 크기를 한층 더 감소시킬 수 있다. 예를 들어 도 7의 실시예의 레이아웃에서, 숫자 및/또는 기능 키는 도면에 표시한 3 문자키(three-letter keys) 간의 물리적 혹은 가상 간극에 위치할 것이다. 그 결과로 생기는 합성 이미지는 전술한 방법대로 응용 출력(application output) 상에 겹쳐질 것이다.
줌(zoom)
다른 실시예에 의하면, 확대(zoom-up)/축소(zoom-down) 기능은 예를 들면, 전술한 기술에 준해서 터치 스크린 혹은 기타 터치 감응식 입력 장치를 통해 통합된다. 예를 들면, 일단 가상 혹은 물리적 키에 의해 적당한 줌 방식이 활성화되면, 터치감응 표면에 사용자의 손가락의 하나, 둘, 셋 혹은 그 이상이 접촉하여, 적당한 수의 감지 영역 및/또는 그 위의 "구역(zone)"을 활성화시키고, 그 결과 스크린 크기 및/또는 표시되는 배율을 제어하게 된다. 한가지 실시예에 따르면, 한 개의 손가락을 접촉하면 일반 스크린 크기 및/또는 일반 배율이 적용되고, 두 개의 손가락을 접촉하면 두 배의 크기/배율로 확대되며, 세 개의 손가락을 접촉하면 세 배의 크기/배율로 확대된다. 축소 기능도 마찬가지로 구성될 수 있다. 순차적인 단계상승 또는 단계하강은 불필요하며, 예를 들어, 세 배의 크기/배율에서 일반 크기/배율로 감소시키는 동작은, 두 배의 크기/배율 방식으로 들어가지 않고 단순히 한 손가락을 접촉하면 된다.
이와 같이 해서, 사용자는 파일 메뉴로 들어가는 불편을 겪지 않고도, 줌 특성으로 빠져나와 서서히 확대하는 기능과 서서히 축소하는 기능을 마우스 따위를 이용해서 선택할 수 있다. 가상적, 물리적 혹은 음성에 의해 작용되는 줌 기능 선택 버튼이 활성화되고, 동시 혹은 그 이후에 사용자의 손가락(혹은 포인팅 기구)이 어느 한 시점에서 터치 스크린을 얼만큼 점유하는지를 터치 스크린/슬라이드패드가 스스로 결정하면서 사용된 손가락 수에 알맞는 특정 스크린 크기/배율을 제공한다. 좀 더 상세한 실시예에 따르면, 터치감응 입력 장치 상에서 활성화된 감지 영역 혹은 접촉 구역의 수에 의거해서 적당한 줌 기능성이 발휘된다.
상기 특성들은 휴대가능하고 착용가능한 컴퓨터에 특히 적절하게 응용되는데, 예를 들면, 팔목에는 소형 스크린이 사용되며, 이 스크린은 일반적으로 실물크기는 아니다. 기존 소프트웨어를 이용하기 위해서, 사용자는 아이템들이 전체 페이지 상에서 보이는 방법을 참조해서 어떤 경우에는 서서히 확대하는 형태로 크게, 또 어떤 경우에는 서서히 축소하는 형태로 화면 특성을 보기를 원할 수도 있다. 또한, 표시된 정보에 대한 사용자의 시야를 개선/실증하기 위해 음성이나 접촉 방식에 의거해서 플립 명령(flip command)이나 회전 명령을 수행할 수도 있다.
기타 하드웨어
종래의 터치 스크린에서의 문제점 중의 하나는, 소형 컴퓨터와 소형 화면에 대해서 사용자의 손이 종종 그 화면 자체보다 더 크다는 점에 있다. 그러므로 본 발명의 실시예에 의하면, 밀고당김이 가능한 (retractable) 손잡이(260)(도 9 내지 도 10)는 터치 스크린(270)에 대해 (280)으로 표시한 바와 같이 빼낸 위치와 쑥 들어간 위치 사이를 미끄럼이동해서, 터치 스크린(270)의 왼편 혹은 오른편 중 어느 한쪽에서 편리하게 고정할 수 있는 기구를 제공한다. 손잡이(260)를 왼편에서 오른편으로 이동시키기거나 그 반대로 이동시키기 위해서, (290)으로 표시한 바와 같이 손잡이를 터치 스크린 위로 돌릴 수 있도록 추축(pivot)(285)이 설치되어 있다. 쑥 들어간 위치에서, 손잡이는 터치 스크린의 뒷면에 걸려 있어서 추축 운동을 가능하게 한다. 손잡이를 이동시키는 도중 혹은 빼낸 위치에 있을 때 일어날 수 있는 추축 운동을 막기 위해서, 볼 또는 유사한 돌출부가 측면의 홈 혹은 등가의 기구 속에 물려 있다. 이와 같이 해서, 본 발명의 실시예는 도 10에 표시한 바와 같이 왼손잡이와 오른손잡이 사용자 모두에게 커다란 편의를 제공할 뿐 아니라, 서로 다른 작업을 하기 위해 다른 손을 쓰고자 할 경우에도 편의를 제공한다. 손잡이(260)는 도 11에서처럼 운반 시에 쓰거나, 도 12에서처럼 목에 걸어 쓰는 실시예도 가능하며, 도 13에서처럼 벨크로(VELCRO) 띠 따위를 이용해 손목밴드로의 실시예도 가능하다. 게다가 또다른 실시예에 의하면, 양면 터치 스크린에 음성이나 접촉으로 스크린을 뒤집을 수 있는 기능을 제공하면, 손잡이를 한 쪽에서 다른 쪽으로 추축이동시키지 않고서도 손잡이로 터치 스크린을 왼손으로 혹은 오른손으로 잡도록 만들 수 있다.
전술했듯이, 본 발명의 실시예들은 음성 인식의 실시예 또는 수동조작이 불필요한 실시예, 아니면 이들 두 실시예로 응용된다. 마이크/스피커를 터치 감응식 입력 장치의 전면에 내장시켜, 사용자가 따로 마이크/스피커를 갖고 있지 않아도 상기 장치를 보고 말할 수 있도록 할 수 있다. 음성 명령은 키보드 오버레이 및/또는 음성 입력 방식을 켜고 끌 수 있도록 변화시키는 데에 쓸 수 있고, 콘트라스트, 키보드 표현 종류, 키보드/커서 방식 등을 변화시키는 데에도 쓸 수 있다. 뿐만 아니라 음성 명령은 터치 스크린 자체를 활성화하는 데에 쓸 수 있으므로, 이를테면 사용자의 호주머니 속에서 우연히 켜지는 것을 방지할 수도 있다.
유의할 사실은, 본 응용의 상세한 특성들 뿐 아니라 참고 문헌과 통합된 상기 응용에서 기술된 특성들도 첨가 및 조합하여 특정 상황에 적합화시킬 수 있다는 점이다. 다양한 기타 수정과 변경은 통상 기술자에게 명백히 이해될 수 있을 것이다.
Claims (30)
- 주 이미지(main image)를 제공하는 컴퓨터 기기; 및복수의 화소를 구비하고, 스크린 주변 장치의 사용자가 볼 수 있는 합성 이미지(composite image)를 생성하여 표시하기 위한 터치 감응식 입력 장치(touch-activated input device)를 포함하고,상기 합성 이미지는 입력 기능을 활성화하기 위한 적어도 하나의 키의 표현(representation); 및 상기 컴퓨터 기기에 의해 제공되어 상기 적어도 하나의 키의 표현이 위에 놓이게 되는 주 이미지를 동시에 포함하고,상기 스크린 주변 장치는 가변 화소 제어(variable-pixel control)를 실행하여 상기 적어도 하나의 키의 표현을 형성하고, 또 상기 주 이미지를 형성하며,상기 가변 화소 제어는 상기 합성 이미지에 있어서 상기 적어도 하나의 키의 표현을 형성하기 위하여 선택된 화소들을 상기 주 이미지를 형성하기 위해 선택된 화소들에 의존해서 동시에 작동시키고,또한, 상기 가변 화소 제어는 상기 터치 감응식 입력 장치의 개별의 화소들이 상기 주 이미지와 상기 적어도 하나의 키의 표현에 동시에 전용될 수 있도록 상이한 배합/합병 효과를 제공하는 논리연산자를 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 가변 화소 제어는 상기 컴퓨터 기기에 의해 제공된 적어도 하나의 키의 표현과 상기 주 이미지 사이의 콘트라스트 조정을 제공하는 것을 특징으로 하는 스크린 주변 장치
- 제 2 항에 있어서, 상기 콘트라스트 조정은 상기 적어도 하나의 키의 표현의 두께, 밝기 및 도트성(dotted-ness) 중 적어도 어느 하나를 변화시키는 것을 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 적어도 하나의 키의 표현은 점선 표현인 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 적어도 하나의 키의 표현은 키보드 전체의 표현을 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 터치 감응식 입력 장치는, 사용자가 해당 터치 감응식 입력 장치를 순간적으로 접촉하는 것에 의해 입력 기능을 활성화시키는 키보드 방식과, 사용자가 상기 터치 감응식 입력 장치와 결합된 커서를 이동시키는 커서 방식의 두 가지 방식으로 동작되며, 설정된 시간 동안 상기 터키 감응식 입력 장치를 지속적으로 접촉함으로써, 상기 커서 방식은 키보드 방식으로부터 진입되고 역으로 상기 키보드 방식은 상기 커서 방식으로부터 진입되는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 컴퓨터 기기는 상기 주 이미지와 상기 적어도 하나의 키의 표현을 합병함으로써 상기 합성 이미지를 형성하는 것을 특징으로 하는 스크린 주변 장치.
- 제 7 항에 있어서, 상기 컴퓨터 기기는 비트-블록 형태(bit-block-type)의 전송 연산을 이용함으로써 상기 주 이미지와 상기 적어도 하나의 키의 표현을 합병하는 것을 특징으로 하는 스크린 주변 장치.
- 제 8 항에 있어서, 상기 비트-블록 형태의 전송 연산은 이하의 (a) 내지 (c)의 3조의 화소의 논리조합을 수행하는 것을 특징으로 하는 스크린 주변 장치:(a) 상기 주 이미지의 화소;(b) 상기 적어도 하나의 키의 표현의 화소; 및(c) 상기 주 이미지의 화소들과 상기 적어도 하나의 키의 표현의 화소들과의 합병을 제어하는 이미지 마스크.
- 제 1 항에 있어서, 상기 합성 이미지의 각 화소는 상기 주 이미지의 화소 또는 상기 적어도 하나의 키의 표현의 화소의 어느 한쪽 화소로 100%로 구성되는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 컴퓨터 기기는 상기 적어도 하나의 키의 표현 전체의 화소 중에서 상기 합성 이미지에서 보이지 않는 키보드 부분을 나타내는 X%를 제거하고;또, 상기 컴퓨터 기기는 상기 주 이미지 전체의 화소 중에서 상기 합성 이미지에서는 보이지 않는 상기 주 이미지 부분을 나타내는 (100-X)%를 제거하며;또한, 상기 컴퓨터 기기는 상기 화소가 제거된 키의 표현과 상기 화소가 제거된 주 이미지를 합병하여 상기 합성 이미지를 형성하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 합성 이미지는 상기 적어도 하나의 키의 표현과 상기 주 이미지와의 배합 음영(blended shadow)을 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 12 항에 있어서, 상기 컴퓨터 기기는 상기 적어도 하나의 키의 표현과 상기 주 이미지의 화소의 배합을 조절함으로써 상기 배합 음영의 명암(brightness/darkness)을 제어하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 컴퓨터 기기는 소정의 응용 소프트웨어를 실행하고, 상기 주 이미지는 상기 컴퓨터 기기에 의해 실행된 상기 소프트웨어에 의해 생성된 출력 이미지인 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 터치 감응식 입력 장치는 해당 터치 감응식 입력 장치와 접촉하는 사용자의 손가락 수에 의존하는 확대(zoom-up)/축소(zoom-down) 기능을 제공하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 터치 감응식 입력 장치는 사용자가 상기 터치 감응식 입력 장치의 선택된 영역과 접촉하는 횟수 또는 시간에 의존하는 상대적 입력 방식과 절대적 입력 방식 간의 절환을 허용하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 있어서, 상기 터치 감응식 입력 장치는 사용자가 상기 터치 감응식 입력 장치의 선택된 영역을 접촉하는 횟수에 의존하는 키보드 영문자와 숫자 세트 간의 절환을 허용하는 것을 특징으로 하는 스크린 주변 장치.
- 제 1 항에 의한 스크린 주변 장치를 포함하는 것을 특징으로 하는 착용 가능한 컴퓨터 장치(wearable computing system).
- 컴퓨터 기기가 제공하는 주 이미지 위에 적어도 하나의 키의 표현을 중첩시키는 방법에 있어서,(a) 입력 기능을 활성화시키는 상기 적어도 하나의 키의 표현을 형성하기 위해 선택된 화소를 상기 주 이미지를 형성하는 데 선택된 화소와 동시에 활성화시키는 가변 화소 제어(variable-pixel control)를 이용해서, 상기 적어도 하나의 키의 표현을 형성하고 또한 상기 주 이미지를 형성하는 단계; 및(b) 스크린 주변 장치의 사용자가 볼 수 있는 합성 이미지를 생성하여 표시하는 단계를 포함하고,상기 합성 이미지는 컴퓨터 기기가 제공하는 상기 주 이미지와 해당 주 이미지 위에 겹쳐있는 상기 적어도 하나의 키의 표현을 동시에 포함하고,상기 가변 화소 제어는 각각의 화소들이 상기 주 이미지와 상기 적어도 하나의 키의 표현에 동시에 전용될 수 있도록 허용하는 것을 특징으로 하는 컴퓨터 기기가 제공하는 주 이미지 위에 적어도 하나의 키의 표현을 중첩시키는 방법.
- 제 19 항에 있어서, 상기 단계 (b)는 상기 적어도 하나의 키의 표현과 상기 주 이미지를 합병하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제 20 항에 있어서, 상기 합병 단계는 비트-블록 형태의 전송 연산을 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제 21 항에 있어서, 상기 단계 (b)는 이하의 (aa) 내지 (cc)의 3조의 화소의 배합을 수행하는 것을 특징으로 하는 방법:(a) 상기 주 이미지의 화소;(b) 상기 적어도 하나의 키의 표현의 화소; 및(c) 상기 주 이미지의 화소들과 상기 적어도 하나의 키의 표현의 화소들과의 합병을 제어하는 이미지 마스크.
- 제 21 항에 있어서, 상기 단계 (b)는,(c) 상기 적어도 하나의 키의 표현 전체의 화소 중에서 상기 합성 이미지에서 보이지 않는 키보드 부분을 나타내는 X%를 제거하는 단계;(d) 상기 주 이미지 전체의 화소 중에서 상기 합성 이미지에서는 보이지 않는 상기 주 이미지 부분을 나타내는 (100-X)%를 제거하는 단계; 및(e) 상기 화소가 제거된 키 표현과 상기 화소가 제거된 주 이미지를 합병하여 상기 합성 이미지를 형성하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제 19 항에 있어서, 상기 합성 이미지는 상기 적어도 하나의 키의 표현과 상기 주 이미지와의 배합 음영을 포함하는 것을 특징으로 하는 방법.
- 제 24 항에 있어서, 상기 단계 (b)는 상기 적어도 하나의 키의 표현과 상기 주 이미지의 화소의 배합을 제어함으로써, 상기 배합 음영의 명암을 제어하는 것을 특징으로 하는 방법.
- 주 이미지를 제공하는 컴퓨터 수단; 및상기 컴퓨터 수단으로부터 주 이미지가 입력되며, 스크린 주변 장치의 사용자가 볼 수 있는 합성 이미지를 표시하기 위해 복수의 화소를 구비한 표시 수단을 포함하고,상기 합성 이미지는 입력 기능을 활성화시키는 적어도 하나의 입력영역의 표현(representation); 및 상기 컴퓨터 기기에 의해 제공되어 상기 적어도 하나의 입력영역의 표현이 위에 놓이게 되는 주 이미지를 동시에 포함하고,상기 적어도 하나의 입력영역의 표현을 형성하기 위하여 선택된 화소들을 상기 주 이미지를 형성하기 위해 선택된 화소들과 동시에 활성화시켜서, 상기 주 이미지와 상기 적어도 하나의 입력 영역의 표현을 동시에 표시하여 상기 합성 이미지를 형성하고;상기 표시수단의 각각의 화소는 상기 주 이미지 및 상기 적어도 하나의 입력 영역의 표현 모두에 동시에 전용될 수 있는 것을 특징으로 하는 스크린 주변 장치.
- 제 26 항에 있어서, 상기 적어도 하나의 입력 영역의 표현은 키보드의 적어도 하나의 키를 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 26항에 있어서, 상기 적어도 하나의 입력 영역의 표현은 접촉 영역을 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 26항에 있어서, 상기 적어도 하나의 입력 영역의 표현은 버튼(button)을 포함하는 것을 특징으로 하는 스크린 주변 장치.
- 제 26항에 있어서, 상기 합성 이미지를 표시하는 표시 수단은 터치 스크린(touch screen)을 포함하는 것을 특징으로 하는 스크린 주변 장치.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2478096P | 1996-08-28 | 1996-08-28 | |
US60/024,780 | 1996-08-28 | ||
US2802896P | 1996-10-09 | 1996-10-09 | |
US60/028,028 | 1996-10-09 | ||
US3619597P | 1997-01-21 | 1997-01-21 | |
US60/036,195 | 1997-01-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20000035912A KR20000035912A (ko) | 2000-06-26 |
KR100627378B1 true KR100627378B1 (ko) | 2006-09-22 |
Family
ID=27362393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019997001648A KR100627378B1 (ko) | 1996-08-28 | 1997-08-28 | 터치 스크린 장치 및 방법 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6121960A (ko) |
EP (1) | EP0922275A4 (ko) |
JP (1) | JP2000517445A (ko) |
KR (1) | KR100627378B1 (ko) |
AU (1) | AU727387B2 (ko) |
CA (1) | CA2264167A1 (ko) |
WO (1) | WO1998009270A1 (ko) |
Families Citing this family (357)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6169789B1 (en) * | 1996-12-16 | 2001-01-02 | Sanjay K. Rao | Intelligent keyboard system |
US8183998B2 (en) | 1996-12-16 | 2012-05-22 | Ip Holdings, Inc. | System for seamless and secure networking of implantable medical devices, electronic patch devices and wearable devices |
GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
US7760187B2 (en) | 2004-07-30 | 2010-07-20 | Apple Inc. | Visual expander |
US20060033724A1 (en) * | 2004-07-30 | 2006-02-16 | Apple Computer, Inc. | Virtual input device placement on a touch screen user interface |
US6130665A (en) * | 1998-04-01 | 2000-10-10 | Telefonaktiebolaget Lm Ericsson | Touch screen handling |
US6392637B2 (en) * | 1998-08-13 | 2002-05-21 | Dell Usa, L.P. | Computer system having a configurable touchpad-mouse button combination |
US6396477B1 (en) * | 1998-09-14 | 2002-05-28 | Microsoft Corp. | Method of interacting with a computer using a proximity sensor in a computer input device |
US7256770B2 (en) | 1998-09-14 | 2007-08-14 | Microsoft Corporation | Method for displaying information responsive to sensing a physical presence proximate to a computer input device |
US6456275B1 (en) | 1998-09-14 | 2002-09-24 | Microsoft Corporation | Proximity sensor in a computer input device |
US7358956B2 (en) | 1998-09-14 | 2008-04-15 | Microsoft Corporation | Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device |
US6433774B1 (en) * | 1998-12-04 | 2002-08-13 | Intel Corporation | Virtualization of interactive computer input |
US6885317B1 (en) | 1998-12-10 | 2005-04-26 | Eatoni Ergonomics, Inc. | Touch-typable devices based on ambiguous codes and methods to design such devices |
US7168048B1 (en) | 1999-03-24 | 2007-01-23 | Microsoft Corporation | Method and structure for implementing a layered object windows |
US7472910B1 (en) * | 1999-03-30 | 2009-01-06 | Canon Kabushiki Kaisha | Animation display apparatus, arcade game machine, control method and apparatus thereof, and storage medium |
US6982695B1 (en) * | 1999-04-22 | 2006-01-03 | Palmsource, Inc. | Method and apparatus for software control of viewing parameters |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US10728381B2 (en) * | 1999-06-04 | 2020-07-28 | Raman K. Rao | Reconfigurable mobile device interfaces supporting authenticated high quality video, audio, TV and multimedia services |
AU7354000A (en) * | 1999-09-07 | 2001-04-10 | Cirque Corporation | A miniature keyboard for a personal digital assistant and an integrated web browsing and data input device |
EP1098244A3 (en) * | 1999-11-02 | 2001-06-13 | CANAL + Société Anonyme | Graphical user interface |
WO2001023995A2 (en) | 1999-09-27 | 2001-04-05 | Canal+ Societe Anonyme | Windowing systems |
EP1094385A1 (en) * | 1999-09-27 | 2001-04-25 | CANAL+ Société Anonyme | Windowing systems |
US6909424B2 (en) * | 1999-09-29 | 2005-06-21 | Gateway Inc. | Digital information appliance input device |
US6466198B1 (en) * | 1999-11-05 | 2002-10-15 | Innoventions, Inc. | View navigation and magnification of a hand-held device with a display |
US6501463B1 (en) * | 1999-12-10 | 2002-12-31 | Siemens Technology -To-Business Center Llc | Electronic whiteboard system using a tactile foam sensor |
US7434177B1 (en) | 1999-12-20 | 2008-10-07 | Apple Inc. | User interface for providing consolidation and access |
US6686938B1 (en) | 2000-01-05 | 2004-02-03 | Apple Computer, Inc. | Method and system for providing an embedded application toolbar |
EP1118929A3 (en) * | 2000-01-19 | 2004-04-07 | Siemens Aktiengesellschaft | Interactive input with limit-value monitoring and online help for a palmtop device |
US7138983B2 (en) * | 2000-01-31 | 2006-11-21 | Canon Kabushiki Kaisha | Method and apparatus for detecting and interpreting path of designated position |
JP4878667B2 (ja) * | 2000-02-17 | 2012-02-15 | 富士通コンポーネント株式会社 | 座標検出装置及び座標検出方法 |
US6630924B1 (en) * | 2000-02-22 | 2003-10-07 | International Business Machines Corporation | Gesture sensing split keyboard and approach for capturing keystrokes |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
DE10110864B4 (de) * | 2000-03-27 | 2015-08-13 | Heidelberger Druckmaschinen Ag | Druckmaschine mit Sichtfenster und mit im Bereich des Sichtfensters angeordneten Steuer- und/oder Anzeigeelementen |
US7450114B2 (en) * | 2000-04-14 | 2008-11-11 | Picsel (Research) Limited | User interface systems and methods for manipulating and viewing digital documents |
US7576730B2 (en) | 2000-04-14 | 2009-08-18 | Picsel (Research) Limited | User interface systems and methods for viewing and manipulating digital documents |
WO2001086621A1 (en) * | 2000-05-09 | 2001-11-15 | John Edwin Mccloud | Portable electronic device with rear-facing touch typing keyboard |
US6741235B1 (en) * | 2000-06-13 | 2004-05-25 | Michael Goren | Rapid entry of data and information on a reduced size input area |
US7792676B2 (en) * | 2000-10-25 | 2010-09-07 | Robert Glenn Klinefelter | System, method, and apparatus for providing interpretive communication on a network |
US6501464B1 (en) * | 2000-10-31 | 2002-12-31 | Intel Corporation | On-screen transparent keyboard interface |
US7079673B2 (en) * | 2002-02-05 | 2006-07-18 | University Of Medicine & Denistry Of Nj | Systems for analyzing microtissue arrays |
US7171030B2 (en) * | 2000-11-30 | 2007-01-30 | University Of Medicine & Denistry Of New Jersey | Systems for analyzing microtissue arrays |
JP2004523031A (ja) * | 2001-01-08 | 2004-07-29 | ヴィーケービー インコーポレイテッド | データ入力装置 |
DE20101768U1 (de) * | 2001-01-31 | 2002-03-14 | Siemens Ag | Anzeige- und Bedienvorrichtung, insbesondere Touch Panel |
US7012595B2 (en) * | 2001-03-30 | 2006-03-14 | Koninklijke Philips Electronics N.V. | Handheld electronic device with touch pad |
DE10121607B4 (de) * | 2001-05-04 | 2008-11-06 | Völckers, Oliver | Einrichtung zur Steuerung eines Cursors bzw. Mauszeigers über eine Eingabetastatur mit integrierter Maussteuerung und Verfahren zur Betätigung der Zeigersteuerung |
TW516358B (en) * | 2001-05-10 | 2003-01-01 | Darfon Electronics Corp | A data input apparatus and an auxiliary data input apparatus |
US7730401B2 (en) * | 2001-05-16 | 2010-06-01 | Synaptics Incorporated | Touch screen with user interface enhancement |
CN100545788C (zh) * | 2001-06-12 | 2009-09-30 | 捷讯研究有限公司 | 带有键盘的便携式电子设备 |
US20030001899A1 (en) * | 2001-06-29 | 2003-01-02 | Nokia Corporation | Semi-transparent handwriting recognition UI |
US20030013522A1 (en) * | 2001-07-10 | 2003-01-16 | Muir David Hugh | Automatic electronic display alignment |
US7761175B2 (en) | 2001-09-27 | 2010-07-20 | Eatoni Ergonomics, Inc. | Method and apparatus for discoverable input of symbols on a reduced keypad |
EP1449057A1 (en) * | 2001-11-16 | 2004-08-25 | Myorigo OY | Extended keyboard |
US6888537B2 (en) | 2002-02-13 | 2005-05-03 | Siemens Technology-To-Business Center, Llc | Configurable industrial input devices that use electrically conductive elastomer |
US6882337B2 (en) * | 2002-04-18 | 2005-04-19 | Microsoft Corporation | Virtual keyboard for touch-typing using audio feedback |
US7190351B1 (en) | 2002-05-10 | 2007-03-13 | Michael Goren | System and method for data input |
US7415677B2 (en) * | 2002-06-05 | 2008-08-19 | Sap Aktiengesellschaft | Temporary communication areas for a computer user interface |
US7456823B2 (en) * | 2002-06-14 | 2008-11-25 | Sony Corporation | User interface apparatus and portable information apparatus |
US6776546B2 (en) * | 2002-06-21 | 2004-08-17 | Microsoft Corporation | Method and system for using a keyboard overlay with a touch-sensitive display screen |
JP4828826B2 (ja) | 2002-07-04 | 2011-11-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動的に適応可能な仮想キーボード |
JP3630153B2 (ja) * | 2002-07-19 | 2005-03-16 | ソニー株式会社 | 情報表示入力装置及び情報表示入力方法、並びに情報処理装置 |
US8643667B2 (en) * | 2002-08-02 | 2014-02-04 | Disney Enterprises, Inc. | Method of displaying comic books and similar publications on a computer |
US20040046742A1 (en) * | 2002-09-06 | 2004-03-11 | Deanna Johnson | Keyboard for tablet computers |
US20040138849A1 (en) * | 2002-09-30 | 2004-07-15 | Albrecht Schmidt | Load sensing surface as pointing device |
JP4234471B2 (ja) * | 2003-03-14 | 2009-03-04 | 富士通株式会社 | 入力情報処理装置、方法及びプログラム |
US20040212595A1 (en) * | 2003-04-28 | 2004-10-28 | Debiao Zhou | Software keyboard for computer devices |
US7116311B2 (en) * | 2003-05-09 | 2006-10-03 | Microsoft Corporation | Embedded text input |
US9024884B2 (en) | 2003-09-02 | 2015-05-05 | Apple Inc. | Touch-sensitive electronic apparatus for media applications, and methods therefor |
US8200865B2 (en) | 2003-09-11 | 2012-06-12 | Eatoni Ergonomics, Inc. | Efficient method and apparatus for text entry based on trigger sequences |
US20050104855A1 (en) * | 2003-11-19 | 2005-05-19 | Paradigm Research Technologies Llc | Double side transparent keyboard for miniaturized electronic appliances |
US20050114115A1 (en) * | 2003-11-26 | 2005-05-26 | Karidis John P. | Typing accuracy relaxation system and method in stylus and other keyboards |
JP4388359B2 (ja) * | 2003-12-17 | 2009-12-24 | 株式会社ケンウッド | 車載用マンマシン・インタフェース装置、方法、及びプログラム |
WO2005065034A2 (en) * | 2004-01-05 | 2005-07-21 | Dikla Hasson | System and method for improving typing skills |
US7250938B2 (en) * | 2004-01-06 | 2007-07-31 | Lenovo (Singapore) Pte. Ltd. | System and method for improved user input on personal computing devices |
US11455799B2 (en) | 2004-01-30 | 2022-09-27 | Airspace Reality | Image networks for mobile communication |
US8965460B1 (en) | 2004-01-30 | 2015-02-24 | Ip Holdings, Inc. | Image and augmented reality based networks using mobile devices and intelligent electronic glasses |
US10140514B1 (en) | 2004-01-30 | 2018-11-27 | Ip Holdings, Inc. | Capturing and sharing images with mobile device users including for a limited duration of time |
JP2005267424A (ja) * | 2004-03-19 | 2005-09-29 | Fujitsu Ltd | データ入力装置、情報処理装置、データ入力方法、データ入力プログラム |
US7176888B2 (en) * | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Selective engagement of motion detection |
US7365735B2 (en) * | 2004-03-23 | 2008-04-29 | Fujitsu Limited | Translation controlled cursor |
US7903084B2 (en) * | 2004-03-23 | 2011-03-08 | Fujitsu Limited | Selective engagement of motion input modes |
US7180501B2 (en) * | 2004-03-23 | 2007-02-20 | Fujitsu Limited | Gesture based navigation of a handheld user interface |
US7301529B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Context dependent gesture response |
US7301528B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Distinguishing tilt and translation motion components in handheld devices |
US7301527B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Feedback based user interface for motion controlled handheld devices |
US7365737B2 (en) * | 2004-03-23 | 2008-04-29 | Fujitsu Limited | Non-uniform gesture precision |
US7173604B2 (en) * | 2004-03-23 | 2007-02-06 | Fujitsu Limited | Gesture identification of controlled devices |
US7176886B2 (en) * | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Spatial signatures |
US7301526B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Dynamic adaptation of gestures for motion controlled handheld devices |
US7365736B2 (en) * | 2004-03-23 | 2008-04-29 | Fujitsu Limited | Customizable gesture mappings for motion controlled handheld devices |
US20050212753A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Motion controlled remote controller |
US20050212760A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Gesture based user interface supporting preexisting symbols |
US7176887B2 (en) * | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Environmental modeling for motion controlled handheld devices |
US7180502B2 (en) * | 2004-03-23 | 2007-02-20 | Fujitsu Limited | Handheld device with preferred motion selection |
US7180500B2 (en) * | 2004-03-23 | 2007-02-20 | Fujitsu Limited | User definable gestures for motion controlled handheld devices |
US7280096B2 (en) * | 2004-03-23 | 2007-10-09 | Fujitsu Limited | Motion sensor engagement for a handheld device |
US20050275661A1 (en) * | 2004-06-10 | 2005-12-15 | Cihula Joseph F | Displaying a trusted user interface using background images |
US20050277448A1 (en) * | 2004-06-10 | 2005-12-15 | Motorola, Inc. | Soft buttons on LCD module with tactile feedback |
US7515135B2 (en) * | 2004-06-15 | 2009-04-07 | Research In Motion Limited | Virtual keypad for touchscreen display |
EP1607847A1 (en) * | 2004-06-15 | 2005-12-21 | Research In Motion Limited | Method and apparatus for changing the transparency level of a virtual keypad on a touchscreen display. |
US20060007178A1 (en) * | 2004-07-07 | 2006-01-12 | Scott Davis | Electronic device having an imporoved user interface |
US7719523B2 (en) | 2004-08-06 | 2010-05-18 | Touchtable, Inc. | Bounding box gesture recognition on a touch detecting interactive display |
US20060036968A1 (en) * | 2004-08-11 | 2006-02-16 | Aurobinda Pradhan | Confirming a processing action |
US20060066590A1 (en) * | 2004-09-29 | 2006-03-30 | Masanori Ozawa | Input device |
US8744852B1 (en) | 2004-10-01 | 2014-06-03 | Apple Inc. | Spoken interfaces |
US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
US20060164392A1 (en) * | 2005-01-21 | 2006-07-27 | Chaokuo Mao | Integrated mouse and the keyboard device |
US7487461B2 (en) * | 2005-05-04 | 2009-02-03 | International Business Machines Corporation | System and method for issuing commands based on pen motions on a graphical keyboard |
EP1905591B1 (en) * | 2005-07-08 | 2013-01-02 | Canon Kabushiki Kaisha | Ink for thermal ink jet ink and ink cartridge using the same |
GB2428153A (en) * | 2005-07-08 | 2007-01-17 | Sharp Kk | Interactive multiple view display |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US20070086825A1 (en) * | 2005-10-15 | 2007-04-19 | Min Byung K | Circular keyboard |
US8459885B2 (en) * | 2005-10-15 | 2013-06-11 | Byung Kon Min | Clock face keyboard |
DE102005050696A1 (de) * | 2005-10-18 | 2007-06-21 | Siemens Ag | Mechanische Taste, mechanisches Tastenfeld und elektronisches Gerät |
US20070150364A1 (en) * | 2005-12-22 | 2007-06-28 | Andrew Monaghan | Self-service terminal |
US20070202914A1 (en) * | 2006-02-27 | 2007-08-30 | Texas Instruments Incorporated | Wireless telephone handset with internet browsing capability |
US7705231B2 (en) | 2007-09-07 | 2010-04-27 | Microsoft Corporation | Automatic accompaniment for vocal melodies |
US10026177B2 (en) | 2006-02-28 | 2018-07-17 | Microsoft Technology Licensing, Llc | Compact interactive tabletop with projection-vision |
US7599561B2 (en) * | 2006-02-28 | 2009-10-06 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
US20100039395A1 (en) * | 2006-03-23 | 2010-02-18 | Nurmi Juha H P | Touch Screen |
KR101269375B1 (ko) * | 2006-05-24 | 2013-05-29 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 이미지 표시방법 |
KR20070113025A (ko) * | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 작동방법 |
KR20070113022A (ko) | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법 |
US20090213086A1 (en) * | 2006-04-19 | 2009-08-27 | Ji Suk Chae | Touch screen device and operating method thereof |
KR101327581B1 (ko) * | 2006-05-24 | 2013-11-12 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 작동방법 |
KR20070113018A (ko) * | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 터치스크린 장치 및 그 실행방법 |
TW200805131A (en) | 2006-05-24 | 2008-01-16 | Lg Electronics Inc | Touch screen device and method of selecting files thereon |
KR100830467B1 (ko) * | 2006-07-13 | 2008-05-20 | 엘지전자 주식회사 | 터치 패널을 갖는 영상기기 및 이 영상기기에서 줌 기능을수행하는 방법 |
JP4761553B2 (ja) * | 2006-08-03 | 2011-08-31 | キヤノン株式会社 | プレゼンテーション装置及び制御方法 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
KR100764652B1 (ko) * | 2006-10-25 | 2007-10-08 | 삼성전자주식회사 | 터치스크린을 가지는 단말기의 키 입력 장치 및 방법 |
US7856605B2 (en) | 2006-10-26 | 2010-12-21 | Apple Inc. | Method, system, and graphical user interface for positioning an insertion marker in a touch screen display |
US8570278B2 (en) | 2006-10-26 | 2013-10-29 | Apple Inc. | Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker |
US7602378B2 (en) * | 2006-10-26 | 2009-10-13 | Apple Inc. | Method, system, and graphical user interface for selecting a soft keyboard |
US20080150903A1 (en) * | 2006-12-21 | 2008-06-26 | Inventec Corporation | Electronic apparatus with dual-sided touch device |
US8130203B2 (en) | 2007-01-03 | 2012-03-06 | Apple Inc. | Multi-touch input discrimination |
US7876310B2 (en) | 2007-01-03 | 2011-01-25 | Apple Inc. | Far-field input identification |
US7855718B2 (en) | 2007-01-03 | 2010-12-21 | Apple Inc. | Multi-touch input discrimination |
US8269727B2 (en) | 2007-01-03 | 2012-09-18 | Apple Inc. | Irregular input identification |
US7844915B2 (en) | 2007-01-07 | 2010-11-30 | Apple Inc. | Application programming interfaces for scrolling operations |
US8022942B2 (en) | 2007-01-25 | 2011-09-20 | Microsoft Corporation | Dynamic projected user interface |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US20080252609A1 (en) * | 2007-04-16 | 2008-10-16 | Yan-Zhi Lu | Image display and touch input integration module |
US8125457B2 (en) * | 2007-04-27 | 2012-02-28 | Hewlett-Packard Development Company, L.P. | Switching display mode of electronic device |
KR101066736B1 (ko) * | 2007-06-12 | 2011-09-21 | 엘지전자 주식회사 | 휴대용 단말기 |
US20080320418A1 (en) * | 2007-06-21 | 2008-12-25 | Cadexterity, Inc. | Graphical User Friendly Interface Keypad System For CAD |
US20080320383A1 (en) * | 2007-06-25 | 2008-12-25 | Microsoft Corporation | Presentation of numerous and arbitrarily sized figures within a document |
KR101365595B1 (ko) * | 2007-08-16 | 2014-02-21 | 삼성전자주식회사 | Gui기반의 디스플레이부를 구비한 디바이스의 입력 방법및 그 장치 |
US8272952B2 (en) * | 2007-09-05 | 2012-09-25 | Wms Gaming Inc. | Gaming system having dynamic player inputs |
US20090091541A1 (en) * | 2007-10-09 | 2009-04-09 | Stephen Chen | Method for controlling appearing and disappearing of screen keyboard tables |
US20090128504A1 (en) * | 2007-11-16 | 2009-05-21 | Garey Alexander Smith | Touch screen peripheral device |
KR101352994B1 (ko) * | 2007-12-10 | 2014-01-21 | 삼성전자 주식회사 | 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법 |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US20090219252A1 (en) * | 2008-02-28 | 2009-09-03 | Nokia Corporation | Apparatus, method and computer program product for moving controls on a touchscreen |
US8201109B2 (en) | 2008-03-04 | 2012-06-12 | Apple Inc. | Methods and graphical user interfaces for editing on a portable multifunction device |
US8650507B2 (en) | 2008-03-04 | 2014-02-11 | Apple Inc. | Selecting of text using gestures |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
TWI364688B (en) * | 2008-04-25 | 2012-05-21 | High Tech Comp Corp | Key adapted for an input device |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10031549B2 (en) * | 2008-07-10 | 2018-07-24 | Apple Inc. | Transitioning between modes of input |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US20100038151A1 (en) * | 2008-08-14 | 2010-02-18 | Stephen Chen | Method for automatic switching between a cursor controller and a keyboard of depressible touch panels |
US20100042564A1 (en) * | 2008-08-15 | 2010-02-18 | Beverly Harrison | Techniques for automatically distingusihing between users of a handheld device |
CA2740401C (en) * | 2008-09-23 | 2014-11-18 | Aerovironment, Inc. | Predictive pulse width modulation for an open delta h-bridge driven high efficiency ironless permanent magnet machine |
JP2010086230A (ja) | 2008-09-30 | 2010-04-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
US9041660B2 (en) | 2008-12-09 | 2015-05-26 | Microsoft Technology Licensing, Llc | Soft keyboard control |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
DE102008061831A1 (de) * | 2008-12-11 | 2010-06-17 | Wincor Nixdorf International Gmbh | Anzeige-und Bedienvorrichtung |
US8839154B2 (en) * | 2008-12-31 | 2014-09-16 | Nokia Corporation | Enhanced zooming functionality |
US20100164878A1 (en) * | 2008-12-31 | 2010-07-01 | Nokia Corporation | Touch-click keypad |
JP5099040B2 (ja) * | 2009-02-23 | 2012-12-12 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9875013B2 (en) | 2009-03-16 | 2018-01-23 | Apple Inc. | Methods and graphical user interfaces for editing on a multifunction device with a touch screen display |
US20100275126A1 (en) * | 2009-04-27 | 2010-10-28 | Scott David Lincke | Automatic On-Screen Keyboard |
DE102009019563A1 (de) * | 2009-04-30 | 2010-11-04 | Volkswagen Ag | Verfahren und Vorrichtung zum Anzeigen von in Listen geordneter Information |
US9703411B2 (en) | 2009-04-30 | 2017-07-11 | Synaptics Incorporated | Reduction in latency between user input and visual feedback |
US8558796B2 (en) * | 2009-05-07 | 2013-10-15 | Headwater Partners Ii Llc | Overlay keyboard for touch screen devices |
US8352884B2 (en) | 2009-05-21 | 2013-01-08 | Sony Computer Entertainment Inc. | Dynamic reconfiguration of GUI display decomposition based on predictive model |
US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US20110148438A1 (en) * | 2009-12-18 | 2011-06-23 | Synaptics Incorporated | System and method for determining a number of objects in a capacitive sensing region using a shape factor |
US20110148436A1 (en) * | 2009-12-18 | 2011-06-23 | Synaptics Incorporated | System and method for determining a number of objects in a capacitive sensing region using signal grouping |
US9336326B2 (en) * | 2009-12-29 | 2016-05-10 | Cellco Partnership | Browser based objects for copying and sending operations |
EP2341413B1 (en) * | 2009-12-31 | 2016-11-16 | Sony Computer Entertainment Europe Limited | Entertainment device and method of content navigation |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
EP2541377A4 (en) * | 2010-02-26 | 2016-06-01 | Capcom Co | COMPUTER DEVICE, STORAGE MEDIUM, AND CONTROL METHOD |
KR101655812B1 (ko) * | 2010-05-06 | 2016-09-08 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
US20120011460A1 (en) * | 2010-07-12 | 2012-01-12 | Action Star Enterprise Co., Ltd. | System capable of simulating variety of output/input devices |
US8289702B2 (en) * | 2010-08-11 | 2012-10-16 | Sihar Ahmad Karwan | Universal rearward keyboard with means for inserting a portable computational display |
KR101044320B1 (ko) * | 2010-10-14 | 2011-06-29 | 주식회사 네오패드 | 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템 |
JP6083072B2 (ja) * | 2010-11-15 | 2017-02-22 | モベア | スマートエアマウス |
US8797283B2 (en) | 2010-11-22 | 2014-08-05 | Sony Computer Entertainment America Llc | Method and apparatus for performing user-defined macros |
US20120146913A1 (en) * | 2010-12-13 | 2012-06-14 | Hand Held Products, Inc. | Portable data terminal stylus with rolling ball tip |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US8907903B2 (en) | 2011-01-13 | 2014-12-09 | Sony Computer Entertainment America Llc | Handing control of an object from one touch input to another touch input |
WO2012110678A1 (en) * | 2011-02-15 | 2012-08-23 | Nokia Corporation | Displaying a panel |
US9035940B2 (en) * | 2011-03-08 | 2015-05-19 | Nokia Corporation | Apparatus and associated methods |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US8677232B2 (en) | 2011-05-31 | 2014-03-18 | Apple Inc. | Devices, methods, and graphical user interfaces for document manipulation |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US9529448B2 (en) * | 2011-08-31 | 2016-12-27 | Farzan Fallah | Data entry systems and methods |
US8730174B2 (en) | 2011-10-13 | 2014-05-20 | Blackberry Limited | Device and method for receiving input |
WO2012097613A2 (zh) * | 2011-10-20 | 2012-07-26 | 华为终端有限公司 | 一种软键盘显示方法和移动终端 |
US8682395B2 (en) * | 2012-01-27 | 2014-03-25 | Blackberry Limited | Communications device and method having non-touch based input screen |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
WO2013169877A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting user interface objects |
CN104487928B (zh) | 2012-05-09 | 2018-07-06 | 苹果公司 | 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面 |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
EP2847657B1 (en) | 2012-05-09 | 2016-08-10 | Apple Inc. | Device, method, and graphical user interface for displaying additional information in response to a user contact |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
WO2013169882A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving and dropping a user interface object |
WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
AU2013259614B2 (en) | 2012-05-09 | 2016-08-25 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
CN108241465B (zh) | 2012-05-09 | 2021-03-09 | 苹果公司 | 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置 |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
GB201212878D0 (en) * | 2012-07-20 | 2012-09-05 | Pike Justin | Authentication method and system |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
JP5522755B2 (ja) * | 2012-09-14 | 2014-06-18 | Necシステムテクノロジー株式会社 | 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9547375B2 (en) * | 2012-10-10 | 2017-01-17 | Microsoft Technology Licensing, Llc | Split virtual keyboard on a mobile computing device |
AU2013368445B8 (en) | 2012-12-29 | 2017-02-09 | Apple Inc. | Device, method, and graphical user interface for determining whether to scroll or select contents |
WO2014105275A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
EP3467634B1 (en) | 2012-12-29 | 2020-09-23 | Apple Inc. | Device, method, and graphical user interface for navigating user interface hierarchies |
WO2014105277A2 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
WO2014105279A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for switching between user interfaces |
US10142496B1 (en) | 2013-01-26 | 2018-11-27 | Ip Holdings, Inc. | Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality |
BR112015018905B1 (pt) | 2013-02-07 | 2022-02-22 | Apple Inc | Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico |
JP2014157520A (ja) * | 2013-02-18 | 2014-08-28 | Fujitsu Ten Ltd | 表示装置、及び、表示方法 |
US9300645B1 (en) | 2013-03-14 | 2016-03-29 | Ip Holdings, Inc. | Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
EA201500956A1 (ru) * | 2013-03-18 | 2016-01-29 | Общество с ограниченной ответственностью "СликДжамп" | Способ отображения рекламы на устройствах с сенсорным дисплеем |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN105264524B (zh) | 2013-06-09 | 2019-08-02 | 苹果公司 | 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的系统和方法 |
JP2015022567A (ja) * | 2013-07-19 | 2015-02-02 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
JP6149604B2 (ja) * | 2013-08-21 | 2017-06-21 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
US9323447B2 (en) | 2013-10-15 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Electronic whiteboard and touch screen method for configuring and applying metadata tags thereon |
US9710098B2 (en) * | 2014-03-31 | 2017-07-18 | Samsung Display Co., Ltd. | Method and apparatus to reduce latency of touch events |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9606986B2 (en) | 2014-09-29 | 2017-03-28 | Apple Inc. | Integrated word N-gram and class M-gram language models |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9785305B2 (en) * | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US9804709B2 (en) * | 2015-04-28 | 2017-10-31 | Samsung Display Co., Ltd. | Vector fill segment method and apparatus to reduce display latency of touch events |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
KR20170052213A (ko) * | 2015-11-04 | 2017-05-12 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US11016661B2 (en) | 2016-08-16 | 2021-05-25 | Finetune Technologies Ltd. | Device and method for displaying changeable icons on a plurality of display zones of a reverse keyboard assembly |
DE112017004107T5 (de) * | 2016-08-16 | 2019-05-02 | Finetune Technologies Ltd. | Umgekehrter Tastaturaufbau |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10503400B2 (en) * | 2017-04-13 | 2019-12-10 | Mark Bynum | Communication device for users with limited physical dexterity |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
CN108803986A (zh) * | 2018-05-07 | 2018-11-13 | 瑞声科技(新加坡)有限公司 | 一种移动终端虚拟按键的调整方法及装置 |
US11379113B2 (en) | 2019-06-01 | 2022-07-05 | Apple Inc. | Techniques for selecting text |
CN114035697B (zh) * | 2021-11-26 | 2023-10-03 | 中国电子技术标准化研究院 | 一种低辐射抗电磁干扰的键盘鼠标模拟装置及方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4725694A (en) * | 1986-05-13 | 1988-02-16 | American Telephone And Telegraph Company, At&T Bell Laboratories | Computer interface device |
US4763356A (en) * | 1986-12-11 | 1988-08-09 | AT&T Information Systems, Inc. American Telephone and Telegraph Company | Touch screen form entry system |
US4827253A (en) * | 1987-05-18 | 1989-05-02 | Dubner Computer Systems, Inc. | Video compositing using a software linear keyer |
US4954970A (en) * | 1988-04-08 | 1990-09-04 | Walker James T | Video overlay image processing apparatus |
CA2002912A1 (en) * | 1988-11-14 | 1990-05-14 | William A. Clough | Portable computer with touch screen and computer system employing same |
JPH02155029A (ja) * | 1988-12-07 | 1990-06-14 | Hitachi Ltd | マルチウインドウ表示制御方式 |
US5031119A (en) * | 1989-06-12 | 1991-07-09 | Tandy Corporation | Split screen keyboard emulator |
JPH03137686A (ja) * | 1989-10-24 | 1991-06-12 | Mazda Motor Corp | タッチパネル装置 |
US5581243A (en) * | 1990-06-04 | 1996-12-03 | Microslate Inc. | Method and apparatus for displaying simulated keyboards on touch-sensitive displays |
US5148155A (en) * | 1990-11-13 | 1992-09-15 | Wang Laboratories, Inc. | Computer with tablet input to standard programs |
US5491495A (en) * | 1990-11-13 | 1996-02-13 | Wang Laboratories, Inc. | User interface having simulated devices |
US5283560A (en) * | 1991-06-25 | 1994-02-01 | Digital Equipment Corporation | Computer system and method for displaying images with superimposed partially transparent menus |
FR2680420B1 (fr) * | 1991-08-14 | 1994-06-17 | Truchet Philippe | Dispositif electronique pour transformer un systeme informatique standard en ordinateur dit sans clavier afin d'en simplifier l'utilisation. |
US5491651A (en) * | 1992-05-15 | 1996-02-13 | Key, Idea Development | Flexible wearable computer |
US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
US5612719A (en) * | 1992-12-03 | 1997-03-18 | Apple Computer, Inc. | Gesture sensitive buttons for graphical user interfaces |
EP0605945B1 (en) * | 1992-12-15 | 1997-12-29 | Sun Microsystems, Inc. | Method and apparatus for presenting information in a display system using transparent windows |
CA2109681C (en) * | 1993-03-10 | 1998-08-25 | Donald Edgar Blahut | Method and apparatus for the coding and display of overlapping windows with transparency |
DE4406668C2 (de) * | 1993-04-27 | 1996-09-12 | Hewlett Packard Co | Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts |
JP2813728B2 (ja) * | 1993-11-01 | 1998-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ズーム/パン機能付パーソナル通信機 |
US5870100A (en) * | 1995-11-22 | 1999-02-09 | Compaq Computer Corporation | Filling of graphical regions |
-
1997
- 1997-08-28 JP JP10511687A patent/JP2000517445A/ja active Pending
- 1997-08-28 EP EP97941345A patent/EP0922275A4/en not_active Withdrawn
- 1997-08-28 CA CA002264167A patent/CA2264167A1/en not_active Abandoned
- 1997-08-28 KR KR1019997001648A patent/KR100627378B1/ko active IP Right Grant
- 1997-08-28 WO PCT/US1997/014176 patent/WO1998009270A1/en active IP Right Grant
- 1997-08-28 AU AU43275/97A patent/AU727387B2/en not_active Ceased
- 1997-08-28 US US08/919,527 patent/US6121960A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0922275A4 (en) | 2002-08-21 |
AU727387B2 (en) | 2000-12-14 |
JP2000517445A (ja) | 2000-12-26 |
WO1998009270A1 (en) | 1998-03-05 |
EP0922275A1 (en) | 1999-06-16 |
KR20000035912A (ko) | 2000-06-26 |
US6121960A (en) | 2000-09-19 |
AU4327597A (en) | 1998-03-19 |
CA2264167A1 (en) | 1998-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100627378B1 (ko) | 터치 스크린 장치 및 방법 | |
JP3630153B2 (ja) | 情報表示入力装置及び情報表示入力方法、並びに情報処理装置 | |
US10133396B2 (en) | Virtual input device using second touch-enabled display | |
US6882337B2 (en) | Virtual keyboard for touch-typing using audio feedback | |
Mynatt et al. | Nonvisual presentation of graphical user interfaces: contrasting two approaches | |
US5544300A (en) | User interface for dynamically converting between a single top level window and multiple top level windows | |
US5572649A (en) | Process for dynamically switching between a single top level window and multiple top level windows | |
US8386060B2 (en) | Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements | |
US6295372B1 (en) | Method and apparatus for handwriting input on a pen based palmtop computing device | |
US20100109999A1 (en) | Human computer interaction device, electronic device and human computer interaction method | |
Hinckley et al. | Input/Output Devices and Interaction Techniques. | |
US20070268261A1 (en) | Handheld electronic device with data entry and/or navigation controls on the reverse side of the display | |
JP2006500685A5 (ko) | ||
JP2009527041A (ja) | コンピューティングシステムにデータを入力するシステム及び方法 | |
JPH07210357A (ja) | 会議システムにおけるオブジェクトの遠隔強調表示 | |
JPH04260919A (ja) | データ処理システム | |
US20030234766A1 (en) | Virtual image display with virtual keyboard | |
JP2000056877A (ja) | タッチパネル式レイアウトフリーキーボード | |
KR101085239B1 (ko) | 양면 입력부가 구비된 휴대용단말기 | |
JP2002297293A (ja) | 携帯情報端末装置 | |
Nakagawa et al. | Human interface and applications on IdeaBoard | |
JP2003131811A (ja) | 情報処理装置、情報処理方法及び記憶媒体 | |
JPH07160398A (ja) | ペン入力装置 | |
WO2008045010A1 (fr) | Procédé pour saisir du texte ou des commandes au moyen d'un dispositif numérique portable et ordinateur-bracelet prévu pour sa réalisation | |
JP2002251250A (ja) | 携帯型情報機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120827 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20130827 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140826 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 11 |