KR20130098431A - 터치 스크린 인터페이스 동작 - Google Patents

터치 스크린 인터페이스 동작 Download PDF

Info

Publication number
KR20130098431A
KR20130098431A KR1020137019561A KR20137019561A KR20130098431A KR 20130098431 A KR20130098431 A KR 20130098431A KR 1020137019561 A KR1020137019561 A KR 1020137019561A KR 20137019561 A KR20137019561 A KR 20137019561A KR 20130098431 A KR20130098431 A KR 20130098431A
Authority
KR
South Korea
Prior art keywords
target item
display
selection
user
target
Prior art date
Application number
KR1020137019561A
Other languages
English (en)
Other versions
KR101486688B1 (ko
Inventor
패트릭 바우디스츠
케네스 피. 힌크레이
라만 사린
에드워드 비. 커트렐
앤드류 디. 윌슨
다니엘 보겔
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20130098431A publication Critical patent/KR20130098431A/ko
Application granted granted Critical
Publication of KR101486688B1 publication Critical patent/KR101486688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

터치 스크린 장치에서 터치 입력을 하게 할 수 있는 기법 및 기술이 제공된다. 스크린상에 표시된 타겟을 선택하려는 시도에 응답하여, 콜아웃은 스크린의 가려지지 않은 영역 내에 렌더링될 수 있다. 콜아웃은 타겟을 선택하려는 시도가 이루어질 때 선택 엔티티에 의해 가려진 스크린 영역의 표현을 포함한다.

Description

터치 스크린 인터페이스 동작{OPERATING TOUCH SCREEN INTERFACES}
개인용 정보 단말기(PDA), 이동 전화-PDA 하이브리드 및 울트라 모바일 PC(UMPC)와 같은 다수의 장치는 사용자가 스크린상의 선택 점을 명확하게 규정하는 것을 돕기 위해 펜 기반의 입력을 이용하고, 게다가 이들 장치는 터치 입력도 지원한다. 펜 또는 스타일러스는 일반적으로 얇고, 또한 스크린상에 나타나는 타겟이 사용자의 손가락 또는 손에 의해 가려지지 않도록 사용자의 손과 스크린 사이에서의 수직 오프셋의 생성을 돕는다. 그러나, 스타일러스의 검색은 시간이 걸리고, 예를 들어 한 손으로 하는 동작의 상황에서 불편할 수 있으며, 또는 예를 들어 짧은/간헐적인 상호작용의 상황에서 비효율적일 수 있다.
스타일러스의 사용이 비효율적이거나 불편할 때, 사용자는 때때로 자신의 손가락 또는 그외 다른 "터치 입력"을 사용하여, 장치의 스크린상에 표시된 개체를 선택한다. 예를 들어, 이것은 미팅 시간의 확인, 지도의 탐색 또는 미디어 플레이어의 제어와 같은 간헐적이거나 짧은 상호작용의 경우에 흔히 있는 일이다.
시프트 포인팅(shift pointing) 기술이 제공되는데, 이 기술은 사용자가 터치 스크린 장치를 동작시키기 위해 터치를 사용할 때 가려짐을 방지하고 명확한 선택 점을 규정함으로써 사용자가 자신의 손가락과 같은 선택 엔티티로 사용자 인터페이스를 동작하게 할 수 있도록 설계된다. 사용자가 접촉식 표시 장치의 스크린상에 표시된 작은 타겟을 선택하려고 시도할 때, 시프트 포인팅 기술은 가려진 스크린 영역의 표현을 표시하는 콜아웃(callout)을 생성하여 표시하고, 가려진 스크린 영역의 표현을 가려지지 않은 스크린 위치에 배치한다. 가려진 영역은 사용자의 손가락 또는 다른 선택 엔티티에 의해 가려진 터치 스크린의 영역이다. 콜아웃은 또한 사용자의 손가락 또는 다른 선택 엔티티의 현재의 선택 점을 나타내는 포인터를 표시한다. 콜아웃에 의해 제공된 시각적 피드백을 사용하여, 사용자는 스크린 표면상에서 자신의 손가락 또는 다른 선택 엔티티를 움직임으로써(예를 들어, 드래깅하거나 롤링하여) 포인터를 타겟으로 안내할 수 있다. 그 다음, 사용자는 자신의 손가락 또는 다른 선택 엔티티를 장치의 스크린에서 들어올림으로써 타겟 획득을 표명(commit)할 수 있다(예를 들어, 작은 타겟을 선택할 수 있다). 반면, 사용자가 터치 스크린 장치의 스크린상의 더 큰 타겟을 선택하려고 시도할 때는, 어떤 콜아웃도 생성되지 않고, 사용자는 변경되지 않은 터치 스크린의 전체 성능을 즐긴다.
그러므로, 포인터를 오프셋하는 것 외에, 시프트 포인팅 기술은 상당히 더 나은 타겟팅 성능을 제공하기 위해 스크린 내용을 오프셋한다. 이들 기술은 사용자가 비보조(unaided) 터치 스크린보다 훨씬 낮은 오류율로 작은 타겟을 선택할 수 있게 하고, 사용자의 손가락(또는 다른 선택 엔티티)에 의한 타겟의 가려짐에 의해 야기된 오류를 줄일 수 있고, 손가락(또는 다른 선택 엔티티)의 일부가 디스플레이 또는 스크린상의 선택 점을 규정하는 모호성을 줄일 수 있다. 이와 같이, 오류율은 터치 스크린 장치에서 터치 입력을 사용할 때 감소될 수 있다.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들의 선택된 개념을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 핵심적인 특징이나 본질적인 특징을 식별하고자 하는 것도 아니고, 청구된 주제의 범위를 결정하는데 보조적으로 사용되고자 하는 것도 아니다.
예시적인 실시예의 더욱 완벽한 이해는 첨부 도면과 함께 고려할 때 상세한 설명 및 청구범위를 참조함으로써 얻어질 수 있고, 도면 전반에 걸쳐 유사한 참조 번호는 유사한 요소를 나타낸다.
도 1은 한 예시적인 구현에 따른 예시적인 컴퓨터 시스템의 단순화된 개략적 표현.
도 2는 한 예시적인 구현에 따른 터치 스크린 장치의 정면도의 단순화된 개략적 표현.
도 3은 한 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 원하는 타겟을 선택하는 기술의 예시적인 흐름도.
도 4의 (a) 내지 (e)는 한 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 비교적 작은 타겟을 선택하는 에스컬레이션(escalation) 또는 "시프트 포인팅(shift pointing)" 기술을 도시한 일련의 예시적인 도면.
도 5의 (a) 내지 (b)는 다른 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 보다 큰 타겟을 선택하는 정규 기술을 도시한 일련의 예시적인 도면.
도 6의 (a)는 사용자가 타겟을 선택하려고 시도할 때 사용자 손가락의 접촉 영역을 도시한 도면.
도 6의 (b)는 SF/ST 비가 로지스틱(logistic) 함수를 사용하여 드웰 타임아웃(dewll timeout)에 매핑될 수 있는 방법을 나타내는 그래프.
도 7의 (a) 내지 (d)는 터치 스크린 장치의 스크린상의 사용자 손가락의 상이한 위치에 대한 콜아웃 및 포인터의 예시적인 위치설정을 도시한 도면.
도 8의 (a)는 사용자의 관점에서 타겟, 사용자 손가락 및 입력 점을 도시한 도면.
도 8의 (b)는 하드웨어의 관점에서 타겟, 사용자 손가락의 접촉 영역 및 입력 점을 도시한 도면.
도 9는 사용자가 작은 타겟을 선택하려고 시도할 때 콜아웃에 적용될 수 있는 주밍(zooming) 확대를 도시한 도면.
다음의 상세한 설명은 사실상 예시적인 것일 뿐이고, 본 발명 또는 출원 및 발명의 용도를 제한하고자 하는 것이 아니다. 여기에서 사용된 바와 같이, "예시적"이라는 단어는 "예제, 보기 또는 실례로서 쓰인다"는 것을 나타낸다. "예시적"으로 여기에서 설명된 임의의 구현은 반드시 그 밖의 다른 구현보다 양호하거나 유리한 것으로 해석될 필요는 없다. 아래에 설명된 모든 구현은 본 분야에 숙련된 사람들이 본 발명을 구성하거나 사용할 수 있게 하기 위해 제공된 예시적인 구현들이고, 청구범위에 의해 정의되는 본 발명의 범위를 제한하고자 하는 것이 아니다.
예시적인 실시예는 기능적 및/또는 논리적 블록 컴포넌트 및 다양한 처리 단계와 관련하여 여기에서 설명될 수 있다. 이러한 블록 컴포넌트는 지정된 기능을 실행하도록 구성된 임의 수의 하드웨어, 소프트웨어 및/또는 펌웨어 컴포넌트에 의해 실현될 수 있다는 것을 알 수 있을 것이다. 예를 들어, 한 실시예는 하나 이상의 마이크로프로세서 또는 기타 제어 장치의 제어하에 각종 기능을 실행할 수 있는 다양한 집적 회로, 예를 들어 메모리 소자, 디지털 신호 처리 소자, 논리 소자, 룩업 테이블 등을 이용할 수 있다. 게다가, 본 분야에 숙련된 기술자들은 실제 실시예가 임의 수의 데이터 전송 프로토콜과 함께 실시될 수 있고, 여기에서 설명된 시스템이 하나의 예시적인 실시예일 뿐이라는 것을 알 것이다.
간결하게 하기 위해, 컴퓨팅 장치 동작, 터치 스크린 동작, 표시 소자 상의 그래픽 렌더링 및 시스템의 기타 기능적 실시양상(및 시스템의 개별 동작 컴포넌트)에 관련된 종래의 기술은 여기에서 상세하게 설명되지 않는다. 더욱이, 여기에 포함된 여러 도면에 도시된 연결선은 다양한 요소들 사이의 예시적인 기능적 관계 및/또는 물리적 결합을 나타내고자 하는 것이다. 다수의 대안적인 또는 추가적인 기능적 관계 또는 물리적 접속은 예시적인 실시예에서 제시될 수 있다는 것을 알 수 있을 것이다.
도 1은 터치 스크린 장치를 구현하는 예시적인 컴퓨터 시스템(100)의 단순화된 개략적 표현이다. 컴퓨터 시스템(100)은 적합한 운영 환경의 일례에 불과하며, 여기에서 설명된 구현의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 이러한 구현에서 사용하는데 적합할 수 있는 그 밖의 잘 알려진 컴퓨터 시스템, 환경 및/또는 구성은 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, PDA(personal digital assisatants), 이동 전화, ATM(Automated Teller Machines) 및 기내 엔터테인먼트 시스템과 같은 키오스크 기반 시스템, 소매 제품 정보 시스템, GPS(Global Positioning System) 내비게이션 장치, 위치 맵, 빌딩 디렉토리, 휴대용 미디어 플레이어, 전자 북, 트랜싯(transit) 키오스크, 박물관 정보 디스플레이, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램가능한 소비자 전자 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 장치를 포함하는 분산 컴퓨팅 환경, 기타 등등이 있지만 이에 제한되는 것은 아니다.
컴퓨터 시스템(100)은 하나 이상의 컴퓨터 또는 기타 장치에 의해 실행된 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 일반적으로 관련하여 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 데이터 유형을 구현하는 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 및/또는 기타 요소를 포함한다. 통상적으로, 프로그램 모듈의 기능은 다양한 구현에서 원하는 대로 결합되거나 분산될 수 있다.
컴퓨터 시스템(100)은 통상적으로 최소한 몇 가지 유형의 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터 시스템(100)에 의해 및/또는 컴퓨터 시스템(100)에 의해 실행된 애플리케이션에 의해 액세스될 수 있는 임의의 이용가능 매체일 수 있다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함하지만 이에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성, 비휘발성, 이동식, 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터 시스템(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다. 통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고, 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되는 것은 아니다. 상술된 매체들의 모든 조합이 또한 컴퓨터 판독가능 매체의 영역 안에 포함되는 것으로 한다.
다시, 도 1을 참조하면, 가장 기본적인 구성에서, 컴퓨터 시스템(100)은 통상적으로 최소한 하나의 처리 유닛(102) 및 적합한 양의 메모리(104)를 포함한다. 컴퓨팅 시스템(100)의 정확한 구성 및 유형에 의존하여, 메모리(104)는 (RAM과 같은) 휘발성, (ROM, 플래시 메모리 등과 같은) 비휘발성, 또는 이 둘의 소정의 조합일 수 있다. 이러한 가장 기본적인 구성은 도 1에서 참조 번호(106)로 식별된다. 게다가, 컴퓨터 시스템(100)은 또한 추가 특징/기능을 가질 수 있다. 예를 들어, 컴퓨터 시스템(100)은 또한, 자기 또는 광 디스크 또는 테이프를 포함하는(이에 제한되는 것은 아님) 추가 저장장치(이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 추가 저장장치는 도 1에서 이동식 저장장치(108) 및 비이동식 저장장치(110)로 도시된다. 메모리(104), 이동식 저장장치(108) 및 비이동식 저장장치(110)는 모두 위에서 정의된 컴퓨터 저장 매체의 예이다.
컴퓨터 시스템(100)은 또한 시스템이 다른 장치와 통신할 수 있게 하는 통신 접속(들)(112)을 포함할 수 있다. 통신 접속(들)(112)은 위에서 정의된 통신 매체의 처리와 관련될 수 있다.
컴퓨터 시스템(100)은 또한 키보드, 마우스 또는 기타 포인팅 장치, 음성 입력 장치, 펜, 스타일러스 또는 기타 입력 장치 등과 같은 입력 장치(들)(114)를 포함하거나 이들 입력 장치와 통신할 수 있다. 도 2와 관련하여 아래에 설명된 예시적인 실시예에서, 컴퓨터 시스템(100)은 터치 입력을 받아들일 수 있고 스크린상에 표시된 소정의 개체를 사용자가 선택할 수 있게 하는 스크린, 디스플레이 또는 기타 사용자 인터페이스(UI)를 포함한다. 여기에서 설명된 예시적인 실시예가 터치 입력을 이용하지만, 여기에서 설명된 실시예는 펜 또는 스타일러스를 사용하여 발생하는 것과 같은, 임의의 대등한 터치 기반의 입력도 지원하도록 대등하게 구성될 수 있다. 컴퓨터 시스템(100)은 또한 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(116)를 포함하거나 이들 출력 장치와 통신할 수 있다. 이러한 모든 장치는 본 분야에 잘 알려져 있어서 여기에서 더 이상 설명될 필요가 없다.
개요
편리하긴 하지만, 터치 입력의 사용은 타겟팅 시간과 오류율을 증가시킬 수 있다. 불행히도, 펜 또는 스타일러스 입력을 위해 설계된 사용자 인터페이스는 흔히 작은 타겟을 포함하고, 이러한 경우에 손가락을 이용한 선택은 느려지고 오류가 생기기 쉬울 수 있다. 예를 들어, 손가락 또는 다른 형태의 "터치 입력"은 작은 타겟을 가려서, 타겟 선택 및 획득이 시각적 피드백 없이 행해지게 만든다. 이것은 선택 및 획득 오류가 생기기 쉽게 한다.
손가락이 제어 면에서 스타일러스보다 다소 덜 정확하지만, 정확도는 터치 입력과 관련된 높은 오류율의 유일한 이유가 아니다. 터치 입력과 관련된 높은 오류율의 다른 이유는 타겟의 가려짐과 함께 손가락의 접촉 영역에 의해 만들어진 애매한 선택 점 때문이다. 예를 들어, 사용자는 손가락 접촉 영역의 크기보다 작은 타겟을 선택할 때 그들이 타겟을 획득했는 지의 여부를 어렵게 판정한다. 불행히도, 사용자의 손가락은 또한 손가락의 접촉 영역보다 작은 타겟을 가림으로써 사용자가 시각적 피드백을 보지 못하게 한다.
대체로 말하자면, PDA 또는 UMPC와 같은 펜 기반 또는 터치 스크린 장치의 동작을 개선할 수 있는 기법 및 기술이 제공된다. 이들 기법 및 기술은 사용자의 손가락 또는 다른 선택 엔티티(예를 들어, 다른 신체 부위)가 스크린상에 표시된 개체를 선택하려고 시도하기 위해 터치 스크린 장치의 스크린을 터치할 때 터치 입력을 가능하게 할 수 있다. 사용자가 타겟을 선택하려고 시도할 때, 콜아웃은 스크린의 가려지지 않은 스크린 영역에 렌더링될 수 있다. 콜아웃은 사용자의 손가락(또는 다른 선택 엔티티)에 의해 가려지는 스크린 영역의 표현을 포함한다. 몇몇 구현에서, "가려지는 스크린 영역의 표현"은 사용자의 손가락(또는 다른 선택 엔티티)에 의해 가려지는 스크린 영역의 사본을 포함할 수 있다.
다음 설명에서, 에스컬레이션 또는 "시프트 포인팅" 기술은 사용자가 자신의 손가락을 사용하여 타겟을 선택하려고 시도하는 시나리오와 관련하여 설명될 것이다. 그러나, 에스컬레이션 또는 "시프트 포인팅" 기술은 또한 사용자가 임의의 "선택 엔티티"를 사용하여 타겟을 선택하려고 시도할 때마다 일반적으로 적용될 수 있다. 여기에서 사용된 바와 같이, "선택 엔티티"라는 용어는 손가락 또는 손톱과 같은 신체 부위, 또는 사용자가 선택 엔티티를 사용하여 가려진 영역에 표시되는 타겟을 선택하려고 시도할 때 터치 스크린 장치의 영역을 차단하거나 가리는 기타 선택 도구를 포함할 수 있다.
도 2는 터치 스크린 장치(200)의 정면도의 단순화된 개략적 표현이다. 터치 스크린 장치(200)는 임의의 적합하게 구성된 컴퓨팅 장치 또는 시스템, 예를 들어 컴퓨터 시스템(100) 내에서 구현될 수 있다.
터치 스크린 장치(200)는 사용자가 선택하고자 하는 원하는 타겟을 포함하는 정보를 표시하는 터치 스크린(202)을 포함한다. 여기에서 사용된 바와 같이, "터치 스크린"이라는 용어는 스크린, 디스플레이 또는 다른 UI 상에 표시된 개체를 선택하기 위해 스크린, 디스플레이 또는 기타 UI의 한 영역 위를 누름으로써 터치 입력을 가능하게 하도록 구성되거나 설계된 스크린, 디스플레이 또는 기타 UI를 나타내는 것이다. 예를 들어, 사용자는 스타일러스 또는 펜과 같은 장치로 스크린 위를 누르거나, 사용자 손가락 또는 다른 부속기관으로 스크린을 터치할 수 있다. 터치 스크린 장치는 예를 들어, 휴대 전화, PDA, 랩톱 컴퓨터, 비디오 게임, 전자 장난감, 임의 수의 상이한 애플리케이션을 위한 전자 제어 패드와 같은 휴대용 기기; ATM과 같은 정보 배포를 위한 고정 키오스크를 포함하는 다수의 전자 장치 중의 임의의 장치에서 구현될 수 있다.
사용자가 터치 스크린(202) 상에 표시된 원하는 타겟(도 2에 도시되지 않음)을 선택하려고 시도할 때, 사용자는 터치 스크린(202) 상의 원하는 타겟 위에 자신의 손가락을 놓을 수 있다. 사용자의 손가락에 의해 덮이는 터치 스크린(202)의 영역은 터치 스크린(202)의 가려진 스크린 영역(204)이라 칭해질 수 있다. 이 가려진 스크린 영역(204)은 사용자의 손가락에 의해 덮이고 사용자가 선택하려고 시도하고 있는 원하는 타겟을 포함는 스크린(202)의 영역을 포함한다. 원하는 타겟은 가려진 스크린 영역(204) 내에 있는 스크린(202) 상의 제1 영역을 차지한다.
사용자의 손가락이 스크린(202) 상에 표시된 원하는 타겟을 선택하려고 시도하기 위해 터치 스크린(202)의 표면을 터치할 때, 터치 스크린 장치(200) 내의 모듈 또는 모듈(들)은 가려짐이 (사용자 손가락 아래의) 원하는 타겟에 대해 문제가 되는지 판정하기 위해 처리 유닛(102)과 협력하여 동작한다.
가려짐이 사용자 손가락 아래의 원하는 타겟에 대해 문제가 될 수 있다고 판정될 때, 콜아웃(206) 및 포인터(208)가 표시되거나 렌더링될 수 있다. 콜아웃(206) 및 포인터(208)를 표시하거나 렌더링하라는 결정은 "에스컬레이션"이라 칭해질 수 있다. 콜아웃(206) 및 포인터(208)를 표시하거나 렌더링할 것인지(또는 "에스컬레이션"할 것인지) 판정하는 예시적인 기술은 예를 들어, 사용자 입력 기반의 트리거, 드웰 타이머 기반의 트리거, 또는 타겟 크기 기반의 트리거를 포함할 수 있는데 이에 제한되는 것은 아니다. 에스컬레이션할 것인지 판정하는 이들 기술은 아래에 더욱 상세하게 설명될 것이다.
여기에서 사용된 바와 같이, "콜아웃"이라는 용어는 가려진 스크린 영역의 시프트된 표현(통상적으로 원하는 타겟의 표현을 포함함)을 나타내는 것이다. 몇몇 구현에서, "가려진 스크린 영역의 표현"은 사용자의 손가락(또는 다른 선택 엔티티)에 의해 가려지는 스크린 영역의 사본을 포함할 수 있다. 몇몇 구현에서, 콜아웃은 입력 이동, 표시 갱신에 응답하거나 또는 다른 이유로 이동할 수 있으므로, 반드시 정적으로 배치될 필요는 없다. 콜아웃은 일반적으로 임의의 적합한 크기 및 임의의 적합한 모양으로 될 수 있다. 도 2에 도시된 특정 예에서, 콜아웃(206)의 복사 부분은 원형의 모양 또는 프레임을 갖는 것으로 도시되지만, 복사 부분은 직사각형 모양 또는 프레임, 정사각형 모양 또는 프레임, 타원 모양 또는 프레임, 말 풍선 모양 또는 프레임, 또는 이들의 임의의 조합으로 될 수 있다. 콜아웃(206)은 또한 (도 2에서 빗금으로 도시된) 가려지지 않은 스크린 영역 내의 임의의 적합한 위치에 위치하거나 배치될 수 있다(또는 그러한 위치로 옮겨질 수 있다). 콜아웃 배치의 예는 도 7과 관련하여 아래에서 제공될 것이다. 더구나, 콜아웃(206)은 구현에 따라, 가려진 영역과 동일한 크기로, 가려진 영역보다 작게, 또는 가려진 영역보다 크게 될 수 있다. 도 9와 관련하여 아래에서 설명된 한 예시적인 "줌" 구현에서, 콜아웃(206)은 가려진 영역보다 크다. 이 구현은 원하는 타겟이 특히 작아서 선택하기 곤란한 상황에서 특히 유용하다.
여기에서 사용된 바와 같이, "포인터"라는 용어는 사용자의 손가락과 같은 입력 장치에 의해 지정된 현재의 시스템 입력 좌표를 나타내는 것으로, 스크린상의 실제 접촉 또는 선택 점을 나타낸다. 한 구현에서, 시프트된 포인터(208) 및 손가락 아래의 실제 접촉점은 도 2에 도시된 바와 같이 점선으로 연결된다. 실제 접촉점은 가려진 스크린 영역(204) 내의 사용자 손가락의 실제 현재 접촉 또는 선택 점을 나타낸다. 그러므로, 포인터(208)를 오프셋하는 것 이외에, 콜아웃(206)은 가려진 스크린 내용의 표현을 오프셋하는데, 이것은 타겟팅 성능을 훨씬 더 좋게 할 수 있다.
에스컬레이션하라는 판정이 이루어지면, 터치 스크린 장치(200) 내의 모듈 또는 모듈(들)은 터치 스크린(202)의 가려지지 않은 스크린 영역(도 2에서 빗금으로 표시됨) 내에 콜아웃(206) 및 포인터(208)를 표시 또는 렌더링하라는 컴퓨터 명령을 실행하기 위해 처리 유닛(102)과 협력하여 동작한다.
포인터(208)는 스크린(202)의 표면상에서 손가락을 움직임으로써 포인터(208)가 이동될 수 있도록 사용자가 원하는 타겟을 선택하고자 시도할 때 이동가능하다. 콜아웃(206)에 의해 사용자에게 제공된 시각적 피드백은 사용자가 콜아웃(206) 내에 표시된 원하는 타겟의 표현 위로 포인터(208)를 움직일 수 있게 할 수 있다. 예를 들어, 사용자는 터치 스크린(202)의 가려진 스크린 영역(204) 상에 자신의 손가락을 두고, 포인터(208)가 원하는 타겟의 표현 위로 갈 때까지 (가려진 스크린 영역(204) 내의) 터치 스크린(202)의 표면상에서 자신을 손가락을 움직이거나 굴려서 포인터(208)를 안내함으로써, 콜아웃(206) 내에 표시된 원하는 타겟의 표현 위로 포인터(208)를 안내할 수 있다.
원하는 타겟을 선택하기 위해, 사용자는 포인터(208)가 콜아웃(206) 내에 표시된 원하는 타겟의 표현 위에 있을 때 자신의 손가락을 스크린(202)의 표면에서 들어올림으로써 타겟 획득을 표명한다. 한 구현에서, 성공적인 타겟 획득은 클릭 사운드로 확인될 수 있지만, 성공하지 못한 타겟 획득 시도는 오류 사운드를 초래할 수 있다. 터치 스크린 장치(200) 내의 모듈 또는 모듈(들)은 사용자가 터치 스크린(202)의 표면에서 자신의 손가락을 들어올릴 때 콜아웃(206) 및 포인터(208)를 제거하기 위해 처리 유닛(102)과 협력하여 동작한다.
도 3은 한 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 원하는 타겟을 선택하는 기술의 예시적인 흐름도(300)이다. 도 3은 도 3의 기술이 한 예시적인 구현에서 적용될 수 있는 방법을 나타내기 위해 도 4의 (a) 내지 (e) 및 도 5의 (a) 내지 (b)와 관련하여 설명될 것이다. 도 4의 (a) 내지 (e)는 한 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 비교적 작은 타겟을 선택하는 에스컬레이션 또는 "시프트 포인팅" 기술을 도시한 일련의 예시적인 도면(400)이다. 도 5의 (a) 내지 (b)는 다른 예시적인 구현에 따라 터치 입력을 사용하여 터치 스크린 장치의 스크린상에 표시된 큰 타겟을 선택하는 정규 기술을 도시한 일련의 예시적인 도면(500)이다.
단계(310)에서, 사용자는 장치 표시면(예를 들어, 장치의 표면)을 자신의 손가락으로 터치함으로써 터치 스크린 장치의 스크린 또는 디스플레이 상에 표시된 원하는 타겟을 획득하거나 선택하려고 시도한다. 예를 들어, 도 4의 (a) 및 도 5의 (a)에 도시된 바와 같이, 사용자는 원하는 타겟(410, 510)을 선택하려고 시도하기 위해 자신의 손가락(401, 501)(또는 다른 신체 부위 또는 장치를 포함하는 다른 물체)로 스크린의 표면 위를 누른다. 도 4의 (a)에서, 원하는 타겟(410)은 사용자 손가락(401) 아래의 스크린상에 표시된 제1의 작은 영역을 차지한다. 원하는 타겟(410)은 다수의 다른 가능한 타겟(작은 직사각형으로 표시됨) 근처에 있다. 사용자의 손가락(401)에 의해 덮이는 (그리고 원하는 타겟(410) 및 다른 가능한 타겟을 포함하는) 스크린의 영역은 사용자가 볼 수 없는 "가려진" 영역이라 이하 칭해진다. 도 5의 (a)에서, 원하는 타겟(510)은 사용자의 손가락(501)에 의해 완전히 덮이지 않는 스크린상에 표시된 비교적 큰 영역을 차지한다. 즉, 도 5의 (a)에서, 원하는 타겟(510)은 원하는 타겟(510)의 일부분이 여전히 보이기 때문에 부분적으로만 가려진다.
조건부 에스컬레이션은 가려짐 문제를 극복하고, 사용자가 작은 타겟을 신뢰성 있게 선택할 수 있게 한다. 에스컬레이션 또는 시프트 포인팅 기술은 상호작용 오버헤드가 상당한 양의 시간을 줄일 수 있는 정말 필요한 상황(예를 들어 작은 타겟)에 제한된다는 것의 보장을 돕는다. 단계(320)에서, 터치 스크린 장치 내의 프로세서 또는 다른 모듈은 "에스컬레이션"이 특정 원하는 타겟에 대해 필요한지 판정한다. 일반적으로, 터치 스크린 장치 내의 프로세서 또는 다른 모듈은 사용자 손가락 아래의 가려진 스크린 영역에 표시된 가능한 타겟이 주어지면 가려짐에 문제가 되는지 판정한다. 임의 수의 상이한 기술은 에스컬레이션의 실행 여부를 판정하기 위해 (예를 들어, 콜아웃 및 포인터를 표시하거나 렌더링할 것인지의 여부를 판정하기 위해) 사용될 수 있다. 이들 기술은 예를 들어, 사용자 입력 기반의 트리거, 드웰 타이머 기반의 트리거 또는 타겟 크기 기반의 트리거를 포함할 수 있는데, 이에 제한되는 것은 아니다. 이들 기술은 아래에서 설명될 것이다.
에스컬레이션이 필요하지 않다고(예를 들어, 사용자의 손가락 아래의 원하는 타겟에 대해 가려짐이 문제되지 않는다고) 판정되면, 단계(325)에서, 터치 스크린 장치는 변경되지 않은 터치 스크린과 같은 정상 또는 정규 방식으로(예를 들어, 에스컬레이션을 호출하지 않고) 계속 동작한다. 프로세스(300)는 다음의 원하는 타겟을 기다리고, 루프는 단계(310)로 돌아간다. 도 5의 (a) 및 (b)에 도시된 예시적인 시나리오에서, 콜아웃은 사용자가 터치 스크린 장치의 스크린상의 큰 타겟을 선택하려고 시도할 때 생성되거나 표시되지 않는다. 손가락을 즉시 들어올림으로써, 사용자는 마치 비보조 터치 스크린을 사용하는 것처럼 선택을 한다. 여기에서, 비보조 터치 스크린 입력의 단순성은 이것을 크기가 큰 타겟에 적당하게 한다.
에스컬레이션 또는 시프트 포인팅 기술은 또한 사용자가 실제 타겟 자체를 겨냥할 수 있게 한다는 점에서 사용자가 기대하는 터치 스크린처럼 작용한다. 사용자가 실제 타겟을 겨냥할 수 있게 함으로써, 에스컬레이션 또는 시프트 포인팅 기술은 정규 펜 및 터치 입력과 여전히 호환가능하다. 이 호환성은 펜과 터치 입력 사이에서 왔다갔다 전환할 때 일관된 상호작용을 유지한다. 이것은 또한 도보 시나리오에서 에스컬레이션 또는 시프트 포인팅 기술을 쉽게 잘 활용하게 하고, 또는 기존의 시스템을 쉽게 개조하게 한다.
에스컬레이션이 필요하다고(예를 들어, 사용자 손가락 아래의 원하는 타겟에 대해 가려짐이 문제가 된다고) 판정되면, 단계(330)에서, 콜아웃 및 포인터는 가려지지 않은 스크린 영역 상에 렌더링되거나 표시될 수 있다.
에스컬레이션 또는 시프트 포인팅 기술은 또한 사용자가 실제 타겟 자체를 겨냥할 수 있게 한다는 점에서 사용자가 기대하는 터치 스크린처럼 작용한다. 사용자가 실제 타겟을 겨냥할 수 있게 함으로써, 에스컬레이션 또는 시프트 포인팅 기술은 정규 펜 및 터치 입력과 여전히 호환가능하다. 이 호환성은 펜과 터치 입력 사이에서 왔다갔다 전환할 때 일관된 상호작용을 유지한다. 이것은 또한 도보 시나리오에서 에스컬레이션 또는 시프트 포인팅 기술을 쉽게 잘 활용하게 하고, 또는 기존의 시스템을 쉽게 개조하게 한다.
콜아웃 및 포인터는 가려짐과 관련된 문제점의 제거를 도울 수 있고, 또한 실제 접촉 또는 선택 점 모호성과 관련된 문제점의 감소를 도울 수 있다. 예를 들어, 도 4의 (b)에 도시된 바와 같이, 콜아웃(406) 및 포인터(408)는 스크린의 가려지지 않은 영역에 제공되거나 표시될 수 있다. 콜아웃(406)은 가려지지 않은 스크린 영역 상에 가려진 스크린 영역(예를 들어, 사용자의 손가락(410)에 의해 덮이는 영역)의 표현을 표시한다. 이 가려진 스크린 영역의 표현은 예를 들어, 원하는 타겟(401)의 사본(401')을 포함할 수 있다. 포인터(408)는 스크린상의 사용자 손가락의 실제 접촉 또는 선택 점을 나타낸다. 포인터(408)의 초기 표시시에, 포인터(408)는 원하는 타겟(401)의 사본(401')과 일치하지 않는다.
더구나, 콜아웃(406)의 위치가 타겟 및 사용자 손가락의 위에 표시되는 것으로 도시되지만, 도 6과 관련하여 아래에 설명되는 바와 같이, 콜아웃(406)은 타겟 또는 사용자 손가락에 대해 가려지지 않은 스크린 영역 내의 임의의 편리한 위치에 배치될 수 있다는 것을 알 수 있을 것이다. 콜아웃 및 포인터의 배치는 시각적 방향 재설정을 가속화하기 위해 가려짐의 최소화 및 예측가능성의 최대화를 도울 수 있는 방식으로 행해져야 한다.
단계(340)에서, 사용자는 원하는 타겟을 선택하기 위해 포인터를 원하는 타겟의 표현 위로 안내한다. 예를 들어, 도 4의 (c)에 도시된 바와 같이, 손가락(410)을 스크린과 접촉한 상태로 유지하면서, 사용자는 콜아웃(406)에 의해 제공된 시각적 피드백에 기초하여 포인터(408)의 위치를 안내할 수 있다. 사용자는 포인터(408)가 스크린의 가려지지 않은 스크린 영역에 표시된 원하는 타겟(401)의 사본(401') 위에 있을 때까지 자신의 손가락을 스크린의 표면상에서 움직임으로써 정확하게 이동하고 포인터 위치를 미세하게 조정할 수 있다.
포인터가 원하는 타겟의 표현 위에 있을 때, 단계(350)에서, 사용자는 원하는 타겟의 타겟 획득을 표명한다. 예를 들어, 도 4의 (d)에 도시된 바와 같이, 원하는 타겟을 선택하기 위해, 사용자는 포인터(408)가 가려지지 않은 스크린 영역에 표시되는 원하는 타겟(401)의 사본(401') 위에 있는 동안에 스크린의 표면에서 자신의 손가락을 들어올림으로써(예를 들어, 선택을 중지함으로써) 원하는 타겟(401)의 타겟 획득을 표명한다. 한 구현에서, 성공적인 타겟 획득은 클릭 사운드로 확인될 수 있지만, 성공하지 못한 타겟 획득 시도는 오류 사운드를 초래할 수 있다. 다른 구현에서, 일단 정확한 위치가 시각적으로 검증되면, 손가락(410)의 들어올림은 타겟(401)을 선택하고, 잠깐의 형광체 잔광을 발생시키며, 선택을 완료한다.
단계(360)에서, 콜아웃 및 포인터는 사용자가 스크린의 표면에서 손가락을 들어올릴 때 제거된다. 예를 들어, 도 4의 (e)에 도시된 바와 같이, 콜아웃(406) 및 포인터(408)는 사용자가 스크린의 표면에서 손가락(도시 생략)을 들어올릴 때 제거되고, 원하는 타겟이 선택된다.
에스컬레이션의 실행 여부를 판정하는 기술
한 구현에서, 사용자 입력 기반의 트리거는 에스컬레이션 또는 "시프트 포인팅 기술"을 트리거하기 위해 사용될 수 있다. 예를 들어, 사용자는 에스컬레이션을 트리거하기 위해 단추를 누르거나 다른 입력 장치를 선택할 수 있다.
다른 구현에서, 타겟 크기 기반의 트리거는 에스컬레이션 또는 "시프트 포인팅 기술"을 트리거하기 위해 사용될 수 있다. 프로세서 또는 다른 모듈은 선택 엔티티(예를 들어, 사용자 손가락)의 접촉 영역에 대한 원하는 타겟의 크기에 기초하여 원하는 타겟에 대해 가려짐이 문제가 되는지 판정할 수 있다. 예를 들어, 원하는 타겟의 최소 크기가 전형적인 손가락 접촉 직경보다 작을 때 가려짐이 문제될 수 있기 때문에, 프로세서 또는 다른 모듈은 손가락에 의해 가려질 만큼 충분히 작은 타겟이 존재하는지 판정할 수 있다(예를 들어, 원하는 타겟은 선택 엔티티(예를 들어, 사용자 손가락)의 접촉 영역에 비해 작은 타겟으로 이루어진다). 한 구현에서, 가려짐으로 인해 작은 타겟의 선택이 오류가 생기기 쉽게 하는 대략의 임계 크기 또는 "가려짐 임계치"가 있다. 사용자가 원하는 타겟을 선택하려고 시도하기 위해 자신의 손가락을 사용하여 스크린의 표면 위를 누를 때(예를 들어, 가려진 스크린 영역 위에 압력을 가하거나 터치할 때), 터치 스크린 장치 내의 프로세서 또는 다른 모듈은 원하는 타겟이 가려짐 임계치보다 작은지 판정한다. 원하는 타겟이 가려짐 임계치보다 작으면, 에스컬레이션 또는 시프트 포인팅 기술이 구현된다. 이에 반해, 가려짐은 일반적으로, 사용자가 스크린상의 큰 타겟을 선택하고자 시도할 때 문제가 되지 않을 것이다. 이와 같이, 가려짐 임계치보다 큰 타겟에 대해, 에스컬레이션 또는 시프트 포인팅 기술은 스크린상에 콜아웃을 렌더링하거나 표시하지 않고, 그 대신에 변경되지 않은 터치 스크린처럼 작동한다.
또 다른 구현에서, 드웰 타이머 기반의 트리거는 에스컬레이션 또는 "시프트 포인팅 기술"을 트리거하기 위해 사용될 수 있다. 예를 들어, 프로세서 또는 다른 모듈은 사용자의 손가락이 임계 시간보다 많이 디스플레이와 접촉하고 있었는지 판정한다. 사용자의 손가락이 임계 시간보다 많이 디스플레이와 접촉하고 있었으면, 프로세서 또는 다른 모듈은 에스컬레이션 또는 시프트 포인팅이 구현되어야 한다고 판정한다. 사용자의 손가락이 임계 시간보다 적게 또는 임계 시간과 동일하게 디스플레이와 접촉하고 있었으면, 프로세서 또는 다른 모듈은 에스컬레이션 또는 시프트 포인팅이 구현되지 않아야 하고, 정규의 비보조 터치 스크린이 구현되어야 한다고 판정한다.
망설임 및 선택 모호성에 기초한 에스컬레이션
또 다른 구현에서, 단지 타겟 크기 기반의 트리거에 기초하거나 단지 드웰 타이머 기반의 트리거에 기초하여 에스컬레이션 여부를 결정하는 근거로 하는 대신에, 두 가지 구현으로부터의 개념은 다가오는 타겟팅 시도에서 에스컬레이션할 것인지 "시프트 포인팅" 기술을 사용할 것인지의 여부를 결정할 때 결합될 수 있다.
드웰 타임을 사용함으로써, 에스컬레이션할 것인지의 여부에 대한 궁극적인 결정은 사용자에게 맡겨진다. 예를 들어, 타겟 크기 및 위치에 대한 추가 지식이 전혀 없으면, 고정 드웰 타임아웃(예를 들어, 300 밀리초)이 사용될 수 있다. 고정 드웰 타임아웃이 만료되면, 에스컬레이션 또는 시프트 포인팅이 구현되어야 한다. 그러나, 터치 스크린 장치가 타겟 크기 및 위치에 관한 지식을 제공할 때, 시프트 포인팅 기술은 "선택 모호성"에 기초하여 드웰 타임아웃을 결정하거나 계산할 수 있다. 도 6의 (a) 및 (b)와 관련하여 아래에 설명된 한 실시예에서, 스크린 접촉과 에스컬레이션 사이의 드웰 타임아웃이 정의될 수 있다. 드웰 타임아웃의 지속시간은 사용자 손가락 아래의 타겟 크기에 따라 변할 수 있고, 선택 모호성은 사용자 손가락 아래에 있는 최소 타겟 크기와 가려짐 임계치를 비교함으로써 결정되거나 제거될 수 있다.
타겟이 가려짐 임계치에 비해 작으면, 선택 모호성은 비교적 높고, 드웰 타임아웃은 매우 짧은 지속시간으로 설정될 수 있고, 에스컬레이션이 거의 즉시 발생한다. 그러나, 타겟이 가려짐 임계치보다 훨씬 크면, 가려짐이 문제되지 않는다. 이 경우에, 에스컬레이션은 필요 없으므로, 드웰 타임아웃은 더 길게 설정되어 사용자가 단순한 직접 터치를 이용할 수 있게 할 수 있다. 이와 같이, 비교적 큰 타겟에 대해, 드웰 타임아웃은 비교적 길고, 사용자는 에스컬레이션 없이 타겟을 획득할 수 있어서, 비변경 터치 스크린과 동일한 성능을 초래할 수 있다.
가려짐 임계치와 거의 동일한 크기의 타겟에 대해, 선택 모호성의 정도는 그 자체가 모호하다(사용자는 자신의 선택의 확신에 따라 에스컬레이션을 필요로 할 수도 필요로 하지 않을 수도 있다). 이 경우에, 드웰 타임아웃은 단지 망설임과 함께 에스컬레이션 호출을 제어할 만큼의 길이인 짧은 지연 후에 발생한다. 사용자가 에스컬레이션을 원하거나 시프트 포인팅 기술을 호출하고자 하면, 사용자는 일정 기간 동안 스크린의 표면 위에 자신의 손가락을 유지함으로써 망설일 수 있다. 에스컬레이션을 방지하기 위해, 사용자는 스크린의 표면에서 자신의 손가락을 즉시 들어올릴 수 있다.
도 6의 (a)는 사용자가 타겟(601)을 선택하려고 시도할 때 사용자 손가락(610)의 접촉 영역(605)을 도시한 도면이다. 도 6의 (a)는 또한 가려짐 임계치(SF), 및 사용자 손가락(610) 아래에 있는 최소 타겟(601)의 최소 크기(ST)를 도시한 것이다. 한 구현에서, 가려짐 임계치(SF)는 사용자 손가락(610)의 접촉 영역(605)의 최대 크기이다. 가려짐 임계치(SF) 및 최소 타겟(601)의 최소 크기(ST)는 가려짐 임계치(SF) 대 손가락 아래에 있는 최소 타겟의 최소 크기(ST)의 비를 계산하기 위해 사용될 수 있다.
도 6의 (b)는 SF/ST 비가 로지스틱(logistic) 함수를 사용하여 드웰 타임아웃에 매핑될 수 있는 방법을 도시한 그래프이다. 로지스틱 함수는 실수 파라미터 a, m, n 및 τ로 다음 수학식에 의해 정의된다:
Figure pat00001
가려짐 임계치(SF) 대 손가락 아래에 있는 최소 타겟의 최소 크기(ST)의 비는 로지스틱 함수를 사용하여 드웰 타임에 매핑될 수 있다. 한 구현에서, 실수 파라미터는 a=1, m=0, n=4 및 τ=3으로 설정될 수 있다. 도 6의 (b)에 도시된 바와 같이, 이들 실수 파라미터가 로지스틱 함수에서 사용될 때, 이것은 작은 타겟을 ∼0 ms에, 큰 타겟을 ∼1500 ms에, 가려짐 임계치 근처의 타겟을 약 300 ms에 매핑하는 평활 곡선을 생성한다. 즉, 곡선은 매우 작은 타겟에 대해 최소 지연 시간을 0 ms 근처에 이르게 하고; 큰 타겟에 대해 최대 지연 시간을 1500 ms 근처에 이르게 하며; 가려짐 임계치 크기 근처의 타겟에 대해 지연 시간을 300 ms 근처에 이르게 한다.
가려짐 임계치의 평가
가려짐 임계치(SF)는 대체로 손가락 접촉 영역에 관련되지만, PDA 및 UMPC 상에서 통상적으로 사용된 접촉식 스크린은 단지 단일 입력 점을 보고하고, 손가락 접촉 영역을 보고하지 않는다. 시간에 따른 가려짐 임계치(SF)의 평가는 에스컬레이션이 사용되는 타겟 크기에 기초하고 에스컬레이션이 사용되지 않는 타겟 크기에 기초하여 판정될 수 있다. 우리는 초기 추측 SF에서 시작하고, 그 다음에 SF < ST일 때 사용자가 에스컬레이션을 하면 가려짐 임계치(SF)를 s만큼 증가시키고, 사용자가 에스컬레이션을 하지 않고 SF > ST이면 가려짐 임계치(SF)를 s만큼 감소시키는데, s = w｜SF - ST｜이고, w는 시간에 따라 평가치를 평활하기 위해 손으로 조정된 가중치이다. 한 구현에서, 0.125의 가중치(w)는 평활도와 학습 속도 사이에 양호한 균형을 제공하기 위해 사용될 수 있다.
이러한 방식의 잠재적인 이점은 사용자가 타겟을 선택하기 위해 (자신의 손가락 또는 손가락 끝과 대조적으로) 자신의 손톱을 사용하는 것을 좋아하는 경우에, 가려짐 임계치(SF)가 줄어들므로, 에스컬레이션이 매우 작은 타겟에 대해서만 순간적으로 행해질 것이라는 점이다. 스타일러스가 장치 홀스터(holster) 내에 있는 경우에 감지할 수 있는 장치에 대해, 이 방법은 각각 손가락 및 펜 입력에 대해 독립적인 가려짐 임계치(SF) 값을 학습할 수 있게 한다. 이러한 센서 데이터가 없으면, 가중치(w)를 비교적 큰 값으로 설정하는 것은 사용자의 입력 스타일의 변화에 응답하여 새로운 가려짐 임계치(SF)를 빠르게 학습할 수 있게 한다.
도 7의 (a) 내지 (d)는 터치 스크린 장치의 스크린상의 사용자 손가락(710)의 상이한 위치에 대한 콜아웃(706) 및 포인터(708)의 예시적인 위치 설정을 도시한 도면이다. 도 7의 (a) 내지 (d)는 에스컬레이션 또는 시프트 포인팅 기술이 임의의 액세스하기 어려운 스크린 영역을 초래하지 않는다는 것을 나타낸다. 콜아웃의 위치는 원하는 타겟(701) 및/또는 사용자의 손가락(710)에 관해 스크린의 가려지지 않은 영역 내의 임의의 위치에 표시될 수 있다. 예를 들어, 도 7의 (a)에 도시된 도면에서, 콜아웃(706A)은 스크린의 가려지지 않은 영역 내에서 사용자의 손가락(710A) 및 원하는 타겟(701A)의 바로 위에 오프셋된다. 도 7의 (b)에서, 스크린의 가장자리에서의 잘림을 방지하기 위해, 콜아웃(706B)은 스크린의 가려지지 않은 영역 내에서 사용자의 손가락(710B) 및 원하는 타겟(701B)의 오른쪽 위에 오프셋된다. 콜아웃(706B)의 위치설정은 더욱 스크린의 가운데로 향하고, 가장자리 근처에서의 잘림을 방지하는 것을 도울 수 있다. 도 7의 (c)에서, 스크린의 상부 가장자리에서의 잘림을 방지하기 위해, 원하는 타겟(701C)은 디스플레이의 상부 가장자리 근처에 있다. 이와 같이, 잘림을 방지하기 위해, 콜아웃(706C)은 스크린의 가려지지 않은 영역 내에서 사용자 손가락(710C)의 왼쪽으로 그리고 원하는 타겟(701C)의 약간 아래로 오프셋될 수 있다. 콜아웃(706C)을 왼쪽으로 오프셋할 수 없으면, 콜아웃(706C)은 도 7의 (d)에 도시된 바와 같이 오른쪽으로 오프셋될 수 있는데, 콜아웃(706D)은 스크린의 가려지지 않은 영역 내에서 사용자 손가락(710D)의 오른쪽으로 그리고 원하는 타겟(701D)의 약간 아래로 오프셋될 수 있다는 것을 알 수 있을 것이다. 상대적인 콜아웃(706) 위치를 조정함으로써, 에스컬레이션 또는 시프트 포인팅 기술은 스크린상의 임의의 장소에서 타겟(701)을 처리하고, 그 밖에 스크린의 가장자리에서 발생할 수 있는 잘림 문제를 방지할 수 있다. 게다가, 왼손잡이 사용자를 위해 콜아웃(706)의 배치 또는 위치설정을 반대로 하기 위해 손잡이 검출이 사용될 수 있다는 것을 알 수 있을 것이다.
사용자 인식 입력 점의 정정
도 8의 (a)는 사용자 관점에서 타겟(801), 사용자 손가락(810) 및 입력 점(807)을 도시한 도면이다. 다수의 터치 스크린 장치에서, 단일 선택 점이 계산되고, 대체로 중간의 손가락 접촉 영역에 배치된다. 도 8의 (b)는 하드웨어의 관점에서 타겟(801), 사용자 손가락의 접촉 영역(809) 및 입력 점(807')을 도시한 도면이다. 일부 사용자는 접촉점이 종종 의도한 타겟보다 약간 아래에 있다. 시프트 포인팅 기술은 초기 접촉점에 대한 포인터 위치를 표시한다. 몇몇 구현에서, 초기 접촉점에 대한 포인터의 위치는 사용자 인식 접촉점을 반영하도록 조정될 수 있다.
예를 들어, 한 구현에서, 시프트 포인팅 기술은 단일 접촉점에 기초하여 입력 위치를 조정할 수 있다. 하드웨어 입력 점(807')을 사용자 인식 입력 점(807)에 매핑하는 정정 벡터(V)의 평가는 정기적으로 계산될 수 있다. 예를 들어, 한 구현에서, 정정 벡터(V)의 평가는 정정된 최종 리프트 오프(lift-off) 점(P2)과 초기 접촉점(P1) 사이에 가중 벡터를 추가함으로써 갱신될 수 있고: Vt +1 = Vt + w(P2 - P1)이고, w는 손으로 조정된 가중치이다. 한 구현에서, 손으로 조정된 가중치(w)는 반복 정제를 너무 느리게 하지 않고 평가치를 평활화하도록 대략 0.33으로 설정될 수 있다. 이것은 V의 평가치 수렴 후의 미세 조정 시간을 감소시켜, 더 이상의 조정 없이 선택된 타겟을 사용자가 단순히 검증할 수 있게 한다. 손가락과 달리, 엄지손가락의 접촉 모양은 디스플레이의 접촉 위치에 따라 변하는 경향이 있다. 이것은 단일 조정 벡터를 불충분하게 한다. 위치 특정 조정 벡터들 사이의 선형 보간은 이 문제를 완화할 수 있다.
콜아웃 확대 또는 "주밍"
에스컬레이션 또는 시프트 포인팅 기술의 한가지 목적은 타겟 가려짐을 방지함으로써 사용자가 타겟을 획득할 수 있게 하는 것이다. 어떤 용도의 경우에, 타겟은 특히 작을 수 있다. 예를 들어, 위에서 설명된 시프트 포인팅 기술은 6 픽셀 이상(대략 2.6 mm)인 타겟의 획득에 잘 들어맞지만, 몇몇 경우에, 사용자는 6 픽셀보다 작은 타겟의 획득을 원할 수 있다. 몇몇 구현에서, 시프트 포인팅 기술은 타겟팅 정밀도를 향상시키고 높은 정밀도 포인팅 정확도를 가능하게 하기 위해 제어 디스플레이(CD) 비 조작처리의 주밍 및 이득 조작처리로 향상될 수 있다.
도 9는 사용자가 작은 타겟을 선택하려고 시도할 때 에스컬레이션 또는 시프트 포인팅 기술에 의해 생성된 콜아웃(906)에 적용될 수 있는 주밍 확대를 도시한 도면이다. 특히 작은 타겟의 경우에, 위에서 설명된 기술은 또한, 콜아웃(906)을 확대하고, 콜아웃(906) 대 콜아웃(906)이 재생하는 가려진 스크린 영역의 표시 비를 증가시킴으로써, 주밍 기능을 구현할 수 있다. 주밍 기능이 구현될 때, 콜아웃(906)에 표시되는 가려진 스크린 영역의 재생은 콜아웃(906)이 가려진 스크린 영역의 확대 버전을 나타내도록, 사용자 손가락에 의해 가려진 실제 영역보다 크기가 크다.
몇몇 구현에서, 콜아웃(906)은 추적 메뉴와 유사하게 이제 손가락으로 이동하여, 사용자가 그 너머의 내용에 도달할 수 있도록 변경될 수 있다. 손가락이 더 이상 포인터(908) 위치와 직접 매핑되지 않기 때문에, 콜아웃(906)은 정정 단계 동안에 가려지지 않도록 이동된다. 콜아웃(906)의 초기 위치는 초기 접촉점과 관련하여 배치될 수 있다. 접촉점이 임계치 직경을 넘어 이동하면, 콜아웃(906)은 추적 메뉴와 유사하게 손가락(906)과 함께 이동한다. 이것은 증가된 줌 공간(또는 높은 CD 비를 갖는 증가된 모터 공간)이 주어지면 초기 접촉점이 원하는 타겟에서 너무 멀리 있는 경우에 프레임에 의해 덮인 초기 영역을 넘어 미세 조정을 가능하게 한다.
특정 예에서, 에스컬레이션이 실행되고, 콜아웃(906) 내에 표시되는 가려진 스크린 영역의 표현이 확대되었다. 임의의 적합한 확대율은 디스플레이의 크기, 가려진 영역의 크기 또는 특정 타겟의 크기에 의존하여 사용될 수 있다는 것을 알 수 있을 것이다. 콜아웃의 확대가 높을수록, 콜아웃이 표시할 내용은 적다. 이러한 확대는 픽셀 크기 타겟의 가시성을 보장하겠지만, 신뢰성 있는 타겟 획득을 허용하기에는 충분하지 않을 수 있다. 몇몇 구현에서, 주밍은 제어 디스플레이(CD) 비의 증가로 더욱 보완될 수 있다.
제어 디스플레이(CD) 비 증가
제어 디스플레이(CD) 비는 실제 손가락 움직임("Control") 대 디스플레이 상의 시스템 포인터의 움직임("Display") 사이의 매핑이다. CD 비를 1 이상으로 증가시킴으로써, 손가락은 소정의 포인터 거리를 가기 위해 포인터보다 멀리 이동할 필요가 있다. CD 비를 1 이하로 감소시킴으로써, 손가락은 소정의 포인터 거리를 가기 위해 포인터보다 짧은 거리를 이동할 수 있다. 이 조작처리는 또한 CD 비의 역인 "이득"이라 칭해진다. 이득은 소정의 제어 움직임이 주어지면, 결과적인 포인터 움직임을 증가시키거나 감소시킨다. 이득이 낮으면, 포인터 움직임은 소정의 제어 움직임보다 적다.
사용자가 타겟을 겨냥할 수 있게 하기 위해, 다수의 터치 스크린 장치는 1의 CD 비로 동작된다. 예를 들어, 포인터 위치는 손가락 입력 위치와 1:1 매핑될 수 있다. 그러나, 일단 사용자의 손가락이 스크린과 접촉하고 있으면, 포인터는 표시되어 사용자에게 시각적 피드백을 제공할 수 있다. 그 다음, 손가락 움직임은 손가락이 가리키는 것보다 빠르거나 느리게 포인터가 움직이는 상대적인 방식으로 포인터를 제어할 수 있다. 이것을 처리하기 위해, 시프트 포인팅 기술의 향상된 버전에서, CD 비는 에스컬레이션 시에 8:1까지 조정될 수 있다. 스크린을 가로지르는 포인터 움직임은 느려져서 모터 공간 내에서 1 픽셀 타겟을 8픽셀로 확대한다. 대안적인 실시예에서, CD 비는 팬터그래프(pantograph)형 핸들로 조정되거나, 또는 안정화를 위해 초기 접촉점으로부터의 거리에 기초하여 조정될 수 있다.
위에서 설명된 바와 같이, 타겟의 원래의 위치에 관계없이, 콜아웃은 손가락에 의한 가려짐을 방지하도록 위치 설정된다. 몇몇 경우에, 손가락의 이동은 원래의 타겟 위치를 더 이상 가리지 않게 한다. 접촉식 디스플레이가 유한 입력 영역을 갖기 때문에, 1 이상의 CD 비의 증가는 "모터 공간"의 범위를 표시 공간의 1/CD로 감소시킨다. 제어 공간에서의 손가락 움직임은 사람들이 그들의 인지적 모터 프로세스로 이 움직임을 제어하기 때문에 "모터 공간" 움직임이라 칭해질 수 있다. 이것은 초기 접촉점이 디스플레이의 가장자리로부터 X 픽셀만큼 떨어져 있고, 타겟으로부터 X/CD보다 많은 픽셀만큼 더 떨어져 있으면 문제가 될 수 있다. 시프트 포인팅 기술이 리프트 오프 선택을 이용하기 때문에, 사용자가 타겟을 선택하는 방식은 없다. 이 문제를 처리하기 위해, 시프트 포인팅 기술은 모든 중간 픽셀이 선택가능한 경우에 가장자리에 더 가까운 점으로 빨리 움직이도록 변경될 수 있고, 또는 길고 느린 움직임과 짧고 빠른 움직임이 빠르게 연속되어 클러칭을 시뮬레이션할 수 있도록 포인터 가속도를 사용하여 변경될 수 있다.
최소한 한 예시적인 실시예가 상기 상세한 설명에서 제시되었지만, 다수의 변형이 존재한다는 것을 알 수 있을 것이다. 또한, 여기에서 설명된 예시적인 실시예 또는 실시예들은 어떤 방식으로든 시스템, 방법 또는 장치의 범위, 응용성 또는 구성을 제한하고자 하는 것이 아니라는 것을 알 수 있을 것이다. 오히려, 상기 상세한 설명은 본 분야에 숙련된 기술자들에게, 설명된 실시예 또는 실시예들을 구현하기 편리한 로드 맵을 제공할 것이다. 이 특허 출원을 출원하는 시점에서 공지된 등가물 및 미리 알 수 있는 등가물을 포함하는 청구범위에 의해 정의된 범위를 벗어나지 않고서 구성요소들의 기능 및 배열에서 다양한 변경이 이루어질 수 있다는 것을 이해할 것이다.

Claims (20)

  1. 디스플레이 상에 타겟 항목을 렌더링하는 방법으로서,
    상기 디스플레이의 제 1 부분 상에서의 상기 타겟 항목의 선택을 수신하는 단계와,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계와,
    상기 타겟 항목의 선택이 상기 사전결정된 조건을 만족할 경우, 상기 디스플레이의 제 2 부분에 상기 타겟 항목의 표현을 디스플레이하는 단계를 포함하는,
    타겟 항목 렌더링 방법.
  2. 제 1 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 디스플레이 상에서의 상기 타겟 항목의 선택과 연관된 입력이 입력 임계치를 초과하는지의 여부를 판정하는 단계를 포함하는,
    타겟 항목 렌더링 방법.
  3. 제 2 항에 있어서,
    상기 입력 임계치는 시간 임계치와 연관되는,
    타겟 항목 렌더링 방법.
  4. 제 1 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 타겟 항목의 크기가 크기 임계치를 초과하지 않는지의 여부를 판정하는 단계를 포함하는,
    타겟 항목 렌더링 방법.
  5. 제 1 항에 있어서,
    상기 디스플레이의 제 2 부분 내의 상기 타겟 항목의 표현은 상기 디스플레이의 제 1 부분 내의 타겟 항목보다 더 큰,
    타겟 항목 렌더링 방법.
  6. 제 1 항에 있어서,
    수신된 입력에 기초하여 상기 디스플레이의 제 2 부분의 위치를 조정하는 단계를 더 포함하는
    타겟 항목 렌더링 방법.
  7. 제 1 항에 있어서,
    상기 타겟 항목의 선택이 더 이상 수신되지 않는 경우에 상기 디스플레이의 제 2 부분 내의 타겟 항목의 표현을 제거하는 단계를 더 포함하는,
    타겟 항목 렌더링 방법.
  8. 적어도 하나의 프로세서에 의해 실행될 경우 디스플레이 상에 타겟 항목을 렌더링하는 방법을 수행하는 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체로서,
    상기 방법은,
    상기 디스플레이의 제 1 부분 상에서의 상기 타겟 항목의 선택을 수신하는 단계와,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계와,
    상기 타겟 항목의 선택이 상기 사전결정된 조건을 만족할 경우, 상기 디스플레이의 제 2 부분에 상기 타겟 항목의 표현을 디스플레이하는 단계를 포함하는,
    컴퓨터 판독가능 저장 매체.
  9. 제 8 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 디스플레이 상에서의 상기 타겟 항목의 선택과 연관된 입력이 입력 임계치를 초과하는지의 여부를 판정하는 단계를 포함하는,
    컴퓨터 판독가능 저장 매체.
  10. 제 9 항에 있어서,
    상기 입력 임계치는 시간 임계치와 연관되는,
    컴퓨터 판독가능 저장 매체.
  11. 제 8 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 타겟 항목의 크기가 크기 임계치를 초과하지 않는지의 여부를 판정하는 단계를 포함하는,
    컴퓨터 판독가능 저장 매체.
  12. 제 8 항에 있어서,
    상기 디스플레이의 제 2 부분 내의 상기 타겟 항목의 표현은 상기 디스플레이의 제 1 부분 내의 타겟 항목보다 더 큰,
    컴퓨터 판독가능 저장 매체.
  13. 제 8 항에 있어서,
    수신된 입력에 기초하여 상기 디스플레이의 제 2 부분의 위치를 조정하는 명령어를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  14. 제 8 항에 있어서,
    상기 타겟 항목의 선택이 더 이상 수신되지 않는 경우에 상기 디스플레이의 제 2 부분 내의 타겟 항목의 표현을 제거하는 명령어를 더 포함하는,
    컴퓨터 판독가능 저장 매체.
  15. 디스플레이 상에 타겟 항목을 렌더링하는 컴퓨터 시스템으로서,
    하나 이상의 프로세서와,
    상기 하나 이상의 프로세서에 연결된 메모리를 포함하고,
    상기 메모리는 상기 하나 이상의 프로세서에 의해 실행될 경우 디스플레이 상에 타겟 항목을 렌더링하는 방법을 수행하는 컴퓨터 실행가능 명령어들을 저장하며,
    상기 방법은,
    상기 디스플레이의 제 1 부분 상에서의 상기 타겟 항목의 선택을 수신하는 단계와,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계와,
    상기 타겟 항목의 선택이 상기 사전결정된 조건을 만족할 경우, 상기 디스플레이의 제 2 부분에 상기 타겟 항목의 표현을 디스플레이하는 단계를 포함하는,
    컴퓨터 시스템.
  16. 제 15 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 디스플레이 상에서의 상기 타겟 항목의 선택과 연관된 입력이 입력 임계치를 초과하는지의 여부를 판정하는 단계를 포함하는,
    컴퓨터 시스템.
  17. 제 16 항에 있어서,
    상기 입력 임계치는 시간 임계치와 연관되는,
    컴퓨터 시스템.
  18. 제 15 항에 있어서,
    상기 타겟 항목의 선택이 사전결정된 조건을 만족하는지의 여부를 판정하는 단계는 상기 타겟 항목의 크기가 크기 임계치를 초과하지 않는지의 여부를 판정하는 단계를 포함하는,
    컴퓨터 시스템.
  19. 디스플레이 상에 타겟 항목을 렌더링하는 방법으로서,
    상기 디스플레이의 제 1 부분 상에서의 타겟 항목의 선택을 수신하는 단계와,
    상기 타겟 항목의 선택 수신에 응답하여, 상기 디스플레이의 제 2 부분에 상기 타겟 항목의 표현을 디스플레이하는 단계와,
    상기 타겟 항목의 선택이 더 이상 수신되지 않는 경우에 상기 디스플레이의 제 2 부분 내의 상기 타겟 항목의 표현을 제거하는 단계를 포함하는,
    렌더링 방법.
  20. 적어도 하나의 프로세서에 의해 실행될 경우 디스플레이 상에 타겟 항목을 렌더링하는 방법을 수행하는 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체로서,
    상기 방법은,
    상기 디스플레이의 제 1 부분 상에서의 상기 타겟 항목의 선택을 수신하는 단계와,
    상기 타겟 항목의 선택 수신에 응답하여, 상기 디스플레이의 제 2 부분에 상기 타겟 항목의 표현을 디스플레이하는 단계와,
    상기 타겟 항목의 선택이 더 이상 수신되지 않는 경우에 상기 디스플레이의 제 2 부분 내의 상기 타겟 항목의 표현을 제거하는 단계를 포함하는,
    컴퓨터 판독가능 저장 매체.
KR1020137019561A 2006-12-07 2007-12-07 터치 스크린 인터페이스 동작 KR101486688B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/635,730 US7692629B2 (en) 2006-12-07 2006-12-07 Operating touch screen interfaces
US11/635,730 2006-12-07
PCT/US2007/086707 WO2008070815A1 (en) 2006-12-07 2007-12-07 Operating touch screen interfaces

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097013866A Division KR101311018B1 (ko) 2006-12-07 2007-12-07 터치 스크린 인터페이스 동작

Publications (2)

Publication Number Publication Date
KR20130098431A true KR20130098431A (ko) 2013-09-04
KR101486688B1 KR101486688B1 (ko) 2015-01-29

Family

ID=39492631

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137019561A KR101486688B1 (ko) 2006-12-07 2007-12-07 터치 스크린 인터페이스 동작
KR1020097013866A KR101311018B1 (ko) 2006-12-07 2007-12-07 터치 스크린 인터페이스 동작

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097013866A KR101311018B1 (ko) 2006-12-07 2007-12-07 터치 스크린 인터페이스 동작

Country Status (16)

Country Link
US (1) US7692629B2 (ko)
EP (1) EP2126672B1 (ko)
JP (1) JP4790847B2 (ko)
KR (2) KR101486688B1 (ko)
CN (2) CN102999290B (ko)
AU (1) AU2007329261B2 (ko)
BR (1) BRPI0717968B1 (ko)
CA (1) CA2668207C (ko)
IL (1) IL198055A (ko)
MX (1) MX2009004905A (ko)
MY (1) MY151816A (ko)
NO (1) NO20092538L (ko)
RU (2) RU2464624C2 (ko)
TW (2) TWI450136B (ko)
WO (1) WO2008070815A1 (ko)
ZA (1) ZA200900784B (ko)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
KR100830467B1 (ko) 2006-07-13 2008-05-20 엘지전자 주식회사 터치 패널을 갖는 영상기기 및 이 영상기기에서 줌 기능을수행하는 방법
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US20090077459A1 (en) * 2007-09-19 2009-03-19 Morris Robert P Method And System For Presenting A Hotspot In A Hypervideo Stream
JP2009193423A (ja) * 2008-02-15 2009-08-27 Panasonic Corp 電子機器の入力装置
US8342847B2 (en) * 2008-04-15 2013-01-01 International Business Machines Corporation Interactive recipe preparation instruction delivery to disabled indiviuals
US8419434B2 (en) * 2008-04-15 2013-04-16 International Business Machines Corporation Interactive recipe preparation using interactive cooking device to communicate with kitchen appliances
US8992225B2 (en) * 2008-04-15 2015-03-31 International Business Machines Corporation Monitoring recipe preparation using instructive device and generating an alert to provide feedback
US8419433B2 (en) * 2008-04-15 2013-04-16 International Business Machines Corporation Monitoring recipe preparation using interactive cooking device
US8323026B2 (en) * 2008-04-15 2012-12-04 International Business Machines Corporation Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
JP4650549B2 (ja) * 2008-10-06 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2228668A1 (en) * 2009-03-09 2010-09-15 Agfa HealthCare Method of eliminating the effect of afterglow on a radiation image read out of a photostimulable phosphor screen.
US10705692B2 (en) 2009-05-21 2020-07-07 Sony Interactive Entertainment Inc. Continuous and dynamic scene decomposition for user interface
JP5218293B2 (ja) * 2009-06-22 2013-06-26 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
US9372614B2 (en) * 2009-07-09 2016-06-21 Qualcomm Incorporated Automatic enlargement of viewing area with selectable objects
US8531410B2 (en) * 2009-08-18 2013-09-10 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
TWI416369B (zh) * 2009-09-18 2013-11-21 Htc Corp 資料選取方法及系統，及其電腦程式產品
KR101630754B1 (ko) * 2009-10-16 2016-06-24 삼성전자주식회사 디스플레이 장치 및 인터페이스 방법
TW201115454A (en) * 2009-10-29 2011-05-01 Htc Corp Data selection and display methods and systems, and computer program products thereof
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
TWI410842B (zh) * 2009-12-31 2013-10-01 Acer Inc 觸控顯示系統
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20110221684A1 (en) * 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8799815B2 (en) 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
US8826164B2 (en) 2010-08-03 2014-09-02 Apple Inc. Device, method, and graphical user interface for creating a new folder
JP5614173B2 (ja) * 2010-08-25 2014-10-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5732783B2 (ja) * 2010-09-02 2015-06-10 ソニー株式会社 情報処理装置、情報処理装置の入力制御方法及びプログラム
JP5703873B2 (ja) * 2011-03-17 2015-04-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120238254A1 (en) * 2011-03-17 2012-09-20 Ebay Inc. Video processing system for identifying items in video frames
FR2973899B1 (fr) * 2011-04-07 2013-04-26 Archos Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede.
US9519369B2 (en) 2011-04-19 2016-12-13 Hewlett-Packard Development Company, L.P. Touch screen selection
US9389764B2 (en) 2011-05-27 2016-07-12 Microsoft Technology Licensing, Llc Target disambiguation and correction
US9990003B2 (en) 2011-06-03 2018-06-05 Microsoft Technology Licensing, Llc Motion effect reduction for displays and touch input
US20140111430A1 (en) * 2011-06-10 2014-04-24 Nec Casio Mobile Communications, Ltd. Input device and control method of touch panel
US9404767B2 (en) * 2011-06-10 2016-08-02 The Boeing Company Methods and systems for performing charting tasks
US8832588B1 (en) * 2011-06-30 2014-09-09 Microstrategy Incorporated Context-inclusive magnifying area
KR20130017241A (ko) 2011-08-10 2013-02-20 삼성전자주식회사 터치 스크린 단말기에서 입출력 방법 및 장치
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9612670B2 (en) 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US9939888B2 (en) 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
CN102508601B (zh) * 2011-10-12 2018-01-16 李锐 控制电子终端中的菜单导航的设备和方法
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
JPWO2013077338A1 (ja) * 2011-11-21 2015-04-27 株式会社ニコン 表示装置、表示制御プログラム
US9524097B2 (en) * 2011-12-22 2016-12-20 International Business Machines Corporation Touchscreen gestures for selecting a graphical object
TWI480768B (zh) * 2012-01-04 2015-04-11 Aver Information Inc 具調校功能之顯示方法與系統
TWI518580B (zh) 2012-01-15 2016-01-21 仁寶電腦工業股份有限公司 可攜式裝置與其操作方法
US9977876B2 (en) 2012-02-24 2018-05-22 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing chemical structures using touch and gestures
DE112012000189B4 (de) 2012-02-24 2023-06-15 Blackberry Limited Berührungsbildschirm-Tastatur zum Vorsehen von Wortvorhersagen in Partitionen der Berührungsbildschirm-Tastatur in naher Assoziation mit Kandidaten-Buchstaben
WO2013128935A1 (ja) * 2012-03-01 2013-09-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、操作状況通知方法及び非一時的なコンピュータ可読媒体
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
CN102681779A (zh) * 2012-04-25 2012-09-19 中兴通讯股份有限公司南京分公司 触摸屏操作方法及装置
US10025487B2 (en) * 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
CN103425311A (zh) * 2012-05-25 2013-12-04 捷达世软件（深圳）有限公司 移动对象点选定位方法及系统
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US9032335B2 (en) * 2012-08-14 2015-05-12 Christopher V. Beckman User interface techniques reducing the impact of movements
CN103631506B (zh) * 2012-08-24 2018-09-04 腾讯科技（深圳）有限公司 基于终端的阅读方法及相应的终端
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム
CN103677594B (zh) * 2012-09-04 2018-04-27 中兴通讯股份有限公司 文本处理方法和装置
TWI467458B (zh) * 2012-09-21 2015-01-01 Touchplus Information Corp 電容式觸控裝置
US10114445B2 (en) * 2012-10-29 2018-10-30 Facebook, Inc. Screen timeout duration
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
US9535583B2 (en) * 2012-12-13 2017-01-03 Perkinelmer Informatics, Inc. Draw-ahead feature for chemical structure drawing applications
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
CA2895567C (en) 2013-03-13 2023-10-10 Perkinelmer Informatics, Inc. Systems and methods for gesture-based sharing of data between separate electronic devices
US8854361B1 (en) 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US8812995B1 (en) 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection
US9430127B2 (en) * 2013-05-08 2016-08-30 Cambridgesoft Corporation Systems and methods for providing feedback cues for touch screen interface interaction with chemical and biological structure drawing applications
US9751294B2 (en) 2013-05-09 2017-09-05 Perkinelmer Informatics, Inc. Systems and methods for translating three dimensional graphic molecular models to computer aided design format
US9489774B2 (en) * 2013-05-16 2016-11-08 Empire Technology Development Llc Three dimensional user interface in augmented reality
CN104423863A (zh) * 2013-08-30 2015-03-18 宏碁股份有限公司 被遮蔽画面投影方法及应用该方法的可携式电子装置
CN104461312A (zh) * 2013-09-17 2015-03-25 联想(北京)有限公司 一种显示控制方法及电子设备
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
JP2015191259A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 入力インターフェイスおよびその制御方法およびその制御プログラム、および入力インターフェイスを有する情報端末およびその制御方法およびその制御プログラム
KR102281133B1 (ko) * 2014-06-12 2021-07-26 엘지전자 주식회사 와치 타입 단말기 및 그것의 제어 방법
WO2016007354A1 (en) 2014-07-07 2016-01-14 ChefSteps, Inc. Systems, articles and methods related to providing customized cooking instruction
CN105677193A (zh) * 2014-11-18 2016-06-15 夏普株式会社 对象操作方法和电子设备
WO2016106127A1 (en) 2014-12-22 2016-06-30 ChefSteps, Inc. Food preparation guidance system
JP6385272B2 (ja) * 2014-12-26 2018-09-05 株式会社バンダイナムコエンターテインメント 入力処理装置及びプログラム
CN104598112B (zh) 2015-01-23 2019-01-18 小米科技有限责任公司 按钮交互方法和装置
DE112016000542T5 (de) 2015-01-30 2017-11-02 ChefSteps, Inc. Nahrungsmittelzubereitungssteuerungs-system
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
JP6902019B2 (ja) 2015-07-21 2021-07-14 ブレビル ユーエスエー インクＢｒｅｖｉｌｌｅ ＵＳＡ， Ｉｎｃ． 食品調製制御システム
CN108463780A (zh) 2015-11-16 2018-08-28 厨师步骤有限公司 数据整合和个性化远程控制的烹饪设备
US9791833B1 (en) 2016-04-13 2017-10-17 Google Inc. Physical watch hands for a computerized watch
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10572054B2 (en) * 2016-10-28 2020-02-25 Nanning Fugui Precision Industrial Co., Ltd. Interface control method for operation with one hand and electronic device thereof
CN106527948A (zh) * 2016-11-14 2017-03-22 珠海市魅族科技有限公司 一种屏幕触控方法以及装置
US10409480B2 (en) 2016-12-28 2019-09-10 Amazon Technologies, Inc. Interruption and resumption of feedback animation for touch-based interactions
US10289300B2 (en) * 2016-12-28 2019-05-14 Amazon Technologies, Inc. Feedback animation for touch-based interactions
US10922743B1 (en) 2017-01-04 2021-02-16 Amazon Technologies, Inc. Adaptive performance of actions associated with custom user interface controls
US10521854B1 (en) 2017-01-04 2019-12-31 Amazon Technologies, Inc. Selection and display of custom user interface controls
KR101920332B1 (ko) * 2017-01-06 2018-11-20 김찬기 터치스크린을 포함하는 스마트 디바이스 상에서의 문자 편집 방법 및 이를 구현한 스마트 디바이스
CA3055172C (en) 2017-03-03 2022-03-01 Perkinelmer Informatics, Inc. Systems and methods for searching and indexing documents comprising chemical information
WO2018195730A1 (zh) 2017-04-24 2018-11-01 北京小米移动软件有限公司 屏幕控制方法及装置
CN107783747B (zh) * 2017-10-19 2020-04-28 维沃移动通信有限公司 一种界面显示处理方法及移动终端
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
US11440767B2 (en) 2018-07-30 2022-09-13 Otis Elevator Company Dynamic assignment of selection buttons on a destination entry system of an elevator
US11213158B2 (en) 2018-08-29 2022-01-04 Breville USA, Inc. Cooking system
JP6717901B2 (ja) * 2018-09-12 2020-07-08 株式会社メルカリ プログラム、表示方法および情報処理装置
JP6876086B2 (ja) * 2019-04-01 2021-05-26 日精樹脂工業株式会社 動作設定装置を備えた射出成形機
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11554323B2 (en) * 2020-09-11 2023-01-17 Riot Games, Inc. System and method for precise positioning with touchscreen gestures
CN115779424B (zh) * 2023-02-08 2023-04-28 广州三七极耀网络科技有限公司 一种导航网格寻路方法、装置、设备及介质
CN116166165B (zh) * 2023-04-25 2023-06-27 福昕鲲鹏(北京)信息科技有限公司 可视化的文本选择方法、装置及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994029788A1 (en) 1993-06-15 1994-12-22 Honeywell Inc. A method for utilizing a low resolution touch screen system in a high resolution graphics environment
IL132183A (en) * 1998-02-26 2004-06-20 Monec Mobile Network Computing Electronic device, especially e-book
WO2000075766A1 (en) 1999-06-02 2000-12-14 Ncr International, Inc. Self-service terminal
US7075512B1 (en) * 2002-02-07 2006-07-11 Palmsource, Inc. Method and system for navigating a display screen for locating a desired item of information
DE10209087A1 (de) * 2002-03-01 2003-09-11 Siemens Ag Verfahren zur optischen Hervorhebung von Informationen eines Bereichs der Benutzeroberfläche einer Computer-Anwenderstation
EP1567927B1 (en) 2002-11-29 2013-07-10 Koninklijke Philips Electronics N.V. System and method for user interface with displaced representation of touch area
CN100432912C (zh) * 2004-05-07 2008-11-12 索尼株式会社 便携式电子设备及其显示方法和图形用户接口装置
RU44200U1 (ru) * 2004-09-08 2005-02-27 Моисеев Борис Викторович Устройство для управления отображением данных на экране дисплея

Also Published As

Publication number Publication date
BRPI0717968B1 (pt) 2019-08-13
CN102999290B (zh) 2017-12-05
BRPI0717968A8 (pt) 2018-07-31
TWI506504B (zh) 2015-11-01
RU2623181C2 (ru) 2017-06-27
MX2009004905A (es) 2009-05-19
AU2007329261A1 (en) 2008-06-12
CN102999290A (zh) 2013-03-27
JP2010512587A (ja) 2010-04-22
RU2012130086A (ru) 2014-01-27
BRPI0717968A2 (pt) 2013-11-05
ZA200900784B (en) 2010-05-26
US20080136785A1 (en) 2008-06-12
CA2668207A1 (en) 2008-06-12
AU2007329261B2 (en) 2011-09-01
MY151816A (en) 2014-07-14
CN101553775A (zh) 2009-10-07
KR20090094360A (ko) 2009-09-04
CN101553775B (zh) 2012-11-14
WO2008070815A1 (en) 2008-06-12
TWI450136B (zh) 2014-08-21
EP2126672B1 (en) 2019-10-16
US7692629B2 (en) 2010-04-06
KR101311018B1 (ko) 2013-09-24
IL198055A0 (en) 2009-12-24
EP2126672A4 (en) 2016-01-06
NO20092538L (no) 2009-07-06
CA2668207C (en) 2013-10-08
IL198055A (en) 2014-03-31
TW201403424A (zh) 2014-01-16
JP4790847B2 (ja) 2011-10-12
KR101486688B1 (ko) 2015-01-29
EP2126672A1 (en) 2009-12-02
TW200834397A (en) 2008-08-16
RU2009121545A (ru) 2010-12-10
RU2464624C2 (ru) 2012-10-20

Similar Documents

Publication Publication Date Title
KR101311018B1 (ko) 터치 스크린 인터페이스 동작
AU2013223015B2 (en) Method and apparatus for moving contents in terminal
US9292161B2 (en) Pointer tool with touch-enabled precise placement
US8531410B2 (en) Finger occlusion avoidance on touch display devices
EP1993028A1 (en) Method and device for handling large input mechanisms in touch screens
US8525854B2 (en) Display device and screen display method
US20110043453A1 (en) Finger occlusion avoidance on touch display devices
US11635826B2 (en) Device, method, and graphical user interface for adjusting touch activation regions associated with selectable user interface elements
US20070262957A1 (en) Menu selection method and apparatus using pointing device
AU2016203054B2 (en) Operating touch screen interfaces
US20090237357A1 (en) Method And Cursor-Generating Device For Generating A Cursor Extension On A Screen Of An Electronic Device
AU2011253778B2 (en) Operating touch screen interfaces
EP4078347A1 (en) Mapping user inputs in two directions to a single direction for one-handed device interactions with graphical sliders
KR20180133060A (ko) 사용자 입력 처리 장치 및 처리 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 6