KR101915444B1 - 터치 감지 디스플레이 스크린에서의 압력차 이용 - Google Patents

터치 감지 디스플레이 스크린에서의 압력차 이용 Download PDF

Info

Publication number
KR101915444B1
KR101915444B1 KR1020187005590A KR20187005590A KR101915444B1 KR 101915444 B1 KR101915444 B1 KR 101915444B1 KR 1020187005590 A KR1020187005590 A KR 1020187005590A KR 20187005590 A KR20187005590 A KR 20187005590A KR 101915444 B1 KR101915444 B1 KR 101915444B1
Authority
KR
South Korea
Prior art keywords
touch
pressure
intensity
sensitive surface
user
Prior art date
Application number
KR1020187005590A
Other languages
English (en)
Other versions
KR20180028067A (ko
Inventor
스테픈 씨. 무어
Original Assignee
구글 테크놀로지 홀딩스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 테크놀로지 홀딩스 엘엘씨 filed Critical 구글 테크놀로지 홀딩스 엘엘씨
Publication of KR20180028067A publication Critical patent/KR20180028067A/ko
Application granted granted Critical
Publication of KR101915444B1 publication Critical patent/KR101915444B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

터치 감지 스크린(102)에 의해 검출된 압력의 차이들에 응답하는 사용자 인터페이스가 개시된다. 사용자는 스크린(102)을 "약하게" 터치함으로써 일 타입의 사용자 인터페이스 액션을 선택하고(310), 더 큰 압력을 가함으로써 다른 타입의 액션을 선택한다(312). 실시예들은 싱글 터치들에, 터치 감지 스크린의 표면을 가로질러 연장하는 제스처 터치들에 그리고 터치의 과정 동안 사용자가 가하는 압력이 변하는 터치들에 응답할 수 있다(504). 일부 실시예들은 사용자가 가하는 압력을 얼마나 빠르게 변경하는지에 대해 응답한다(506). 일부 실시예들에서, 사용자의 입력의 위치 및 압력은 저장된 제스처 프로필과 비교된다(604). 입력이 저장된 제스처 프로필과 "충분히 밀접하게" 매칭되는 경우에만 액션이 취해진다(606). 일부 실시예들에서는, 압력이 약한 누름과 강한 누름 사이의 임계치를 초과할 때 사용자에게 통지가 전송된다(312c).

Description

터치 감지 디스플레이 스크린에서의 압력차 이용{USING PRESSURE DIFFERENCES WITH A TOUCH-SENSITIVE DISPLAY SCREEN}
본 발명은 일반적으로 개인용 전자 장치에 관한 것으로서, 구체적으로는 터치 감지 디스플레이 스크린용 사용자 인터페이스에 관한 것이다.
터치 감지 디스플레이 스크린들은 많은 개인용 전자 장치의 공지 컴포넌트이다. (통상적으로 손가락 또는 스타일러스를 이용하는) 사용자의 터치를 인식하고 그에 응답함으로써, 이들 스크린은 사용자 입력을 수집할 뿐만 아니라, 많은 애플리케이션에 대해 매우 매력적인 통합 방식으로 장치의 출력을 제공한다.
초기의 대중적인 터치 감지 디스플레이 스크린들은 한 번에 하나의 터치 위치만을 신뢰성 있게 인식할 수 있었다. 다수의 동시 터치의 존재시에, 이러한 디스플레이 스크린들은 혼란스럽고 예측 불가능할 것이다. 그러나, 현재, 많은 장치는 여러 개의 동시 터치를 신뢰성 있게 추적하고 사용자가 가하는 전체 압력을 측정할 수 있는 스크린들을 포함한다.
터치 감지 디스플레이 스크린들의 매력적인 양태들 중 하나는 이들이 적어도 일부 예들에서 더 전통적인 개인용 컴퓨터에서 발견되는 키보드 및 포인팅 장치(예로서, 마우스 또는 트랙볼) 양자를 대체할 수 있다는 것이다. 이것은 키보드가 존재하더라도 너무 작아서 10 손가락 타이핑에 적합하지 않은 스마트폰들과 같은 매우 작은 장치들에 대해 스크린들이 특히 유용하게 한다.
당연히, 터치 감지 스크린들에 대한 사용자 인터페이스 양식들의 개발은 고정 키보드 및 마우스에 의해 개척된 용도들을 따랐다. 사람들은 마우스를 이용하여 디스플레이 스크린 상의 커서를 제어하는 것으로부터 간단히 스크린을 터치하고 커서를 필요한 곳으로 드래그하는 것으로 매우 쉽게 전이한다.
위의 사정들 및 다른 사정들이 명세서, 도면 및 청구범위를 참조함으로써 이해될 수 있는 본 발명에 의해 다루어진다. 본 발명의 양태들에 따르면, 압력차에 응답하는 일부 최신 터치 감지 스크린들의 능력을 이용하여 장치의 사용자 인터페이스를 향상시킨다. 사용자는 스크린을 "약하게" 터치함으로써 일 타입의 사용자 인터페이스 액션을 선택하고, 더 큰 압력을 가함으로써 다른 타입의 액션을 선택한다. 예를 들어, 약한 터치는 마우스 버튼으로부터의 통상적인 "싱글 클릭"으로 해석될 수 있는 반면, 더 강한 터치는 "더블 클릭"으로 작용할 수 있다. 다른 예에서, 드로잉 애플리케이션 내에서, 사용자는 약한 터치를 이용하여 드로잉하고, 더 강한 터치를 이용하여 삭제한다.
일부 터치 스크린들은 사용자 압력들의 범위를 신뢰성 있게 보고한다. 본 발명의 실시예들은 정확히 사용자가 스크린을 얼마나 강하게 누르는지에 따라 사용자로 하여금 3개 이상의 개별 액션을 선택하게 함으로써 이러한 범위를 이용할 수 있다. 예를 들어, 사용자가 미디어 프레젠테이션을 통해 빨리 감기를 행하는 경우, 빨리 감기의 속도는 가하는 압력의 양에 따라 직접 변할 수 있다.
본 발명의 양태들은 싱글 터치 양식들로 한정되지 않는다. 대신, 실시예들은 싱글 터치들에, 터치 감지 스크린의 표면을 가로질러 연장하는 제스처 터치들에 그리고 터치의 과정 동안 사용자가 가하는 압력이 변하는 터치들에 응답할 수 있다. 일부 실시예들은 사용자가 가하는 압력을 얼마나 빠르게 변경하는지에 대해 응답한다.
일부 실시예들에서, 사용자의 입력의 위치 및 압력은 저장된 제스처 프로필과 비교된다. 입력이 저장된 제스처 프로필과 "충분히 밀접하게" 매칭되는 경우에만 액션이 취해진다. 예를 들어, 사용자가 그의 이름을 서명하고, 이어서 서명이 저장된 서명 프로필과 비교된다. 사용자는 서명이 매칭되는 경우에 제어 정보에 대한 액세스를 제공받는다.
일부 실시예들에서는, 압력이 약한 누름과 강한 누름 사이의 임계치를 초과할 때 사용자에게 통지가 전송된다. 예를 들어, 압력이 강할 때 스크린 상에 아이콘이 표시될 수 있다. (이것은 통상적인 키보드와 관련하여 때때로 표시되는 "CAPS LOCK" 아이콘과 유사하다.) 사운드가 재생되거나, 햅틱 피드백(사용자가 느끼는 "버즈(buzz)")이 제공될 수도 있다.
다양한 터치 감지 스크린들은 다양한 기술들을 구현하며, 따라서 이들은 이들이 상이한 압력들을 측정하고 보고하는 방식에서 차이가 있다. 본 발명의 양태들은 임의의 압력 감지 스크린과 함께 동작한다.
첨부된 청구항들이 본 발명의 특징들을 구체적으로 설명하지만, 본 발명은 그의 목적들 및 장점들과 함께 첨부 도면들과 관련하여 이루어지는 아래의 상세한 설명으로부터 최상으로 이해될 수 있다. 도면들에서:
도 1은 본 발명과 함께 사용될 수 있는 예시적인 개인용 전자 장치의 개략도이다.
도 2a 및 2b는 상이한 압력들에 응답하는 터치 감지 스크린의 양식화된 표현들이다.
도 3a 및 3b는 터치 감지 스크린에 의한 압력 보고를 이용하는 제1의 예시적인 사용자 인터페이스의 흐름도를 함께 형성한다.
도 4a 및 4b는 도 3a 및 3b의 사용자 인터페이스 방법의 특정 실시예의 흐름도를 함께 형성한다.
도 5는 터치 압력의 변화율에 응답하는 예시적인 사용자 인터페이스의 흐름도이다.
도 6은 본 발명의 가르침을 이용하여 사용자의 터치 입력과 저장된 제스처 프로필을 비교하는 예시적인 사용자 인터페이스의 흐름도이다.
동일한 참조 번호들이 동일한 요소들을 지시하는 도면들을 참조하면, 본 발명은 적절한 환경에서 구현되는 것으로 도시되어 있다. 아래의 설명은 본 발명의 실시예들에 기초하며, 본 명세서에 명시적으로 설명되지 않는 대안 실시예들과 관련하여 본 발명을 한정하는 것으로 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예를 포함하는 대표적인 개인용 전자 장치(100)(예로서, 셀룰러 전화, 개인 휴대 단말기 또는 개인용 컴퓨터)를 도시한다. 도 1은 장치(100)를 자신의 메인 스크린(102)을 자신의 사용자에게 제공하는 셀룰러 전화로서 도시한다. 통상적으로, 메인 스크린(102)은 사용자와의 최고 충실도 상호작용을 위해 사용된다. 예를 들어, 메인 스크린(102)은 비디오 또는 정지 이미지들을 표시하는 데 사용되고, 구성 설정들을 변경하기 위한 사용자 인터페이스의 일부이며, 호출 로그들 및 콘택 리스트들을 보는 데 사용된다. 이러한 상호작용들을 지원하기 위하여, 메인 스크린(102)은 고해상도를 가지며, 장치(100) 내에 적절히 수용될 수 있을 정도로 크다. 일부 상황들에서는, 사용자가 메인 스크린(102)보다 훨씬 더 큰 스크린에 대한 액세스를 갖는 것이 유용할 것이다. 이러한 상황들을 위해, 더 큰 외부 디스플레이가 (예를 들어, 도킹 스테이션을 통해) 전자 장치(100)에 접속되고, 그에 의해 제어될 수 있다. 장치(100)는 상태 메시지들을 제공하기 위한 제2 및 가능하다면 제3 스크린을 가질 수 있다. 이들 스크린은 일반적으로 메인 스크린(102)보다 작다. 이들은 본 설명의 나머지에서 안전하게 무시될 수 있다.
스크린(102)은 터치 감지 스크린이다. 장치의 사용자가 하나의 포인트에서 또는 다수의 포인트에서 스크린(102)에 압력을 가할 때, 스크린(102)은 터치들의 위치들을 보고한다. 터치와 관련된 압력도 보고된다. 일부 장치들에서, 스크린(102) 자체가 압력 센서들을 포함하며, 각각의 포인트에 인가되는 압력을 측정할 수 있다. 다른 장치들에서는, 별도의 압력 센서들(도시되지 않음)이 국지적인 압력 측정들 또는 스크린(102)에 전체적으로 인가된 압력의 총량을 보고한다. 과다한 언어를 사용하지 않고서 이들 사례 모두를 커버하기 위하여, 본 설명은 장치(100)의 어떤 컴포넌트들이 압력을 실제로 측정하고 보고하는지에 관계없이 "스크린(102)이 압력을 보고한다"는 속기 문구를 이용한다.
본 발명은 표시 기능을 갖지 않는 터치 패드들과 같은, 터치 감지 디스플레이 스크린이 아닌 터치 감지 스크린들에도 적용된다는 점에 유의한다. 이들은 오늘날 덜 일반화되고 있으며, 본 설명은 터치 감지 디스플레이 스크린들인 예들에 집중한다.
오늘날, 터치 감지 스크린들(102)을 구현하기 위해 다양한 기술들이 이용되고 있다. 본 발명은 모든 기존의 그리고 임의의 미래에 개발될 터치 감지 기술들과 함께 동작하는 것을 의도한다.
개인용 전자 장치(100)의 통상적인 사용자 인터페이스는 터치 감지 스크린(102)에 더하여 키패드 및 다른 사용자 입력 장치들을 포함한다. 키패드는 물리 또는 가상 키패드일 수 있으며, 가상 키패드는 터치 감지 스크린(102) 상에 표시되는 가상 키들을 포함한다. 일부 장치들(100)은 장치의 사용자에게 통지하기 위한 오디오 출력 및 햅틱 장치를 포함한다.
도 1은 개인용 전자 장치(100)의 더 중요한 내부 컴포넌트들 중 일부를 도시한다. 네트워크 인터페이스(104)는 미디어 프레젠테이션들, 관련 정보 및 다운로드 요청들을 송수신한다. 프로세서(106)는 장치(100)의 동작들을 제어하고, 특히 후술하는 도 3 내지 6에 도시된 바와 같은 본 발명의 양태들을 지원한다. 프로세서(106)는 그의 동작들에서 메모리(108)를 사용한다. 특정 장치들에 의한 이러한 컴포넌트들의 특정 용도들은 아래에 적절히 설명된다.
도 2a는 터치 감지 스크린(102)이 적당한 압력의 다수의 터치에 어떻게 응답하는지를 보여준다. 흑색 영역들(200a, 202a, 204a)은 사용자가 스크린(102) 상에 등록할 수 있을 정도로 충분히 강하게 누른 장소를 나타낸다. (이들 영역(200a, 202a, 204a)은 스크린(102)의 사용자에게 어떠한 방식으로도 표시될 필요는 없다.) 원 영역(200a)은 스타일러스 팁 또는 사용자의 손가락 팁의 결과일 수 있다. 영역(202a)은 더 가늘고 길어지며, 이는 아마도 스타일러스 또는 손가락을 아래로 비스듬히 민 결과이다. 204a는 시간을 통해 연장되는 자취이다. 이것은 스크린(102)의 출력에 응답하는 소프트웨어에 따라 "드래그" 모션 또는 제스처로서 해석될 수 있다.
일부 실시예들에서, 스크린(102)은 터치들(200a, 202a, 204a) 각각의 실제 공간 범위를 보고한다. 이들 실시예에서, 도 2a는 스크린(102)에 의해 보고되는 것의 글자 그대로의 표시이다. 다른 실시예들에서, 스크린(102)은 터치의 실제 영역을 보고하는 것이 아니라, 인가 압력을 보고한다. 예컨대, 터치(200a)는 특정 양의 압력과 관련된 스크린(102) 상의 단일 포인트로서 보고될 수 있다. 이러한 실시예들에서, 도 2a는 스크린(102)이 보고하는 것의 글자 그대로의 표현이 아니라 암시적인 표현으로서 간주되어야 한다.
도 2b에서, 도 2a의 터치들은 다만 더 높은 압력들에서 반복된다. 원 터치(200a)는 더 큰 압력에 의해 원 영역(200b)으로 확장되었다. 압력이 더 큰 경우, 가늘고 긴 터치(202b)는 영역이 더 클 뿐만 아니라 형상도 변하여, 더 큰 압력에 의해 약간 덜 가늘고 길어졌다. 자취(204b)는 자취(204a)와 동일한 시작 및 종료 포인트들을 갖지만, 자취(204b)의 폭은 더 큰 압력으로 인해 훨씬 더 크다. 터치의 영역을 실제로 보고하지 않는 스크린 실시예들에서, 자취(204b)는 (시간을 통해) 자취(204a)와 동일한 위치를 갖는 것으로 그러나 더 큰 관련 압력 값들을 갖는 것으로 보고된다.
도 3a 및 3b는 터치 감지 스크린(102)에 의해 사용자 인터페이스 내에 제공되는 압력 정보를 이용하기 위한 제1의 예시적인 방법을 나타낸다. 도 3a의 단계 300에서, 개인용 전자 장치(100)의 프로세서(106)는 스크린(102) 상의 터치에 대한 정보를 수신한다. 본 설명은 물론 터치와 관련된 압력 정보에 집중하지만, 전통적이듯이, 터치에 관한 정보는 일반적으로 적어도 하나의 터치 위치를 포함한다(단계 302). 도 2a의 자취(204a)와 같은 제스처 터치의 경우, 터치 정보는 스크린에 걸친 공간 경로를 포함한다(단계 304). (공간 경로는 일반적으로 일련의 터치 위치들로서 보고된다.)
도 2a의 자취(204a)의 언급은 이것이 "터치"에 의해 의미될 수 있는 것을 설명하기 위한 훌륭한 포인트가 되게 한다. 자취(204a)는 공간 및 시간을 통해 연장되는 하나의 터치로서 간주될 수 있다. 대안으로서, 자취(204a)는 하나씩 바로 이어지는 긴 일련의 터치들로서 간주될 수 있으며, 각각의 터치는 터치 감지 스크린(102) 상의 특정 포인트와 관련되고, 하나의 특정 시점과 관련될 수 있다. 구별은 본 설명에서 사용자가 하나의 압력 값으로 누르기를 시작한 후에 압력을 완전히 해제하지 않고서 상이한 압력 값으로 변경할 때 중요할 수 있다. 일부 사용자 인터페이스들은 이것은 시간에 따라 압력이 변하는 단일 터치로서 간주하는 반면, 다른 사용자 인터페이스들은 이것은 일정한 압력을 값을 각각 갖는, 시간적으로 인접하는 적어도 2개의 터치로 간주한다. 사용자의 제스처를 하나 이상의 "터치"로 분할하는 상이한 정의들은 사용자가 어떤 신호들을 전송하고 있는지를 이해하는 데 중요할 수 있으나, 본 발명은 임의의 그러한 정의와 함께 동작한다.
단계 306에서, 압력 값이 수신된 터치 정보와 연관된다. 이를 달성할 수 있는 많은 방법이 존재하며, 그들 사이의 차이들은 통상적으로 터치 감지 스크린(102)을 구현하는 데 사용될 수 있는 상이한 기술들에 기초한다.
단계 306a는 스크린(102) 자체가 압력 값을 보고하는 예들을 커버한다. 터치가 스크린(102) 상의 둘 이상의 포인트를 커버할 때, 일부 스크린들(102)은 터치 내의 각각의 포인트의 압력 값을 보고한다. 다른 스크린들(102)은 단지 터치에 대한 전체 또는 평균 압력 값만을 제공할 수 있다. 도 2a의 204a와 같은 자취는 자취를 따르는 각각의 포인트마다 하나씩인 개별 압력 값들의 긴 리스트를 포함할 수 있다.
단계 306a는 터치 감지 스크린(102)과 관련된 컴포넌트(예로서, 압력 센서)가 압력 값을 보고하는 예들도 커버한다. 매우 간단한 예에서, 전체 스크린(102)은 압전 압력 센서 상에 놓일 수 있다. 스크린(102)이 터치될 때, 압력 센서는 인가 압력의 총량을 보고한다. 이러한 매우 간단한 시스템은 물론 공간적으로 연장하는 터치의 각각의 포인트에 가해지는 압력을 보고하지 못한다. 다른 예에서는, "스마트" 스타일러스가 사용자가 가하는 압력을 측정하고, 그 정보를 개인용 전자 장치(100)에 보고한다. 일반적으로, 스타일러스는 전체 압력만을 보고한다.
단계 306b는 터치와 관련된 압력이 직접 보고되지 않지만 압력이 계산될 수 있는 충분한 정보가 제공되는 예들을 커버한다. 일부 터치 감지 스크린들(102)은 터치 내에 포함된 "포인트들"의 수를 보고한다. 이것은 터치를 등록하기에 충분한 압력을 수신한 스크린(102)의 영역이다. 이러한 스크린들(102)의 경우, 도 2a의 약한 터치(200a)와 도 2b의 강한 터치(200b)는 강한 터치(200b)에 의해 영향을 받은 영역이 더 크다는 사실에 의해 구별된다. 일부 스크린들(102)에서, 영역은 터치에 의해 영향을 받은 채널들(또는 포인트들)의 수로서 보고된다. 일부 스크린들(102)은 소정 방식에서 터치의 압력에 비례하는 더 강한 신호를 보고한다. 스크린(102)이 터치의 영역(또는 영향받은 채널들의 수) 및 전체 압력에 비례하는 신호 양자를 보고하는 경우, 이러한 2개의 값을 비교함으로써 평균 압력이 계산될 수 있다. 따라서, 스크린(102)의 큰 영역에 걸치는 매우 약한 터치가 작은 영역 내에 집중된 강한 터치로부터, 비록 전체 스크린(102)에 의해 수신되는 전체 압력은 이 두 예에서 동일할 수 있더라도, 구별될 수 있다.
많은 기술에서, 보고되는 압력은 제곱미터당 뉴턴의 실제 값이 아니라 상대 값이라는 점에 유의해야 한다. 본 발명은 실제 또는 상대적 압력 측정들과 함께 완전 양호하게 동작한다. 사실상, 단계 306에서 터치와 관련된 압력 값은 그룹 "임계치 위" 및 "임계치 아래"로부터 선택될 수 있다. 물론, 터치 감지 스크린(102)은 필요한 경우에 0의 압력 값("그 순간에 터치 미검출")도 보고할 수 있지만, 그러한 경우에는 도 3a 및 3b의 방법이 호출되지 않을 것이다.
단계 308에서, 터치와 관련된 압력이 0이 아닌 임계치와 비교된다. (본 발명은 약한 터치와 강한 터치를 구별하므로 임계치는 0이 아니며, 0의 임계치는 단지 터치와 비터치를 구별할 뿐일 것이다.) 실제 임계치는 (도 3b의 단계 310 및 312에서) 터치를 처리할 애플리케이션에 따라 변할 수 있다는 점에 유의한다. 그러나, 사용자들이 임계치를 가로지르기 위해 얼마나 큰 압력을 인가해야 하는지에 대한 "감각"을 획득할 수 있도록 하기 위해 일관된 임계치의 사용이 권장된다.
사용자 인터페이스의 가장 간단한 실시예는 도 3b의 단계 310 및 312만을 포함한다. 요컨대, 압력이 임계치 아래인 경우, 하나의 액션이 수행되고(단계 310), 그렇지 않은 경우에 상이한 액션이 수행된다(단계 312). 사용자 인터페이스 액션들은 예를 들어 터치 감지 스크린(102) 상에 표시된 아이콘의 선택, 스크린(102) 상에 표시된 아이콘과 관련된 파일의 개방, 스크린(102) 상에 표시된 아이콘과 관련된 프로그램의 실행, 및 제어 파라미터의 값의 변경을 포함할 수 있다. 특정 예로서, 드로잉 애플리케이션이 현재 터치에 응답하고 있는 경우, 드로잉 애플리케이션은 스크린(102) 상에 드로잉함으로써 임계치 아래의 터치에 응답할 수 있는 반면, 더 강한 터치는 이미 드로잉된 것을 삭제할 수 있다.
다른 예로서, 터치는 미디어 재생 애플리케이션으로 전송될 수 있다. 빨리 감기 아이콘 상의 약한 터치는 제1 속도로 미디어 프레젠테이션을 통해 빨리 감지를 행하는 반면, 강한 터치는 더 빠른 속도로 프레젠테이션을 통해 빨리 감기를 행할 것이다. 도 3a의 단계 306에서 터치와 관련된 압력이 단순히 "임계치 위" 또는 "임계치 아래"보다 더 많은 정보를 제공하는 경우, 이러한 2개 속도 빨기 감지 제어는 단계 312a에서 그의 응답을 관련 압력과 임계치 사이의 차이에 비례하게 함으로써 정밀화될 수 있다. 즉, 단지 2개의 속도 사이에서 전환하는 것이 아니라, 사용자가 점점더 강하게 누름에 따라 속도는 계속 증가할 수 있다. 물론, 이러한 타입의 압력 감지 제어는 사용자가 제어를 누른 상태로 유지할 때 속도를 증가시키기 위한 공지 기술들과 쉽게 결합될 수 있다. 이 예는 사용자 인터페이스 설계자들이 터치 감지 스크린들과 전통적으로 관련된 것들을 넘는 가능성을 제공받을 때 본 발명의 실제 장점들을 보여주기 위해 시작된다.
일부 실시예들은 압력의 증가에 따라 응답을 선형적으로 증가시키는 것이 아니라 단순히 적어도 하나 이상의 0이 아닌 임계치를 포함할 수 있다(단계 312b). 이것은 위의 예에서의 2개 속도 빨리 감기 제어를 3개 속도 제어 등으로 바꿀 것이다.
임의의 실시예에서, 사용자 인터페이스 설계자는 사용자에게 그의 압력이 임계치를 가로질렀다는 통지를 제공하는 단계 312c를 구현하기로 결정할 수 있다. 예를 들어, 압력이 임계치보다 크다는 아이콘이 터치 감지 스크린 상에 표시될 수 있거나, 사운드가 재생될 수 있거나, 아마도 가장 유효하게는, 물리적 버튼이 그의 스프링에 대해 점점더 강하게 눌릴 때 만나는 피드백을 모방하는 햅틱 응답이 제공될 수 있다. 상이한 사용자 인터페이스들은 아마도 상이한 통지들을 구현할 것이다.
위에 주어진 예에서는 인가 압력과 선택된 사용자 인터페이스 액션 사이에 연역적 논리 관계가 존재하지 않는다는 점에 유의한다. 반대 예에 의해 이 점을 설명하기 위해, 드로잉 애플리케이션에서, 사용자의 터치는 터치 감지 스크린(102) 상에 그래픽으로 표현되는데, 즉 사용자가 도 2a의 자취(204a)와 같은 자취를 생성할 때 스크린(102) 상에는 라인이 표시된다. 물리적 브러시가 더 강하게 눌러질 때 더 넓은 라인을 페인팅하므로, 도 2b의 자취(204b)에서와 같이, 압력이 강할 때 드로잉 애플리케이션이 더 넓은 라인을 표시하는 것이 논리적일 것이다. 따라서, 이 예에서 사용자의 마음속에는 인가 압력과 스크린(102) 상에 표시된 자취의 폭 사이에 연역적 논리 관계가 존재한다. 그러나, 이전 예들이 나타내는 바와 같이, 본 발명은 이러한 연역적 논리 구현들로 한정되지 않는다.
위의 설명은 매우 일반적이며, 많은 가능한 실시예들을 커버하는 것을 의도한다. 구체적인 예로서, 도 4a 및 4b에 도시된 방법을 고려한다. 방법은 도 4a의 단계 400으로부터 시작된다. 이 단계 400은 실제 터치가 (터치 감지 디스플레이 스크린(102) 상에서) 시간 및 공간을 통해 연장할 수 있다는 것을 강조한다. 이 경우, 스크린(102)은 주기적인 메시지들을 전송하며(또는 프로세서(106)에 의해 주기적으로 조회되며), 그 결과는 위치 값들 및 관련 압력들의 스트링이다. 즉, 단계 400은 터치가 계속 되는 한 계속되는 (단계 408을 통한) 처리 루프를 도입한다. 일반적으로, 터치가 완료된 것으로 간주되며, 스크린(102)으로부터 보고되는 압력 값이 0으로 떨어질 때 루프는 단계 410으로 나간다.
터치에 대한 정보가 수신됨에 따라, 프로세서(106)는 단계 402에서 시작하여 그 정보를 평가한다. 여기서, 압력 값이 현재 순간의 터치와 연관된다. 도 3a의 단계 306에 대한 위의 설명은 여기서도 적용된다. 현재 압력 값이 단계 404에서 압력 임계치와 비교된다.
프로세서(106)는 터치에 의해 커버되는 거리를 계속 추적한다. 일반적으로, 프로세서(106)는 주기적인 터치 위치 보고들로부터 이 거리를 계산한다. 단계 406에서, 터치와 현재 관련된 전체 거리가 거리 임계치와 비교된다. 거리 임계치가 초과되는 경우, 그리고 이 터치가 아직 "강한 누름"으로서 분류되지 않은 경우(단계 408 참조), 이 터치는 "스와이프"로서 분류된다.
유사하게, 단계 408에서, 현재 압력이 (전술한 도 3a의 단계 308에서와 같이) 압력 임계치와 비교된다. 압력 임계치가 초과되는 경우에 그리고 이 터치가 아직 "스와이프"로서 분류되지 않은 경우에(단계 406 참조), 이 터치는 "강한 누름"으로 분류된다.
처리 루프(단계 400 내지 408)는 터치의 지속 기간 동안 계속된다. 터치가 완료될 때, 터치가 달리 분류되지 않은 경우, 터치는 단계 410에서 "탭"으로 분류된다.
단계 406 내지 410의 결과는 모든 터치가 "강한 누름", "스와이프" 및 "탭" 중 정확히 하나로서 분류되는 것이다. "강한 누름" 및 "스와이프" 중에서, (적절한 임계치를 초과함으로써) 트리거된 처음 것은 다른 것을 이긴다. 예를 들어, 터치가 "강한 누름"으로 분류되면, 터치는 "스와이프"가 될 수 없다. 어떠한 임계치도 초과되지 않는 경우, 디폴트 분류는 "탭"이다. 명백히, 이러한 3개의 분류를 이용하는 다른 구현 선택들도 가능하다.
마지막으로, 도 4b의 단계 412에서, 터치에 의해 사용자 인터페이스 액션이 트리거되고, 특정 액션은 터치의 분류에 기초한다. 많은 예에서 단계 412의 액션은 터치가 완료될 때까지 기다릴 필요가 없다는 점에 유의한다. 터치가 예를 들어 "강한 누름"으로 분류되면, 터치는 "스와이프" 또는 "탭"으로 재분류될 수 없으며, 따라서 사용자 인터페이스는 터치가 완료되기 전에도 적절한 액션을 취할 수 있다.
이점의 일례로서, 도 2b의 자취(204b)를 고려한다. 사용자가 압력 임계치를 초과할 정도로 충분히 강하게 누름으로써 자취(204b)를 시작하는 것으로 가정한다. 이어서, 이 자취(204b)는 "강한 누름"으로 분류된다(도 4a의 단계 408). 일 실시예에서, 트리거된 사용자 액션(도 4b의 단계 412)은 "드래그 앤 드롭"이다. 자취(204b)의 처음에 위치하는 스크린 아이콘이 이 자취가 분류되자마자(단계 408) "그래브(grab)"되고, 자취(204b)의 경로를 따라 이동된 후에 자취가(204b)가 끝날 때 정지된다.
도 5는 이전 예들과 함께 사용될 수 있는 정밀화를 제공한다. 그러한 이전 예들 모두는 터치 압력을 모니터링하며, 도 5의 방법은 또한 압력 값의 시간 변화율을 모니터링한다. 방법은 단계 500에서 시작하며, 여기서 터치 감지 스크린(102)으로부터 "데이터 포인트들"이 수신된다. (데이터 포인트들은 이전의 방법들로부터 벗어난 것이 아니라, 이들은 단지 스크린(102)과 사용자 인터페이스 간의 관계를 설명하는 다른 방식일 뿐이다.) 도 4a 및 4b의 확장된 터치와 같이, 도 5의 방법은 터치의 지속 기간 동안 계속되는 루프로부터 시작된다. 단계 500에서, 스크린(102)은 터치 위치를 주기적으로 보고한다.
단계 502에서, 압력 값들이 데이터 포인트들 중 적어도 일부와 연관된다. 이 단계는 도 3a의 단계 306 및 도 4a의 단계 402와 유사하다.
단계 504는 본 방법의 새로운 단계이다. 압력의 변화율이 수신된 데이터 포인트들의 세트와 연관된다. 일반적으로, 프로세서(106)는 단계 502의 연관된 압력들을 (단계 500으로부터의) 데이터 포인트들의 타임스탬프들과 맵핑함으로써 변화율을 계산한다. 이어서, 단계 506에서 변화율은 사용자 인터페이스에 대한 입력으로 사용된다. 단지 일례로서, 사용자가 터치의 압력을 매우 빠르게 증가시키는 경우에만 소정의 사용자 인터페이스 액션이 트리거될 수 있다.
옵션인 단계 508은 압력의 변화율을 사용자에게 통지한다. 이것은 압력이 임계치를 초과했다는 것을 사용자에게 통지(도 3b의 단계 312c)하는 것과 유사하지만, 솔직하게는 변화율을 지시하기 위한 통지는 약한 압력과 강한 압력 사이의 전환을 지시하기 위한 통지보다 덜 가치있는 것으로 생각된다.
마지막 구체적인 예는 본 설명을 완료하기에 충분하다. 도 6은 전술한 능력들에 기초하여 구성되는 사용자 인터페이스 방법을 제공한다. 이 방법은 전술한 방법들 중 일부와 같이 확장된 터치를 분석한다. 처리 루프는 단계 600으로부터 시작되며, 여기서 터치 감지 스크린(102)으로부터 데이터 포인트들이 수신된다. 단계 602에서 압력 값들이 데이터 포인트들과 연관된다. 이 2개의 단계는 도 3a의 단계 300 및 306, 도 4a의 단계 400 및 402, 및 도 5의 단계 500 및 502와 유사하다.
이어서, 단계 604에서, 데이터 포인트 정보가 저장된 제스처 프로필과 비교된다. 예를 들어, 각각의 데이터 포인트(또는 더 가능하게는 대표적인 데이터 포인트들)의 압력 및 위치가 저장된 제스처 프로필 내의 유사한 데이터 포인트들과 비교된다.
저장된 제스처 프로필은 예를 들어 사용자가 그의 이름을 터치 감지 스크린(102) 상에 여러 번 서명함으로써 생성될 수 있다. 위치 및 압력 정보 양자를 이용하여 그의 서명을 특성화하는 프로필이 생성된다. 일 실시예에서, 서명들이 비교되며, 가장 안정된 부분들만이 프로필 내에 표현된다. 프로필은 사용자가 그의 이름을 서명할 때 위치 및 압력 정보를 얼마나 많이 변경하는지를 정확히 나타내는 매우 구체적인 임계 정보를 포함할 수 있다. 도 5의 기술들은 위치 및 압력 값 정보와 함께 압력의 변화율을 저장함으로써 저장된 제스처 프로필에도 적용될 수 있다.
단계 606에서, 비교들 각각이 임계치 내에 있는 경우(또는 비교들의 사전 정의된 비율이 임계치 내에 있는 경우), 수신된 데이터 포인트들의 세트는 저장된 제스처 프로필의 매치로서 간주된다. 서명의 예를 계속하면, 사용자는 그의 이름을 서명하도록 촉구될 수 있다. 그의 서명은 단계 600 내지 606을 통해 수신되고 분석되는 터치이다. 그의 현재 서명이 저장된 제스처 프로필과 매칭되는 경우, 그는 인증되며, 제어 정보에 대한 액세스를 제공받을 수 있다. 따라서, 도 6의 방법은 표준 텍스트 입력 메커니즘들보다 훨씬 더 파괴하기 어렵고 표준 서명 기반(즉, 순수 위치 기반) 보안 메커니즘들보다 훨씬 더 양호한 레벨의 패스워드 보안을 제공한다.
도 6의 방법은 사용자에 의해 행해지는 임의의 제스처들을 인식하고 검증하는 데 사용될 수 있다. 이 방법은 예를 들어 수기 인식 프로그램의 신뢰성을 향상시킬 수 있다.
위에 주어진 예들은 수행되는 실제 액션들이 사용자 인터페이스의 설계자에 의해 선택되며, 압력 값이 단순히 개인용 전자 장치(100)의 사용자에 의해 사용자 인터페이스로 전송되는 신호라는 것을 예시한다.
본 발명의 원리들이 적용될 수 있는 많은 가능한 실시예를 고려할 때, 도면들과 관련하여 본 명세서에서 설명된 실시예들은 예시적인 것을 의도할 뿐이며, 본 발명의 범위를 한정하는 것으로 간주되지 않아야 한다. 예를 들어, 본 발명의 매우 상이한 용도들이 상이한 사용자 인터페이스들에 대해 그리고 상이한 상황들에서 고려된다. 따라서, 본 명세서에서 설명된 바와 같은 본 발명은 아래의 청구항들 및 이들의 균등물들의 범위 내에 속할 수 있는 바와 같은 모든 그러한 실시예들을 고려한다.

Claims (10)

  1. 터치 감지 표면(102)을 구비한 전자 장치(100)에서의 방법으로서,
    상기 전자 장치는 상기 터치 감지 표면과의 접촉들의 강도를 검출하기 위한 하나 이상의 센서를 포함하고 상기 전자 장치는 제1 소프트웨어 애플리케이션을 저장하며,
    상기 방법은
    둘 이상의 디스플레이 영역을 포함하는 사용자 인터페이스를 디스플레이하는 단계 - 상기 둘 이상의 디스플레이 영역은 제1 디스플레이 영역 및 제2 디스플레이 영역을 포함함 -; 및
    상기 사용자 인터페이스를 디스플레이하는 동안:
    상기 제1 디스플레이 영역에 해당하는 상기 터치 감지 표면 상의 제1 위치에서 터치 입력에 의해 인가되는 제1 강도를 검출하는 단계(602);
    상기 터치 감지 표면 상의 상기 제1 위치로부터 상기 제2 디스플레이 영역에 해당하는 상기 터치 감지 표면 상의 제2 위치로 상기 터치 감지 표면을 가로지르는 상기 터치 입력의 움직임을 검출하는 단계(602);
    상기 터치 감지 표면 상의 상기 제1 위치로부터 상기 터치 감지 표면 상의 제2 위치로의 상기 터치 입력의 상기 움직임을 검출하는 상기 단계 후에, 상기 터치 감지 표면 상의 상기 제2 위치에서 상기 터치 입력에 의해 인가되는 제2 강도를 검출하는 단계(602); 및
    상기 터치 감지 표면 상의 상기 제2 위치에서 상기 터치 입력에 의해 인가되는 상기 제2 강도를 검출하는 단계에 응답하여(604):
    상기 제1 위치 및 상기 제2 위치와 상기 제1 강도 및 상기 제2 강도에 기초하여 액션을 수행하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 액션은 상기 제1 강도 및 상기 제2 강도 중 적어도 하나에 대한 압력 변화율에 기초하여 수행되는 방법.
  3. 제2항에 있어서,
    상기 액션은 압력 임계치 및 거리 임계치 중 적어도 하나에 기초하여 수행되는 방법.
  4. 제1항에 있어서,
    (a) 상기 제1 위치 및 상기 제2 위치와 (b) 상기 제1 강도 및 상기 제2 강도 중 적어도 하나를 저장된 제스처 프로필과 비교하는 방법.
  5. 제4항에 있어서,
    상기 저장된 제스처 프로필은 상기 전자 장치의 사용자에 의해 생성되는 방법.
  6. 개인용 전자 장치(100)로서,
    터치 감지 표면(102);
    상기 터치 감지 표면과의 접촉들의 강도를 검출하기 위한 하나 이상의 센서; 및
    상기 터치 감지 표면(102)과 상기 하나 이상의 센서에 기능적으로(operatively) 접속된 프로세서(106)
    를 포함하고,
    상기 프로세서는
    둘 이상의 디스플레이 영역을 포함하는 사용자 인터페이스를 디스플레이하고 - 상기 둘 이상의 디스플레이 영역은 제1 디스플레이 영역 및 제2 디스플레이 영역을 포함함 -;
    상기 사용자 인터페이스를 디스플레이하는 동안:
    상기 제1 디스플레이 영역에 해당하는 상기 터치 감지 표면 상의 제1 위치에서 터치 입력에 의해 인가되는 제1 강도를 검출하고(602);
    상기 터치 감지 표면 상의 상기 제1 위치로부터 상기 제2 디스플레이 영역에 해당하는 상기 터치 감지 표면 상의 제2 위치로 상기 터치 감지 표면을 가로지르는 상기 터치 입력의 움직임을 검출하고(602);
    상기 터치 감지 표면 상의 상기 제1 위치로부터 상기 터치 감지 표면 상의 제2 위치로의 상기 터치 입력의 상기 움직임을 검출한 후에, 상기 터치 감지 표면 상의 상기 제2 위치에서 상기 터치 입력에 의해 인가되는 제2 강도를 검출하고(602);
    상기 터치 감지 표면 상의 상기 제2 위치에서 상기 터치 입력에 의해 인가되는 상기 제2 강도를 검출하는 것에 응답하여(604):
    상기 제1 위치 및 상기 제2 위치와 상기 제1 강도 및 상기 제2 강도에 기초하여 액션을 수행하도록 구성되는,
    개인용 전자 장치.
  7. 제6항에 있어서,
    상기 액션은 상기 제1 강도 및 상기 제2 강도 중 적어도 하나에 대한 압력 변화율에 기초하여 수행되는, 개인용 전자 장치.
  8. 제7항에 있어서,
    상기 액션은 압력 임계치 및 거리 임계치 중 적어도 하나에 기초하여 수행되는, 개인용 전자 장치.
  9. 제6항에 있어서,
    (a) 상기 제1 위치 및 상기 제2 위치와 (b) 상기 제1 강도 및 상기 제2 강도 중 적어도 하나를 저장된 제스처 프로필과 비교하는, 개인용 전자 장치.
  10. 제9항에 있어서,
    상기 저장된 제스처 프로필은 상기 전자 장치의 사용자에 의해 생성되는, 개인용 전자 장치.
KR1020187005590A 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용 KR101915444B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/150,696 2011-06-01
US13/150,696 US8508494B2 (en) 2011-06-01 2011-06-01 Using pressure differences with a touch-sensitive display screen
PCT/US2012/036215 WO2012166280A1 (en) 2011-06-01 2012-05-03 Using pressure differences with a touch-sensitive display screen

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002107A Division KR101835188B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용

Publications (2)

Publication Number Publication Date
KR20180028067A KR20180028067A (ko) 2018-03-15
KR101915444B1 true KR101915444B1 (ko) 2018-11-05

Family

ID=46172908

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020137032030A KR101548852B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용
KR1020157002107A KR101835188B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용
KR1020187005590A KR101915444B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020137032030A KR101548852B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용
KR1020157002107A KR101835188B1 (ko) 2011-06-01 2012-05-03 터치 감지 디스플레이 스크린에서의 압력차 이용

Country Status (5)

Country Link
US (1) US8508494B2 (ko)
EP (2) EP2715495A1 (ko)
KR (3) KR101548852B1 (ko)
CN (2) CN108052222A (ko)
WO (1) WO2012166280A1 (ko)

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8719277B2 (en) * 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
US8976128B2 (en) * 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US9069460B2 (en) * 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
JP5934537B2 (ja) * 2012-03-27 2016-06-15 京セラ株式会社 電子機器および電子機器の制御方法
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
US10649622B2 (en) * 2012-05-09 2020-05-12 Apple Inc. Electronic message user interface
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169875A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP3185116B1 (en) 2012-05-09 2019-09-11 Apple Inc. Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9261961B2 (en) 2012-06-07 2016-02-16 Nook Digital, Llc Accessibility aids for users of electronic devices
US9658746B2 (en) 2012-07-20 2017-05-23 Nook Digital, Llc Accessible reading mode techniques for electronic devices
JP5898779B2 (ja) * 2012-10-11 2016-04-06 アルプス電気株式会社 入力装置及び前記入力装置を用いた複数点の荷重検出方法
US9134892B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Drag-based content selection technique for touch screen UI
US9448719B2 (en) 2012-12-14 2016-09-20 Barnes & Noble College Booksellers, Llc Touch sensitive device with pinch-based expand/collapse function
US9030430B2 (en) 2012-12-14 2015-05-12 Barnesandnoble.Com Llc Multi-touch navigation mode
US9134893B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI
US9477382B2 (en) 2012-12-14 2016-10-25 Barnes & Noble College Booksellers, Inc. Multi-page content selection technique
US9134903B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Content selecting technique for touch screen UI
US9001064B2 (en) 2012-12-14 2015-04-07 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
US8963865B2 (en) 2012-12-14 2015-02-24 Barnesandnoble.Com Llc Touch sensitive device with concentration mode
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101742808B1 (ko) 2012-12-29 2017-06-01 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP5915552B2 (ja) * 2013-01-23 2016-05-11 ソニー株式会社 ヘッドマウントディスプレイ、表示装置及び入力装置
US9836154B2 (en) 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
US9971495B2 (en) 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US9946365B2 (en) 2013-03-11 2018-04-17 Barnes & Noble College Booksellers, Llc Stylus-based pressure-sensitive area for UI control of computing device
US9261985B2 (en) 2013-03-11 2016-02-16 Barnes & Noble College Booksellers, Llc Stylus-based touch-sensitive area for UI control of computing device
US9891722B2 (en) 2013-03-11 2018-02-13 Barnes & Noble College Booksellers, Llc Stylus-based notification system
US9785259B2 (en) 2013-03-11 2017-10-10 Barnes & Noble College Booksellers, Llc Stylus-based slider functionality for UI control of computing device
US9448643B2 (en) 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US9632594B2 (en) 2013-03-11 2017-04-25 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus idle functionality
US9367161B2 (en) 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US9600053B2 (en) 2013-03-11 2017-03-21 Barnes & Noble College Booksellers, Llc Stylus control feature for locking/unlocking touch sensitive devices
US9626008B2 (en) 2013-03-11 2017-04-18 Barnes & Noble College Booksellers, Llc Stylus-based remote wipe of lost device
US9760187B2 (en) 2013-03-11 2017-09-12 Barnes & Noble College Booksellers, Llc Stylus with active color display/select for touch sensitive devices
US9766723B2 (en) 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US9189084B2 (en) 2013-03-11 2015-11-17 Barnes & Noble College Booksellers, Llc Stylus-based user data storage and access
US9146672B2 (en) 2013-04-10 2015-09-29 Barnes & Noble College Booksellers, Llc Multidirectional swipe key for virtual keyboard
US8966617B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Image pattern unlocking techniques for touch sensitive devices
US8963869B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Color pattern unlocking techniques for touch sensitive devices
US9152321B2 (en) 2013-05-03 2015-10-06 Barnes & Noble College Booksellers, Llc Touch sensitive UI technique for duplicating content
US9612740B2 (en) 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
US10019153B2 (en) 2013-06-07 2018-07-10 Nook Digital, Llc Scrapbooking digital content in computing devices using a swiping gesture
US9244603B2 (en) 2013-06-21 2016-01-26 Nook Digital, Llc Drag and drop techniques for discovering related content
US9423932B2 (en) 2013-06-21 2016-08-23 Nook Digital, Llc Zoom view mode for digital content including multiple regions of interest
US9400601B2 (en) 2013-06-21 2016-07-26 Nook Digital, Llc Techniques for paging through digital content on touch screen devices
JP2015032276A (ja) * 2013-08-06 2015-02-16 株式会社アスコ 指示入力装置、指示入力検出方法、プログラムおよび記録媒体
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
CN105683876B (zh) 2013-09-03 2019-11-01 苹果公司 用于可穿戴电子设备的表冠输入
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9575948B2 (en) 2013-10-04 2017-02-21 Nook Digital, Llc Annotation of digital content via selective fixed formatting
AU2013404001B2 (en) 2013-10-30 2017-11-30 Apple Inc. Displaying relevant user interface objects
US10620796B2 (en) 2013-12-19 2020-04-14 Barnes & Noble College Booksellers, Llc Visual thumbnail scrubber for digital content
US9588979B2 (en) 2013-12-31 2017-03-07 Barnes & Noble College Booksellers, Llc UI techniques for navigating a file manager of an electronic computing device
US9792272B2 (en) 2013-12-31 2017-10-17 Barnes & Noble College Booksellers, Llc Deleting annotations of paginated digital content
US9424241B2 (en) 2013-12-31 2016-08-23 Barnes & Noble College Booksellers, Llc Annotation mode including multiple note types for paginated digital content
US10534528B2 (en) 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
US10915698B2 (en) 2013-12-31 2021-02-09 Barnes & Noble College Booksellers, Llc Multi-purpose tool for interacting with paginated digital content
US9367208B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc Move icon to reveal textual information
US9367212B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc User interface for navigating paginated digital content
US10331777B2 (en) 2013-12-31 2019-06-25 Barnes & Noble College Booksellers, Llc Merging annotations of paginated digital content
US9591365B2 (en) 2014-02-26 2017-03-07 Rovi Guides, Inc. Methods and systems for supplementing media assets during fast-access playback operations
JP2015207034A (ja) * 2014-04-17 2015-11-19 アルパイン株式会社 情報入力装置及び情報入力方法
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
CN104063280B (zh) 2014-06-25 2017-09-12 华为技术有限公司 一种智能终端的控制方法
AU2015279544B2 (en) 2014-06-27 2018-03-15 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
WO2016036414A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
KR102399589B1 (ko) 2014-11-05 2022-05-18 삼성전자주식회사 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
CN104636071B (zh) * 2015-02-28 2018-12-11 国网上海市电力公司 一种电力运营监控中心用触摸屏手势识别系统
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104898946B (zh) * 2015-05-25 2018-08-31 联想(北京)有限公司 一种控制方法及电子设备
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
CN106325574B (zh) * 2015-06-26 2019-11-15 小米科技有限责任公司 在触摸屏上监测触摸的方法及装置
JP6686129B2 (ja) * 2015-07-03 2020-04-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 端末装置に適用される作動方法及び端末装置
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN105183317A (zh) * 2015-09-07 2015-12-23 联想(北京)有限公司 一种压力触控对文件处理的方法及电子设备
KR102398503B1 (ko) 2015-09-09 2022-05-17 삼성전자주식회사 입력의 압력을 감지하는 전자 장치 및 그 동작 방법
KR102408442B1 (ko) 2015-10-20 2022-06-14 삼성디스플레이 주식회사 터치 센서 및 이를 포함한 액정 표시 장치
CN106814961A (zh) * 2015-12-02 2017-06-09 西安中兴新软件有限责任公司 一种操作方法和终端
CN105528111A (zh) * 2015-12-04 2016-04-27 广东欧珀移动通信有限公司 触控方法及触控系统
CN105511680B (zh) * 2015-12-28 2018-12-07 努比亚技术有限公司 终端屏幕触控装置和方法
CN105677220A (zh) * 2015-12-31 2016-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN105718109B (zh) * 2016-01-18 2018-11-27 广东欧珀移动通信有限公司 一种触控显示屏的重压处理方法及移动终端
CN107193464A (zh) * 2016-03-15 2017-09-22 百度在线网络技术（北京）有限公司 一种在移动设备的当前应用中进行重按操作的方法和装置
DK201670596A1 (en) * 2016-06-12 2018-02-19 Apple Inc Digital touch on live video
CN106406571B (zh) * 2016-08-31 2019-06-11 广州视源电子科技股份有限公司 交互识别方法、交互识别设备及智能可穿戴设备
CN106681553B (zh) * 2016-12-13 2019-08-09 深圳市金立通信设备有限公司 一种触控压力阈值的调节方法及终端
US10733468B2 (en) * 2018-04-23 2020-08-04 Novatek Microelectronics Corp. Finger stability detecting method and fingerprint sensing device
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
CN111443820B (zh) * 2019-01-17 2021-09-21 北京钛方科技有限责任公司 触控板的按压冲量识别方法及系统
US11537229B2 (en) 2019-01-17 2022-12-27 Beijing Taifang Technology Co., Ltd. Touch pad pressure detection method and apparatus, storage medium and computer device
CN113574621A (zh) * 2019-03-14 2021-10-29 提爱思科技股份有限公司 操作装置和车门
KR20210041785A (ko) 2019-10-08 2021-04-16 삼성전자주식회사 키 구조, 키 입력 방법 및 이를 이용하는 전자 장치
CN114020204B (zh) * 2021-09-03 2023-07-07 统信软件技术有限公司 一种任务执行方法、装置、计算设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257240A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 入力装置
WO2011028944A1 (en) * 2009-09-02 2011-03-10 Amazon Technologies, Inc. Touch-screen user interface

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US20020015064A1 (en) 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
KR20070043993A (ko) * 2004-08-02 2007-04-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 가상 객체를 모델링하는 것을 가능하게 하는 방법
US8665225B2 (en) 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
KR101345755B1 (ko) * 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
TWI352306B (en) * 2007-12-18 2011-11-11 Wistron Corp Touch-sensitive screen electronic apparatus and co
CN101488069A (zh) * 2008-01-16 2009-07-22 宏达国际电子股份有限公司 功能切换方法及系统
US7924143B2 (en) * 2008-06-09 2011-04-12 Research In Motion Limited System and method for providing tactile feedback to a user of an electronic device
KR101495559B1 (ko) 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
JP5100556B2 (ja) 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US10983665B2 (en) * 2008-08-01 2021-04-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for implementing user interface
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5157969B2 (ja) * 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、閾値設定方法及びそのプログラム
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9430078B2 (en) 2009-08-12 2016-08-30 Google Technology Holdings LLC Printed force sensor within a touch screen
JP5482023B2 (ja) * 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
JP5304544B2 (ja) * 2009-08-28 2013-10-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN102023740A (zh) * 2009-09-23 2011-04-20 比亚迪股份有限公司 一种触控装置的动作识别方法
US20110283212A1 (en) 2010-05-13 2011-11-17 Nokia Corporation User Interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257240A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 入力装置
WO2011028944A1 (en) * 2009-09-02 2011-03-10 Amazon Technologies, Inc. Touch-screen user interface

Also Published As

Publication number Publication date
EP2715495A1 (en) 2014-04-09
CN103562828A (zh) 2014-02-05
KR20150023890A (ko) 2015-03-05
US8508494B2 (en) 2013-08-13
KR101548852B1 (ko) 2015-08-31
KR20180028067A (ko) 2018-03-15
WO2012166280A1 (en) 2012-12-06
KR20140005356A (ko) 2014-01-14
CN108052222A (zh) 2018-05-18
EP3392753A1 (en) 2018-10-24
CN103562828B (zh) 2018-01-19
KR101835188B1 (ko) 2018-03-06
US20120306765A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
KR101915444B1 (ko) 터치 감지 디스플레이 스크린에서의 압력차 이용
KR101545804B1 (ko) 터치 감지 디스플레이 스크린에서의 압력차 이용
JP5862782B2 (ja) タッチ・センサ・ディスプレイ画面による差圧の利用
KR101555795B1 (ko) 터치-감응 디스플레이 스크린에서의 압력차 이용
EP2107448A2 (en) Electronic apparatus and control method thereof
CN103064627B (zh) 一种应用程序管理方法及装置
KR20140145579A (ko) 사용자 입력 의도 분류 기법
JP2011014044A (ja) 操作制御装置、操作制御方法およびコンピュータプログラム
US20140298275A1 (en) Method for recognizing input gestures
US9524051B2 (en) Method and terminal for inputting multiple events

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant