KR101531070B1 - 터치-감응 장치상의 손가락 방향의 검출 - Google Patents

터치-감응 장치상의 손가락 방향의 검출 Download PDF

Info

Publication number
KR101531070B1
KR101531070B1 KR1020107006270A KR20107006270A KR101531070B1 KR 101531070 B1 KR101531070 B1 KR 101531070B1 KR 1020107006270 A KR1020107006270 A KR 1020107006270A KR 20107006270 A KR20107006270 A KR 20107006270A KR 101531070 B1 KR101531070 B1 KR 101531070B1
Authority
KR
South Korea
Prior art keywords
touch
intensity
data area
touch data
strength
Prior art date
Application number
KR1020107006270A
Other languages
English (en)
Other versions
KR20100072207A (ko
Inventor
니젤 킴
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100072207A publication Critical patent/KR20100072207A/ko
Application granted granted Critical
Publication of KR101531070B1 publication Critical patent/KR101531070B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

터치-감응 장치를 터치하는 손가락 방향의 판정이 개시된다. 한 실시예에서, 컴퓨팅 장치는 사용자에게 이미지를 표시하도록 구성된 디스플레이 스크린, 및 디스플레이 스크린을 터치하는 하나 이상의 물체를 검출하도록 구성된 강도-감응 터치-감지 입력 메커니즘을 포함한다. 장치는 또한 제1 터치 데이터 집합의 중심과 제2 터치 데이터 집합의 중심 사이의 방향으로부터 화면을 터치하는 손가락의 방향을 판정하고, 판정된 손가락 방향에 응답하여 디스플레이 스크린상의 이미지를 조정하도록 구성된 제어기를 포함한다.

Description

터치-감응 장치상의 손가락 방향의 검출{DETECTING FINGER ORIENTATION ON A TOUCH-SENSITIVE DEVICE}
터치-감응 장치는 광학적, 저항성 및 용량성 메커니즘을 포함하는(이에 제한되는 것은 아님) 몇 가지 상이한 메커니즘을 통해 터치를 검출할 수 있다. 터치-감응 입력을 이용하는 다수의 장치에서는, 예를 들어 장치상의 텍스트 또는 이미지를 표시하는 방향을 판정하기 위해, 다중 사용자 장치의 사용자들 사이를 구별하기 위해, 및/또는 사용자가 이미지 위에서 손가락을 회전함으로써 터치-감응 디스플레이 상에서의 이미지의 회전을 제어할 수 있게 하기 위해, 손가락의 방향을 판정하는 것이 유용할 수 있다.
다양한 방법이 터치-감응 장치상의 손가락의 방향을 판정하기 위해 사용될 수 있다. 예를 들어, 한 방법은 이론상의 손가락에 일치하는 것을 찾기 위한 템플릿 알고리즘을 이용하여 손가락끝에서 떨어져서 가리키고 있는 손가락 전체의 이미지에 일치하는 것을 찾으려고 하는 시도를 포함한다. 그러나, 이러한 방법은 구현하기 어려울 수 있고, 템플릿 일치의 에러가 발생하는 경우에 판정된 방향의 갑작스런 변경뿐만 아니라 부정확한 결과를 초래할 수 있다.
<요약>
따라서, 터치-감응 장치를 터치하는 손가락 방향의 판정이 아래의 상세한 설명에서 설명된다. 한 개시된 실시예에서, 컴퓨팅 장치는 사용자에게 이미지를 표시하도록 구성된 디스플레이 스크린, 및 디스플레이 스크린을 터치하는 하나 이상의 물체를 검출하도록 구성된 강도-감응 터치-감지 입력 메커니즘을 포함한다. 장치는 또한 제1 터치 데이터 집합의 중심과 제2 터치 데이터 집합의 중심 사이의 방향으로부터 화면을 터치하는 손가락의 방향을 판정하고, 판정된 손가락 방향에 응답하여 디스플레이 스크린상의 이미지를 조정하도록 구성된 제어기를 포함한다.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들의 선택된 개념을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 중요한 특징이나 본질적인 특징을 식별하고자 하는 것도 아니고, 청구된 주제의 범위를 제한하는데 사용되고자 하는 것도 아니다. 더욱이, 청구된 주제는 이 명세서의 임의의 부분에 명시된 임의의 또는 모든 단점을 해결하는 구현에 제한되지 않는다.
도 1은 터치-감응 대화형 표시 장치의 실시예를 도시한 도면.
도 2는 도 1의 실시예의 개략도.
도 3은 터치-감응 장치상의 손가락의 방향을 판정하는 방법의 실시예의 처리 흐름도.
도 4는 임계 강도 레벨에 의해 분할된 강도 레벨의 영역을 나타낸 강도 데이터 어레이의 실시예를 도시한 도면.
도 5는 도 3의 실시예를 통해 판정된 각 손가락에 대한 방향을 도시한 도면.
도 6은 판정된 손가락 방향에 응답하여 이미지에 이루어진 조정의 개략도.
도 7은 저항성 터치-감응 장치의 실시예의 개략도.
도 8은 용량성 터치-감응 디스플레이의 실시예의 개략도.
터치-감응 장치에서의 손가락 방향의 검출을 설명하기 전에, 적합한 사용 환경의 예가 간략하게 설명된다. 도 1은 다중 사용자 터치-감응 표시 장치(100)의 실시예를 도시한 것이다. 터치-감응 표시 장치(100)는 테이블 모양의 구성을 갖고, 터치-감응 입력을 갖는 수평으로 배치된 표시 표면(102)을 포함하는데, 이것은 도 2를 참조하여 아래에 더욱 상세하게 설명된다. 터치-감응 표시 장치(100)는 장치와 상호작용하는 한 명 이상의 사람(104)의 터치를 검출하도록 구성될 수 있다. 표시 장치(100)는 사진 데이터, 비디오 데이터, 그래픽 데이터, 문서, 스프레드시트, 프레젠테이션 등을 포함하여(이에 제한되지는 않음), 임의의 적합한 유형의 콘텐트(106) 또는 데이터를 표시하기 위해 사용될 수 있다.
도 1의 실시예가 수평으로 배치된 터치-감응 표시 표면을 갖는 다중 사용자 컴퓨팅 장치를 포함하지만, 아래에 설명된 실시예 및 여기에 일반적으로 개시된 개념은 터치 데이터의 2차원 어레이에 대한 강도 레벨을 판정할 수 있는 임의의 적합한 터치-가능 표시 장치에서 구현될 수 있다는 것을 알 수 있을 것이다. 이러한 장치의 예는 컴퓨팅 장치, 이를테면 랩톱 및 데스크톱 컴퓨터, 핸드헬드 장치, 휴대폰, 휴대용 미디어 플레이어, 개인용 정보 단말기(PDA), 카메라, 비디오 카메라, 및 광학적, 용량성, 저항성 또는 기타 적합한 터치-감응 입력을 갖는 기타 프로그램가능 소비자 및 상업용 전자제품 및 가전제품을 포함하는데, 이에 제한되는 것은 아니다. 여기에서 사용된 바와 같이, "컴퓨팅 장치"라는 용어는 하나 이상의 프로그램을 전자적으로 실행하는 임의의 장치를 포함할 수 있다. 여기에 설명된 실시예는 예를 들어, 컴퓨터 판독가능 저장 매체 상에 저장되고 컴퓨팅 장치에 의해 실행되는 프로그램과 같은 컴퓨터 실행가능 명령어 또는 코드를 통해 이러한 장치상에서 구현될 수 있다. 일반적으로, 프로그램은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 여기에서 사용된 "프로그램"이라는 용어는 단일 프로그램, 또는 협력하여 동작하는 다수의 프로그램을 내포할 수 있고, 애플리케이션, 서비스, 또는 임의의 다른 유형 또는 클래스의 프로그램을 나타내기 위해 사용될 수 있다.
도 2는 터치-감응 표시 장치(100)의 개략도이다. 터치-감응 표시 장치(100)는 이미지 소스(202), 프로젝션 디스플레이의 광로 길이 및 이미지 크기를 증가시키는 선택적인 하나 이상의 미러(204) 및 이미지가 투사되는 디스플레이 스크린(206)을 갖는 프로젝션 디스플레이 시스템을 포함한다.
이미지 소스(202)는 도시된 램프, LED 어레이 또는 기타 적합한 광원과 같은 광학적 소스 또는 광원(208)을 포함한다. 이미지 소스(202)는 또한 도시된 LCD(liquid crystal display), LCOS(liquid crystal on silicon) 디스플레이, DLP(digital light processing) 디스플레이 또는 임의의 다른 적합한 이미지 생성 소자와 같은 이미지 생성 소자(210)를 포함한다. 디스플레이 스크린(206)은 유리 시트와 같은 깨끗하고 투명한 부분(212), 및 깨끗하고 투명한 부분(212) 위에 배치된 디퓨저 스크린(diffuser screen) 층(214)을 포함한다. 몇몇 실시예에서, 추가 투명 층(도시 생략)은 표시 표면에 매끄러운 룩 앤드 필(a smooth look and feel)을 제공하기 위해 디퓨저 스크린 층(214) 위에 배치될 수 있다. 그외 다른 실시예에서, 디퓨저 스크린 층(214)은 생략될 수 있다.
도 2를 계속 참조하면, 장치(100)는 메모리(218) 및 마이크로프로세서(220)로 이루어진 전자 제어기(216)를 더 포함한다. 디스플레이 스크린(206) 상의 터치를 감지하기 위해, 장치(100)는 디스플레이 스크린(206)의 전체 뒷면의 이미지를 캡처하고, 이미지에 나타나는 손가락 또는 물체의 검출을 위해 제어기(216)에 이미지를 제공하도록 구성된 이미지 캡처 장치(224)를 포함한다. 디퓨저 스크린 층(214)은 디스플레이 스크린(206)과 접촉하지 않거나 디스플레이 스크린(206)의 수 밀리미터 내에 위치하지 않는 물체의 이미징을 방지하도록 돕고, 따라서 반드시 디스플레이 스크린(206)을 터치하고 있는 물체만이 이미지 캡처 장치(224)에 의해 검출되도록 돕는다. 장치(100)가 하나의 이미지 캡처 장치(224)를 갖는 것으로 도시되지만, 2개 이상의 이미지 캡처 장치(224)가 디스플레이 스크린(206)의 이미지를 캡처하기 위해 사용될 수 있다는 것을 알 수 있을 것이다.
이미지 캡처 장치(224)는 임의의 적합한 이미지 감지 메커니즘을 포함할 수 있다. 적합한 이미지 감지 메커니즘의 예는 CCD 및 CMOS 이미지 센서를 포함하는데, 이에 제한되는 것은 아니다. 더욱이, 이미지 감지 메커니즘은 디스플레이 스크린(206) 전체에 걸쳐 물체의 움직임을 검출하기 위해 디스플레이 스크린(206)의 이미지를 충분한 빈도로 캡처할 수 있다. 디스플레이 스크린(206)은 제어기(216)와 화면(206)의 점선 접속(225)으로 도시된 바와 같이, 선택적인 용량성, 저항성 또는 기타 적합한 터치 감지 메커니즘을 대안적으로 또는 더욱 포함할 수 있다.
이미지 캡처 장치(224)는 적외선 및 가시광선 파장을 포함하여(이에 제한되지는 않음), 임의의 적합한 파장의 반사 또는 방출된 에너지를 검출하도록 구성될 수 있다. 디스플레이 스크린(206) 상의 터치의 검출을 돕기 위해, 이미지 캡처 장치(224)는 적외선 또는 가시광선을 생성하도록 구성된 하나 이상의 발광 다이오드(LED)(226)와 같은 발광체를 더 포함할 수 있다. LED(226)로부터의 광은 디스플레이 스크린(206)을 터치하는 손가락에 의해 반사된 다음에, 이미지 캡처 장치(224)에 의해 검출될 수 있다. 가시광선 LED와 대조적인 적외선 LED의 사용은 디스플레이 스크린(206) 상의 투사된 이미지 모습의 유실(washing out)을 방지하도록 도울 수 있다.
LED(226)는 대화형 표시 장치(200) 내의 임의의 적합한 위치에 설정될 수 있다. 도시된 실시예에서, 다수의 LED(226)는 디스플레이 스크린(206)의 한 측면을 따라 배치된다. 이 위치에서, LED로부터의 광은 내부 반사를 거쳐 디스플레이 스크린(206)을 통해 이동할 수 있지만, 일부는 디스플레이 스크린(206) 상의 물체에 의한 반사를 위해 디스플레이 스크린(206)에서 빠져나갈 수 있다. 대안적인 실시예에서, 하나 이상의 LED는 디스플레이 스크린(206)을 통해 방출된 광을 통과시키도록 디스플레이 스크린(206)의 아래에 배치될 수 있다.
다수의 사용자가 동시에 표시 장치(200)를 사용할 수 있기 때문에, 표시 장치(200) 상에 사용자에게 표시된 이미지의 적합한 방향은 어떤 사용자가 그 이미지를 보고 있는지 또는 그 이미지와 상호작용하고 있는지에 따라 다를 수 있다. 그러므로, 표시 장치(200)는 디스플레이를 터치하는 하나 이상의 손가락의 방향을 판정하고, 판정된 손가락의 방향에 기초하여 장치상에 표시된 이미지를 표시하거나 조정하도록 구성될 수 있다.
도 3은 터치-감응 장치상의 손가락 방향을 식별하는 방법(300)의 처리 흐름도이다. 방법(300)은 광학적, 용량성 및 저항성 터치-감응 장치를 포함하여(이에 제한되지는 않음), 터치 강도 데이터의 2차원 어레이를 생성할 수 있는 임의의 적합한 터치-감응 장치에서 실행될 수 있다. 방법(300)은 먼저, 터치 데이터를 획득하는 단계(302)를 포함한다. 예를 들어, 광학적 터치-감응 시스템에서, 터치 데이터의 획득은 디스플레이 스크린상의 각 픽셀에서의 강도 데이터를 획득하기 위해 이미지 캡처 장치 또는 기타 광검출기를 이용하는 것을 포함할 수 있다. 광 터치 데이터의 획득은 또한 각 픽셀에서의 주위(외부) 광에 대한 강도 데이터를 보정하는 것을 포함할 수 있다. 이와 마찬가지로, 용량성 또는 저항성 터치-감응 장치에서, 터치 데이터의 획득은 터치 강도의 측정치에 비례하여 전기적 응답을 검출하는 것을 포함할 수 있다.
잠시, 도 4를 참조하면, 도 4는 동일한 강도 값의 선들에 의해 각각 정의된 "등고선"(402a-d)으로 도시된 강도 레벨의 영역을 나타낸 터치 강도 데이터의 어레이(400)의 예를 도시한 것으로, 등고선은 검출된 터치의 중심에서 멀어져 가면서 강도가 감소하는 영역을 정의한다. 도 4에서, 3개의 손가락과 엄지 손가락의 터치로부터의 강도 데이터를 볼 수 있다. 화면과 접촉하는 손가락의 영역은 화면에 대해 편평하게 눌러지므로, 일반적으로 일관된 밝기를 갖는다. 이 영역에서 바깥쪽으로 이동하면, 손가락끝의 끝 부분과 옆 부분은 강도가 급격히 약해지지만, 손가락의 나머지 부분은 이들 방향으로의 등고선 링들 사이의 더 큰 간격에 의해 도시된 바와 같이, 강도가 점차 더 약해진다. 도 4에서, 강도 레벨이 터치 영역에서 바깥쪽으로 갈수록 감소함에 따라, 각 등고선 영역의 중심은 이전의 링의 중심보다 손가락끝에서 더 멀리 이동한다는 것을 알 수 있다.
다시, 도 3을 참조하면, 방법(300)은 다음에, 제1 터치 데이터 영역을 결정하는 단계를 포함하는데, 제1 영역 내의 사실상 모든 터치 데이터는 임계 터치 강도보다 높은 강도를 갖는다. 여기에서 사용된 "결정"이라는 용어는 일반적으로 영역의 경계를 정의하는 것을 나타내고, "사실상 모든"이라는 용어는 제1 영역의 외부 경계 내의 픽셀들의 개별적인 또는 작은 영역들이 다양한 이유로 상기 강도보다 낮은 값을 가질 수 있지만, 몇몇 실시예에서 여전히 제1 영역의 부분으로 간주될 수 있다는 것을 나타내기 위해 여기에서 사용된다. 한 예로서, 집게 손가락에 대한 제1 터치 데이터 영역은 도 5에서 참조번호(502)로 표시된다.
제1 터치 데이터 영역은 임의의 적합한 방식으로 정의될 수 있다. 예를 들어, 도 3에서 참조번호(306)로 나타낸 바와 같이, 강도 데이터의 제1 영역은 제1 영역을 정의하는 임계 강도 값을 먼저 결정함으로써 정의될 수 있다. 몇몇 실시예에서, 임계 강도 값은 각 프레임마다, 또는 n개의 프레임마다 주기적으로 정의된다. 주기적으로 또는 프레임마다 임계 강도 값을 결정하는 것은 주위 레벨, 사용자 터치 강도 및/또는 기타 이러한 요인의 변경에의 적응을 용이하게 할 수 있다. 대안적으로, 참조번호(308)로 나타낸 바와 같이, 고정된 강도 임계치는 다른 실시예에서 제1 터치 데이터 영역을 결정하기 위해 사용될 수 있다.
제1 터치 데이터 영역을 정의하는 강도 임계치가 주기적으로 또는 프레임마다 계산되는 경우에, 임의의 적합한 방법은 임계치를 결정하기 위해 사용될 수 있다. 예를 들어, 한 실시예에서, 임계 강도는 이미지 또는 이미지의 일부분(예를 들어, 검출된 터치 주위의 부분)의 가중 평균 강도로서 설정될 수 있는데, 각 픽셀과 관련된 가중치는 이미지의 그 부분에서의 강도의 변화율(변화도(gradient))이다. 강도의 변화율은 예를 들어, 다음과 같이, 픽셀에서 수평 및 수직 비율 변화도를 결합하기 위해 소벨(Sobel) 필터를 사용함으로써 결정될 수 있다:
Figure 112010018086817-pct00001
그 다음, 임계치는 다음과 같이, 강도 데이터 v(x,y) 및 소벨 값 s(x,y)로부터 결정될 수 있다:
Figure 112010018086817-pct00002
강도 임계치를 결정하는 이 방법은 예시적으로 설명된 것이지, 임의의 방식으로 제한하려는 것은 아니라는 것을 알 수 있을 것이다.
도 3을 계속 참조하면, 방법(300)은 다음에, 제2 터치 데이터 영역을 결정하는 단계(310)를 포함한다. 제2 터치 데이터 영역은 터치 강도가 제1 터치 데이터 영역 내의 터치 강도보다 낮은, 일반적으로 제1 터치 데이터 영역 주위의 영역에 대응한다. 제2 터치 데이터 영역은, 몇 가지 상황하에서, 제1 및 제2 터치 데이터 영역이 그들 각각의 주변의 일부분에 대해 공통 경계를 공유할 수 있을지라도, 일반적으로 제1 터치 데이터 영역을 둘러쌀 것이다.
제2 터치 데이터 영역은 제1 터치 데이터 영역처럼, 임의의 적합한 방식으로 정의될 수 있다. 예를 들어, 참조번호(312)로 나타낸 바와 같이, 제2 터치 데이터 영역은 제1 영역 임계치보다 낮은 임계치에 의해 정의될 수 있다. 이것은 도 5에 참조번호(504)로 개략적으로 도시된다. 대안적으로, 참조번호(314)로 나타낸 바와 같이, 제2 터치 데이터 영역은 미리 선택된 값을 가질 수 있고, 제1 영역을 정의하는 제1 강도 임계치로부터의 고정된 오프셋인 강도 임계치에 대응할 수 있으며, 제1 영역에 대한 픽셀들의 고정 비율에 대응할 수 있고, 및/또는 제1 영역 주위의 미리 결정된 모양 및/또는 크기의 영역에 대응할 수 있다. 예를 들어, 제2 영역은 제1 영역의 중심 주위에 그려진 고정된 크기의 직사각형, 타원형, 눈물방울 모양 등의 영역에 대응할 수 있다. 직사각형인 제2 영역의 예는 도 5에 참조번호(506)로 도시된다. 일반적으로, 제2 영역은 한 손가락 주위의 제2 영역의 외부 경계가 다른 이웃한 손가락으로부터의 강도 데이터를 둘러싸지 않도록 정의된다. 제2 임계치에 상관없이 제2 영역을 정의하는 것은 제2 임계치의 사용에 비해 감소된 잡음을 제공할 수 있다.
다시, 도 3을 참조하면, 제1 및 제2 터치 데이터 영역을 정의한 후, 제1 영역의 중심이 계산되고(316), 제2 영역의 중심이 계산된다(318). 여기에서 사용된 "중심"이라는 용어는 ("중심"이 평균 x 값과 평균 y 값에 의해 주어지도록) 각 방향을 따르는 픽셀 인덱스의 평균을 나타낼 수 있고, 강도의 가중 중심, 또는 기타 유사한 값을 나타낼 수 있다.
x,y 값의 평균이 제1 및 제2 영역의 중심을 결정하기 위해 사용되는 한 실시예에서, 제1 및 제2 영역의 중심은 다음과 같이 계산될 수 있다.
Figure 112010018086817-pct00003
Figure 112010018086817-pct00004
다른 실시예에서, 제1 및 제2 영역의 "중심"은 강도의 가중 중심에 대응하고, 다음과 같이 계산되는데, 항 x와 y는 픽셀 인덱스이고, v는 인덱스드 픽셀에서의 강도와 동일하거나, 비례하거나, 또는 다르게는 그 강도의 함수인 가중치 계수이다.
Figure 112010018086817-pct00005
상기 방정식에서, 제1 영역 내의 픽셀은 임계치보다 높은 강도를 갖는 것으로 정의되지만, 제2 영역 내의 픽셀은 이와 동일하거나 더 낮은 강도를 갖는 것으로 정의된다. 그러나, 제1 영역은 임계치 강도와 동일하거나 그보다 높은 픽셀을 포함할 수 있고, 제2 영역은 그보다 낮은 픽셀을 가질 수 있다는 것을 알 수 있을 것이다. 그러므로, 여기에서 사용된 "임계치보다 높은", "임계치를 초과하는" 등의 용어는 "초과" 또는 "이상"을 의미할 수 있다.
제1 및 제2 영역의 중심을 결정한 후에, 중심들 사이의 방향은 다음 계산을 통해 판정될 수 있다(320):
방향 = unit(중심(영역1) - 중심(영역2)), 여기에서:
Figure 112010018086817-pct00006
터치-감응 장치상의 손가락의 방향을 판정한 후, 장치상에 표시된 이미지는 참조번호(322)로 나타낸 바와 같이, 판정된 방향에 기초한 방식으로 표시되거나 조정될 수 있다. 이러한 조정 예의 예시는 도 6에 도시되는데, 제1 사용자를 향하고 있는 사진이 터치되어, 도 1의 장치 주위에 제1 사용자로부터 90도 위치에 있는 제2 사용자 쪽으로 끌어당겨진다. 처음에, 참조번호(600)로 나타낸 바와 같이, 사진은 제1 사용자를 향하고 있다. 터치되어 제2 사용자 쪽으로 끌어당겨질 때, 참조번호(602)로 도시된 제2 사용자 손가락의 방향이 검출되고, 참조번호(602')로 나타낸 바와 같이, 검출된 방향에 기초하여 제2 사용자를 향하도록 사진이 회전된다. 이것은 제2 사용자가 회전을 일으키는 임의의 터치 제스처를 학습할 필요없이, 직관적인 방식으로 한 번의 움직임을 통해 사진을 이동시키고 볼 수 있게 한다.
위에서 설명된 바와 같이, 여기에 개시된 실시예는 또한 광학적 터치-감응 메커니즘 이외의 터치-감응 메커니즘으로 사용될 수 있다. 먼저, 도 7은 저항성 터치-감응 디스플레이(700)의 단순 개략도를 도시한 것이다. 저항성 터치-감응 디스플레이(700)는 하나 이상의 스페이서(spacer)(도시 생략)에 의해 분리된 배열로 유지된 2개의 층(702, 704)을 포함한다. 각 층은 다른 층을 향하는 전기적 전도성 코팅을 포함하고, 층들 중의 최소한 한 층은 저항 코팅을 포함한다. 전압 V1은 층(702)에 인가되고, 전압 V2는 층(704)에 인가된다. 터치시에, 층(702 및 704)은 함께 눌러짐으로써, 층(702와 704) 사이에 회로가 완성된다. (x,y) 터치 위치 및 터치 강도의 측정치는 접촉된 층들에 의해 생성된 신호의 특성을 분석함으로써 제어기(706)에 의해 판정될 수 있다.
다음에, 도 8은 용량성 터치-감응 디스플레이(800)의 단순 개략도를 도시한 것이다. 용량성 터치-감응 디스플레이(800)는 ITO(indium tin oxide)와 같은 투명 도체의 행 및 열을 포함하는 용량 층(802)을 포함한다. 화면이 터치될 때, 터치하는 물체가 전기적 전도성인 한 일부 전하가 그 물체에 전달된다. 저장된 전하의 감소는 화면의 각 코너에서의 전압 측정에 의해 검출되고, (x,y) 터치 위치 및 터치 압력의 강도는 제어기(804)에 의해 이들 전압 측정치로부터 판정될 수 있다.
이들 시스템의 각각은 데이터 점들의 밀도가 광학적 터치-감응 메커니즘에서 달성가능한 것보다 낮을 수 있을지라도, 터치 강도 데이터를 출력하도록 구성될 수 있으므로, 여기에 개시된 바와 같이 손가락 방향을 판정하기 위해 사용될 수 있다. 더 나아가, 여기에 설명된 구성 및/또는 방법은 사실상 예시적인 것이고, 이들 특정 실시예 또는 예는 다양한 변형이 가능하기 때문에 제한적인 의미로 생각되어서는 안 된다는 것을 이해할 것이다. 여기에 개시된 특정 루틴 또는 방법은 임의의 수의 처리 전략 중의 하나 이상을 나타낼 수 있다. 이와 같이, 도시된 다양한 동작은 도시된 순서로, 그 밖의 다른 순서로, 또는 병행하여 실행되거나, 몇몇 경우에 생략될 수 있다. 이와 마찬가지로, 상기 설명된 임의의 프로세스의 순서는 여기에 설명된 실시예의 특징 및/또는 결과를 달성하기 위해 반드시 요구되는 것이 아니라, 도시 및 설명을 용이하게 하기 위해 제공된 것이다.
본 발명의 주제는 여기에 개시된 다양한 프로세스, 시스템 및 구성, 및 그외 다른 특징, 기능, 동작 및/또는 특성의 모든 새롭고 자명하지 않은 조합과 부조합(subcombination)뿐만 아니라, 그것의 임의의 및 모든 등가물을 포함한다.

Claims (20)

  1. 컴퓨팅 장치로서,
    사용자에게 이미지를 표시하도록 구성된 디스플레이 스크린;
    터치 강도 데이터의 어레이를 획득하고, 상기 터치 강도 데이터의 어레이로부터 상기 디스플레이 스크린을 터치하는 하나 이상의 물체들을 검출하도록 구성된 강도-감응 터치-감지(intensity-sensitive touch-sensing) 입력 메커니즘부; 및
    프로세서 및 상기 프로세서에 의해 실행가능한 명령어들을 포함하는 메모리를 포함하는 제어기- 상기 명령어들은 상위 강도(higher intensity)의 제1 터치 데이터 영역의 중심과 하위 강도(lower intensity)의 제2 터치 데이터 영역의 중심 사이의 방향으로부터 상기 디스플레이 스크린을 터치하는 손가락의 방향을 판정하고, 상기 디스플레이 스크린상의 이미지로 하여금 상기 디스플레이 스크린을 터치하는 손가락의 판정된 방향에 대응하는 방향을 향하도록(orient) 함 -
    를 포함하는 컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 명령어들은 임계 강도 값을 초과하는 터치 데이터를 상기 제1 터치 데이터 영역으로 정의하도록 실행가능한 컴퓨팅 장치.
  3. 제2항에 있어서,
    상기 임계 강도 값은 상기 터치 강도 데이터의 어레이의 가중 평균 강도(weighted average intensity)를 포함하는 컴퓨팅 장치.
  4. 제3항에 있어서,
    상기 가중 평균 강도 내의 각 강도 값은 상기 강도 값의 변화도(gradient)를 포함하는 가중치 계수에 의해 가중되는 컴퓨팅 장치.
  5. 제1항에 있어서,
    상기 명령어들은 상기 제1 터치 데이터 영역 주위에 미리 선택된 모양을 갖도록 상기 제2 터치 데이터 영역을 결정하도록 실행가능한 컴퓨팅 장치.
  6. 제1항에 있어서,
    상기 명령어들은 제1 임계 강도 값을 초과하는 데이터를 상기 제1 터치 데이터 영역으로 결정하고, 상기 제1 임계 강도 값보다 낮은 제2 임계 강도 값을 초과하는 데이터를 상기 제2 터치 데이터 영역으로 결정하도록 실행가능한 컴퓨팅 장치.
  7. 컴퓨팅 장치로서,
    디스플레이 스크린;
    터치 강도 값의 어레이를 포함하는 터치 강도 데이터의 프레임을 획득하고, 상기 터치 강도 데이터의 프레임으로부터 상기 디스플레이 스크린을 터치하는 하나 이상의 손가락을 검출하도록 구성된 터치-감응 입력부; 및
    프로세서 및 상기 프로세서에 의해 실행가능한 명령어들을 포함하는 메모리를 포함하는 제어기- 상기 명령어들은 실질적으로 모든 픽셀이 임계 강도 값을 초과하는 강도들을 갖는 상기 터치 강도 데이터의 프레임 내의 제1 터치 데이터 영역을 검출하고, 상기 제1 터치 데이터 영역을 둘러싸는 상기 터치 강도 데이터의 프레임 내의 제2 터치 데이터 영역을 검출하며, 상기 제1 터치 데이터 영역의 중심을 계산하고, 상기 제2 터치 데이터 영역의 중심을 계산하며, 상기 제1 터치 데이터 영역의 중심과 상기 제2 터치 데이터 영역의 중심 사이의 방향을 판정함으로써, 상기 디스플레이 스크린상에서 검출된 손가락의 방향을 판정하고, 상기 디스플레이 스크린상의 이미지로 하여금 상기 디스플레이 스크린을 터치하는 손가락의 판정된 방향에 대응하는 방향을 향하도록(orient) 함 -
    를 포함하는 컴퓨팅 장치.
  8. 제7항에 있어서,
    상기 터치-감응 입력부는 광학적(optical) 터치 감지 메커니즘부를 포함하는
    컴퓨팅 장치.
  9. 제7항에 있어서,
    상기 터치-감응 입력부는 용량성(capacitive) 터치 감지 메커니즘부 및 저항성(resistive) 터치 감지 메커니즘부 중 하나 이상을 포함하는 컴퓨팅 장치.
  10. 제7항에 있어서,
    상기 명령어들은 각 픽셀에서의 강도를 가중치 계수로서 사용하여 상기 제1 및 제2 터치 데이터 영역들의 중심을 강도의 가중 중심들로서 계산하도록 실행가능한 컴퓨팅 장치.
  11. 제7항에 있어서,
    상기 명령어들은 상기 제1 터치 데이터 영역의 외부 경계보다 낮은 미리 선택된 양의 강도를 갖도록 상기 제2 터치 데이터 영역의 외부 경계를 정의하도록 실행가능한 컴퓨팅 장치.
  12. 제7항에 있어서,
    상기 명령어들은 미리 선택된 모양을 갖도록 상기 제2 터치 데이터 영역의 외부 경계를 정의하도록 실행가능한 컴퓨팅 장치.
  13. 제7항에 있어서,
    상기 명령어들은 상기 터치 데이터의 가중 평균 강도로부터 상기 임계 강도를 결정하도록 실행가능하고, 각 픽셀에서의 변화도는 그 픽셀에서의 강도에 대한 가중치 계수로서 사용되는 컴퓨팅 장치.
  14. 터치-감응 입력부를 포함하는 컴퓨팅 장치에서, 상기 터치-감응 입력부를 터치하는 손가락의 방향을 판정하는 방법으로서,
    상기 터치-감응 입력부로부터 터치 데이터의 2차원 어레이를 포함하는 이미지를 획득하는 단계;
    각각의 픽셀의 강도가 제1 임계 강도를 초과하는 상기 이미지 내의 제1 터치 데이터 영역을 결정하는 단계;
    상기 제1 터치 데이터 영역을 둘러싸고 각각의 픽셀의 강도가 제2 임계 강도를 초과하는 상기 이미지 내의 제2 터치 데이터 영역을 결정하는 단계;
    상기 제1 터치 데이터 영역의 강도의 가중 중심을 계산하는 단계;
    상기 제2 터치 데이터 영역의 강도의 가중 중심을 계산하는 단계;
    손가락의 방향을 결정하기 위해 상기 제2 터치 데이터 영역의 강도의 가중 중심과 상기 제1 터치 데이터 영역의 강도의 가중 중심 사이의 방향을 판정하는 단계; 및
    상기 방향에 기초하여 상기 터치-감응 입력부상에 표시된 이미지를 회전시키는 단계
    를 포함하는 손가락 방향 판정 방법.
  15. 제14항에 있어서,
    상기 각 픽셀에서의 강도는 상기 제1 및 제2 터치 데이터 영역들의 강도의 가중 중심들을 판정할 때 가중치 계수로서 사용되는
    손가락 방향 판정 방법.
  16. 제14항에 있어서,
    상기 제2 영역의 외부 경계는 상기 제1 영역의 외부 경계로부터 미리 선택된 거리만큼 연장되어 있는
    손가락 방향 판정 방법.
  17. 제14항에 있어서,
    상기 제2 영역은 상기 제1 영역의 외부 경계 주위에 미리 선택된 모양을 갖는 손가락 방향 판정 방법.
  18. 제14항에 있어서,
    상기 제1 임계 강도 및 상기 제2 임계 강도는 각 픽셀에서의 변화도에 의해 가중된 상기 터치 데이터의 가중 평균 강도로부터 결정되는 손가락 방향 판정 방법.
  19. 제18항에 있어서,
    상기 각 픽셀에서의 변화도는 소벨 필터(Sobel filter)를 통해 결정되는 손가락 방향 판정 방법.
  20. 삭제
KR1020107006270A 2007-09-28 2008-09-17 터치-감응 장치상의 손가락 방향의 검출 KR101531070B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/864,650 2007-09-28
US11/864,650 US8125458B2 (en) 2007-09-28 2007-09-28 Detecting finger orientation on a touch-sensitive device
PCT/US2008/076625 WO2009045721A2 (en) 2007-09-28 2008-09-17 Detecting finger orientation on a touch-sensitive device

Publications (2)

Publication Number Publication Date
KR20100072207A KR20100072207A (ko) 2010-06-30
KR101531070B1 true KR101531070B1 (ko) 2015-06-23

Family

ID=40507671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107006270A KR101531070B1 (ko) 2007-09-28 2008-09-17 터치-감응 장치상의 손가락 방향의 검출

Country Status (7)

Country Link
US (1) US8125458B2 (ko)
EP (1) EP2203982B1 (ko)
JP (1) JP5118749B2 (ko)
KR (1) KR101531070B1 (ko)
CN (1) CN101809880B (ko)
CA (1) CA2697809C (ko)
WO (1) WO2009045721A2 (ko)

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US8094137B2 (en) * 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090079701A1 (en) * 2007-09-25 2009-03-26 Grosskopf Jr George Device and Method for Displaying Data and Receiving User Input
US7996045B1 (en) 2007-11-09 2011-08-09 Google Inc. Providing interactive alert information
US20090174679A1 (en) * 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US20090174674A1 (en) * 2008-01-09 2009-07-09 Qualcomm Incorporated Apparatus and methods for a touch user interface using an image sensor
TWI397838B (zh) * 2008-06-11 2013-06-01 Univ Nat Taiwan Virtual touch screen device
JP4609543B2 (ja) * 2008-07-25 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US9552154B2 (en) * 2008-11-25 2017-01-24 Samsung Electronics Co., Ltd. Device and method for providing a user interface
US9477396B2 (en) 2008-11-25 2016-10-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
US20100141591A1 (en) * 2008-12-09 2010-06-10 Lin Chien-Huang Composite touch panel and method for operating the same
US8326358B2 (en) 2009-01-30 2012-12-04 Research In Motion Limited System and method for access control in a portable electronic device
JP2010250610A (ja) * 2009-04-16 2010-11-04 Sony Corp 情報処理装置、傾き検出方法及び傾き検出プログラム
JP2010277197A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110002487A1 (en) * 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
TWI384387B (zh) * 2009-07-15 2013-02-01 Kye Systems Corp The method and apparatus for adjusting the available sensing area of ​​the track input device
DE102010025734B4 (de) 2009-07-16 2019-03-14 Leuze Electronic Gmbh & Co. Kg Verfahren zur Generierung eines Eingabebefehls für einen optischen Sensor
US8730212B2 (en) * 2009-08-21 2014-05-20 Microsoft Corporation Illuminator for touch- and object-sensitive display
CN102597935A (zh) * 2009-09-01 2012-07-18 智能技术无限责任公司 具有提高的信噪比(snr)的交互输入系统和图像捕获方法
JP5424475B2 (ja) * 2009-10-13 2014-02-26 株式会社ジャパンディスプレイ 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
EP2488931A4 (en) * 2009-10-16 2013-05-29 Rpo Pty Ltd METHOD FOR DETECTING AND LOCATING TOUCH OBJECTS
US20110102333A1 (en) * 2009-10-30 2011-05-05 Wayne Carl Westerman Detection of Gesture Orientation on Repositionable Touch Surface
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
JP5615564B2 (ja) * 2010-02-16 2014-10-29 株式会社デンソー 表示装置
WO2011101518A1 (es) * 2010-02-16 2011-08-25 Universidad Politécnica De Valencia (Upv) Dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, y procedimiento de operación de dicho dispositivo
JP2011186880A (ja) * 2010-03-10 2011-09-22 Panasonic Corp 座標入力装置および座標入力方法
CN101930322B (zh) * 2010-03-26 2012-05-23 深圳市天时通科技有限公司 一种可同时识别触摸屏多个触点的识别方法
KR101710657B1 (ko) * 2010-08-05 2017-02-28 삼성디스플레이 주식회사 표시장치 및 이의 구동 방법
KR101117289B1 (ko) * 2010-08-23 2012-03-20 한국과학기술원 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기
JP5457987B2 (ja) * 2010-09-27 2014-04-02 株式会社ジャパンディスプレイ タッチ検出装置、タッチ検出機能付き表示装置、タッチ位置検出方法および電子機器
US20120105334A1 (en) * 2010-11-03 2012-05-03 Microsoft Corporation Computing device with flat touch surface
US9760241B1 (en) * 2010-11-05 2017-09-12 Amazon Technologies, Inc. Tactile interaction with content
US20120127120A1 (en) * 2010-11-22 2012-05-24 Himax Technologies Limited Touch device and touch position locating method thereof
US8619047B2 (en) * 2011-02-04 2013-12-31 Perceptive Pixel Inc. Techniques for disambiguating touch data
US8658917B2 (en) * 2011-02-04 2014-02-25 Perceptive Pixel Inc. Techniques for disambiguating touch data using user devices
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US8593421B2 (en) 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
US8553001B2 (en) * 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
JP5726606B2 (ja) * 2011-04-13 2015-06-03 株式会社ジャパンディスプレイ タッチ検出機能付き表示パネルおよびその駆動方法、駆動回路、ならびに電子機器
US8358321B1 (en) * 2011-04-29 2013-01-22 Google Inc. Change screen orientation
US8674956B2 (en) * 2011-06-13 2014-03-18 Chimei Innolux Corporation In-cell touch sensor touch area enhancing algorithm
EP2721607A1 (en) * 2011-06-15 2014-04-23 Bone Tone Communications (Israel) Ltd. System, device and method for detecting speech
TWI441062B (zh) 2011-06-21 2014-06-11 Pixart Imaging Inc 光學觸控系統及其影像處理方法
US20130019201A1 (en) * 2011-07-11 2013-01-17 Microsoft Corporation Menu Configuration
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130083074A1 (en) * 2011-10-03 2013-04-04 Nokia Corporation Methods, apparatuses and computer program products utilizing hovering, in part, to determine user interface orientation
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9274642B2 (en) 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US8933896B2 (en) * 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
KR101905038B1 (ko) * 2011-11-16 2018-10-08 삼성전자주식회사 다중 어플리케이션 환경 하에서 터치스크린을 가지는 장치 및 그 제어 방법
CN102760030A (zh) * 2011-11-28 2012-10-31 联想(北京)有限公司 一种显示方法、装置及电子终端
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
EP2618248B1 (en) 2012-01-19 2017-08-16 BlackBerry Limited Virtual keyboard providing an indication of received input
US8963867B2 (en) * 2012-01-27 2015-02-24 Panasonic Intellectual Property Management Co., Ltd. Display device and display method
US20130222255A1 (en) 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
DE112012000189B4 (de) 2012-02-24 2023-06-15 Blackberry Limited Berührungsbildschirm-Tastatur zum Vorsehen von Wortvorhersagen in Partitionen der Berührungsbildschirm-Tastatur in naher Assoziation mit Kandidaten-Buchstaben
US9437158B2 (en) 2012-03-19 2016-09-06 Beijing Lenovo Software Ltd. Electronic device for controlling multi-display and display control method thereof
CN102760034A (zh) * 2012-03-26 2012-10-31 联想(北京)有限公司 一种显示设备的多窗口交互方法及设备
EP2653955B1 (en) * 2012-04-16 2017-02-08 BlackBerry Limited Method and device having touchscreen keyboard with visual cues
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US10025487B2 (en) 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847661A2 (en) * 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
US10359889B2 (en) * 2012-05-29 2019-07-23 Sony Corporation Terminal device, information processing method, and storage medium
US8830203B2 (en) 2012-06-26 2014-09-09 Dell Products L.P. Multi-zone touchscreen orientation
US8830204B2 (en) 2012-06-26 2014-09-09 Dell Products L.P. Multi-zone touchscreen sensing at a portable information handling system
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
JP5862888B2 (ja) * 2012-07-09 2016-02-16 コニカミノルタ株式会社 操作表示装置およびプログラム
JP5929572B2 (ja) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 操作表示装置およびプログラム
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
EP2927902A4 (en) * 2012-11-27 2016-07-06 Sony Corp DISPLAY DEVICE, DISPLAY PROCESS AND COMPUTER PROGRAM
CN103869954A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种处理方法、装置及电子设备
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
US20140198059A1 (en) * 2013-01-16 2014-07-17 Research In Motion Limited Electronic device with touch-sensitive display and gesture-detection
US9323380B2 (en) 2013-01-16 2016-04-26 Blackberry Limited Electronic device with touch-sensitive display and three-dimensional gesture-detection
US9335922B2 (en) 2013-01-16 2016-05-10 Research In Motion Limited Electronic device including three-dimensional gesture detecting display
US20140359539A1 (en) * 2013-05-31 2014-12-04 Lenovo (Singapore) Pte, Ltd. Organizing display data on a multiuser display
US20140370980A1 (en) * 2013-06-17 2014-12-18 Bally Gaming, Inc. Electronic gaming displays, gaming tables including electronic gaming displays and related assemblies, systems and methods
US9128552B2 (en) * 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9223340B2 (en) 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
JP6305073B2 (ja) * 2014-01-20 2018-04-04 キヤノン株式会社 制御装置、制御方法及びプログラム
CN110413190B (zh) * 2014-02-12 2022-08-23 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US9983731B2 (en) 2014-02-21 2018-05-29 Qualcomm Incorporated System and method for reducing shadow effects in touch systems
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
KR102192419B1 (ko) 2014-09-11 2020-12-17 삼성전자주식회사 웨어러블 장치를 사용하여 전자 장치를 제어하는 방법 및 전자 장치의 동작 방법
US9946371B2 (en) * 2014-10-16 2018-04-17 Qualcomm Incorporated System and method for using touch orientation to distinguish between users of a touch panel
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN106155515A (zh) * 2015-04-27 2016-11-23 中兴通讯股份有限公司 屏幕显示方向的调整方法及装置
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
CN107203290B (zh) * 2016-03-17 2020-05-05 上海和辉光电有限公司 一种区分触摸压力的方法及其移动终端
US10809816B2 (en) * 2017-08-24 2020-10-20 Qualcomm Incorporated Customizable orientation lock for a mobile display device
EP3493044A1 (en) * 2017-11-29 2019-06-05 Vestel Elektronik Sanayi ve Ticaret A.S. Method of displaying an item on a touch screen, electronic device and computer program
JP7124336B2 (ja) * 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11435853B2 (en) 2019-01-03 2022-09-06 Motorola Mobility Llc Self-aligning user interface
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060091321A (ko) * 2003-11-26 2006-08-18 노키아 코포레이션 움직임의 진로를 통해 사용자 인터페이스의 방향을변경하는 방법 및 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4302011A (en) 1976-08-24 1981-11-24 Peptek, Incorporated Video game apparatus and method
US5168531A (en) 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717683A3 (en) * 1998-01-26 2010-03-17 Apple Inc. Method and apparatus for integrating manual input
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6292173B1 (en) * 1998-09-11 2001-09-18 Stmicroelectronics S.R.L. Touchpad computer input system and method
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
AU2001255172A1 (en) 2000-03-10 2001-09-24 Ethentica, Inc. Biometric sensor
JP2002062983A (ja) 2000-08-21 2002-02-28 Hitachi Ltd ポインティングデバイス
US6638305B2 (en) * 2001-05-15 2003-10-28 Advanced Medical Optics, Inc. Monofocal intraocular lens convertible to multifocal intraocular lens
AU2002318165A1 (en) 2001-05-25 2002-12-09 Biometric Informatics Technology, Inc. Fingerprint recognition system
FR2829264A1 (fr) 2001-09-04 2003-03-07 St Microelectronics Sa Procede de comparaison d'empreintes digitales
US7013030B2 (en) 2002-02-14 2006-03-14 Wong Jacob Y Personal choice biometric signature
US7071244B2 (en) * 2002-12-03 2006-07-04 Staar Surgical Company High refractive index and optically clear copoly (carbosilane and siloxane) elastomers
US7662180B2 (en) * 2002-12-05 2010-02-16 Abbott Medical Optics Inc. Accommodating intraocular lens and method of manufacture thereof
US7072496B2 (en) 2002-12-20 2006-07-04 Motorola, Inc. Slap print segmentation system and method
US20040263484A1 (en) * 2003-06-25 2004-12-30 Tapio Mantysalo Multifunctional UI input device for moblie terminals
US7066955B2 (en) * 2003-09-30 2006-06-27 Advanced Medical Optics, Inc. High refractive index compositions useful for intraocular lenses and methods for making same
US7599530B2 (en) 2003-10-01 2009-10-06 Authentec, Inc. Methods for matching ridge orientation characteristic maps and associated finger biometric sensor
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
KR100958490B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 사용자 인터페이스 방법, 미디어 항목들을 통해 스크롤하는방법, 디스플레이 및 터치 스크린을 갖는 사용자-조작되는전자 장치 상에서 수행되는 방법, 디스플레이 및 터치감지 입력 장치를 갖는 컴퓨팅 장치 상에서 수행되는 방법,컴퓨팅 시스템, 컴퓨팅 장치, 터치 감지 장치를 통해플로팅 컨트롤을 기동시키는 컴퓨터 구현 방법 및 컴퓨터구현 방법
US20060044282A1 (en) 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
US7605804B2 (en) 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
KR20070006477A (ko) 2005-07-08 2007-01-11 삼성전자주식회사 가변적 메뉴 배열 방법 및 이를 이용한 디스플레이 장치
JP4694352B2 (ja) * 2005-11-10 2011-06-08 三菱電機株式会社 指紋照合装置
US7612786B2 (en) 2006-02-10 2009-11-03 Microsoft Corporation Variable orientation input mode
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US8130203B2 (en) * 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060091321A (ko) * 2003-11-26 2006-08-18 노키아 코포레이션 움직임의 진로를 통해 사용자 인터페이스의 방향을변경하는 방법 및 장치

Also Published As

Publication number Publication date
WO2009045721A2 (en) 2009-04-09
JP2010541073A (ja) 2010-12-24
EP2203982A2 (en) 2010-07-07
US20090085881A1 (en) 2009-04-02
CA2697809A1 (en) 2009-04-09
EP2203982A4 (en) 2013-02-27
KR20100072207A (ko) 2010-06-30
JP5118749B2 (ja) 2013-01-16
CN101809880A (zh) 2010-08-18
CN101809880B (zh) 2013-06-19
US8125458B2 (en) 2012-02-28
EP2203982B1 (en) 2014-06-25
WO2009045721A3 (en) 2009-05-22
CA2697809C (en) 2014-02-04

Similar Documents

Publication Publication Date Title
KR101531070B1 (ko) 터치-감응 장치상의 손가락 방향의 검출
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
TWI464640B (zh) 手勢感測裝置及具有手勢輸入功能的電子系統
Agarwal et al. High precision multi-touch sensing on surfaces using overhead cameras
US20200073509A1 (en) Direction determination system and direction determination method
US20110199335A1 (en) Determining a Position of an Object Using a Single Camera
US20130342493A1 (en) Touch Detection on a Compound Curve Surface
US9811197B2 (en) Display apparatus and controlling method thereof
US20130038577A1 (en) Optical touch device and coordinate detection method thereof
US9213440B2 (en) System and method for remote touch detection
US9235293B2 (en) Optical touch device and touch sensing method
US20130141393A1 (en) Frameless optical touch device and image processing method for frameless optical touch device
Izadi et al. ThinSight: integrated optical multi-touch sensing through thin form-factor displays
TWI581127B (zh) 輸入裝置以及電子裝置
US20110285669A1 (en) Electronic Devices Including Interactive Displays Implemented Using Cameras and Related Methods and Computer Program Products
US10884518B2 (en) Gesture detection device for detecting hovering and click
US20110095989A1 (en) Interactive input system and bezel therefor
US20150153945A1 (en) Optical touch device and method for detecting touch point
US10296143B2 (en) Touch sensing device and sensing method of touch point
US9996181B2 (en) Information processing apparatus, information processing method, and program
KR20100116267A (ko) 터치 패널 및 그를 가지는 터치 표시 장치
Wang et al. Bare finger 3D air‐touch system with embedded multiwavelength optical sensor arrays for mobile 3D displays
KR101138653B1 (ko) 터치위치 판독 개시 시점 판단 방법
TW201506741A (zh) 觸控顯示面板
TWI536228B (zh) 感應式移動偵測裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 5