KR20120094929A - 터치 오브젝트를 감지하고 추적하는 방법 - Google Patents

터치 오브젝트를 감지하고 추적하는 방법 Download PDF

Info

Publication number
KR20120094929A
KR20120094929A KR1020127012682A KR20127012682A KR20120094929A KR 20120094929 A KR20120094929 A KR 20120094929A KR 1020127012682 A KR1020127012682 A KR 1020127012682A KR 20127012682 A KR20127012682 A KR 20127012682A KR 20120094929 A KR20120094929 A KR 20120094929A
Authority
KR
South Korea
Prior art keywords
touch
touch points
location
active surface
intensity change
Prior art date
Application number
KR1020127012682A
Other languages
English (en)
Inventor
앤드류 클라이넛
리차드 프라데나스
마이클 벤틀
닥스 구구지
Original Assignee
알피오 피티와이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2009905037A external-priority patent/AU2009905037A0/en
Application filed by 알피오 피티와이 리미티드 filed Critical 알피오 피티와이 리미티드
Publication of KR20120094929A publication Critical patent/KR20120094929A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Abstract

활성 표면 상의 일련의 가능한 터치 포인트들을 갖는 터치 감응 유저 인터페이스 환경 내에서, 상기 활성 표면 주변의 복수 개의 위치에서 활성 값을 센싱함으로써 상기 터치 포인트들의 모니터링이 수행되고, 상기 표면 상에서 적어도 하나의 포인트가 활성화된 위치를 판단하는 방법에 있어서, 상기 방법은 (a) 상기 활성 값 내의 적어도 하나의 강도 변화를 판단하는 단계; 및 (b) 상기 적어도 하나의 강도 변화의 사이드의 기울기 측정을 이용하여, 상기 활성 표면 상의 적어도 하나의 터치 포인트의 위치를 결정하는 단계를 포함한다.

Description

터치 오브젝트를 감지하고 추적하는 방법{METHODS FOR DETECTING AND TRACKING TOUCH OBJECT}
본 발명은 터치 스크린과 상호작용하는 오브젝트를 감지하고 추적하는 방법에 연관된다. 본 발명은 적외선 스타일(infrared-style) 터치 스크린의 멀티 터치 기능성(multi-touch capability)을 강화하기 위해 주로 개발되었으며, 본 명세서에 대한 참조와 함께 이하 설명된다. 하지만, 발명의 사용이 특정 분야에 국한되지 않는 것으로 이해되어야 한다.
본 명세서는 호주 임시특허출원 제2009905037호 (2009년 10월 16일 출원) 및 미국 임시특허출원 제61/286,525호(2009년 12월 15일 출원)에 대한 우선권 주장 출원이다. 상기 두 임시 특허출원의의 내용은 참조로 명세서에 통합된다.
명세서에 전반에 걸쳐 선행 기술로 논의되는 어떤 것도 널리 알려져 있는 것임을 인정하는 것으로 이해되어서는 안 되며, 또한 이 기술 분야에서 일반적인 상식의 일부를 형성하는 것으로 이해되어서는 안 된다.
터치 센싱(touch sensing)을 기반으로 하는 입력 디바이스(이하에서 터치 센싱은 입력 영역이 디스플레이 스크린과 일치하는지의 여부에 관계 없음)는 컴퓨터, PDA(personal digital assistants), 핸드헬드 게임(handheld games) 및 POS 키오스크(point of sale kiosks)와 같은 전자 기기에 오래 사용되어왔으며, 지금은 모바일폰과 같은 다른 휴대용 소비 전자 디바이스(consumer electronics devices)에 나타나고 있다.
일반적으로, 터치 사용 가능한 디바이스(touch-enabled devices)는 이를 테면, 디스플레이 상의 아이콘(icons) 또는 가상 키보드(virtual keyboard)의 키(keys)와 같은 하나 또는 그 이상의 그래픽 요소들을 터치함으로써, 또는 디스플레이 또는 패드 상에 쓰거나 그리는 것에 의하여 유저가 디바이스와 상호작용할 수 있도록 허용한다.
저항성(resistive), 표면 용량성(surface capacitive), 프로젝트된 용량성(projected capacitive), 표면 탄성파(surface acoustic wave), 광학 및 적외선(optical and infrared) 등을 포함하는 여러 터치 센싱 기술들은, 가격(cost), 신뢰성(reliability), 밝은 빛에서 시인성(ease of viewing), 터치 오브젝트의 다른 유형 - 이를테면, 손가락, 장갑을 낀 손가락 또는 스타일러스(stylus) - 을 감지할 수 있는 능력 및 단일이나 멀티 터치를 감지할 수 있는 능력 등의 분야에서 장점과 단점을 갖는다.
다양한 터치 센싱 기술들은 이를 테면, 두 개 또는 그 이상의 통시 터치 상황에 직면했을 경우 그들의 성능과 같은 그들의 멀티 터치 기능에서 크게 다르다. 저항성(resistive)과 표면 용량성(surface capacitive)과 같은 일부 초기 터치 센싱 기술은 멀티 터치 이벤트를 감지하는 데에 전혀 부적절한데, 이를테면 두 개의 실제 포인트들 사이 중간부에 대한 '비실재 터치'('phantom touch' halfway between the two actual points)로 리포팅(reporting)하였다.
일부 다른 터치 센싱 기술들은 좋은 멀티 터치 기능을 갖지만, 다른 측면에서 불리하다. 한 예로 미국 특허 출원 공개 제2006/0097991 A1호에서 논의된 일반적으로 프로젝트된 용량성 터치 스크린 같은 것은 오직 특정한 터치 오브젝트만 감지할 수 있으며(이를 테면, 장갑 낀 손가락 및 비전도성 스타일러스는 적합하지 않음), 디스플레이 시인성을(viewability) 줄이는 - 특히 밝은 햇빛아래서는 - 것으로 잘 알려져 있는 고굴절률 투명 전도성 필름(high refractive index transparent conductive films)을 사용하데, 이러한 것은 모든 노드의 정보를 얻기 위해 적응된 프로젝트된 용량성 터치 스크린('모든-포인트-어드레서블(all-points-addressable)') 디바이스다.
또 다른 예 비디오 카메라 기반 시스템에 있어서, 미국 특허 출원 공개 제2006/0284874 A1호 및 제2008/0029691 A1호는 핸드헬드 디바이스에 대해 매우 부피가 크고(bulky) 적합하지 않다(unsuitable). 좋은 멀티 터치 능력을 갖는 또 다른 터치 기술은 센서들의 어레이가 디스플레이(LCD(Liquid Crystal Display) 또는 OLEDs(Organic Light Emitting Diodes) 디스플레이와 같은)의 픽셀과 함께 통합되어 있는 '인-셀(in-cell)' 터치이다.
이러한 센서들은 일반적으로 사진 검출기(photo-detectors)(미국 특허 제7,166,966호 및 미국 특허 출원 공개 제2006/0033016 A1호에서 공개된 예를 들어)이다.
그러나 마이크로 스위치(micro-switches)와 관련된 변형(variations)(미국 2006/0001651 A1)및 가변 캐패시터(variable capacitors)(미국 2008/0055267 A1) 또한 알려져 있다. 인-셀 방식은 새로 장착될 수 없고 일반적으로 통합된 센서에 있는 디스플레이의 제조 및 제어의 복잡도를 추가한다. 게다가, 이러한 주변(ambient) 광 섀도윙(light shadowing)에 의존은(rely on) 낮은 빛 조건(low light conditions)에서 작동할 수 없다.
그 안에서 그들이 중간 그라운드를 차지하는 터치 오브젝트의 검출(detect)하고 위치를 찾아내기(locate) 위하여 에너지 경로(energy paths)의 섀도윙(이를 테면, 부분 도는 완전 차단)에 의존하는 터치 스크린은 멀티 터치 이벤트(multiple touch events)의 존재를 감지할 수 있지만, 일반적으로 '더블 터치 애매성(double touch ambiguity)'으로 설명한 상황과 같은 종종(often) 분명하게(unambiguously) 그들의 위치를 판단할 수 없다.
설명을 위해, 미국 특허 제3,478,220호 및 제3,764,813호에서 예를 들어 설명된 도1은 직사각형(rectangular) 입력 영역(6)의 두 개의 인접한(adjacent) 측면을(sides) 따라 별개의 광 원(4)(이를 테면, LEDs)의 어레이를 포함하고 입력 영역의 다른 두 개의 측면을 따라 사진 검출기(10)의 어레이의 반대 방향으로 광의 평행 빔의 두 세트가 방출하는 터치 스크린(2)의 전형적인 '적외선(infrared)' 스타일을 도시하였다.
센싱 광은 보통 스펙트럼의 적외선 영역이지만, 그렇지 않으면(alternatively) 가시광선(visible) 또는 자외선(ultraviolet)이 될 수 있다. 두 개의 터치 오브젝트 A 및 B의 동시 존재는 각 축에서 두 개의 빔 또는 빔들이 그룹의 부분 또는 완전한 차단에 의해 감지될 수 있다.
하지만, 추가 정보(extra information) 없이, 그들의 실제 위치(12, 12')가 명목상 직사각형(16)의 다른 두 대각선 반대편 모서리에 위치한 두 개의 '비실재(phantom)' 포인트(14, 14')로부터 구분할 수 없는 것으로 인식할 수 있다. 표면 탄성파(surface acoustic wave(SAW)) 터치 입력 디바이스는 광 빔보다 센싱 에너지 경로가 청각 파동의 형태로 있는 것을 제외하고 유사한 원리를 이용하여 구동하고, 미국 특허 제 No 6,723,929에서 논의된 것처럼, 동일한 이중 터치 애매성의 문제가 있다.
모든 포인트 어드레서블(all-points-addressable) 구동을 위해 보다 빠른 스캔 속도를 야기하고 오직 행과 열에서 정보를 얻는 프로젝트된(projected) 용량성 터치 스크린(capacitive touch screens)은 또한 이러한 카테고리에서 빠진다(fall)(미국 특허 출원 공개 제 US 2008/0150906 A1호 참조).
더블 터치 이벤트(double touch event)에서 정확한 포인트(correct points)가 비실재 포인트(phantom points)로부터 구분될 수 있음에도 불구하고, 만약 디바이스 컨트롤러(device controller)가 움직이는 터치 오브젝트를 추적할 수 있다면 추가 합병증(complications)이 발생할 수 있다.
예를 들어 만약 '적외선(infrared)' 터치 스크린(2)에 두 개의 움직이는 터치 오브젝트 A 및 B(도 2a)는 '이클립스(eclipse)' 상태(도 2b에 도시함)로 이동하며, 실제 위치들(12, 12') 사이의 애매성 및 비실재 포인트(14, 14')는 오브젝트가 이클립스 상태의 밖으로 이동하는 경우로 되돌아간다(recurs).
도 2c 및 도 2d는 이하에서 각각 크로싱 이벤트(crossing event) 및 리트리팅 이벤트(retreating event)로 참조되는 이클립스 상태의 밖으로 두 개의 가능한 움직임(motions)이 추가 정보 없이 디바이스 컨트롤러로 구분할 수 있다(indistinguishable). 더블 터치 애매성(double touch ambiguity)의 이러한 되풀이(recurrence)는 '이클립스 문제(eclipse problem)'로서 이하에서 참조된다.
종래의 적외선 터치 스크린(2)은 다수의 광원(4) 및 사진 검출기(photo-detectors)(10)를 필요로 한다. 도 3은 미국 특허 제5,914,709호에서 설명된, 크게 감소된 광전자 부품 개수(count)의 변형 적외선 스타일(variant infrared-style) 디바이스(18)를 도시하였다.
광 원의 어레이는 광 빔(light beams)(8)의 격자를 생성하기 위하여 1xN 스플리터(24)를 통해 단일 광원(4)로부터 광을 분산하는 L 모양의 기판(22)위에 통합된 '송신(transmit)' 광학 도파관(optical waveguides)(20)의 어레이에 의해 배치된다.
그리고 사진 검출기(photo-detectors)의 어레이는 멀티 요소 검출기(multi-element detector)(28)로(이를 테면, 라인 카메라(line camera) 또는 디지털 카메라 칩) 광 빔(light beams)을 수집하고(collect) 이를 실시하는(conduct) 또 다른 L 모양의 기판(22) 위에 통합된 '수신(receive)'광학 도파관(26)의 어레이에 의해 배치된다.
각 광학 도파관은 인-플레인 렌즈(in-plane lens)(30)에서 끝난다(terminates). 각 광학 도파관은 입력 영역(6)의 면(plane)에서 신호 빛을 콜리메이트(collimates)하는 인-플레인 렌즈(30)로 종료하고, 상기 디바이스는 또한 플레인의 밖의 방향에서(in the out-of-plane direction) 신호 광을 콜리메이트 하기 위해 원통형으로 구불어진 수직 콜리메이팅 렌즈(cylindrically curved vertical collimating lenses (VCLs))(32)를 포함한다.
단순함을 위해 도 3은 오직 입력 영역의 측면 당 네 개의 도파관을 나타낸다; 실제 디바이스에서 상기 인-플레인 렌즈들은 충분히(sufficiently) 밀접하게(closely) 스페이스되고(spaced), 가장 작은 유사한 터치 오브젝트(smallest likely touch object)는 각 축에서(in each axis) 적어도 하나의 빔의 상당한(substantial) 부분(portion)을 차단한다.
또 다른 변형 적외선 스타일 디바이스(34)는 도 4에서 도시되었고, '전달되는 기판(A transmissive body)'라는 제목으로 미국 특허 출원 공개 제 No 2008/0278460 A1호에서 공개되었으며 여기에 참조로 통합된다. '송신' 도파관(20) 및 도 3의 인-플레인 렌즈(30)와 관련된 디바이스(18)는 도광판(light guide plate)(38) 및 포물선 리플렉터(parabolic reflectors)(42)가 포함되어 있는(include) 두 개의 콜리메이션(collimation)/리디렉션(redirection) 요소들(40)을 포함하여 전달되는 기판(transmissive body)(36)에 의해 배치된다(replaced).
광 소스의 쌍(pair of optical sources)(4)의 자외선 광(44)은 도광판으로 시작된다(launched). 그리고 수신 도파관(waveguides)(26)을 향해 도광판(light guide plate) 앞으로 전파하는(propagate) 광의 두 개의 시트(sheets)를(46) 생성하기 위하여 콜리메이션/리디렉션 요소들에 의하여 콜리메이트되고(collimated) 다시 다이렉트(re-directed)된다.
그래서, 터치 이벤트(touch event)는 터치 오브젝트에 의해 차단되어(blocked) 광 시트(46)의 이러한 부분에서(those portions) 감지가 가능하다. 명확히(clearly) 도광판(38)은 광 소스(4)에 의해 방출되는 적외선 광(infrared light)(44)에 투명하게(transparent) 되는 것이 필요하고, 만약 근본적인(underlying) 디스플레이가 있다면(미도시), 가시 광선(visible light)에 투명하게(transparent) 되는 것도 또한 필요하다. 또는 디스플레이는 도광판(light guide plate) 및 광 시트 사이에 위치될 수 있고, 이 경우 도광판은 가시광선(visible light)에 투명할(transparent) 필요가 없다.
도 3의 디바이스와 같이, 입력 디바이스(34)는 플랜의 바깥 방향(in the out-of-plane direction), 출구 측면들(47)의 하나에 가까이(in close proximity to either the exit facets), 또는 수신 측면 인-플레인 렌즈들(the receive-side in-plane lenses)(30), 또는 둘 다(or both)에서 광 시트(46)를 콜리메이트하기 위해(to collimate) 또한 VCLs를 포함할 수 있다.
또는, 콜리메이션/리디렉션 요소들의 상기 출구 측면들(exit facets)은 수직(vertical) 콜리메이션(collimation)을 제공하기 위해 원통형의 곡률(cylindrical curvature)를 갖는다. 아직 다른 실시예들에서 수직 콜리메이션(vertical collimation) 요소들이 없을 수 있다.
도1, 도3, 및 도4에서 도시한 적외선 터치 입력 디바이스의 일반적인 특징은 개별 빔(도1 및 도3)이나(either as discrete beams) 또는 더 많거나 더 적은 광의 균일 시트(도4)(or as more or less uniform sheets of light)로 센싱 광이 광의 평행선을 포함하는 두 개의 필드에 제공되는 것이다.
두 개의 광 필드의 축은 입력 영역의 측면에서 보통 서로 수직이고, 이것이 필수는 아니다(예들 들어 미국 특허 제5,414,413호에 참조). 각각의 경우에서 터치 이벤트는 광 경로(light paths)의 섀도윙(shadowing)에 의해 감지되기 때문에, 모두는 도1 및 도2a 내지 도2d에서 각각 도시된 '더블 터치 애매성(double touch ambiguity)' 및 '이클립스 문제(eclipse problem)' 민감한(susceptible) 것으로 인식된다.
SAW 및 특정 프로젝트된(projected) 용량성 터치 스크린(capacitive touch screens)은 더블 터치 애매성 및 이클립스 문제와 비슷하게 민감하다(susceptible).
소위 '광학(optical)' 터치 스크린은 두 개의 팬 모양의(fan-shaped) 필드에서 제공되는 센싱 광이라는 점에서 '적외선(infrared)' 터치 스크린과 약간(somewhat) 다르다(different). 도 16에서 플랜도(plan view)에서 도시된 것과 같이, '광학' 터치 스크린(86)은 직사각형 입력 영역(6)의 인접한 모서리(corners) 및 입력 영역의 세 개의 엣지(edge)를 따라 역반사(retro-reflective) 레이어(90)에서 일반적으로 광학 유닛(88)의 쌍으로 구성된다.
각 광학 유닛은 광(92)의 팬(fan)을 방출하는(emitting) 광원(light source) 및 각 검출기 픽셀이 역반사 레이어(retro-reflective layer)의 특정 부분으로부터 역 반사된(retro-reflected) 광을 수신하는 곳에서 멀티 요소 검출기(multi-element detector)(이를 테면, 라인 카메라(line camera))를 포함한다. 입력 영역에서 터치 오브젝트(94)는 각 검출기에서 하나 또는 그 이상의 픽셀에 도달하는 광을 막고, 이것의 위치는 삼각 측량(triangulation)에 의해 판단된다(determined).
도 17에서는, 광학 터치 스크린(optical touch screen)(86) 또한 사각형(rectangle)이 아닌 사변형(quadrilateral)의 모서리(corners)에 있는(lie) 실제 터치 포인트(12, 12') 및 비실재(phantom) 포인트(14, 14')를 제외하고, 더블 터치 애매성(ambiguity) 문제에 민감한(susceptible) 것을 나타낸다.
그리고 터치 스크린(touch screens) 및 특별히 적외선 스타일 터치 스크린(infrared-style touch screens)의 멀티 터치 기능(multi-touch capability)을 향상시킬 필요가 있다.
다양한 '하드웨어(hardware)' 수정(modifications)은 예를 들어, 미국 특허 제6,723,929호 및 미국 특허 출원 공개 제2008/0150906 A1호 및 제2009/0237366 A1호에서 참조되어, 터치 스크린의 멀티 터치 기능의 향상을 위한 첨단기술로 알려져 있다.
이러한 개선(improvements)은 세 번째 또는 심지어(even) 네 번째 축을 따라(along), 명료하게(unambiguously) 판단되기 위한 두 개 또는 세 개의 터치 오브젝트의 위치가 허용되는(allows) 추가적인 정보를 제공함으로써 센싱 빔(sensing beams) 또는 노드(nodes)의 공급(provision)을 일반적으로 포함한다(involve). 하지만 하드웨어 수정은 일반적으로 코스트 및 복잡한 디바이스 어셈블리가 증가하는 추가적인 구성요소를 요구한다.
이것은 선행 기술의 단점의 적어도 하나를 극복하거나 개선하기 위해 또는 유용한 대안을 제공하기 위하여 본 발명의 목적(object)이다. 이것은 적외선 스타일 터치 스크린의 멀티 터치 기능을 개선하기 위한 선호되는 형태로 본 발명의 목적(object)이다.
본 발명의 제1 측면에 따라, 활성 표면의 주변의(around the periphery) 복수의 위치에서(plurality of positions) 활성 값(activation values)을 감지함으로써(sensing) 달성되는(achieved) 터치 포인트(touch points)의 모니터링(monitoring)과 함께, 활성 표면에서 일련의 가능한 터치 포인트를 갖는 터치 감응 유저 인터페이스 환경(touch sensitive user interface environment)에서, 표면에서 활성화된 적어도 하나의 터치 포인트의 위치를 판단하는 방법이 제공된다.
상기 방법은 (a) 상기 활성 값에서 적어도 하나의 강도 변화(intensity variation)를 판단하는 단계; 및 (b) 상기 활성 표면에서 적어도 하나의 터치 포인트의 위치를 판단하기 위한 적어도 하나의 강도 변화(one intensity variation)의 측면(sides)의 기울기 측정(gradient measure)을 활용하는(utilizing) 단계를 포함한다.
터치 포인트의 개수는 적어도 두 개이며, 상기 터치 포인트의 위치는 상기 활성 표면의 주변(periphery)을 따라(along) 복수의 강도 변화를 리딩(reading)하고 유사한(likely) 터치 포인트를 판단하기 위해 복수의 포인트들을 연관시킴으로써(correlating) 판단될 수 있다.
오히려(Preferably), 적어도 하나의 강도 변화의 인접한 반대의 기울기 측정들(adjacent opposed gradient measures)은 복수의 터치 포인트의 차이를 분명히 보여주기 위해(to disambiguate) 활용된다(utilised).
상기 방법은 지속적으로 상기 활성 값에서 터치 포인트 강도 변화의 시간 변화를 모니터링하는 단계; 및 복수의 터치 포인트의 차이를 분명히 보여주는 것에서(in disambiguating) 상기 강도 변화의 타이밍(timing)을 활용하는 단계를 오히려(preferably) 더(further) 포함할(include) 수 있다.
일부 실시예들에서, 제1 확인된 강도 변화는 제1 터치 포인트의 위치를 판단하는데 활용될 수 있고, 제2 확인된 강도 변화는 제2 터치 포인트(point)의 위치를 판단하는데 활용될 수 있다. 다른 실시예들에서, 상기 활성 표면은 그 위에 프로젝트된 일련의 아이콘들을 오히려(preferably) 포함할 수 있고, 명확화(disambiguation)는 상기 아이콘 위치에 해당하는 터치 포인트 위치를 지지한다(favours). 상기 강도 변화의 크기(dimensions)는 오히려(preferably) 적어도 하나의 터치 포인트(touch point)의 위치를 판단하는데 활용된다.
게다가, 오브젝트의 기록된 섀도우 회절 특성(shadow diffraction characteristics)은 가능한 터치 포인트들의 차이를 분명히 하기 위해(disambiguating) 오히려(preferably) 활용된다.
일부 실시예들에서, 상기 섀도우 회절 특성의 샤프니스(sharpness)는 활성 영역(activation area)의 주변으로부터 상기 오브젝트의 거리와 오히려(preferably) 관련된다.
일부 실시예들에서, 가능한 터치 포인트의 명확화(disambiguation)는 상기 강도 면화의 상기 시간 변화 프로필의 모니터링(monitoring) 및 각 터치 포인트의 향후(future) 위치의 프로젝팅(projecting)에 의하여 달성될 수 있다.
본 발명의 자세한 측면에 따라, 활성 표면의 주변의 복수의 위치에서 활성 값을 감지함으로써 달성되는 터치 포인트의 모니터링과 함께, 터치 감응 유저 인터페이스 환경에서 활성 표면에서의 일련의 가능한 터치 포인트를 갖는 하나 또는 그 이상의 터치 포인트의 위치를 판단하는 방법이 제공되고, 상기 방법은 (a) 매 시간마다 상기 터치 포인트 주변의(around) 활성 값의 엣지 프로필(edge profiles)을 추적하는(tracking) 단계를 포함한다.
복수의 터치 포인트들 사이에서 애매성이 발생할 경우, 상기 엣지 프로필의 특성은 터치 포인트들의 예상 위치(expected location)를 판단하기 위해(to determine) 오히려(preferably) 활용된다.
상기 특성은 각 엣지 프로필의 하나 또는 그 이상의 기울기(gradients)를 포함할 수 있다. 상기 특성은 또한 각 엣지 프로필에서 인접한 엣지 사이의 폭(width)을 포함할 수 있다.
도 1은 더블 터치 애매성(double touch ambiguity)의 발생을 나타내는 전형적인 적외선 타입 터치 스크린(infrared-type touch screen)의 플랜도(plan view)를 도시한다.
도 2a 내지 도 2d는 터치 포인트의 이동(moving touch points)이 더블 터치 애매성의 재발을(to recur) 야기하는(cause) '이클립스 문제(eclipse problem)'를 도시한다.
도 3은 적외선 터치 스크린(infrared touch screen)의 다른(another) 형태의 플랜도를 도시한다.
도 4는 적외선 터치 스크린의 또 다른(yet another) 형태의 플랜도를 도시한다.
도 5는 도 4에서 도시한 형태의 터치 스크린을 위하여, 터치 오브젝트(touch object)가 검출(detected)될 수 있고 하나의 축(one axis)에서 이것의 폭(width)이 판단(determined)될 수 있는 하나의 방법을 나타낸다.
도 6a 내지 도 6c는 부분적으로(partially) 이클립스된(eclipsed) 상태(state)에서 더블 터치 이벤트에 응답할 수 있는 디바이스 컨트롤러의 방법(how a device controller can respond to a double touch event)을 도시한다.
도 7a 및 도 7b는 완전히(totally) 이클립스된 상태에서 더블 터치 이벤트에 응답할 수 있는 디바이스 컨트롤러 방법을 도시한다.
도 8은 더블 터치 애매성을 해결할(resolve) 수 있는 오브젝트의 크기(object sizes) 사이의 차이(differential) 방법(how)을 도시한다.
도 9는 압력(pressure)으로 바꿀 수 있는 손가락 터치(finger touch)의 커넥트 모양(contact shape) 방법(how)을 도시한다.
도 10a 내지 도 10c는 시간에 따라 다른 감지된 터치 크기(where the detected touch sizes)에서 더블 터치 이벤트를 도시한다.
도 11a 및 도 11b는 도 4에 도시된 타입의 터치 스크린에 대한, 터치 오브젝트(touch object)에 의한 섀도우 캐스트(shadow cast)의 샤프니스(sharpness)의 수신 측면(receive side)으로부터 거리의 효과를 나타낸다.
도 12a 내지 도 12d는 이동의 효과를 분리하고(separating the effects of movement) 터치 오브젝트에 의한 섀도우 캐스트의 샤프니스의 거리에 대한 절차(procedure)를 도시한다.
도 13은 도 4에서 도시한 타임의 터치 스크린의 크로스-단면도를 도시한다.
도 14a 및 도 14b는 하나의 터치 오브젝트의 제거로 해결되는 더블 터치 애매성(double touch ambiguity)을 도시한다.
도 15a 내지 도15c는 이클립스 상태를 통한(through an eclipse state) 두 개의 터치 오브젝트의 이동(moving)의 결합 섀도우(combined shadow)을 위한 크기 대 시간(size versus time)의 관계를 도시한다.
도 16은 '광학' 터치 스크린의 플랜도를 도시한다.
도 17은 더블 터치 애매성의 발생을 나타내는 '광학' 터치 스크린의 플랜도를 도시한다.
도 18은 적외선 터치 스크린에서 더블 터치 이벤트 플랜도를 도시한다.
도 19는 본 발명과 함께 적합한(suitable) 사용을 위한 디스플레이(display) 및 적합한 디바이스 컨트롤러(device controller)의 설계 구현(design implementation)의 한 형태를 간략하게(schematically) 도시한다.
이 절에서는, 추가적인 하드웨어 구성요소의 요구사항 없이, 적외선 스타일 터치 스크린의 멀티 터치 기능의 향상을 위한 다양한 '소프트웨어' 또는 '펌웨어' 방법을 설명한다.
편의를 위해, 더블 터치 애매성(double touch ambiguity) 및 이클립스 문제(eclipse problem)는 멀티 터치 기능의 별도의 측면으로 논의된다. 오직 예의 방법에 의해, 본 발명의 방법은 도 4에 도시된 적외선 터치 스크린의 타입에 대한 참조로 설명된다.
여기서 센싱 광은 수신 도파관(receive waveguides)으로 향하는(directed) 광(light)의 두 개의 직교 시트(orthogonal sheets)의 형태이다. 하지만 상기 많은 방법은 첨단 기술에서 숙련된 자에 의해 발생될 수 있는 가능한 사소한 수정(minor modifications)으로 일반적인 적외선 터치 스크린뿐만 아니라 광학적으로(to optical), SWA 및 프로젝트된 용량성 터치 스크린(projected capacitive touch screens)으로 적용이 가능하다(applicable).
상기 방법은 더블 터치 이벤트의 해결책(resolution)에 관하여 설명된다. 하지만 이것은 상기 방법이 세 개 또는 그 이상의 연결 포인트(contact points)를 포함하는 터치 이벤트의 해결책으로 또한 적용이 가능하다는(applicable) 것으로 이해되어야 한다.
첫째로, 터치 스크린이 터치 이벤트를 감지하는 도 4에 대한 간단한 방법을 설명한다. 도 5는 수신된 광학 강도 대 터치 스크린의 멀티 요소 검출기(multi-element detector)의 부분에 걸친(across a portion) 픽셀 위치(pixel position)의 형태인 센싱된(sensed) 활성 값의 플롯을 도시한다.
여기서 상기 픽셀 위치(pixel position)는 상기 활성 표면의 주변의 수신 도파관(receive waveguides)의 레이아웃에 따른(according to) 상기 활성 표면(이를 테면, 입력 영역)의 하나의 축에 걸쳐있는 위치와 연관된다. 감소된 광학 강도(48)의 영역의 형태에서(in the form of a region of decreased optical intensity), 상기 활성 값에서 강도 변화가 '검출 임계치(detection threshold)'(50) 아래로 떨어지면, 이것은 터치 이벤트로 해석된다.
원인이 되는(responsible) 터치 오브젝트의 엣지(52)는 상기 검출 임계치와 함께 일치하거나(coincide) 또는 일하지 않을 수 있는 '위치 임계치(location threshold)'(54)와 관련되어 판단되고, 상기 엣지들 사이의 거리(55)는 하나의 축에서 터치 오브젝트의 폭(width), 크기(size) 또는 크기(dimension)의 측정을 제공한다. 다른 중요한 파라미터는 감소된 강도(48)의 영역에서 상기 강도 변화의 기울기이다.
기울기 파라미터를 정의하는 방법에는 여러 가지가 있으며, 예제의 방법에 의하여, '반 최대(half maximum)' 레벨(65)의 주변의 강도 곡선(intensity curve)의 기울기(오직 진도(magnitude only))의 평균으로 정의된다. 다른 실시예에서는 기울기 파라미터는 다르게 정의될 수 있고, 예를 들어 감소된 강도의 영역 내에서 몇 포인트에서 상기 기울기의 평균을 포함할 수 있다.
우리는 도 4 터치 스크린은 엣지 위치(edge locations) 및 기울기 파라미터(slope parameters)의 정확한 판단을 가능하게 하는 자연스럽게 다양한 강도 곡선을 제공하는 엣지 검출 알고리즘(edge detection algorithms)에 잘 적합하다는(well suited) 것을 발견했다.
하드웨어 디스플레이
디스플레이 시스템은 요구 사항에 따라 많은 다른 하드웨어 맥락으로 구동될 수 있다. 하드웨어 맥락 중 하나의 형태는 도 19에 간략하게 도시된다. 디스플레이 또는 터치 활성 영역(6)의 주변은 집중기(concentrator)(28)을 통해 디바이스 컨트롤러(device controller)로(190) 상호 연결된(interconnected) 검출 어레이(191)에 의해 둘러싸여(surrounded) 있다.
상기 디바이스 컨트롤러는 높은 프레임 속도에서(at a high frame rate) 검출기의 출력을 연속적으로 모니터하고(monitors) 저장한다(stores). 상기 디바이스 컨트롤러는 이를 테면, 마이크로컨트롤러(microcontroller), 맞춤형(custom) ASIC 또는 FPGA 디바이스로 서로 다른 형태를 취할 수 있다. 상기 디바이스 컨트롤러는 컴퓨터 시스템의 출력을 위한 터치 검출 알고리즘(touch detection algorithms)을 구현한다.
감지된 신호 강도의 감소에서 터치 이벤트를 감지하는 입력 디바이스의 경우, 초기 터치 이벤트 검출을 위한 상기 디바이스 컨트롤러에서 인코딩 알고리즘은 다음을 수행할 수 있다.
1. '검출 임계치(detection threshold)' 아래의 픽셀 강도를 포함하는 터치 이벤트의 검출을 위한 강도 대 픽셀 위치(intensity versus pixel position)를 연속적으로(Continuously) 모니터하기(monitor);
2. 검출 임계치 아래의 강도가 결정 되는 곳에서, 전체 기울기 측정(overall gradient measure)으로 기울기(gradients)의 평균을 취하고(taking), 터치 이벤트를 통해 기울기 값(gradient value) 및 거리 측정(distance measure)을 출력할(outputting), 하나 또는 그 이상의 둘러 싸인 픽셀들(surrounding pixels)에서 기울기(slope gradients)를 연속적으로 계산하기(calculate);
3. 만약 터치 이벤트의 크기 및 위치가 두 개 또는 그 이상의 가려진(occluded) 터치 이벤트 사이의 일부 오버랩 존재(overlap exists)를 나타내는 터치 이벤트 위치를 검사하고(Examine) 결정하기(determine).
유사한 알고리즘은 감지된 신호 강도의 증가에서 터치 이벤트를 감지하는 프로젝트된 용량성 터치 스크린(projected capacitive touch screens)과 같은 입력 디바이스에 적용되는 것으로 인식된다.
엣지 위치 및/또는 기울기 파라미터의 판단(determination)은 적외선 터치 스크린의 멀티 터치 기능 향상을 위하여 여러 가지 방법을 가능하게 한다.
우리의 방법들에 일반적인 적용과 하나의 예제에 있어서, 엣지 검출기는 특히, 두 개의 터치 오브젝트가 부분적으로 이클립스 상태에 있는 경우 예를 들어, 가끔 유용할 수 있는 중복의 디그리(degree)를 제공하는 것과 같이 일반적으로 프로젝트된 용량성 터치로 이루어진 대로 단지 중앙 위치(centre position)를 추적하는(tracking) 것 보다는 각 터치 섀도우의 각 축에 대하여 매 시간 추적하기 위해(to track) 데이터의 두 가지(two pieces)를 제공한다(provides up).
도 6a는 입력 영역(6)에서 두 개의 터치가 X축에서 그러나 Y축은 아닌 곳에서 별도로 확인되는 더블 터치 이벤트의 시뮬레이션을 나타낸다. X 축 엣지에서 엣지들의 검출은 판단되기 위하여(to be determined) 두 개의 터치 이벤트의 폭 XA 및 XB로 가능하다(enables).
그리고 상기 디바이스 컨트롤러는 두 개의 터치 이벤트가 대칭이라고 간주하고, Y축에서 폭 YA 및 YB은 X축에서 각각의 폭에 동일하다. 도 6a에서 분명한(apparent) Y축 폭(58)이 두 XA 및 XB보다 크기 때문에, 상기 디바이스 컨트롤러는 '더블 터치의 애매성' 섹션에서 설명한 상기 방법의 하나 또는 그 이상에 의하여 해결되기 위하여 도 6b 및 도 6c에서 두 가지 가능한 상태 중 하나로(in one of the two possible states) 두 개의 터치 이벤트가 부분적으로 이클립스 상태인 것으로 판단한다(concludes).
반면에 도 7a와 같이, 만약 분명한 분명한(apparent) Y축 폭(58)이 XA와 동일하고 XB 보다 크다면, 상기 컨트롤러는 두 개의 터치 이벤트가 전체적으로 이클립스 상태라고 판단하고, 상기 터치 오브젝트가 도 7b에 도시된 것과 같이 Y축에서 정렬된 것으로 간주한다(assumes). 비슷한 상황(similar situation)은 분명한 Y축 폭이 두 XA 및 XB와 동일한 경우가 만연하다(prevails)(분명히 동일한 터치 오브젝트(apparently identical touch objects)).
더블 터치 애매성(Double touch ambiguity)
'간격 타이밍(differential timing)' 방법을 참조하여 더블 터치 애매성(double touch ambiguity)을 다루는 한 가지 방법은 두 개의 터치 이벤트의 타이밍 아래로 터치를 관찰하는 것이다.
도 1을 참조하면, 적어도 상기 시스템의 타이밍 해결책 내에서 적어도(at least within the timing resolution of the system)(프레임 속도에 의해 결정), 터치 오브젝트 A가 아래로 터치되고, 터치 오브젝트 B 전에 감지된다면, 상기 디바이스 컨트롤러는 비실재 위치(phantom locations)(14, 14') 중 하나에서보다 위치(12')에서 오브젝트 B에 있을 것을 따르는 것으로부터(from which it follows that object B will be at location) 위치(12)에서 오브젝트 A를 판단할 수 있다. 터치 이벤트 A 및 B의 시간에서 더 밀접하게 간격이 있는 높은 프레임 속도는 해결할 수 있다.
이러한 실시예에서, 상기 디바이스 컨트롤러는 더블 터치 애매성을 검출하기 위하여 추가로 프로그래밍 할 수 있다. 이것은 각 터치 이벤트의 구조의 변형을 추적하는 것을 기반한 시간을 포함함으로써 달성될 수 있다.
예상된 터치 위치는 또한 더블 터치 애매성을 다루는 것에 가치(value)가 있을 수 있다; 관련된 디스플레이에 특정 아이콘의 위치에 해당하기 때문에(say because) 이를 테면 상기 디바이스 컨트롤러는 애매한 더블 터치 이벤트에서 발생하는 네 개의 후보 포인트 중 하나의 쌍이 가능성이 높은(is more likely)것으로 판단할 수 있다.
그러므로 상기 디바이스 컨트롤러는 다운로드 할 수 있고, 관련된 유저 인터페이스 드라이버로부터 유저 인터페이스의 정보량(information content)과 위와 관련된 아이콘의 위치를 저장할 수 있다. 더블 터치 애매성이 존재하는 경우, 가중치를 현재 아이콘 위치를 향해 해결책으로 가중치를 적용할 수 있다.
도 5에 참조된 것과 함께 위에서 설명된 섀도우 엣지로부터 오브젝트 크기를 사용하는 다른 방법은 두 개의 터치 오브젝트가 상당히 다양한 크기인 경우에 가치가 있을 수 있다(can be of value).
도 8에 도시한 것과 같이, 이를 테면, 두 개의 다른 크기를 갖는 터치 오브젝트 A 및 B에 대하여 네 개의 가능한 터치 위치에 직면했을 경우, 두 개의 큰 크기의 X1 및 Y1이 하나의 터치 오브젝트(A)와 관련된 것과 두 개의 작은 크기의 X2 및 Y2가 다른 오브젝트(B)와 관련된 것으로 가능성이 (it is more likely)높다. 이를 테면, 상기 오브젝트는 위치 (14, 14') 보다는 위치 (12, 12')이다.
이러한 '크기 매칭(size matching)' 방법은 단 한 번 보다는(rather than just once) X 및 Y축에서 두 개 또는 그 이상의 원인(occasions)에서 터치 크기가 측정되고(measured) 비교되어(compared) 확장될 수 있다.
이를 테면, 만약 터치 크기가 증가하기 전에 증가하는 압력으로, 가벼운 압력으로(with light pressure) 손가락 터치가 시작되는 경우와 같은, 이러한 하나 또는 두 개의 축에서 터치 크기의 사실을 인식은 매 시간 달라질 수 있다. 도 9에서 도시된 것과 같이, 더 크고 둥근 모양(62)으로 감지될 수 있는 유저는 손가락으로 패드를 향하여 세게 및 롤링 압력 전에(before pressing harder and rolling) 약간의 타원형 모양(60)을 가지고 가벼운 손가락 터치로 접촉을 시작할 수 있다.
도 10a는 초기 시간 t = 0 (XA,0)에서 하나의 터치 이벤트의 X 크기(터치 A) 가 Y 크기(YA,0) 보다 훨씬 작은 곳, 그리고 터치 B(YB,0)의 크기가 근접한 곳인 입력 영역(6)에서 더블 터치 이벤트의 시뮬레이션을 나타낸다. 이러한 t =0 정보 하나와(information alone) 함께, 상기 디바이스 컨트롤러는 YB,0으로 XA,0을 연관시킬 수 있고, 터치 오브젝트가 '비실재' 위치(14, 14')에 있다고 잘못되게 판단할 수 있다.
도 10b 및 도 10c는 나중의 시간 t =1 (이를 테면, XA,1 ~ YA,1 ~ XB,1 ~ YB,1, 도 10b)에서 두 개의 터치 오브젝트들이 두 축에서 비교된 크기처럼, 그리고 여전히 나중 시간 t =2 (XA,2 ~ YA,2 > XB,2 ~ YB,2, 도 10c)에서 터치 오브젝트 A가 터치 오브젝트 B보다 상당히 큰 것처럼 터치 이벤트 동안의 매 시간의 감지된 터치 크기의 변화를 나타낸다.
단 한 번 대신에 터치 크기의 두 번 또는 그 이상의 시간을 측정함으로써, 밀리세컨(milliseconds) 또는 수만의 밀리세컨(tens of milliseconds)의 오더(order)에 대해서 오직 필요한 간격에서, 상기 디바이스 컨트롤러는 정확한 X, Y 조합(associations)을 생성하기 위한 가능성이 높으며, 정확하게 두 개의 터치 위치를 판단한다.
당업자는 이 절차가 수학적으로 공식화될 수 있는 많은 방법이 있다는 것을 인식한다. 오직 예의 방법에 의해서만, N+1 샘플링 이벤트를 설명하는 다음 두 수학식의 최대로서 정확한 조합(correct association)을 판단할 수 있다:
Figure pct00001
Figure pct00002
수학식 1은 하나의 가능한 조합 {XA, YA} 및 {XB, YB}에 대한 상관 관계(correlation)를 나타내고, 수학식 2는 다른 가능한 조합 {XA, YB} 및 {XA, YB}에 대한 상관 관계를 나타낸다.
크기 매칭(size matching)은 특별한 상기 터치 포인트들의 하나 또는 그 이상의 거리 측정(distance measures)에서 상기 디바이스 컨트롤러에 의하여 기록된 터치 포인트 구조(recorded touch point structure)의 시간 변화(time evolution)의 검사(examination)에 의해 구현될 수 있다.
오브젝트가 입력 영역(6)의 주어진 '송신' 또는 '수신' 측면에 가까웠는지를 분별할 수 있는 경우, 터치 오브젝트 A 및 B의 위치가 명료하게(unambiguously) 판단될 수 있는 것에 대한 것은 도 1로부터 인식된다(appreciated). 이를 테면, 상기 디바이스 컨트롤러는 긴 축 수신 측면(long axis receive side)(64)으로부터 하지만 짧은 축 수신 측면(66)으로부터 가까운 오브젝트 B 보다 오브젝트 A가 더 있었다는 것을 알 수 있고, 오브젝트 A 및 B가 각각 위치(12 및 12')에 있었다는 것으로 판단한다.
반면 만약 두 개의 수신 측면으로부터 오브젝트 A가 오브젝트 B보다가 더 있었을 경우, 상기 디바이스 컨트롤러는 각각의 위치(14' 및 14)에서 오브젝트 A 및 B를 계산한다. 물론, 어려움은 상대적 거리를 판단하는 것이고, 우리는 이제 이러한 것들에 대한 두 가지의 방법을 설명한다.
일부 환경에서 터치 이벤트의 엣지(edges)의 샤프니스(sharpness)의 관찰(observation)에 의한 제1 '상대적 거리 판단(relative distance determination)' 방법은 상대적 수신 측으로부터(from the relevant receive side) 터치 이벤트 거리와 다를 수 있다.
예제의 방식으로, 우리는 도 4에서 도시한 적외선 터치 스크린의 특정 케이스에 대한 섀도우 회절 효과를 설명한다. 여기서 우리는 오브젝트가 관련된 수신 도파관(26)으로부터의 오브젝트에서 더욱 터치 이벤트의 엣지가 더 흐릿해지는(that the edges of a touch event become more blurred the further the object is from the relevant receive waveguides) 것이 관찰한다.
도 11a는 같은 수식 측면 중 하나와 관련된 검출기의 부분에 의해 감지된 것으로써 두 개의 터치 오브젝트 A 및 B에 의한 섀도우 케스트(shadows cast)를 간략하게 도시한다. 반면 도 11b는 수신된 강도의 해당 플롯을 나타낸다. 오브젝트 A는 저쪽 방향에서(on that side) 수신 도파관(receive waveguides)에 가깝고 선명한 섀도우를 드리운다(casts). 반면 오브젝트 B는 상기 수신 도파관으로부터 더 가깝고 흐릿한 섀도우를 드리운다(casts).
수학적으로, 섀도우의 샤프니스 또는 섀도우의 회절 특성은 도 5의 참조로 위에서 설명한 것과 같이 기울기 파라미터와 유사한 형태로 표현된다. 두 개 또는 그 이상의 터치 오브젝트로부터의 상대적인 거리는 짧은 축 수신 측면이(the short axis receive side) 그들의 섀도우 회절 특성 사이의 차이(들)에서 결정할 수 있고, 이것은 실제 특성과 오직 규모에서 약간 다를 수 있기 때문에 중요하다; 우리가 필요한 것은 차이이다(all we require is a differential). 이론을 준수하고자 함이 없이, 우리는 이러한 효과는 도 4의 참조와 함께 인-플레인 수신 도파관 렌즈(in-plane receive waveguide lenses)(30) 및/또는 포물선 리플렉터(parabolic reflectors)(42)의 불완전 콜리메이션 때문이다. 아마도 사실로 인하여 광원은 포인트 소스들을 이상화 할 수 없다. 그리고 이것은 불완전 콜리메이션의 특정 디그리(degree)를 갖도록 의도적으로 설계하는 광학 시스템에 의해 이러한 효과를 향상시킬 수도 있다.
이러한 효과의 해석의 또 다른 방법은 초점이 되는 것과 같이(as being in focus) 오브젝트가 시스템에 의해 측정되는 디그리(degree)이다. 도 11a에서, 터치 오브젝트 A는 상대적으로 초점 안에(in-focus) 있다. 반면 터치 오브젝트 B는 상대적으로 초점 밖이며, 이러한 알고리즘은 초점 및 이러한 이유의(hence) 상대적 위치(relative position)로 디그리를 판단하기 위해 사용될 수 있다.
이러한 많은 포커싱 알고리즘은 디지털 정지 및 비디오 카메라에서 이용될 수 있고 일반적으로 사용되는 것은 통상의 기술자들에 의해 인지된다.
오히려, 엣지를 흐리게 하는 것을 기반으로 하는(based on edge blurring) 상대적 거리(relative distance) 알고리즘은 두 개의 수신 측면으로부터(from both receive sides) 상기 터치 오브젝트의 상대적 거리를 판단하기 위해 두 번(twice) 적용된다(applied). 특정 실시예에서의 결과는 관련된 축에서 두 개의 포인트들 사이의 거리에 의해 가중치를 받고(are weighted), 이것은 다른 축에서 광 필드로부터 판단될 수 있다.
설명을 위해 적외선 터치 스크린의 입력 영역(6)에서 도 18은 두 개의 터치 오브젝트 A, B를 도시한다. 두 개의 오브젝트가 실제 위치(12, 12') 또는 비실재 위치(14, 14')에 있는 여부와 관계없이, 각 축에서 그들 사이의 거리(96, 98)는 판단될 수 있다. 이러한 특정 케이스에서, 거리(96)은 거리(98)보다 더 크고, 매우 큰 가중치는 긴 축 수신 측면(long axis receive side)(64)로부터 관찰된(observed) 엣지를 흐리게 하는(edge blurring) 것에 적용될 수 있다.
상대적 거리 판단 측정(relative distance determination measure)은 상기 디바이스 컨트롤러에서 수행될 수 있다. 다시 터치 포인트 구조의 시간 변화는 엣지들의 기울기 구조를 판단하기 위해(to determine) 검사를(examined) 할 수 있다. 현재 터치 포인트의 넓게 경사진 측면과 함께, 센서 또는 활성 영역의 주변으로부터의 거리는 큰 것으로 판단될 수 있다(또는 활용된 기술에 의해 낮은(or lesser depending on the technology utilised)). 상대적으로, 좁은 경사진 측면(narrower sloping sides)은 반대의 효과(opposite effect)를 나타낸다.
다른 터치 스크린에 대한 차등을 두는 엣지를 흐리게 하는 구성 및 기술들은 수신 측면으로부터 더욱 오브젝트가 선명한 엣지를 보이도록(exhibit) 반전된다. 그럼에도 불구하고 주요 고려사항이 되는 엣지 샤프니스에서 격차와 함께(with a differential in edge sharpness being the key consideration) 동일한 원리가 적용된다.
이를 테면, 도 16 및 17에 도시한 '광학' 터치 스크린은 또한 라인 카메라 또는 유사한 것으로(onto a line camera or similar) 섀도우의 이미징을 통해 터치 이벤트를 감지하기 때문이다. 우리는 두 개의 라인 카메라 쪽으로(onto the two line cameras) 오브젝트에 의한 섀도우 케스트의 샤프니스가 오브젝트로부터 라인 카메라까지의(from the object to the line cameras) 상대적 거리에 따라 달라지는 것을 기대한다.
도 17에서 도시된 더블 터치 상황으로부터 이것은 실제 터치 위치(12, 12')가 구별되는 것을 위한 방법이 비실재 포인트(14, 14')로부터 제공되는 것으로 이해된다(appreciated).
우리의 '엣지를 흐리게 하는(edge blurring)'방법은 고정 터치 물레에 대한 것 보다 이동하는 터치 오브젝트에 대하여 더 복잡할 수 있다는 것을 우리는 주목한다. 왜냐하면 엣지를 흐리게 하는 것은 만약 터치 오브젝트가 각 프레임에서 카메라 셔터 속도에 대하여 급속하게 움직이는 경우에도 발생할 수 있기 때문이다.
비록 우리는 멀티 터치 입력 움직임에 대하여 유저는 그들을 이동하기 전에 짧은 기간 동안 자식의 터치는 정지해야 한다는 것을 기다려야 한다는 것을 우리는 예상할 지라도, 아마 충분히 방법을 적용할 수 있으며(probably long enough for the method to be applied), 이러한 효과의 일부 고려(some consideration)가 요구된다.
하나의 가능성은 흐리게 하는 것이 포함된 원하는 거리로부터(from the desired distance-induced blurring) 흐리게 하는 것을 포함하는 운동(movement-induced blurring)을 분리하기 위해(to separate) 시도하는 오브젝트의 운동 속도의 사용이 간단하다(simply). 다른 가능성은 다음과 같이 멀티 요소 검출기로 사용되는 카메라의 셔터 동작을 맞추는 것이다.
도 12a는 각 프레임에 대한 표준 카메라 셔터 개방 기간(68)을 나타내고, 도 12b는 도 5 및 도 11b에 도시된 플롯과 유사한, 이러한 셔터 개방 기간 동안 획득된(acquired) 수신 강도 플롯(70)의 부분을 나타낸다. 도 12b의 섀도우 영역의 기울기를 갖는 엣지(72)는 수신 측으로부터(from the receive side) 또는 터치 오브젝트의 이동에 의해(by movement of the touch object) 발생된 거리를 나타낸다.
도 12c는 도 12a에서의 개방 시기(68)와 동일한 총 개방 시기(total open period)(74)와 함께 한 프레임에 적용되는 대안의 카메라 셔터 동작(alternative camera shutter behaviour)을 나타낸다. 만약 오브젝트가 움직이지 않는 경우, 수신된 강도 플롯의 섀도우 영역은 도 12b와 같이 여전히 대칭될 것이다.
반면 만약 오브젝트가 이동한다면, 수신된 강도 플롯(76)은 터치 운동의 방향을 나타내는 화살표(78)로 도 12d와 같이 비대칭이 될 것이다. 수신된 강도 플롯의 섀도우 영역은 엣지 추적(edge tracking)에 의해 판단되는 주어진 운동 속도에 대하여 생기는 것으로 알게 됨으로써(By knowing), 움직임(movement) 및 거리 효과(distance effects)를 디콘볼루트하는(deconvolute) 것은 원칙적으로 가능하다.
도 12c에 도시한 셔터 시퀀스(shutter sequence)는 기본(basic)이며, 아이디어를 설명하는 역할을 한다. 의사 랜덤 시퀀스(pseudo random sequence)와 같은 보다 복잡한 시퀀스는 잡음 조건에서 뛰어난 성능을 제공할 수 있고, 좀 더 정확히 말하면 운동 및 거리 효과를 디컨볼루트한다(or to deconvolute the movement and distance effects more accurately).
엣지를 흐리게 하는 것의 시간 변화(time evolution)는 상기 디바이스 컨트롤러에 의해 연속적으로 현재 특징(properties) 또는 엣지의 상태를 검사하는(examining) 것으로 수행될 수 있다. 셔터 동작(The shutter behavior)은 미리 판단된 간격(predetermined intervals) 및 검사 값 변화(examining value evolution)에서 일련의 프레임 버퍼로(into a series of frame buffers) 감지된 값을 리딩하여(by reading) 수행될 수 있다.
제2 '상대적 거리 판단' 방법은 이를 테면, 그것은 터기 표면에 접근한(approaches) 것으로 터치 오브젝트에 의하여 섀도우 케스트(shadow cast)의 시간 변화를 관찰하는데(observing) 있어서, 'Z-축 정보'에 따라 달라진다(depends on). 도 13은 도광판(38), 터치 표면(80)의 역할을 하는 상판 표면, 수신 측면 인-플레인 렌즈(30), 및 이것의 출구 패싯(exit facet)(47)에서의 센싱 광(46)의 시트를 방출하는(emits) 콜리메이션/리디렉션 요소(40)을 포함하는 라인 A 내지 A를 따라서 도 4 적외선 터치 스크린의 크로스 단면을 도시한다.
인-플레인 렌즈는 각도의 광 선이 콜렉트될(collected) 수 있는 내에서(within) 수신 도파관을 통해 검출기가 움직일 수 있는(to be guided to the detector) 범위를 정의하는 수용 각도(acceptance angle)(82)를 갖는다. 인-플레인 렌즈(in-plane lens)는 필수적으로(essentially) 슬래브 도파관(slab waveguide)이고, 다른 것들 중에(among other things), 이것의 수용 각도(acceptance angle)는 이것의 높이(84)에 따라 달라진다.
도 13은 또한 가까이에 있고(in close proximity to) 터치 표면으로부터 등거리에 있는 두 개의 터치 오브젝트 C 및 D를 나타낸다. 오브젝트 C는 수신 측면으로부터 더욱(further from the receive side) 수용 각도(acceptance angle)를 교차하고(intersected) 있는 것을 볼 수 있고, 따라서 검출 가능한 섀도우를 드리우며(cast), 반면 오브젝트 D는 그렇지 않다.
터치 이벤트 검출의 시간 변화는 상기 디바이스 컨트롤러에 의해 픽셀 강도 변화(pixel intensity variations)의 현재 특성(current properties)을 연속적으로 검사하여(examining) 수행될 수 있다. 셔터 동작은 미리 결정된 간격(predetermined intervals) 및 검사 값 변화(examining value evolution)에서 일력의 프레임 버퍼로(into a series of frame buffers) 감지된 값을 리딩함으로(by reading) 구현될(implemented) 수 있다.
도 1을 참조하고, 긴 축 수신 측면(long axis receive side)(64)를 고려하면, 동일한 스피드로 두 개의 오브젝트들이 동시에 접근하고 있다는 가정하에, A 및 B의 위치를 판단하기 위해 디바이스 컨트롤러에 대한 정보의 다른 조각을 제공함으로써 더 멀리 떨어져 있는 터치 오브젝트 A는 터치 오브젝트 B가 가까워 지기 전에 검출되기 시작한다.
특히 수용 각도 및 상기 입력 영역의 크기를 포함하여 주어진 광학 및 기계적 설계를 위하여, 그들이(they) 터치 표면에 도착함으로써 오브젝트의 여러 '스냅샷(snapshots)'이 완벽하게 존재하기 때문에, 이 방법의 유용성은 터치 오브젝트의 접근 속도와 디바이스의 프레임 속도에 따라 달라진다는 것으로 확인할 수 있다. 우리는 100Hz에서 프레임 속도를 위해 추정했고, 가능한 차이(usable differential)는 40 mm/s 또는 이하의 접근 속도로 관찰된다. 전력 소비(power consumption)의 비용(expense)에서 빠른 프레임 속도는 이 방법의 성능을 향상시키기는 하나, 이것은 특히 빠른 접근 속도가 아니다.
만약 디바이스 컨트롤러가 이 방법에서 얻은 정보를 기반으로 애매성(ambiguity)을 해결하지 못하면, 여기에 설명된 다른 방법으로부터 얻은 정보와 함께 모든 가능성에서 결합된다.
프레임 속도는 일시적으로 향상될 수 있고 유저는 멀티 터치 입력(multi-touch input)을 반복하기(repeat) 위해 자극한다(prompted). 이를 테면, 'Z 축' 또는 '간격 타이밍(differential timing)' 방법을 사용할 경우, 유저가 그것을 이전에(prior to) 재적용하는(re-applying) 그의 터치(touches)를 리프트 오프함(lifts off)으로써 터치 위치에서 유용한 정보는 또한 획득될(acquired) 수 있다,
이클립스 문제(Eclipse problem)
도 2a 내지 도2d의 참조와 함께 위의 언급된 것과 같이, 두 개 또는 그 이상의 이동 터치 오브젝트들이 이클립스 상태(eclipse state)로 접어들면(enter) 애매성 문제(ambiguity problems)는 더 발생할 수 있다. 이클립스 문제를 다루는 방법은 위에서 언급된 방법의 하나 또는 그 이상을 사용하는 터치 오브젝트의 초기 위치가 이미 올바르게 결정되었다는 일반 가정하에, 이제 설명된다.
이클립스 문제를 다루기 위한 한가지 방법은 도 11a 및 도 11b에 대한 참조와 함께 지속적으로 오브젝트가 추적되거나(tracked) 또는 이클립스 상태로부터 오브젝트가 드러난(emerge) 후에(after) '섀도우 샤프니스(shadow sharpness)' 방법을 적용하는 것이다.
어느 쪽이든, 도 12a 및 도 12d의 참조와 함께 위에서 설명된, 흐리게 되는 것을 포함하는 운동(movement-induced blurring)의 가능한 합병증(complication)에 관한 것을 포함하고, 도 2c에 도시된 '크로싱 이벤트(crossing event)'가 도 2d에 도시된 '리트리팅 이벤트(retreating event)'로부터 구분될 수 있다.
두 개의 터치 오브젝트가 다른 크기인 상황에서, 이클립스 문제는 위에서 언급한 '사이즈 매칭(size-matching)' 방법을 다시 적용하여 해결할(addressed) 수 있다. 그것은 섀도우가 이클립스로 가기 전에 두 개의 이동 터치들의 크기가 현저하게 다르다고 알려져 있다면, 그들이 이클립스(eclipse)의 밖으로 나가는 경우에, 이러한 크기 정보는 섀도우와 다시 연결하는데 사용될 수 있다.
이클립스 문제를 다루기 위한 다른 방법은 위치에 의한(whereby) 예측 알고리즘(predictive algorithm)을 적용하는 것이다. 터치 오브젝트(또는 그들의 엣지(or their edges))의 속도 및/또는 가속은 그들이 이클립스 상태로부터 등장할 때 터치 오브젝트가 있어야 할 자리까지를 생성함으로써 추적(tracked) 및 예측된다(predictions).
이를 테면, 만약 대략 일정한 속도에서(도 2a) 두 개의 터치 오브젝트 이동이 이클립스 상태(도 2b)로 곧 진입하고 동일한 속도와 함께 등장하면, 이것은 '크로싱 이벤트(crossing event)'(도 2c)가 발생할 가능성이 매우 높다. 반면에 만약 두 개의 터치 오브젝트가 이클립스 상태로 진입하는 동안에 감속하고 있다면 등장 전의 시간 중 일부 기간 동안 이클립스(eclipsed)가 남아있으며, 이것은 '리트리팅 이벤트(retreating event)'(도 2d)가 발생할 가능성이 매우 높다.
유사한 고려사항은 하나의 오브젝트가 정지했을 경우에 적용된다. 실제는(In practice), 예측 알고리즘(predictive algorithm)은 오브젝트가 추격되고(tracked) 각 프레임 이후에 관련된 텀(relevant terms)이 업데이트 됨으로써 반복적으로(repeatedly) 적용된다.
속도(velocity) 및 가속도(acceleration)는 벡터(vectors)임에 특히 주의해야 하며, 그래서 운동의 방향(direction) 또한 관련된 예측 요인(predictive factor)이다.
예측 방법은 또한 두 개 또는 그 이상의 터치 위치의 잘못된(erroneous) 과제를 해결하는데 사용될 수 있다. 이를 테면, 만약 디바이스 컨트롤러가 터치 오브젝트 A 및 B를 비실재 위치(14, 14')에서(도 14a) 및 비실재 위치 중 하나에서 오브젝트에 대하여 터치 오브젝트 B가 너무 짧은 기간 동안 제거되어, 위치 12(도 14b)에서 갑자기 이동하는 사건과 같은 이동 또는 정지가 잘못(erroneously) 결론을 내려졌다면(concluded), 디바이스 컨트롤러는 오브젝트 A 및 B가 실제 위치(12, 12')에 있다고 알게 될 것이다.
?터치 오브젝트의 시간 변화는 상기 디바이스 컨트롤러에 의해 현재 터치 포인트 위치(current touch point position) 또는 엣지의 점진적인(evolutionary) 상태를 연속적으로 검사함으로써 수행된다. 구현 중 하나의 형태는 매 시간 터치 포인트 위치 변화를 검사하는(examining) 것을 포함하여(including) 일련의 프레임 버퍼로(into a series of frame buffers) 연속적으로 감지된 값을 리딩(reading)하는 것과 매 시간 값 변화를 검사하는(examining) 것을 포함할 수 있다. 이것은 매 시간 섀도우 샤프니스(shadow sharpness)를 포함시킬 수 있다.
이클립스 문제(eclipse problem)를 다루기 위하여, 우리는 지금 '현세의 U/V/W 섀도우 크기 분석' 이라고 일컬어지는 이전에 설명한 예측 알고리즘의 변형을 설명한다. 이 분석에서 이클립스 상태에서 발생한 결합된 섀도우(combined shadow)의 크기는 도 5를 참조하여 설명된 엣지(52)로부터 판단된 크기(55)와 함께 매 시간 모니터링 된다.
만약 결합된 섀도우가 점차 작아지는 경우, 일시적으로 최소에 도달하고, 그리고 꾸준히 더 커진다. 이를 테면, 크기 대 시간 관계는 도 15a에 도시된 'V' 모양이다. 그런 다음 터치 오브젝트가 넘는 것(crossed)으로 판단된다. 또는 만약 결합 섀도우의 크기가 감소하는 속도에서 점차 작아진다면, 그러면 최소는 증가하는 속도에서 더 큰 성장에 도달한다.
이를 테면, 크기 대 시간의 관계는 도 15b에 도시된 'U'모양이다. 그러면 터치들은 리트리트된(retreated) 후에 멈추도록 판단된다. 또는 결합된 섀도우의 크기가 감소/증가/감소/증가 사선(trajectory)에 따르면, 이를 테면, 크기 대 시간의 관계는 둥근 도 15c에 도시된 'W'모양이다. 그리고 다음 터치 오브젝트는 부분 이클립스 상태로 중지(stopping)와 리트리팅되기(retreating) 전에 총(total) 이클립스(eclipse) 뒤로(beyond) 이동된(moved) 것으로 판단된다.
상기 현세의 U/V/W 섀도우 크기 분석은 디바이스 컨트롤러에 의해 연속적으로 현재 특성 또는 엣지의 상태를 검사함으로써 수행된다. 매 시간의 변화는 판단하기 위해 동작(behaviours)의 존재(present)가 검토될 수 있다.
설명된 실시예들은 더블 터치 애매성의 해결책을 개선함으로써 및/또는 이클립스 상태를 통해 복수의 터치 오브젝트의 추적을 개선함으로써 특히 적외선 스타일 터치 스크린인 터치 스크린의 멀티 터치 기능 향상을 위한 방법으로 제공된다.
여기에 설명된 상기 방법은 개별적으로 또는 어떤 시퀀스(any sequence) 또는 조합(combination)에서 원하는 멀티 터치 성능을 제공하는 것으로 사용될 수 있다. 게다가 상기 방법은 알려진 다른 기술과 함께 사용될 수 있다.
발명은 특정 예제를 참고로 설명되었지만, 통상의 기술자에 의하여 본 발명이 많은 다른 형태로 구현될 수 있다는 것을 인지해야 한다.

Claims (15)

  1. 활성 표면 상의 일련의 가능한 터치 포인트들을 갖는 터치 감응 유저 인터페이스 환경 내에서, 상기 활성 표면 주변의 복수 개의 위치에서 활성 값을 센싱함으로써 상기 터치 포인트들의 모니터링이 수행되고, 상기 표면 상에서 적어도 하나의 포인트가 활성화된 위치를 판단하는 방법에 있어서,
    (a) 상기 활성 값 내의 적어도 하나의 강도 변화를 판단하는 단계; 및
    (b) 상기 적어도 하나의 강도 변화의 사이드의 기울기 측정을 이용하여, 상기 활성 표면 상의 적어도 하나의 터치 포인트의 위치를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    터치 포인트들의 수는 적어도 두 개이며, 상기 터치 포인트들의 위치는 상기 활성 표면의 주변(periphery)을 따라 복수의 강도 변화들을 리딩하고(reading), 가능성 있는 터치 포인트들(likely touch points)을 연관시킴으로써 판단되는, 방법.
  3. 제1항에 있어서,
    적어도 하나의 강도 변화의 인접한 반대 기울기 측정(adjacent opposed gradient measures)이 복수의 터치 포인트들을 디스앰비규애이트 (disambiguate)하는 데에 이용되는, 방법.
  4. 상기 청구항들에 있어서,
    상기 활성 값에서 상기 강도 변화의 시간 전개(time evolution)를 연속적으로(continuously) 모니터링하는(monitoring) 단계; 및
    상기 시간 전개를 복수의 터치 포인트들을 디스앰비규애이트하는 데에 이용하는 단계
    를 더 포함하는 방법.
  5. 제4항에 있어서,
    제1 확인된(identified) 강도 변화는 제1 터치 포인트의 위치를 결정하는데 이용되며(utilised), 제2 확인된 강도 변화는 제2 터치 포인트의 위치를 결정하는데 이용되는, 방법.
  6. 상기 청구항들에 있어서,
    상기 활성 표면은 그 위에 프로젝트된(projected) 일련의 아이콘들을 포함하며, 상기 디스앰비규애이션(disambiguation)은 상기 아이콘 포지션들(the icon positions)에 상응하는 터치 포인트 위치들을 지지하는(favours) 방법.
  7. 상기 청구항들에 있어서,
    상기 강도 변화의 차원(dimensions)이 상기 적어도 하나의 터치 포인트의 위치를 결정하는데 이용되는, 방법.
  8. 상기 청구항들에 있어서,
    오브젝트의 기록된 섀도우 회절 특성이(shadow diffraction characteristics) 가능한 터치 포인트들을 디스앰비규애이팅하는 데에 이용되는, 방법.
  9. 제8항에 있어서,
    상기 새도우 회절 특성의 샤프니스(sharpness)는 상기 활성 영역(the activation area)의 상기 주변으로부터의 상기 오브젝트까지 거리에 연관되는, 방법.
  10. 상기 청구항들에 있어서,
    가능한 터치 포인트들을 디스앰비규애이팅하는 것은 상기 강도 변화의 상기 시간 전개 프로필(time evolution profile)을 모니터링(monitoring)하고, 각 터치 포인트의 향후(future) 위치를 프로젝팅하여(projecting) 달성되는, 방법.
  11. 활성 표면 상에 가능한 일련의 터치 포인트들을 갖는 터치 감응 유저 인터페이스 환경에서 하나 또는 그 이상의 터치 포인트들의 위치를 판단하는(determining) 방법에 있어서, - 상기 활성 표면 주변의 복수 개의 위치에서 활성 값을 센싱함으로써 상기 터치 포인트들의 모니터링이 수행됨 -
    (a) 상기 터치 포인트 주위의 활성 값의 엣지 프로필(edge profiles)을 시간에 따라 추적하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    복수의 터치 포인트들 사이에 애매성(ambiguity)이 발생할 경우, 상기 엣지 필의 특성이 터치 포인트들의 예상 위치(expected location)를 결정하는데 이용되는, 방법.
  13. 제12항에 있어서,
    상기 특성은 각 엣지 프로필의 하나 또는 그 이상의 기울기(gradients)를 포함하는 방법.
  14. 제12항에 있어서,
    상기 특성은 각 엣지 프로필에서 인접한(adjacent) 엣지들 사이의 폭(width)을 포함하는 방법.
  15. 하기 도면들을 참조하여 실질적으로 이상에서 설명된 방법으로, 활성 표면 상에서 활성화된 적어도 하나의 터치 포인트 위치를 결정하는 방법.
KR1020127012682A 2009-10-16 2010-10-15 터치 오브젝트를 감지하고 추적하는 방법 KR20120094929A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
AU2009905037A AU2009905037A0 (en) 2009-10-16 Methods for Detecting and Tracking Touch Objects
AU2009905037 2009-10-16
US28652509P 2009-12-15 2009-12-15
US61/286,525 2009-12-15

Publications (1)

Publication Number Publication Date
KR20120094929A true KR20120094929A (ko) 2012-08-27

Family

ID=43875727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127012682A KR20120094929A (ko) 2009-10-16 2010-10-15 터치 오브젝트를 감지하고 추적하는 방법

Country Status (6)

Country Link
US (1) US20120218215A1 (ko)
EP (1) EP2488931A4 (ko)
KR (1) KR20120094929A (ko)
CN (1) CN102782616A (ko)
CA (1) CA2778774A1 (ko)
WO (1) WO2011044640A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209335A1 (en) * 2013-06-28 2014-12-31 Intel Corporation Parallel touch point detection using processor graphics

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531435B2 (en) * 2008-08-07 2013-09-10 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device by combining beam information
US9092092B2 (en) 2008-08-07 2015-07-28 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using touch event templates
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
JP5446426B2 (ja) * 2009-04-24 2014-03-19 パナソニック株式会社 位置検出装置
CN101930322B (zh) * 2010-03-26 2012-05-23 深圳市天时通科技有限公司 一种可同时识别触摸屏多个触点的识别方法
US9086956B2 (en) 2010-05-21 2015-07-21 Zetta Research and Development—RPO Series Methods for interacting with an on-screen document
KR101159179B1 (ko) * 2010-10-13 2012-06-22 액츠 주식회사 터치 스크린 시스템 및 그 제조 방법
TWI408589B (zh) * 2010-11-17 2013-09-11 Pixart Imaging Inc 具有省電機制的觸控系統與光學觸控系統
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
KR101260341B1 (ko) * 2011-07-01 2013-05-06 주식회사 알엔디플러스 멀티 터치 인식 장치
US9285895B1 (en) * 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9726803B2 (en) * 2012-05-24 2017-08-08 Qualcomm Incorporated Full range gesture system
CN103455208A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 一种显示器
FR2993067B1 (fr) * 2012-07-06 2014-07-18 Ece Dispositif et procede de detection infrarouge a commande tactile multitoucher predictible
CN103677376B (zh) * 2012-09-21 2017-12-26 联想(北京)有限公司 信息处理的方法及电子设备
US8577644B1 (en) 2013-03-11 2013-11-05 Cypress Semiconductor Corp. Hard press rejection
TWI496056B (zh) * 2013-03-15 2015-08-11 Wistron Corp 觸控裝置與其應用於其上的選取方法
US9542090B2 (en) * 2013-05-10 2017-01-10 Egalax_Empia Technology Inc. Electronic device, processing module, and method for detecting touch trace starting beyond touch area
TWI498790B (zh) * 2013-06-13 2015-09-01 Wistron Corp 多點觸控系統與多點觸控訊號處理方法
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
JP2015170102A (ja) * 2014-03-06 2015-09-28 トヨタ自動車株式会社 情報処理装置
US9298284B2 (en) 2014-03-11 2016-03-29 Qualcomm Incorporated System and method for optically-based active stylus input recognition
FR3028655B1 (fr) * 2014-11-17 2019-10-18 Claude Francis Juhen Dispositif de commande, procede de fonctionnement d'un tel dispositif et systeme audiovisuel
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
JP2016206840A (ja) * 2015-04-20 2016-12-08 株式会社リコー 座標検知装置及び電子情報ボード
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
USD799521S1 (en) 2015-06-05 2017-10-10 Ca, Inc. Display panel or portion thereof with graphical user interface
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
CN105912156B (zh) * 2016-03-31 2019-03-15 青岛海信电器股份有限公司 一种触控方法及终端
CN105975139B (zh) * 2016-05-11 2019-09-20 青岛海信电器股份有限公司 触摸点提取方法、装置和显示设备
WO2017210317A1 (en) 2016-05-31 2017-12-07 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
WO2018031717A2 (en) 2016-08-10 2018-02-15 Manufacturing Resources International, Inc. Dynamic dimming led backlight for lcd array
US10089741B2 (en) * 2016-08-30 2018-10-02 Pixart Imaging (Penang) Sdn. Bhd. Edge detection with shutter adaption
KR102628247B1 (ko) * 2016-09-20 2024-01-25 삼성디스플레이 주식회사 터치 센서 및 이를 포함하는 표시 장치
MX2019007495A (es) * 2016-12-22 2019-11-28 Walmart Apollo Llc Sistemas y metodos para monitorear la distribucion de articulos.
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2239088B (en) * 1989-11-24 1994-05-25 Ricoh Kk Optical movement measuring method and apparatus
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7242388B2 (en) * 2001-01-08 2007-07-10 Vkb Inc. Data input device
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US20070152977A1 (en) * 2005-12-30 2007-07-05 Apple Computer, Inc. Illuminated touchpad
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
JP4442877B2 (ja) * 2004-07-14 2010-03-31 キヤノン株式会社 座標入力装置およびその制御方法
US20060012582A1 (en) * 2004-07-15 2006-01-19 De Lega Xavier C Transparent film measurements
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
EP1900996B1 (en) * 2005-06-29 2013-08-14 Kuraray Co., Ltd. Lighting device with light control member and image display unit using the above
US20070139659A1 (en) * 2005-12-15 2007-06-21 Yi-Yuh Hwang Device and method for capturing speckles
JP2007310628A (ja) * 2006-05-18 2007-11-29 Hitachi Displays Ltd 画像表示装置
KR100782431B1 (ko) * 2006-09-29 2007-12-05 주식회사 넥시오 적외선 터치스크린의 다점 좌표인식방법 및 접점면적인식방법
US8587559B2 (en) * 2007-09-28 2013-11-19 Samsung Electronics Co., Ltd. Multipoint nanostructure-film touch screen
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US8629855B2 (en) * 2007-11-30 2014-01-14 Nokia Corporation Multimode apparatus and method for making same
CN101458610B (zh) * 2007-12-14 2011-11-16 介面光电股份有限公司 一种多点触控控制器的控制方法
US20090278795A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Illumination Assembly Therefor
CN102027439A (zh) * 2008-05-12 2011-04-20 夏普株式会社 显示装置和控制方法
CN100594475C (zh) * 2008-08-26 2010-03-17 友达光电股份有限公司 投影式电容触控装置、及识别不同接触位置的方法
JP5101702B2 (ja) * 2008-08-29 2012-12-19 シャープ株式会社 座標センサ、電子機器、表示装置、受光ユニット
KR100972932B1 (ko) * 2008-10-16 2010-07-28 인하대학교 산학협력단 터치 스크린 패널
EP2356551A4 (en) * 2008-11-12 2012-05-02 Flatfrog Lab Ab INTEGRATED TOUCH PANEL DISPLAY APPARATUS AND METHOD OF OPERATION
WO2010055710A1 (ja) * 2008-11-14 2010-05-20 シャープ株式会社 光センサ付き表示装置
EP2187290A1 (en) * 2008-11-18 2010-05-19 Studer Professional Audio GmbH Input device and method of detecting a user input with an input device
US8456320B2 (en) * 2008-11-18 2013-06-04 Sony Corporation Feedback with front light
CN101477427A (zh) * 2008-12-17 2009-07-08 卫明 接触或无接触式红外线激光多点触控装置
US9524047B2 (en) * 2009-01-27 2016-12-20 Disney Enterprises, Inc. Multi-touch detection system using a touch pane and light receiver
US20100201637A1 (en) * 2009-02-11 2010-08-12 Interacta, Inc. Touch screen display system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209335A1 (en) * 2013-06-28 2014-12-31 Intel Corporation Parallel touch point detection using processor graphics
US9448663B2 (en) 2013-06-28 2016-09-20 Intel Corporation Parallel touch point detection using processor graphics

Also Published As

Publication number Publication date
EP2488931A4 (en) 2013-05-29
WO2011044640A1 (en) 2011-04-21
CN102782616A (zh) 2012-11-14
CA2778774A1 (en) 2011-04-21
EP2488931A1 (en) 2012-08-22
US20120218215A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
KR20120094929A (ko) 터치 오브젝트를 감지하고 추적하는 방법
JP5821125B2 (ja) 内部全反射を使用する光学タッチスクリーン
TWI531946B (zh) 座標定位方法及裝置
US20110012856A1 (en) Methods for Operation of a Touch Input Device
US8633914B2 (en) Use of a two finger input on touch screens
CN104881166B (zh) 显示装置和用于检测显示装置上的表面剪切力的方法
US20210103356A1 (en) Stylus identification
US20140237408A1 (en) Interpretation of pressure based gesture
EP3602258A1 (en) Pen differentiation for touch displays
CN107111442A (zh) 使用光学触敏设备的器械检测
TW201005606A (en) Detecting the locations of a plurality of objects on a touch surface
EP2473906A1 (en) Touch-sensitive system and method for controlling the operation thereof
KR20110015585A (ko) 다중 터치 입력의 위치를 평가하는 시스템 및 방법
JP2001228971A (ja) 複数の指示部位で操作可能なタッチパネルシステム
JP5876587B2 (ja) タッチスクリーンシステム及びコントローラ
TW201203055A (en) Multiple-input touch panel and method for gesture recognition
EP3719614B1 (en) Input device
EP2473909A1 (en) Methods for mapping gestures to graphical user interface commands
TWI553515B (zh) Touch panel systems and electronic information machines
US20160092032A1 (en) Optical touch screen system and computing method thereof
US20200319791A1 (en) Input device
WO2023047050A1 (fr) Cadre d'interaction sans contact pour interface homme / machine
TW201209647A (en) Touch trace connection method for touch screen
KR101272885B1 (ko) 반사광 파장 인식용 터치 패널

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid