KR20140008292A - 멀티터치 디바이스로부터 임의의 터치 회수를 감지하는 방법 - Google Patents

Abstract

멀티터치 디바이스의 입력 이미지로부터 임의의 터치 회수를 감지하는 방법으로서,
상기 방법은
- 상기 입력 이미지를 처리하는 단계와 처리된 이미지를 얻는 단계;
- 상기 처리된 이미지(8000)의 임계치화와 분할 이미지를 얻음으로써 분할하는 단계;
- 분할된 이미지의 영역을 식별하는 단계;
- 로컬 최대값을 찾는 단계;
- 상기 로컬 최대값을 기초로 적어도 하나의 터치위치를 판단하는 단계를 포함하고,
각 로컬 최대값은 각 영역 내의 한 서브영역에 한 픽셀 크기인 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.

Description

멀티터치 디바이스로부터 임의의 터치 회수를 감지하는 방법{Method for detecting an arbitrary number of touches from a multi-touch device}

본 발명은 멀티터치 디바이스로부터 임의의 터치 회수를 감지하는 방법에 관한 것이다. 이 방법은 감지된 터치들과 제스처 인식의 추적을 또한 가능하게 할 수 있다.

본 발명은 예시적인 실시예가

센싱 커패시터의 행의 제 1 개수와 열의 제 2 개수를 포함한 어레이;

입력신호를 발생하고 행 스캔 속도로 행들 각각에 상기 입력신호를 어드레스하는 수단; 및

회로의 제 2 개수를 구비한 정전용량 센싱 디바이스의 사용을 포함하나, 임의의 터치센싱 기술을 기초로 실행될 수 있다.

바람직한 실시예에서, 이 회로는

저역필터;

입력 커패시터를 구비한 상관형 이중 샘플러;

샘플러 및 홀더

아날로그-디지털 컨버터를 구비하고,

상기 저역필터는 입력 커패시터와 직렬 저항기를 구비한다.

다시 말하면, 회로는 한 블록에 저역필터 및 상관형 이중 샘플러를 집적시킨다.

멀티터치 디바이스들은 동시에 여러 물체들, 가령 손가락의 접촉 또는 접근을 감지할 수 있는 디바이스들이다. 공지의 멀티터치 디바이스들의 예는 정전용량 센서를 기초로 하고 정전용량 터치패드, 정전용량 터치패널, 정전용량 터치스크린 또는 투사 정전용량 디스플레이와 같으나 이에 국한되지 않는 다양한 장비들에 사용될 수 있다. 정전용량 기반의 터치 디바이스들은 일반적으로 커패시터 어레이에 의해 형성된다. 양호한 유전 속성들을 갖는 물체, 가령 손가락이 디바이스에 접근하면, 아래에 있는 커패시터들의 정전용량이 변한다. 전체 어레이는 정전용량 센싱 집적회로(CSIC)에 의해 매질 속도 단위, 일반적으로 100-100fps로 판독될 수 있다. 이런 회로의 디지털 출력은 픽셀들이 디지털식 정전용량 값들에 해당하는 그레이 스케일의 이미지 시퀀스이다.

본 발명은 임의의 터치 회수들의 위치를 계산하고 이미지 시퀀스를 통해 터치들을 추적하기 위한 이 이미지 시퀀스를 처리하는 방법에 관한 것이다. 본 방법은 또한 제스처 인식을 가능하게 할 수 있다.

도 1에 예시된 멀티터치방법은 통상적으로 정전용량 터치패널(200)에 연결된 CSIC의 디지털 출력을 처리하기 위해 사용된다. 멀티터치방법은 가령 캘리브레이션과 이미지 전처리단계(1000), 이미지 분할과 분석단계(2000), 및 추적단계(3000)를 포함할 수 있다. 대안은 블록-매칭/KLT(Kanade-Lucas-Tomasi) 추적 또는 다른 유사한 공지 기술들을 사용해 한 단계로 추적단계(3000)와 함께 이미지 분할과 분석단계(2000)를 조합하는 것이다. 그러나, 이런 접근은 매우 깨끗한 입력 이미지, 즉, 노이즈가 적고 해상도가 양호한 입력 이미지가 필요하다. 도 1에 도시된 방법의 출력은 가령 USB 연결을 통해 호스트(5000)로 전송될 수 있다.

손가락/궤적들의 횟수에 제한되지 않고 정확한 위치결정을 가능하게 하는 방법을 포함하여 터치 감지의 하드웨어 실행을 목적으로 낮은 전반적 처리요건들을 필요로 하는 애플리케이션에 적합한 강건하고 빠른 멀티터치 감지/추적을 가능하게 하는 향상된 방법이 요구된다.

US5543591(Synaptics)은 터치위치가 터치센서 어레이의 개별 감지 라인들에 측정된 정전용량의 가중평균(기하학적 중심 계산)을 평가함으로써 수평(x) 및 수직(y) 방향 모두에서 계산되는 터치센서 패드에 터치를 감지하는 방법을 기술한다. 이 방법은 실제 멀티터치 감지를 허용하지 않는데, 이는 손가락들 여럿 있을 때 강건하지 않기 때문이다. 상기 방법은 특정한 간단한 제스처, 가령 탭, 즉, 위 아래 동작, 이중탭 및 기타 유사한 것에 대해서만 하나의 감지된 터치의 추적을 포함한다. 추적 및 제스처 인식은 밀접하게 연결되어 있으나, 이들은 쉽게 확장될 수 없는 매우 특정한 실행과 관련 있다.

US5825352(Logitech)는 하나 이상의 잘 정렬된 손가락들과 터치패드 사이에 동작 결합을 감지하는 방법을 설명한다. 노이즈 억제 및 조정 단계 후, 공간적 손가락 프로파일이 스캔되고 입력 x프로파일 및 y프로파일이 추출된다. 2개의 손가락, 가령, 검지와 중지의 경우, 손가락 프로파일에서 제 1 손가락을 나타내는 제 1 최대값 다음에 손가락들 사이 공간을 나타내는 최소값이 잇따르고, 제 2 손가락을 나타내는 또 다른 최대값이 더 잇따른다. 손가락들이 정렬되어야 하므로, 인위물을 피하기 위해, 2개 최대값 사이 거리에 임계치가 적용될 수 있다. 2개 최대값들의 중간점으로 정의된 하나의 중앙값을 계산함으로써 터치위치가 계산된다. 상술한 방법은 노이즈에 강하지 못하다. 게다가, 위치 결정이 매우 부정확하며 터치가 잘 정렬되지 않으면 멀티터치가 감지되지 않는다. 더욱이, 상기 방법은 3개 이상의 손가락들이 동시에 터치패드에 있을 경우 작동하지 않는다. 상기 참조문헌은 제스처 인식과 밀접하게 연결된 멀티터치 추적기를 개시하며, 상기 추적기에서 포인터로서 최좌측 또는 최우측 터치가 사용되고, 있다면 나머지 터치들은 간단한 제스처 인식을 위해 사용된다.

US7663607(Apple)은 전체 입력이미지를 필터링한 후 영역의 경계를 기초로 터치 영역을 찾음으로써 터치위치 결정이 수행되는 멀티터치감지 방법을 기술한다: 입력 이미지의 토폴로지를 나타내는 그래디언트 데이터가 계산되고 그레디언트 데이터를 기초로 터치영역 경계들이 계산된다.(이 경계 계산의 출력은 이진수 토폴로지 이미지, 즉, 1이 있는 경계를 제외하고 모든 곳에서 0을 포함한 이미지이다). 그런 후, 워터시드 알고리즘(Watershed Algorithm)을 이용함으로써, 터치 영역들은 경계 데이터로부터 계산된다.(워터시드 변환의 출력은 영역의 이미지, 즉, 닫힌 경계의 내부, 즉, 터치 영역를 제외하고 0을 포함한 이미지이다). 각 터치 영역에 대한 데이터로 중심 계산을 수행함으로써 터치위치 결정이 수행된다. 상술한 방법은 공지의 방안들에 비해 매우 높은 처리요건들을 필요로 하며, 이런 이유로, 핸드/스타일러스 쓰기/그리기 애플리케이션에 적합하지 않다. 더욱이, 터치 및/또는 장치를 이용하는 사람의 수가 제한되는데, 이는 10 손가락 이상에 대해 설계되지 않았기 때문이다.

WO2009/007704(Atmel/QRG Limited)는 최대 정전용량 신호값을 갖는 감지소자의 결정 후 그 감지소자 주위 영역이 정의되는 멀티터치 감지방법을 설명한다. 상기 방법은 앞서 정의된 영역에 있는 신호들을 각 후속단계에서 배제함으로써 이들 2 단계들을 되풀이해서 반복한다. 상기 방법은 AKS(Adjacent Key Suppression)의 변형된 수단을 이용한다. 다시, 이 방법은 공지의 방안들에 비해 매우 높은 처리요건들을 필요로 한다. 더욱이, 이는 부정확하고 각 영역에서 터치위치를 더 정확하게 판단하기 위해 인접한 신호값들 간에 보간이 요구된다. 터치 추적은 2개의 다른 시간에서 결정된 터치위치들 간에 모든 가능한 경로들의 경로 길이의 계산을 기초로 한다. 그런 후 조합들 각각에 대한 총 거리가 찾아지고 최하 거리값과의 조합은 고려되는 물체에 대한 최소 추적거리를 나타내며 따라서 이들 물체들에 대한 추적의 가장 가능성있는 조합을 나타낸다. 추적 단계들은 특히 매우 많은 물체들이 있을 때 매우 많은 수의 계산을 필요로 한다. 더욱이, 이 방법의 추적 부분은 부정확하다.

US2008/0087477(Samsung)은 단일터치 또는 멀티터치가 임계치를 초과한 신호 강도를 갖는 채널 감지 회수를 기초로 감지되었는지 여부를 감지하는 단계를 포함하는 멀티터치방법을 기술한다. 채널 감지 회수가 제 2 임계치(가령 3)를 초과하면, 컨트롤러는 동작이 멀티터치 감지를 토대로 하는 것으로 판단한다. 이 방법은 부정확하며 오류가 감지될 때 강건하지 못하다. 추적은 언급하지 않았다.

US7656394(Apple)는 터치 영역들에 엘립시스 피팅(ellipsis fitting), 퍼지 패턴 인식 및 손과 손가락 식별을 위한 할당문제들과 같이 진보되었으나 계산상 많은 비용이 드는 DSP(Digital Signal Processing) 단계들을 이용해 매우 많은 파라미터들, 가령 16개 파라미터들이 신뢰할 수 있게 추적되는 멀티터치 추적방법을 설명한다. 다시 말하면 상기 방법은 공지의 방안들에 비해 매우 많은 처리와 메모리 요건들을 필요로 한다. 제스처 인식은 운동 파라미터 분석 및 비트마스크의 조합을 기초로 한다. 그러나, 이는 융통성이 없고 추적된 파라미터들 대부분이 제스처 인식에 소용없다. 더욱이, 상기 방법은 두 손 이상 또는 한 사람 이상에는 적절히 작동하지 않는다.

WO2009/108334(New York University)는 표면과 상기 표면에서의 압력을 감지하고 상기 표면에서의 압력에 해당하는 신호를 프로세서로 발생하기 위한 센서 어레이를 갖는 센서 패드를 설명한다. 센서 패드를 이용하기 위해, 사용자는 상기 패드를 컴퓨터의 USB 포트에 꽂아야 한다. 양의 전압이 한번에 하나씩 센서 어레이의 각 행에 가해지고 그런 후 한번에 하나씩 센서 어레이의 각 열에서 전압 값들이 읽혀진다. 압력 감지는 정전용량식이 아니다. 하드웨어가 센서 패드로부터 아날로그 값을 스캔하면, 2D 어레이의 전압 값들을 다시 가지며, 상기 값들은 압력으로 변환된다. 어떤 점들이 터치되거나 점들과 접촉하는지 판단하기 위해 첫번째 2D 어레이에 대해 가외의 2D 어레이의 조정값들이 계산되고 공제된다. 모든 접촉점들에 대해, 압력이 가장 큰 점들 또는 시드(seed) 점들이 발견된다. 시드 점들을 찾은 후, 각 시드 점들 주위에 연결된 영역들 모두가 발견되고 각 세그먼트에 대해 중심 및 편차가 계산된다. 연결된 세그먼트들을 추적하는 단계 다음에 필터링 단계가 잇따른다. 이 참조문헌은 분할단계도, 영역의 식별도, 서브영역의 이용도 언급하지 않았다.

EP2077490(Apple)은 터치센서패널의 가장자리 영역에서 터치 접촉을 선택적으로 거부하기 위한 방법을 설명한다. 그러나, 가장자리 영역에서 접촉은 임계치 거리 또는 속도를 초과하여 움직이며, 제스처의 일부로서 인식될 수 있다. 이 인식으로 또한 추적 동작은 가장자리 영역 내에서 수행된다. 가장자리 영역의 크기는 손가락 또는 엄지의 인식을 토대로 변경될 수 있다.

따라서, 멀티터치 디바이스로부터 임의의 개수의 터치들을 손가락 정렬로부터 강건하게, 정확하게 그리고 독립적으로 감지하는 방법이 요구된다.

손/스타일러스 쓰기/그리기 애플리케이션에 감지되고 또한 적합한 터치 회수에 제한되지 않는 임의의 터치 회수를 감지하는 방법도 또한 요구된다.

공지의 방안들에 비해 더 낮은 전반적 처리요건들을 가지며 임의의 터치 회수들을 감지하고 추적하는 방법도 또한 요구된다.

추적되는 터치 회수들에 제한되지 않고 한 사람 또는 두 손 이상의 사용에 적합한 임의의 터치 회수들을 추적하는 방법도 또한 요구된다.

유연한 제스처 인식, 즉, 임의의 손가락 개수로 어떤 종류의 제스처 인식을 가능하게 하는 임의의 터치 회수를 추적하는 방법도 또한 요구된다.

본 발명에 따르면, 이들 목적은 제26항에 따른 비일시적 접촉식 컴퓨터 판독가능한 매체와 제27항에 따른 멀티터치장비에 의해 특허청구범위 제1항에 따른 멀티터치 디바이스로부터 임의의 터치 회수를 감지하는 방법에 의해 달성된다.

종래 기술에 비해 개시된 방법의 이점은 특히 터치 회수들에 전혀 제한이 없고 공지의 방안들에 비해 전반적 처리 요건들이 낮을 것을 필요로 하는 "실제" 멀티터치를 감지할 가능성을 포함한다.

이점적으로 본 발명에 따른 방법은 손/스타일러스 쓰기/그리기 애플리케이션을 가능하게 할 수 있다.

본 방법은 추적되는 터치 회수들에 전혀 제한이 없고 한 사람이 이상이 사용하는데 또한 적합한 강건한 멀티터치 추적을 가능하게 할 수 있다.

이점적으로 본 발명에 따른 방법은 임의 종류의 손가락들로 임의 종류의 제스처를 인식할 수 있기 때문에 유연한 제스처 인식을 가능하게 할 수 있다.

본 발명에 따른 방법은 다른 최신 기술의 접근들에 비하면 빠르다: 터치감지 속도는 터치 회수들에 대한 의존성을 무시할 수 있다. 더욱이, 입력 데이터의 품질에 대해 강건하다: 이점적으로, 불량 품질의, 즉, 노이즈 수치가 높고 해상도가 낮은 입력 데이터도 개시된 방법에 의해 잘 처리될 수 있다.

본 발명은 예로서 주어지며 도면에 도시된 실시예에 대한 설명의 도움으로 더 잘 이해된다.
도 1은 멀티터치 방법의 주요 단계들의 도면을 계략적으로 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 방법의 간략한 흐름도를 도시한 것이다.
도 3a는 3×3 서브영역 원리에 대한 로컬 최대값 테스트의 일예를 도시한 것이다.
도 3b는 발견된 로컬 최대값과 다른 타입의 최대값을 도시한 것이다.
도 4는 비중첩 윈도우에 대한 실제 평균으로 시간영역 필터링의 일예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 방법의 제 1 그레이레벨 이미지 필터링 단계의 일실시예를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 방법의 제 2 그레이레벨 이미지 필터링 단계의 일실시예를 도시한 것이다.
도 7a 내지 도 7c는 본 발명의 일실시예에 따른 방법의 이진수 이미지 필터링 단계에 요구되는 3×3 정사각형 픽셀 구조요소로 기본 이진수 형태학적 동작의 일실시예를 도시한 것이다.
도 8은 4개의 다른 2×2 정사각형 픽셀 구조요소들과 함께 형태학적 필터링을 사용함으로써 이진수 이미지 필터링 단계의 일실시예를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 방법의 추적 단계들의 흐름도를 도시한 것이다.
도 10의 a 내지 c는 본 발명의 일실시예에 따른 LSAP(Linear Sum Assignment Problem) 및 소프트-게이팅 예시로 멀티터치 추적의 일예를 도시한 것이다.
도 11은 본 발명의 일실시예에 따른 큰 변위들에 대한 예상 터치위치들을 이용함으로써 게이트 거리 및 할당의 변화의 예시를 도시한 것이다.
도 12는 본 발명의 일실시예에 따른 추적부의 주요 단계들을 포함한 간략한 흐름도를 예시한 것이다.
도 13은 본 발명의 일실시예에 따른 제스처 인식의 주요 단계들을 포함한 흐름도를 예시한 것이다.

도 2는 본 발명의 한가지 바람직한 실시예에 따른 방법의 흐름도를 도시한 것이다. 멀티터치 디바이스의 CSIC(Capacitive Sensing Integrated Circuit)에 의해 출력된 이미지, 가령 16비트 이미지는 제 1 조정과 전처리 블록(1000)의 입력 이미지(7000)로 사용된다. 이 입력 이미지는 부호가 없다. 즉, 음의 픽셀값을 포함하지 않는다. 제 1 블록(1000) 다음에 분할 및 분석 블록(2000)과 추적 블록(3000)이 잇따른다. 이들 블록들은 입력 이미지 시퀀스의 각 프레임에 처리된다.

이와 관련해, "블록"이라는 용어는 기능을 제공하기 위한 기능단위를 의미한다. 블록은 하드웨어 구성부품 및/또는 소프트웨어 구성요소로 실행될 수 있다.

이와 관련해, "이미지"라는 표현은 디바이스의 감지 커패시터들 각각에서 전하들의 이진수 또는 다가(多價) 표현과 같이 멀티터치 디바이스 상태의 이차원적 표현을 나타낸다. 이미지는 반드시 디스플레이되거나 디스플레이되도록 의도된 어떤 것일 필요가 없다.

추적 블록(3000)의 출력은 N 벡터를 포함하며, 각 벡터는 형태(N,ID,x,y,z)로 되어 있고, 여기서

- N은 멀티터치 디바이스 상에 한 순간에 있는 터치 회수이고,

- ID는 특정 터치를 식별하는 넘버이며,

- x 및 y는 ID에 해당하는 터치의 터치위치의 평면 좌표들이며,

- z는 터치강도, 즉, 멀티터치 디바이스 상에 또는 인접한 물체가 있어 이로 인한 전기장 변화에 비례하는 값이다. 다시 말하면, 터치강도(z)는 디바이스까지 물체의 거리 및 물체의 등가 유전상수 또는 전도도에 비례한다.

평균 차감(1040), 즉, 베이스라인 이미지와 더불어 입력 이미지(7000)의 차감과 함께 제로 터치 기준 이미지, 또는 베이스라인 또는 베이스라인 이미지를 얻기 위한 초기 조정(1020)으로 터치들이 잘 찾아질 수 있는 차분 및 부호 이미지들이 추출될 수 있다. 부호 이미지는 음 및 양의 픽셀값들 모두를 포함할 수 있다. 단계(1020 및 1040)는 추가로 제로 터치 기준 로우 이미지가 이상적인 경우로 "비균일"하더라도, 즉, 멀티터치 디바이스에 물체들이 없으나 기준 이미지가 다른 그레이 값들을 포함하더라도 동일하게 터치를 잘 감지하게 한다.

3개의 필터링 블록(1010,1030,1050)들은 매우 찌그러진 이미지들을 제거하는데 사용될 수 있다:

- 시간영역 필터링(1010)은 주로 시스템과 주변 노이즈로 이루어진 화이트 노이즈를 필터하기 위해 주로 비회귀의 고속 평균을 기초로 한다.

- 제 1 그레이레벨 이미지 필터링 블록(1030)은 멀티터치 디바이스 상에 손가락 유도 결합에 의해 주로 도입된 1-픽셀 노이즈와 같이 선명한 노이즈를 제거한다. 이는 실제 터치들의 단조성(monotonicity)을 회복하기 위한 스무더(smoother)를 또한 구비한다.

- 제 2 그레이레벨 이미지 필터링 블록(1050)은 가령 디스플레이 또는 주변/시스템의 50Hz 노이즈로 인해 강한 섭동을 필터할 수 있다.

입력 이미지(7000)를 처리하는 이들 단계들 후에, 처리된 이미지(8000)가 얻어지며, 상기 이미지는 분할 및 분석 블록(2000)의 입력으로 사용된다. 블록(2000)의 제 1 단계는 처리 이미지(8000)를 포어그라운드, 즉, 터치 + 잔여 노이즈와 백그라운드로 분할하기 위해 고정 임계치로 수행되는 이미지 분할(2010)이다. 그 후 한 영역 또는 복수의 영역들이 처리 이미지에서 식별된다. 한가지 바람직한 실시예에서, 영역은 한 터치에 해당할 수 있는 연결된 픽셀의 그룹, 가령 기설정된 임계치보다 큰 값을 모두 갖는 연결된 픽셀 그룹이다. "연결된 픽셀"이란 표현에서 "연결된"의 의미는 N개의 연결된 이웃 또는 인접한 픽셀들의 개념에 관한 것이며, 여기서 N은 짝수 정수이다. 한가지 바람직한 실시예로, N=4이다. 이 경우 N/2, 가령 2개의 이웃한 또는 인접한 픽셀들이 동일한 행 또는 동일한 열에 있고 이들이 기정의된 임계치보다 큰 값을 가지면, 이들은 동일 영역에 속한다. 즉, 이들은 N-연결, 가령 4-연결된다.

이진수 이미지 필터링(2020)은 느슨하거나 의미없는 영역들과 같은 이진수 노이즈를 제거한다.

이 필터링 후에 남아 있는 식별된 영역들의 좌표를 얻기 위해 영역 라벨링(2030)이 수행된다. 그런 후 라벨 영역들은 단계 2040에서 영역, 정사각형 형태도, 로컬 최대값의 개수에 대해 분석된다.

이와 관련해, "정사각형 형태도"라는 표현은 영역이 얼마나 정사각형인지를의미한다. 이는 주어진 폭(width_R) 및 높이(height_R)의 직사각형을 갖는 임의의 형태의 영역을 둘러싸고

Min(width_R,height_R)/Max(width_R,height_R)

로 정의된 정사각형 형태도 계수를 계산함으로써 평가된다.

이와 관련해, "한 픽셀 크기의 로컬 최대값"은 최대값, 즉, 터치강도(z)가 최대값을 갖는 픽셀을 나타낸다. 이 최대값은 영역내 서브영역에서 평가되기 때문에 "로컬"이다. 일실시예에서, 이 서브영역은 크기 N×N 픽셀들이며, N은 홀수 정수이다. 한가지 바람직한 실시예에서, N=3이다.

로컬 최대값의 수치 판단이 갖는 주요 문제는 강제로 하나의 픽셀이 되어야 하는게 아니라, 하나 이상의 픽셀들에 분포될 수 있다는 것이다. 임의 크기의 로컬 최대값을 찾는 것은 계산상 비용이 많이 들 수 있고 일반적으로 그래디언트 이미지들의 계산(공간 미분)과 미분 이미지들을 제거하고 사용하기 위해 많은 처리 단계들을 의미한다. 본 발명에 따른 방법은 이점적으로 로컬 최대값의 검색을 한 픽셀 크기의 로컬 최대값으로 제한시켜 찾기가 매우 쉽고 최대값을 찾는데 계산상 비용이 덜 들게 한다. 상기 방법은 이런 제한으로 터치 감지 신뢰도를 크게 악화시키지 않으면서 처리 능력이 매우 상당히 절감되는 발견을 기초로 한다. 실제로, 본 발명의 개선된 방법은 긍정오류 회수를 줄이고 미감지 터치의 회수를 크게 늘이지 않는다. 이는 부분적으로 한 픽셀보다 더 큰 로컬 최대값을 갖는 서브영역들은 대게 단지 일시적이며, 몇 프레임들 후에 한 픽셀 크기의 로컬 최대값을 갖는 서브영역들로 주로 대체되는 사실 때문이다.

로컬 최대값 검색 전에 수행된 모든 필터링 단계들(1010,1030,1050,2020)은 매우 높은 확룔로 멀티터치 디바이스 상의 한 손가락이 한 픽셀 크기의 로컬 최대값에 해당하는 것을 보장한다. 그런 후 본 발명에 따른 방법은 전혀 미분과 미분 후처리를 필요로 하지 않으며 따라서 최신 기술의 다른 방법에 비하면 매우 낮은 처리요건들을 필요로 한다.

도 3a는 2개 영역들(A 및 B)을 구비한 분할 이미지(SI)의 예를 도시한 것이다. 각 영역은 픽셀들을 구비하고,각 픽셀은 0과는 다르고 터치강도(z)에 비례하는 값을 갖는다. 서브영역(SR)은 각 영역에서 각 픽셀의 중앙에 있다. 도 3a의 예에서, 대시선으로 도시된 이 서브영역은 3×3 픽셀 크기이다. 서브영역(SR)의 중심에 있는 픽셀, 즉, 테스트되는 픽셀은 서브영역 내부에 다른 8개 픽셀들이 테스트받는 픽셀의 값보다 더 낮은 값을 갖는다면 로컬 최대값이다.

도 3a의 예에서, 영역(B)의 픽셀(P)이 테스트 받는다. 다른 8개 픽셀들 사이에서 픽셀(P)의 값 1보다 더 큰 값 9를 갖는 2개의 픽셀들이 있기 때문에, P는 한 픽셀 크기의 로컬 최대값이 아니다.

같은 이유로 값 9를 갖는 영역(B)의 2개 픽셀들 각각은 이들 2개 픽셀들 각각에 중심을 둔 서브영역 내부에 다른 8개 픽셀들 간에 테스트 받는 픽셀 값과 같은 9 값을 갖는 픽셀이 있기 때문에 로컬 최대값이 아니다.

영역(B)은 한 픽셀 크기의 로컬 최대값을 포함하지 않기 때문에, 폐기된다. 그러나, 도 3a의 예는 동일하게 큰 값을 갖는 2개의 이웃한 픽셀들을 갖는 것이 드물기 때문에 통상적으로 사용되지 않는 영역(B) 내부에서의 픽셀 배열을 도시한 것이다.

값 9를 갖는 영역(B)의 2개 픽셀들은 수학적으로 2개 픽셀 크기의 로컬 최대값이다. 이들은 또한 이들이 상기 영역(B)내에 가장 큰 값을 갖기 때문에 영역(B)에 대한 지역적 최대(regional maximum, RM)이며, 이들이 분할 이미지(SI)의 모든 픽셀들의 가장 큰 값을 갖기 때문에 전역적 최대(global maximum, GM)이다. 최대값의 다른 타입들이 도 3b에 예시되어 있다.

도 3b에 따르면, 영역(A)에서 1 픽셀 크기의 3개 로컬 최대값(LM)이 있다: 한 픽셀 크기의 2개의 로컬 최대값은 6을 갖고, 한 픽셀 크기의 로컬 최대값은 값 7을 가지며, 이는 또한 영역(A)에 대한 지역적 최대(RM)이다.

본 발명에 따른 방법은 발견된 한 픽셀 크기의 로컬 최대값을 기초로 터치위치를 결정한다. 언급된 바와 같이, 한 영역이 적어도 하나의 한 픽셀 크기의 로컬 최대값을 포함하지 않으면, 전체 영역이 폐기된다. 한 픽셀 크기의 한 로컬 최대값을 포함하면, 영역의 모든 픽셀들을 이용해 이 영역의 기하학적 중심을 계산함으로써 터치위치가 결정된다. 한 픽셀 크기의 한 로컬 최대값보다 크면, 각 로컬 최대값에 중심을 둔 서브영역들내 9개 픽셀만이 기하학적 중심 계산을 위해 고려된다.

몇몇 영역들은 이들의 영역을 기초로 한 기설정된 조건, 이들의 정사각형 형태도 계수 및/또는 이미 언급된 영역 내에서 발견된 로컬 최대값의 개수에 따라 폐기된다.

예컨대, 정사각형 모양에서 멀리 떨어지거나 많은 로컬 최대값을 갖는 영역들은 잘못 터치될 가능성이 매우 크며 따라서 거부된다. 한 영역이 매우 크거나 여러 개의 큰 영역들이 있으면, 멀티터치 디바이스에 큰 물체, 가령 손, 귀 등이 있을 가능성이 매우 크다. 이런 경우, 본 발명에 따른 방법이 중단된다. 이는 또한 영역내 로컬 최대값의 위치(몇몇 영역들이 다소 중심에 있을 것으로 예상함), 이미지내 영역의 위치(몇몇 영역들은 더 가능성 있는 후보일 수 있거나, 다른 영역들이 금지될 수 있거나, 일시적으로 금지될 수 있음), 이전 또는 연이은 이미지(대부분의 터치들은 적어도 수 프레임들을 지속함) 등을 기초로 몇몇 영역들을 폐기할 수 있다. 이는 또한 복수의 조건 및 숙고 요인들(pondering factors)을 기초로 영역이 오류 터치이며 폐기되어야 할 확률을 계산할 수 있다.

상기 방법이 계속되면, 몇몇 잘 알려진 공식에 따라 각 유효 영역의 기하학적 중심이 단계(2050)에서 계산된다.

이들 단계들 후에, 터치위치들(9000)이 결정된다. 모든 유효한 터치들이 이미 추적된(라벨 표시된) 터치들과 함께 선형 할당(3010)을 받게 된다. 성공적으로 라벨표시된 터치들은 궤도 필터링(3030)에 공급된 후 출력될 수 있다. 궤도 필터링은 간단한 짧은 저역필터에 의해 수행된다.

비할당 터치들은 추적된(하지만 라벨표시 되지 않은) 터치들과 함께 선형 할당(3020)에 보내진다. 라벨표시 되지 않은 터치들은 이들이 수 프레임들 동안 성공적으로 할당되지 않는다면 긍정오류일 가능성이 매우 크며 따라서 제거된다. 그러나, 라벨표시 되지 않은 터치들이 여러 프레임들에 성공적으로 할당되면, 이는 실제 터치일 가능성이 매우 크며 따라서 또한 라벨표시된다.

마지막으로, 요망/필요하다면 재조정이 수행될 수 있다. 동적 재조정을 해야할 필요가 있는 주요 이유는 멀티터치 디바이스에 남아 있는 그리스(grease), 땀 또는 액체(비) 때문이며 아마도 환경적 전계(E-field) 변화 때문이다.

상기 방법으로부터 출력된 ID는 제 1 손가락이 떼질 때까지 움직임 동안 같은 접촉에 일정해야 한다. 좌표(x 및 y)는 멀티터치 디바이스에 대한 실제 터치위치에 대해 가능한 한 정확해야 한다.

전체 방법은 하드웨어, 펌웨어 또는 소프트웨어 혹은 믹스로 구현될 수 있다.

이진수 이미지 필터링(1010에서 2010)에 까지 그리고 이를 포함한 블록들은 전체 병렬(픽셀식) 처리에 부분적으로 적합할 것이다. 언급될 바와 같이 블록(3000)에서 계산된 매트릭스 비용이 크게 들더라도 1ms 미만의 계산 시간이 가능하다.

터치가 전혀 없거나 멀티터치 디바이스에 큰 물체가 있다면, 상기 방법은 종료되고 따라서 계산활동이 줄어든다. 추가로, 상기 방법의 초당 싸이클 회수도 상황 및 애플리케이션, 즉 유휴모드에서 최대 지연 요건을 보장하도록 가능한 최저 주파수, 소프트-키보드 애플리케이션(전화 다이얼, 타이핑, 메뉴 선택 등)용 저주파수(10-25Hz), 포인팅(커서) 및 멀티터치 애플리케이션용 평균 주파수(25-50Hz) 및 손/스타일러스 쓰기/그리기 애플리케이션용 고주파수(50-200Hz)에 따라 동적으로 최소로 줄어들 수 있다.

시간영역 필터링(1010) 동안, 고주파 컨텐츠, 즉, 100-200Hz 보다 큰 주파수를 갖는 컨텐츠를 억제하기 위해 입력 이미지(7000)의 각 픽셀의 신호의 전개가 시간상 필터된다. 그러나, 고정신호(가령, 50Hz)의 특정 필터링도 또한 달성될 수 있다. 시간영역 필터링(1010)은 디지털 필터링 기술 및 디지털 필터 도메인 영역(유한 임펄스 응답(Finite Impulse Response) 필터 및 무한 임펄스 응답(Infinite Impulse Response) 필터)에 알려진 다양한 방식으로 구현될 수 있다. 도 4는 겹치는 윈도우 없이 여러 입력 프레임들에 걸친 실제 평균으로 논러닝(non-running) 및 비회귀 시간영역의 예를 도시한 것이다. 평균은 윈도우에 대해 사실인데, 이는 저역필터에 의한 근사 평균을 얻는 것과는 대조적으로 산술평균 식으로 계산되기 때문이다. 참조부호(1011)은 기설정된 길이, 이 경우 N=1024의 신호를 나타내고, 참조부호(1012)는 크기 W=16의 중첩 윈도우에 대한 실제 평균을 나타낸다. 크기는 신호(1012)의 수평부분들의 길이에 해당한다.

베이스라인 이미지(I_ref)를 얻기 위해 시간영역 필터링(1010)과 유사하게 초기 조정(1020)이 수행된다. 따라서, 조정은 멀티터치 디바이스에 어떠한 물체도 남기지 않고 수행되어야 한다. 베이스라인 이미지(I_ref)를 얻기 위해 매우 많은 프레임들에 대한 실제 평균이 계산되며, 그런 후 기준 이미지 버퍼에 저장된다. 조정이 시간마다 반복되어야 하면, 저장된 베이스라인 이미지는 구 베이스라인 이미지(I_{ref _ old})상에 저장 가중치(α)로 가중 평균함으로써 새로운 시간영역 필터 베이스라인 이미지(I_{ref _ new})로 업데이트될 수 있다. 업데이트 방법은 다시 시간영역 필터링이다. 그런 후 업데이트된(시간영역 필터된) 베이스라인 이미지는 다음과 같다:

αI_{ref _ old} + (1-α)I_{ref _ new} 여기서 0<<α<1.

초기 조정단계(1020)에서, 멀티터치 디바이스상에 도전성 물체가 전혀 없음이 보장되지 않으면, 베이스라인 이미지가 "균일한지" 혹은 "드문드문한지" 판단하는데 몇몇 경험적 방법들이 사용될 수 있다. 아니면, 소정의 일관성 또는 희소성에 도달할 때까지 조정이 반복될 수 있다. 또한 결합될 수 있는 몇가지 가능한 경험적 방법들은 다음과 같다:

- 베이스라인 이미지의 평균 크기와 함께 표준편차를 계산하기. "충분히 작은" 후에, 멀티터치 디바이스 상에 전혀 움직임이 없는 것이 매우 가능해 진다. "충분히 작은"의 의미는 실험적으로 결정된다.

- 총 변화 평균(norm), 즉 베이스라인 이미지의 공간 미분의 L1 평균을 계산하기. "충분히 작은" 경우, 이미지는 균일하다. 다시, "충분히 작은"의 의미는 실험적으로 결정된다.

제 2 경험적 제안방법은 더 빠르고 신뢰할 수 있으나, 입력 이미지(7000)의 조악한 해상도가 주어지면, 공간 미분들을 구분할 때 특별한 주의를 취해야 한다.

시간영역 필터링(1010)과 조정(1020)에 더해, 각 프레임에서 멀티터치 디바이스 상의 실제 터치의 x-y면 좌표들에 대한 우수한 판단을 얻기 위해 시간영역 필터링된 이미지들이 처리된다.

멀티터치 감지에 대한 주요 난제는 멀티터치 디바이스 상에 실제 터치 회수가 부과되지도 사전에 알려지지도 않는다는 것이다. 따라서, 입력 이미지(7000)는 영역들, 즉 각각의 다른 터치들에 해당할 수 있는 연결된 픽셀 그룹들을 신뢰할 수 있게 얻도록 처리되어야 한다.

불완전한 공지의 커플링 모델에 따른 다수의 손가락 접촉에 의한 감지 커패시터들 간의 결합으로 입력 이미지에 하기의 효과들 중 하나가 도입된다:

- 멀티터치 디바이스의 일측(하단면)에, 실제 터치와 꽤 같은 강도와 면적의 "고스트 터치"를 도입한다.

- 멀티터치 디바이스의 타측(상단면)에, 고스트 터치가 또한 나타나지만, 강도가 더 약하고 부호도 반대이다.

일반적으로, 위쪽에 비해 하단면이 몇가지 이점을 갖더라도 위쪽이 사용된다. 이미 조립된, 가령, 프레임에 이미 패키지된 멀티터치 디바이스에 대해, 전체 셋업을 조립해제하고, 뒤집어 다시 재조립하는 것이 필요하므로 스크린을 뒤집기가 어렵다. 이들 경우, 위쪽이 일반적으로 사용된다. 사용할 어떤 면에 대해 결정할 수 있는 경우에, 하단면이 신호 대 노이즈 비를 크게 얻도록 한다. 하단면의 이점은 이미지 필터링이 크게 감소될 수 있다는 것이지만, 적절한 알고리즘으로 해결해야 할 고스트 문제가 있다.

노이즈의 몇몇 다른 소스들로 인해 반대 부호의 작은 피크들이 노이즈 피크들이 되기 때문에, 이들 작은 피크들은 중간(열)필터,가령 1×3 픽셀 중간필터를 이용해 제 1 그레이레벨 이미지 필터링(1030)에 의해 필터링된다.

중간 필터링은 비선형이므로, 분리될 수 없다. 즉, 정보 또는 왜곡의 실제 손실을 도입하지 않고서는 행의 제 2 실행이 수행될 수 없다. 대안은 2×2 픽셀 중간필터를 적용하는 것이나 일반적으로 짝수의 픽셀 마스크들을 이용한 비이진수 (non-binary) 이미지 필터링은 필터 중심이 없기 때문에 피해진다. 3×3 픽셀 중간필터가 사용되면, 입력 이미지가 조악하면 실제 터치들 대부분을 제거할 가능성이 매우 크다. 행들에서 제 2 실행을 추가하는 것이 여전히 필요하다면, 도 5에 도시된 바와 같이 수행될 수 있다. 제 1 그레이레벨 이미지 필터링(1030)의 입력 이미지(1031)가 1×3 픽셀 중간필터(1032) 및 3×1 픽셀 중간필터(1033)로 보내지며 상기 필터들 모두는 나란히 작동한다. 그 후 2개 필터들(1032 및 1033)의 출력을 평균함으로써 필터링된 이미지(1035)가 계산된다. 다시 말하면, 제 1 그레이레벨 이미지 필터(1030)는 스무더(1034), 즉, 실제 터치의 단조성을 복원시키기 위한 저역 에버리저(low-pass averager)를 이점적으로 구비한다.

그런 후 필터링된 이미지(1035)는 평균 차감블록(1040) 또는 베이스라인 이미지 차감 블록의 입력이다. 터치들(및 잔여 노이즈)만 포함하는 이미지를 얻기 위해 이 차감이 수행된다. 상부면에 멀티터치 디바이스를 이용할 경우, 실제 터치들로 일반적으로 베이스라인 또는 제로터치 기준 이미지들 중 하나보다 그레이레벨 값이 더 낮아진다. 따라서, 제 1 그레이레벨 필터링 블록(1030)(I_{filtered _1})으로부터의 출력(1035)이 하기의 식에 따라 블록(1040)에서 베이스라인 이미지(I_ref)로부터 빼진다:

I_sub = I_ref - I_{filtered _1}

이 후 I_sub는 주로 양인 실제 터치들과 주로 음인 고스트 터치들과 함께 부화화 이미지이다. 노이즈는 양의 진폭과 음의 진폭 모두와 함께 나타날 것이며, 완전히 필터링되지 않은 고스트들 주위로 긍정오류들이 야기될 수 있다.

긍정오류의 발생을 줄이기 위해 부호화 이미지(I_sub)가 제 2 그레이레벨 필터링 블록(1050)으로 보내지고 마스크로, 가령 다음과 같이 3×3 픽셀 가중평균으로 필터링된다:

I_{filtered _2} = H * I_sub

여기서, H는 가령

인 정사각형 매트릭스이다.

k와 l 각각은 각 픽셀의 행렬 지수이고, 심볼*는 I_sub와 H의 컨볼루션을 나타낸다.

I_{filtered _2}는 다시 부호화 이미지이다. σ=1인 도메인 [-2,-2]×[2,2]에서 2D 가우시안 커넬(Gaussian kernel)을 샘플링함으로써 저역필터 계수(h₁₁…h₃₃)가 얻어진다.

내부 및 외부 노이즈 소스들이 시간의 랜덤 비고정 함수로서 행 및/또는 열 당 픽셀의 평균 변이를 크게 일으킨다. 따라서, 종래 필터링 기술로 이런 섭동 타입을 필터링하기가 어렵다. 거의 완전한 행 및/또는 열의 평균이 한번에 이동될 수 있기 때문에, 처리가 가역적일 수 있고 특정 목적의 행/열 필터를 도시한 도 6에 도시된 바와 같이 행 및/또는 열 당 애버리지 또는 평균을 계산하고 차감할 수 있다. 제 2 그레이레벨 필터링 블록(1050)의 입력 이미지(1051)의 각 행에 대해, 행당 평균이 계산되고(1052), 양인 경우, 현재 행에서 차감된다(1053). 모든 행들을 처리한후, 행들에 대해 동일하게 적용된다: 입력 이미지(1051)의 각 열에 대해 열당 평균이 계산되고(1054), 양인 경우, 현재 행에서 차감된다(1055). 모든 행들을 처리한 후, 필터링된 이미지(1056)가 얻어지며, 이는 여전히 부호화된다. 이는 정정에 의해 미부호화 이미지(8000)로 다시 변환되어야 할 것이다. 즉, 음의 값들이 0으로 설정된다.

특정 용도의 필터로부터 출력(8000)이 매우 깨끗해진다. 즉, 실제 터치 또는 배경에 해당하는 많은 픽셀들과 노이즈 및 긍정오류에 해당하는 단지 몇몇 픽셀들만을 포함한다. 이 처리된 이미지는 그 후 분할 및 분석 블록(2000)으로 보내진다. 따라서, 낮은 일정한 임계치로 간단한 경계화(thresholding)에 의해 이진수 이미지 분할(2010)이 달성된다:

임계치(th)는 전체 범위의 0.005 내지 0.01 사이, 가령 16비트 데이터에 대해 64 내지 512로 설정될 수 있다. 분할된 이미지는 이진수이다.

유효 이진수 이미지 필터링(2020)이 이진수 형태학적 필터링에 의해 수행될 수 있다. 특히, 형태학적 오프닝 연산자는 구조요소, 즉, 기설정된 형태를 갖는 픽셀 그룹들을 일치시키는 픽셀들을 보유하고, 나머지 픽셀들을 0으로 설정한다. 다시 말하면, 구조요소는 그레이레벨/강도에 대한 것이 아니라 폼/형태에 대한 필터링을 위한 패턴 또는 형태 마스크이다.

도 7a 내지 도 7c에 도시된 바와 같이, 이진수 형태학적 오프닝 연산자(2023)는 형태학적 침식(2021) 다음에 형태학적 확장(2022)으로 정의된다. 침식(2021)은 구조요소("필터 마스크")에 의해 커버된 이 블록의 입력 이미지 픽셀들에 대한 AND 연산자를 적용하고 구조요소의 중심 픽셀을 최종 결과로 설정함으로써 실행될 수 있다. 확장(2022)은 구조요소에 의해 커버된 픽셀들에 대한 OR 연산자를 적용하고 모든 커버된 픽셀들을 결과로 설정함으로써 실행될 수 있다. 마지막으로, 오프닝 연산자(2023)는 커버된 픽셀들에 AND 연산자를 적용하고 이들을 그 결과로 설정함으로써 쉽게 얻을 수 있다.

구조요소에 대한 쉬운 선택은 하나의 형태학적 오프닝 패스를 필요로 하는 2×2 정사각형 픽셀 일 수 있다. "원 패스"는 필터링되는 이미지의 각 픽셀이 필터링된 이미지를 얻기 위해 한번에 통과되거나 필터링되는 것을 말한다. "투 패스"는 이미지가 1회 필터된 후 2회 필터되어 최종 이미지를 얻는 것을 의미한다. "하나의 형태학적 오프닝 패스"라는 표현은 4개의 다른 구조요소들을 이용하고 따라서 도 8에 예시된 바와 같은 포 패스(four pass)를 이용하는 방법과는 대조적으로 전체 이미지가 최종 출력을 얻기 위해 정확하게 한번 필터되는 것을 말한다.

도 8은 터치 감지를 위한 가장 효과적인 필터링임을 나타낸다: 4개의 구조요소들(2024)과 함께 형태학적 오프닝 필터링(2023)의 4개의 독립 실행들 또는 다른 패스들이 있으며, 그 후 픽셀식 OR 연산자(2026)가 필터링된 이미지(2027)을 얻기 위해 4개의 독립 실행들(2023)의 최종 발생 이미지에 적용된다. 구조요소 매트릭스(2024)에서 참조부호 "Z"는 구조요소 자체의 일부가 아닌 것(0도 1도 아닌 것)을 의미한다. 구조요소는 임의의 형태일 수 있으나, 이미지 처리시 직사각형 매트릭스들이 저장을 위해 사용되고, 구조요소를 구성하지 않는 픽셀들에 대해 "Z"와 같이 몇몇 기정된 심볼들은 가령 L형 형태를 나타내기 위해 사용된다.

영역들을 식별하기 위해 지역 라벨링 단계(2030)가 수행된다. 이와 관련해,영역은 4개의 연결된 픽셀들의 한 영역으로 정의된다. 이웃 픽셀들은 4-연결되면 같은 라벨이 붙여지며 따라서 동일 영역에 속한다. 가령 4개 픽셀들은 이들이 동일 행 또는 동일 열에 있는 이웃들이라면 동일 영역에 속한다. 영역 라벨링 알고리즘은 문헌에 잘 알려져 있다.

영역을 검증 또는 거부하기 위해(단계 2040), 각 영역에 대한 하기의 속성들이 계산된다:

- 직사각형을 둘러싼 영역의 폭 = k_max - k_min + 1(k_max 및 k_min은 영역의 가장 작고 가장 큰 열 표시들이다)

- 직사각형을 둘러싼 영역의 높이 = l_max - l_min + 1(l_max 및 l_min은 영역의 가장 작고 가장 큰 열 표시들이다)

- 정사각형 형태도 계수 = min(width_R, height_R)/max(width_R, height_R)

- 픽셀들에 있는 영역

- L1 평균(norm)(영역에 해당하는 모든 픽셀들의 합)

- 영역 최대의 (k,l,z_max), 여기서 z_max는 영역 최대값(강도), 즉, 영역의 가장 큰 최대값 또는 영역에 하나 이상의 최대값이 있다면 로컬 최대값 강도이다.

도 3a 및 도 3b를 참조로 언급된 바와 같이, 상기 방법은 각 영역내 서브영역에 한 픽셀크기의 로컬 최대값 개수를 찾고 발견하는 것을 포함한다. 바람직한 실시에에서, 서브영역은 3×3 픽셀 크기이다

그런 후 몇몇 영역들은 이들 영역, 이들의 정사각형 형태도 계수 및 발견된 로컬 최대값의 개수를 기초로 기설정된 조건에 따라 폐기된다.

일실시예에서, 로컬 최소에 집중된 3×3 서브영역에 포함된 픽셀들의 누적 합이 기설정된 임계치보다 낮으면 로컬 최대값은 폐기된다.

다음 조건들 중 하나를 충족하면 그 영역은 터치 오류 영역일 가능성이 매우 크다:

- Area < Area_min

- Area > Area_max

- 정사각형 형태도 계수 < 7/12 (~0.6) 실험적으로

- 로컬 최대값 개수 > 5 또는 <1.

Area_min과 Area_max의 값이 실험적으로 결정되고 물리적 커패시터 크기에 의존한다.

하기의 조건들 중 하나가 있다면, 큰 물체가 멀티터치 디바이스에 있는(또는 멀티터치 디바이스가 쓸모없는 데이터를 제공하는) 가능성이 매우 높다:

- 가장 큰 면적 > 2 Area_max (또는 > 총 이미지 영역의 ~10% )

- 거부된 영역의 개수 > 2 (실험적으로 또는 가령 패널을 누르는 2개의 엄지들)

그런 후, 나머지 영역의 중력 또는 기하학적 중심(x_c,y_c)이 계산된다. 언급된 바와 같이, 영역이 한 픽셀 크기의 한 로컬 최대값을 포함하면, 영역의 모든 픽셀들의 좌표를 이용해 이 영역의 기하학적 중심을 계산함으로써 터치위치가 결정된다. 한 픽셀 크기의 로컬 최대값보다 더 크면, 각 로컬 최대값에 중심에 있는 서브영역들 내부에 9개의 픽셀들의 좌표들만이 기하학적 중심 계산을 위해 고려된다. 기하학적 중심 계산은 문헌에 공지되어 있고 가령 다음과 같이 달성될 수 있다:

다른 데이터 처리 개선으로, 큰 물체가 멀티터치 디바이스에 있다면, 수개에서 수천까지의 프레임들 내에 여전히 있을 가능성이 있다. 그러므로, 이미지 검증/거부의 결과가 오류 터치이미지 히스트리 비트-FIFO에 저장될 것이다. FIFO에 있는 모든 비트들, 즉, 유효 터치/영역의 (x_c,y_c,z_max)가 추적부에 전달되며, 그렇지 않으면 상기 방법은 다음 프레임을 획득함으로써 중단 및 계속될 수 있다(그리고 아마도 더 낮은 주파수로 계속 진행될 수 있다)

멀티터치 방법에 대한 추적부부의 목적은 이들이 멀티-터치 디바이스에 여전히 남아 있는 한 주로 검출된 터치들의 정확한 식별을 유지하는 것이다. 부차적이긴 하지만 못지 않을 정도로 중요한 목적은 긍정오류터치, 즉, 물리적으로 멀티터치 디바이스에 있는 게 아닌데도 실제 터치로 검출되는 터치를 억제하는 것이다. 세번째 목적은 시공간 일치 경로들을 모으는 것이다. 이는 내재적으로 정확한 일치를 유지하는 것과 연계된다. 시공간 일치 경로들이 가용한 다음에, 어떤 복잡도의 경로들의 필터링, 스무딩(smoothing) 또는 분석이 가능해진다. 따라서, 시공간 일치 경로들은 많은 사용자 입력 가능성과 기능을 가능하게 한다.

상기 방법의 추적부의 입력(9000)(N개 터치 좌표 벡터들)이 희박하기 때문에, 희박추적기법(sparse tracking techniques)이 적용될 수 있다. 전체 방법의 로우(raw) 입력 이미지들(7000)이 매우 깨끗한 경우, 결합을 수행하기 위해 간단한 수단들, 즉 최근접 이웃(기리 기반), 최근접 이웃 표준필터(통계학적/상태 기반) 등이 사용될 수 있다. 유용한 멀티터치 디바이스에 대해, 심하게 손상된 입력 데이터는 많은 긍정오류들의 발생을 야기하고 멀티 프레임들 동안 실제 타겟들의 상실을 초래한다. 그러므로, 강건하게 새로운 터치들을 기준 경로들에 매치하기 위해 선형 합계 할당문제(Linear Sum Assignment Problems, LSAP)를 해결하도록 제안된다. 희박한(그리고 심지어 조밀한) 데이터 결합에 대한 LSAP를 이용하는 것이 문헌에 잘 알려져 있다. 제안된 방법의 완전한 추적부가 도 9에 나타나 있다.

각 발견된 경로에 대해 할당상태 비트 FIFO가 있다. 2개 타입의 경로들이 있다:

- 라벨 붙지 않은 경로들(TrNL)은 긍정오류와 실제 타겟 경로들을 포함한다. 라벨 붙지 않은 경로는 ID, 결합된 할당상태 비트 FIFO 및 마지막 성공 할당의 (x,y,z)를 갖는다.

- 라벨 붙은 경로들(TrL)은 실제 타겟 경로들만 포함한다. 라벨 붙은 경로는 ID, 결합된 할당상태 비트 FIFO 및 마지막 K 성공 할당에 대한 길이 K의 (x,y,z) 경로 FIFO를 갖는다.

라벨 붙은 경로들이 있는 할당이 성공적이지 않을 경우, 2개 타입의 경로들을 가짐으로써 라벨 붙지 않은 경로들(3020)에서 터치들을 누적해 긍정오류가 억제된다. 일단 라벨이 붙은 경로들이 성공적으로 수회 할당된 후에, 라벨이 붙어지게 될 것이며 그렇지 않으면 삭제될 것이다. 마지막으로, 라벨이 붙은 경로들만 출력(3030)에 사용될 것이다.

각 입력 터치에 대해, 경로(3009)를 추가한 블록은 다음과 같은 경로를 만든다:

- 완전한 할당상태 FIFO는 FALSE로 리셋된다.

- ID는 현재 이용가능한 ID이다; 현재 ID는 경로 형성 후에 증분된다.

- 라벨 붙지 않은 경로들(x,y,z)에 대해, 검출된 터치의 (x,y,z)로 간단히 설정된다.

- 라벨 붙은 경로들에 대해, 완전한 경로 FIFO는 0으로 설정되고 검출된 터치의 (x,y,z)는 FIFO에 삽입된다.

각각 완전한 입력 이미지가 거부되면, 검출된 터치들이 없다면 제로 업데이트 경로 블록(3008)이 실행된다. 블록은 나타난 각 경로(라벨 표시된 경로와 라벨 표시되지 않은 경로들)에 대한 할당상태 FIFO에 FALSE를 삽입한다.

업데이트 라벨 표시 경로블록(3023)은 할당 벡터를 수신한다. 벡터 요소의 지수는 업데이트된 경로의 경로 ID에 해당한다. 할당 벡터 요소의 값은 경로 또는 해당 경로가 터치에 업데이트/할당되지 않는 것을 의미하는 NOT_ASSIGNED에 삽입될 터치의 색인에 해당한다. 유사한 블록(3024)은 라벨 붙지 않은 경로들을 업데이트시킨다. 블록(3002에서 3006)은 모든 터치들과 모든 라벨 붙은 경로들 및 라벨 붙지 않은 경로들을 분석하게 하는 판단 블록이다.

리셋 조건이 충족되면 조건 경로들의 리셋(3025)이 발생한다: 모든 선택된 경로들이 삭제된다: 일반적으로, K 프레임 동안 선택된 경로들 중 어느 하나에 대해 성공적인 할당이 전혀 없는 것을 의미하는 선택된 경로의 모든 상태 FIFO 버퍼의 모든 비트가 FALSE이면 합당한 리셋 조건이며, K는 FIFO 버터의 길이에 해당한다. 라벨 붙은 경로들에 대해, 장래 할당들에 대해 경로 ID 일치를 보장하기 위해 한번에 모든 경로들을 제거하는 것이 현명하다.

조건 제거 경로(3026)가 조건 리셋(3025)과 유사하나 단 하나의 특정 경로할당 상태 FIFO만이 분석되는 것만 달리 실행되고, 모든 비트들이 FALSE이면, 이 특정 경로만 삭제될 것이다. 상기 실행 동안, (어쨌든 라벨 붙지 않은 경로들에 대해 중요하지 않은) 경로를 삭제하는 것은 경로 ID 일치를 보장할 수 없다.

라벨 붙지 않은 경로들의 할당상태 FIFO가 새로운 라벨이 붙은 경로들을 관리하는 블록(3021)에 연결된 블록(3007)에서 분석된다. 특정 라벨이 붙지 않은 경로에 대해 충분조건이 적용되면, 새로운 라벨이 붙은 경로가 생성될 것이고(3022) 경로 FIFP의 제 1 엔트리가 특정한 라벨이 붙지 않은 경로의 (x,y,z)로 초기화될 것이다. 그런 후 라벨 붙지 않은 경로는 삭제될 것이다. 충분조건은 TRUE 비트들의 개수가 소정 임계치(T)보다 클 경우일 수 있다. 이는 라벨이 붙지 않은 경로가 과거 K 프레임들 동안 더 많은 T 프레임들에 성공적으로 결합된 것을 의미하며, 여기서 K는 FIFO 버퍼의 크기이다.

그런 후 라벨이 붙은 경로들이 이들의 시공간 코히런스 및 일치를 위해 필터된다(3030). 필터된 경로들을 기초로, 몇몇 파라미터들이 언급되는 바와 같이 업데이트될 수 있다(3031).

칼만(Kalman) 필터링을 이용해 경로 필터링(3030)이 수행될 수 있다. 그러나, 사용된 시스템에서 칼만 필터는 충분한 평활화(smoothness)를 제공하지 못한다. 그러므로, 칼만 평활화가 사용될 수 있으나 실시간 실행에 좋은 선택은 아니다. 그럼에도 불구하고, 가령 일정한 개수의 샘플들과 평균 저역필터를 간단히 옮김으로써 충분하며 만족스러운 평활화가 적용될 수 있다:

이용된 멀티터치 시스템에서 N에 대해 단 3개의 양호한 선택만이 있는 것이 실험적으로 발견된다:

- N=2. 최소의 부드럽고 빠른 응답, 출력은 손가락 움직임에 잘 일치하는 느낌을 준다. 때로 완벽하지 않은 필터된 경로들의 몇가지 인상을 남긴다.

- N=3. 꽤 완만하고 허용가능한 응답. 부드러운 인상을 준다. 하지만, (여전히 허용가능한) 지연을 알아차릴 수 있다.

- N=4. 매우 부드럽고, 느린 응답. 매우 부드러운 경로가 있게 되나, 과거에 3개 프레임까지 평균을 계산한 사실로 인해 응답이 느려진다.

N=1은 필터링이 없는 것을 의미한다. 게다가, N의 선택은 명확히 상기 방법이 동작되는 주파수에 의존하며 주파수가 상당히 증가되면 훨씬 더 큰 N을 선택하는 것이 현명할 수 있다.

선형합계 할당문제(LASP)(3010,3020)는 조합 선택시 고전적인 문제이며 따라서 알려져 있다. 원래 형태로, 다음과 같이 진술된다:

- 요소가 0 또는 양인 N×N 크기의 (정사각형) 매트릭스 C가 있으면, N개의 발견된 요소들의 합이 가장 최소의 가능성이도록 행렬당 정확히 1 요소를 발견한다.

또한 LSAP가 비용 매트릭스(C)가 타겟에 대한 몇몇 종류의 거리 또는 매칭 경로의 역 우도(inverse likelihood) 측정으로 채워지면 멀티타겟 추적을 위해 데이터 결합문제를 해결하는데 사용될 수 있는 것이 알려져 있다.

상술한 바와 같은 본래 형태에서, 방안은 N! 합 계산과 비교를 필요로 하고 따라서 지수함수 런타임을 갖는다. 매우 나쁜 경우에 O(n³)의 문제를 해결하기 위해 공지의 알고리즘들이 있다.

멀티터치 추적을 위해, (경로의 개수가 터치 개수와 똑같이 강제되지 않는) 직사각형 매트릭스로 쉽게 확장되고 소프트-게이팅을 허용하기 때문에, 즉, 쉽게 실행되도록 사전에 소정 할당들을 허용하지 않기 때문에 문크레스(Munkres) 알고리즘이 LSAP를 해결하는데 사용된다.

라벨 붙지 않은 경로들은 주로 긍정오류를 억제할 예정이므로, 라벨 붙지 않은 경로들과 터치들의 LSAP용 비용 매트릭스는 간단히 소프트-게이팅 거리들을 갖는 거리 매트릭스일 수 있다:

TrNL_i는 라벨 붙지 않은 경로들(i)의 (x,y)를 의미한다. To_j는 터치(j)의 (x,y)를 의미한다.

소프트-게이팅 거리 측정(DSG)은 다음과 같이 주어진다:

무한 거리(∞)는 NOT-ALLOWED 할당을 의미한다. 실행시, NOT-ALLOWED는 이용된 수치 범위의 가장 큰 값일 수 있다(가령, 비용 매트릭스가 16 비트로 계산되면 NOT-ALLOWED = 0 × FFFF)

D_max는 게이트 거리이다. 라벨 붙지 않은 경로 할당에 대해, 일정한 게이트 거리가 이용될 수 있다. 이 게이트 거리는 실험적으로 및/또는 2개의 연속 프레임들 간에 가능한 최대(물리적) 변위, 즉, 물리적 커패시터 크기가 주어진 경우 최대 물리적 손가락 속도에 대한 암시의 추론에 의해 평가될 수 있다.

한가지 바람직한 실시예에서, D_max=3이며, 이는 2개의 연속 프레임들 간에 ~2cm의 최대 변위(물리적 커패시터 크기가 ~7×7㎟임)를 허용한다.

도 10의 a는 프레임 K에서 라벨 붙지 않은 경로들을 초기화하도록 하는 검출된 3개의 터치들(3015)을 나타낸다. 도 10의 b는 프레임 K에서 검출된 터치들(3015)과 프레임 K+1에서 검출된 터치들(3016)을 나타낸다. 반경 D_max(게이트 거리)를 갖는 도시된 원들에 포함되지 않기 때문에 소프트-게이트(3017)의 외부 터치가 결정된다. 도 10의 c에서, 할당(3018)이 프레임 K+1에서 발견된다.

터치들에 라벨 표시된 경로들을 매치시키기 위한 비용 매트릭스(C)는 기본적으로 하기의 차이들에 따라 라벨 붙지 않은 경로들에 대한 것과 같다:

- 경로에 이용가능한 샘플들이 4개 미만이면, 비용 매트릭스의 해당 요소들은 라벨 붙지 않은 경로들에 대해 같은 방식으로 계산된다.

- 4개(보다 많은)의 샘플들이 이용가능하면, (최신의) 4개의 샘플들에 대한 평균속도모듈(3개의 근사 순간 속도 값들의 평균)이 계산된다.

- 평균속도모듈<1이면, 비용 매트릭스의 해당 요소들은 라벨 붙지 않은 경로들에 대해 같은 방식으로 계산된다.

- 평균속도모듈>1이면, 하기의 단계들이 수행된다:

· (최신의) 4개 샘플들에 대한 방향의 평균상대변화(3개의 근사 순간 속도 값들의 평균)이 계산된다.

· 평균속도모듈과 방향의 평균상대변화를 기초로, 터치위치는 다음과 같이 예상된다:

· 게이트 거리는 다음과 같이 설정(증가)된다:

D_{max , new} = mean∥v_{TrL ,i}∥D_max

· 해당 경로들의 비용 매트릭스 요소들(평균속도모듈≥1)이 예상 위치에 대해 계산되고 증가된 게이트 거리에 따라 소프트-게이팅이 수행된다.

이들 차이들은 큰 변위들에 대한 위치가 예상되기 때문에 긍정오류에 면역된 큰 변위를 갖게 한다. 도 11은 게이트 거리(D'_max < D"_max <D"'_max)와 큰 변위들에 대한 예상된 터치위치들을 이용한 할당의 변화를 도시한 것이다.

다음은 양쪽 비용 매트릭스 계산들에 대해 원칙적으로 유지되나, 추적방법 설정으로 인해, 라벨 붙지 않은 경로들에 대해서만 유지된다.

터치들이 제 2 LSAP(3020)(터치들이 라벨 붙지 않은 경로들)에 대한 비용 매트릭스 계산시 제 1 LSAP(3010)(터치들이 라벨 붙은 경로들) 후에 성공적으로 할당되는 것이 계속 추적되어야 한다.

이미 할당된 터치에 대한 요소들은 간단히 무한(NOT_ALLOWED)로 설정된다. 이는 터치가 결코 2번 할당되지 않게 보장할 것이다.

다시 말하면 이 방법의 추적부분은 데이터 결합(LSAP)과 필터링을 의미한다.

추적 방법의 최종 출력(3032)은 N 회(ID, N, x, y, z)가 되며, 여기서 N은 할당상태 FIFO가 소정 조건을 이행하는 라벨 붙은 경로의 개수이다. 합당한 조건은 할당상태 FIFO에서 적어도 하나가 1(참)인 것일 수 있다. 이는 K-1 동안 상실하더라도 라벨 붙은 경로가 출력되는 것을 보장하며, K는 상태 FIFO의 길이이다. ID는 해당 경로의 신원이며 (x, y, z)는 경로 필터의 출력이다. 터치 좌표(x, y)와 터치 강도(z) 모두는 특정 손가락과 관련이 없다.

도 12는 본 발명의 일실시예에 따른 추적방법의 주요 단계들을 포함한 간략한 흐름도를 도시한 것이다. 터치검출부(1000+2000)(현재 프레임)로부터의 출력을 기초로, 현재 프레임의 검출된 위치와 예상 위치들 간의 거리를 포함한 거리 매트릭스가 계산된다(3018). 또 다른 실시예에서, 거리 매트릭스 대신 우도 매트릭스가 계산된다. 이 매트릭스는 4개 파라미터들(상태들)의 결합우도의 평가를 포함한다:

- 거리

- 속도모듈에서의 변화

- 움직임 방향의 변화

-강도의 변화.

그런 후 선형 할당문제(3010,3020)가 해결된다. 이는 패턴 매칭 없이 추적하는데 양호한 선택을 나타내며 큰 변위(빠른 움직임) 및 불연속이 있더라도 추적-상실을 받게 된다.

미도시된 필터링 후에, 경로 FIFO(3029)가 업데이트(3031)되고 매트릭스(3018)의 계산은 경로(3028)에 마지막 엔트리를 기초로 재시작한다.

도 13은 본 발명의 일실시예에 따른 제스처 인식(4000)의 주요 단계들을 포함한 흐름도를 도시한 것이다. 간단한 제스처의 경우, 경로들의 분석이 수행된다. 복잡한 제스처의 경우, 메모리에 저장된 기준 제스처 경로에 대한 강건한 비교가 수행된다.

경로 FIFO(3029)에 대한 예비 분석(4001)은 간단한 제스처나 전혀 제스처가 없는 것을 검출하게 한다. 제스처가 없으면(4002), 좌표 또는 상대운동벡터가 출력된다(4003). 간단한 제스처(4004)가 있으면, 간단한 제스처 신호가 출력된다(4005). 간단한 제스처가 아니면, 하기의 단계들이 수행된다:

- 경로의 체인 코딩(4006)

- 기준 경로(4008)에 대한 레벤슈타인(Levenshtein) 거리(4007) 계산

- 가장 짧은 거리로 제스처를 선택(4009).

임의의 종류의 손가락들로 임의의 종류의 제스처를 인식할 수 있기 때문에 제안된 제스처 인식은 유연하다.

상술한 바와 같은 방법으로, 터치들이 움직이지 않더라도, 멀티터치 디바이스에 남아 있는 한 터치들이 검출되고 추적된다. 그러나, 소프트웨어 키보드 애플리케이션들은 멀티터치 디바이스에 놓이는 손가락들이 아니라 두드리는 손가락으로부터만 입력을 필요로 한다. 하기의 단계들로, N개의 손가락 소프트-키보드 애플리케이션들, 가령 10-손가락 소프트-키보드 애플리케이션을 구현할 수 있으며, 손은 멀티터치 디바이스에 남아있게 허용된다.

- 제 2 그레이레벨 필터링 블록(1050)(F(k): t=k에서의 프레임)의 출력을 이미지 분할(2010)에 공급하는 대신, t=k에서 프레임이 저장되고 상기 방법은 처음부터 반복된다.

- 나중에 한 순간에, 제 2 프레임이 얻어진다(F(k+1): t=k+1에서의 프레임).

- 이산시간 미분이 계산된다: dF(k+1) = F(k+1)- F(k).

- 시간 미분이 정정된다. 즉, 음일 수 있는 픽셀들에 대해 0으로 설정된다.

- dF는 (ID, N, x, y, z)를 얻기 위해 나머지 단계들에 공급된다.

시간 미분을 계산하는 과정은 시간적으로 준 안정적인 정보를 제거할 것이며 단지 동적 정보를 포함한 이미지를 남길 것이다. 그러므로, dF는 손 또는 손가락이 멀티터치 디바이스에 놓이는 곳에 0으로 될 것이며, 손가락이 두드려지는 곳에서는 0과 다르게 될 것이다. 다른 처리는 펄스들(움직임이 전혀 없음)만 허용하도록, 즉 프레임 당 한번의 터치만 등등을 허용하도록 적용되게 할 필요가 있을 수 있다.

도출된 이미지가 너무 열악하면, 경로 및 할당 상태 버퍼들의 분석에 의한 방법의 통상적 실행을 위한 추적 블록(3000) 후에 탭 정보가 또한 추출될 수 있다.

본 출원에 기술된 방법 및 처리 단계들은 범용 컴퓨터 또는 디지털 신호 프로세서(DSP), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array ), 이산 구성요소들 또는 그 임의의 조합에 의해 실행되는 소프트웨어로 구행될 수 있다. 다른 블록들 및 심지어 단일 블록으로도 기능들을 수행하기 위해 다른 하드웨어 및/또는 소프트웨어 구성요소들이 사용될 수 있다.

따라서 본 출원에 따른 방법의 어느 단계들은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈로 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어는 펌웨어, 연산 시스템에서 하드웨어 드라이버 실행, 또는 애플리케이션 프로그램을 포함할 수 있다. 그러므로, 본 발명은 또한 본 명세서에 소개된 연산들을 수행하기 위한 컴퓨터 프로그램 제품에 관한 것이다. 소프트웨어로 구현될 경우, 상술한 기능들은 컴퓨터 판독가능한 매체에 하나 이상의 명령들로 저장될 수 있다. 사용될 수 있는 저장매체의 몇몇 예들로 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 탈착식 디스크, 다른 광학 디스크들, 또는 컴퓨터 또는 임의의 다른 IT 장비 및 애플리케이션에 접속될 수 있는 임의의 가용한 매체를 포함한다.

Claims (27)

1. 멀티터치 디바이스에 의해 도출된 입력 이미지(7000)로부터 임의의 터치 회수를 감지하는 방법으로서,
   상기 방법은
   - 상기 입력 이미지(7000)를 처리하는 단계(1010-1050)와 처리된 이미지(8000)를 얻는 단계;
   - 상기 처리된 이미지(8000)의 임계치화와 분할 이미지를 얻음으로써 분할하는 단계(2010);
   - 분할된 이미지의 영역을 식별하는 단계(2030);
   - 로컬 최대값을 찾는 단계;
   - 상기 로컬 최대값을 기초로 적어도 하나의 터치위치(9000)를 판단하는 단계를 포함하고,
   각 로컬 최대값은 한 픽셀 크기이며 각 영역 내의 한 서브영역에 속하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
2. 제 1 항에 있어서,
   상기 서브영역은 N×N 픽셀 크기이며, 여기서 N은 홀수 정수인 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
3. 제 2 항에 있어서,
   N은 3인 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 찾는 단계는 복수의 반복들을 포함하고,
   각 반복시
   - 상기 서브영역이 정의되고, 서브 영역은 영역의 한 픽셀에 중심에 있고, 상기 픽셀은 각 반복시 바뀌며,
   - 상기 서브영역의 중심에 있는 픽셀과 달리 상기 서브영역 내에 있는 픽셀들은 상기 서브영역의 중심에 있는 상기 픽셀의 값보다 더 낮은 값을 갖는지 검증되고,
   - 이전 단계가 검증되면, 한 픽셀 크기의 로컬 최대값으로서 상기 서브영역의 중심에 있는 상기 픽셀을 식별하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 영역은 연결된 픽셀들의 그룹인 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 처리는 상기 입력 이미지(7000)를 필터링하는 단계(1010,1030,1050,2020)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   기설정된 조건에 따라 몇몇 영역들을 폐기하는 단계를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
8. 제 7 항에 있어서,
   기설정된 조건은 영역, 상기 영역의 정사각형 형성도 계수 및/또는 각 영역에서 발견된 한 픽셀크기의 로컬 최대값의 개수를 기초로 하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
9. 제 7 항 또는 제 8 항에 있어서,
   상기 적어도 하나의 터치위치를 판단하는 단계는 상기 폐기하는 단계 후에 남아 있는 각 영역의 기하학적 중심을 계산하는 단계(2050)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
10. 제 9 항에 있어서,
    상기 계산하는 단계는 상기 영역이 한 픽셀 크기의 하나의 로컬 최대값을 포함하면 영역의 모든 픽셀들을 고려하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
11. 제 9 항에 있어서,
    상기 계산하는 단계는 상기 영역이 한 픽셀 크기의 하나 이상의 로컬 최대값을 포함하면 영역의 각 로컬 최대값에 집중된 서브영역들 내에 있는 픽셀들만을 고려하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    베이스라인 이미지(I_ref)를 얻기 위해 조정하는 단계(1020)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
13. 제 12 항에 있어서,
    상기 베이스라인 이미지(I_ref)와 함께 상기 입력 이미지(7000)를 빼고, 부호화 이미지를 얻고, 터치오류를 찾는 단계를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
14. 제 6 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 필터링하는 단계는 제 1 그레이레벨 이미지 필터링(1030)을 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
15. 제 14 항에 있어서,
    상기 제 1 그레이레벨 이미지 필터링(1030)은 스무더(smoother)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
16. 제 6 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 필터링하는 단계는 상기 입력 이미지(7000)의 시간영역 필터링(1010)을 더 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
17. 제 6 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 필터링하는 단계는 제 1 그레이레벨 이미지 필터링(1030)을 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
18. 제 6 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 필터링하는 단계는 이진수 이미지 필터링(2020)을 더 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
19. 제 18 항에 있어서,
    상기 이진수 이미지 필터링은 이진수 형태학적 필터(2023)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
20. 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 영역을 식별하는 단계(2030)는 영역 라벨링과 상기 영역(2040)의 분석을 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
21. 제 1 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 터치위치들을 기초로 경로를 형성하는 단계(3009);
    각 경로에 대해, 할당되거나 할당되지 않은 각 경로들을 식별하는 상태 비트(FIFO) 할당하는 단계;
    각 라벨 붙은 경로의 선형 할당문제를 해결하는 단계(3010);
    각 라벨 붙지 않은 경로의 선형 할당문제를 해결하는 단계와 라벨 붙은 경로들(3020,3023,3024)를 업데이트하는 단계
    상기 업데이트된 라벨 붙은 경로들을 필터링하는 단계(3030)를 더 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
22. 제 21 항에 있어서,
    각각의 상기 터치위치들에 대한 경로를 형성 단계는 거리 매트릭스(C,3018)를 계산하는 단계를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
23. 제 22 항에 있어서,
    각각의 상기 터치들에 대한 경로를 형성하는 단계는 다음의 파라미터들:
    - 위치
    - 속도모듈
    - 방향의 변화
    - 강도의 변화
    를 고려해 우도 매트릭스를 계산하는 단계를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
24. 제 23 항에 있어서,
    상기 필터링하는 단계(3030)를 기초로 상기 파라미터들을 업데이트하는 단계(3031)를 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
25. 제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
    - 제스처 또는 간단한 제스처를 감지하는 예비 분석단계(4001);
    - 제스처가 감지되지 않으면 상대 운동벡터의 좌표를 출력하는 단계(4003);
    - 간단한 제스처가 감지되면 간단한 제스처 신호를 출력하는 단계(4005);
    - 제스처가 있고 간단한 제스처가 아니면(4006,4007,4009) 기준 제스처에 대한 비교를 수행하는 단계(4008)를 더 포함하는 입력 이미지로부터 임의의 터치 회수를 감지하는 방법.
26. 상기 명령이 실행될 때 제 1 항 내지 제 25 항의 한 방법을 수행하기 위한 프로세서에 의해 실행될 수 있는 명령어를 갖는 비일시적 접촉식 컴퓨터 판독가능 매체.
27. - 멀티터치 디바이스에 의해 출력된 입력 이미지(7000)를 처리하고 처리된 이미지(8000)를 얻는 단계를 위한 처리 수단과,
    - 상기 처리된 이미지(8000)의 임계치화와 분할 이미지를 얻기 위한 분할(2010) 수단과,
    - 분할 세그먼트의 영역들(2030)을 식별하기 위한 식별 수단과,
    - 한 픽셀 계산 수단의 크기의 로컬 최대값과,
    - 상기 로컬 최대값을 기초로 하나 또는 복수의 터치 영역들(9000)을 결정하기 위한 결정 수단을 구비하는 멀티터치 디바이스용 멀티터치 설비.

Images