KR102143760B1

KR102143760B1 - 터치추적방법

Info

Publication number: KR102143760B1
Application number: KR1020130148423A
Authority: KR
Inventors: 장현우; 이병관
Original assignee: 엘지디스플레이 주식회사
Priority date: 2013-12-02
Filing date: 2013-12-02
Publication date: 2020-08-13
Also published as: KR20150064280A

Abstract

터치를 추적하는 방법에 있어서, 터치스크린은 N(N은 2이상의 자연수)개의 서브영역으로 분할되어 정의되고, 터치스크린에 대한 센싱데이터로부터 터치의 제1터치좌표 및 제1터치좌표가 속하는 제1서브영역을 인식하는 단계, 제1터치좌표에 대하여 상기 제1서브영역 혹은 상기 제1서브영역과 인접한 서브영역에 속하는 이전 프레임의 터치좌표들과 근접도 테스트를 수행하는 단계, 및 근접도 테스트 결과에 기초하여 제1터치좌표를 이전 프레임의 터치좌표들 중 한 터치좌표와 연관시키는 단계를 포함하는 터치추적방법을 제공한다.

Description

터치추적방법{TOUCH TRACKING METHOD}

본 발명은 터치스크린에 대한 터치를 추적하는 기술에 관한 것이다.

표시장치를 경량화 및 슬림화하기 위해서는 표시장치에 부가적으로 부착되는 키보드 혹은 마우스를 대체하는 터치스크린 기술이 필요하다.

도 1은 터치스크린(10) 상에서 터치를 유지하면서 미끄러지듯이 이동하는 사용자 조작을 나타내는 도면이다. 이러한 사용자 조작은 마우스의 드래그(drag) 조작을 대체할 수 있다.

도 1을 참조하면, 사용자(11)는 제1지점(12)을 통해 터치스크린(10)을 터치한 후 터치를 계속해서 유지하면서 제2지점(13)으로 이동하고 있다. 이러한 조작은 직관적인 측면에서 마우스를 통한 드래그(drag) 조작과 유사하다. 마우스의 드래그 조작은 사용자가 마우스의 일 버튼(예를 들어, 왼쪽 버튼)을 누른 상태에서 마우스를 이동시키는 동작이다. 도 1에 도시된 사용자 조작도 이와 유사하게 사용자(11)가 제1지점(12)을 누른 상태로 이동하면서 제2지점(14)에 이르고 있어 마우스의 드래그 동작과 유사하다.

마우스의 드래그 조작은 사용자가 화면 상의 오브젝트를 일 위치에서 다른 위치로 이동시키는데 사용된다. 예를 들어, 사용자는 화면 상의 파일 아이콘에 대해 드래그 조작을 수행함으로써 파일이 제1폴더에서 제2폴더로 이동되도록 할 수 있다.

도 1에 도시된 사용자 조작도 마우스의 드래그 조작과 같은 용도로 사용될 수 있다. 예를 들어, 사용자(11)는 제1지점(12) 상의 오브젝트를 도 1과 같이 조작하여 해당 오브젝트가 제2지점(13)으로 이동되도록 할 수 있다. 물론, 터치스크린(10)을 포함하는 시스템은 도 1과 같은 사용자 조작을 다른 용도(예를 들어, 글씨의 일 획이 화면 상에 그려지도록 하는 용도)로 이용할 수도 있다.

한편, 터치스크린에 대한 터치는 불연속적으로 센싱(예를 들어, 프레임 단위로 센싱)되기 때문에, 터치스크린(10)을 포함하는 시스템이 도 1과 같이 이동되는 터치를 인식하기 위해서는 이전 시간에 센싱된 터치와 그 다음 시간에 센싱된 터치를 연관시키는 기술이 필요하다. 예를 들어, 도 1에서 사용자(11)의 터치가 제1지점(12)으로부터 제2지점(14)으로 이동할 때, 그 이동 경로(15)에서는 불연속적으로 터치가 센싱된다. 이렇게 불연속적으로 센싱되는 터치들이 하나의 일관된 조작과 연관되어 있다고 판단하기 위해서는 이전 시간에 센싱된 터치와 그 다음 시간에 센싱된 터치를 연관시키는 기술이 요구된다.

이러한 배경에서, 본 발명의 목적은, 일 측면에서, 이전 시간에 센싱된 터치와 다음 시간에 센싱된 터치를 연관시켜 터치를 추적하는 기술을 제공하는 것이다.

다른 측면에서, 본 발명의 목적은, 멀티터치에서 각각의 터치가 서로 간섭되지 않고 추적되는 기술을 제공하는 것이다.

또 다른 측면에서, 본 발명의 목적은, 이전 시간에 센싱된 터치 중 다음 시간에 센싱되는 터치와 연관될 가능성이 낮은 것을 추적에서 제외하여 프로세싱 부하를 감소시키는 기술을 제공하는 것이다.

전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 터치를 추적하는 방법에 있어서, 터치스크린은 N(N은 2이상의 자연수)개의 서브영역으로 분할되어 정의되고, 상기 터치스크린에 대한 센싱데이터로부터 상기 터치의 제1터치좌표 및 상기 제1터치좌표가 속하는 제1서브영역을 인식하는 단계; 상기 제1터치좌표에 대하여 상기 제1서브영역 혹은 상기 제1서브영역과 인접한 서브영역에 속하는 이전 프레임의 터치좌표들과 근접도 테스트를 수행하는 단계; 및 상기 근접도 테스트 결과에 기초하여 상기 제1터치좌표를 상기 이전 프레임의 터치좌표들 중 한 터치좌표와 연관시키는 단계를 포함하는 터치추적방법을 제공한다.

다른 측면에서, 본 발명은, 터치를 추적하는 방법에 있어서, 상기 터치스크린에 대한 센싱데이터로부터 상기 터치의 제1터치좌표를 인식하는 단계; 상기 제1터치좌표에 대하여 상기 제1터치좌표로부터 일정 범위 안에 속하는 이전 프레임의 터치좌표들과 근접도 테스트를 수행하는 단계; 및 상기 근접도 테스트 결과에 기초하여 상기 제1터치좌표를 상기 이전 프레임의 터치좌표들 중 한 터치좌표와 연관시키는 단계를 포함하는 터치추적방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 이전 시간에 센싱된 터치와 다음 시간에 센싱된 터치를 연관시켜 터치를 추적할 수 있는 효과가 있다.

또한, 멀티터치에서 각각의 터치가 서로 간섭되지 않고 추적되는 효과가 있다.

또한, 이전 시간에 센싱된 터치 중 다음 시간에 센싱되는 터치와 연관될 가능성이 낮은 것을 추적에서 제외하여 프로세싱 부하를 감소시키는 효과가 있다.

도 1은 터치스크린(10) 상에서 터치를 유지하면서 미끄러지듯이 이동하는 사용자 조작을 나타내는 도면이다.
도 2는 실시예들이 적용될 수 있는 표시장치의 블록도이다.
도 3은 근접도를 평가하기 위한 요소들을 나타내는 도면이다.
도 4는 멀티터치에 대하여 근접도 테스트를 수행하는 것을 설명하기 위한 도면이다.
도 5는 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제1 예시 방법에 대한 흐름도이다.
도 6은 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제2 예시 방법에 대한 흐름도이다.
도 7 및 도 8은 각각 도 5의 제1 예시 방법 및 도 6의 제2 예시 방법에 의한 K프레임 터치좌표와 K-1프레임 터치좌표의 연관관계 결과를 도식화한 도면이다.
도 9는 멀티터치에서 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시키는 제3 예시 방법을 설명하기 위한 도면이다.
도 10은 도 9를 참조하여 설명한 제3 예시 방법의 흐름도이다.
도 11은 멀티터치에서 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시키는 제4 예시 방법을 설명하기 위한 도면이다.
도 12는 도 11을 참조하여 설명한 제4 예시 방법의 흐름도이다.
도 13은 제4 예시 방법에서 인접 서브영역을 확인하는 방법을 설명하기 위한 도면이다.
도 14는 터치좌표가 속하는 서브영역을 인식하는 방법을 설명하기 위한 도면이다.
도 15는 제4 예시 방법을 포함하여 MCU가 호스트로 좌표와 추적아이디를 송신하는 과정의 흐름도이다.
도 16은 한 프레임의 시간 동안 사용자가 움직이는 최대 거리를 측정하는 방법을 설명하는 도면이다.
도 17은 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제5 예시 방법에 대한 흐름도이다.

사용자의 신체(예를 들어, 손가락) 혹은 사용자에 의해 제어되는 물건(예를 들어, 터치펜)이 스크린에 접촉하는 것을 인식하기 위한 터치스크린 기술의 실시예들에 대해 설명한다. 특히, 시간에 따라 센싱되는 터치들을 연관시켜 터치를 추적하는 기술의 실시예에 대해 설명한다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 같은 맥락에서, 어떤 구성 요소가 다른 구성 요소의 "상"에 또는 "아래"에 형성된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접 또는 또 다른 구성 요소를 개재하여 간접적으로 형성되는 것을 모두 포함하는 것으로 이해되어야 할 것이다.

도 2는 실시예들이 적용될 수 있는 표시장치의 블록도이다.

도 2를 참조하면, 표시장치(200)는 표시패널(290) 및 표시패널(290)에 이미지를 표시하기 위한 드라이버회로(292, 드라이버 IC) 및 타이밍콘트롤러(294, T-con)를 포함할 수 있다.

표시장치(200)는 액정표시소자(Liquid Crystal Display, LCD), 전계방출 표시소자(Field Emission Display : FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광 표시장치(Organic Light Emitting Display, OLED), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. 이하의 실시예에서, 평판 표시소자의 일 예로서 표시장치를 액정표시소자 중심으로 설명하지만, 본 발명의 표시장치(200)는 액정표시소자에 한정되지 않는다는 것에 주의하여야 한다.

표시패널(290)은 두 장의 기판들 사이에 액정층이 형성될 수 있다. 표시패널(290)의 하부 기판에는 다수의 데이터라인들, 데이터라인들과 교차되는 다수의 게이트라인들, 데이터라인들과 게이트라인들의 교차부들에 형성되는 다수의 TFT들(Thin Film Transistor), 액정셀들에 데이터전압을 충전시키기 위한 다수의 화소전극, 화소전극에 접속되어 액정셀의 전압을 유지시키기 위한 스토리지 커패시터(Storage Capacitor) 등을 포함할 수 있다.

표시패널(290)의 픽셀들은 데이터라인들과 게이트라인들에 의해 정의된 픽셀 영역에 형성되어 매트릭스 형태로 배치될 수 있다. 픽셀들 각각의 액정셀은 화소전극에 인가되는 데이터전압과 공통전극에 인가되는 공통전압의 전압차에 따라 인가되는 전계에 의해 구동되어 입사광의 투과양을 조절할 수 있다. TFT들은 게이트라인으로부터의 게이트펄스에 응답하여 턴-온되어 데이터라인으로부터의 전압을 액정셀의 화소전극에 공급할 수 있다.

표시패널(290)의 상부 기판에는 블랙매트릭스, 컬러필터 등을 포함할 수 있다. 표시패널(290)의 하부 기판은 COT(Color filter On TFT) 구조로 구현될 수 있다. 이 경우에, 블랙매트릭스와 컬러필터는 표시패널(290)의 하부 기판에 형성될 수 있다.

표시패널(290)의 상부 기판과 하부 기판 각각에는 편광판이 부착되고 액정과 접하는 내면에 액정의 프리틸트각을 설정하기 위한 배향막이 형성될 수 있다. 표시패널(290)의 상부 기판과 하부 기판 사이에는 액정셀의 셀갭(Cellgap)을 유지하기 위한 컬럼 스페이서가 형성될 수 있다.

드라이버회로(292)는 타이밍콘트롤러(294)로부터 입력되는 디지털 비디오 데이터(RGB)를 아날로그 정극성/부극성 감마보상전압으로 변환하여 데이터전압을 출력할 수 있다. 데이터전압은 데이터라인들에 공급된다. 드라이버회로(292)는 또한, 데이터전압에 동기되는 게이트펄스를 게이트라인들에 순차적으로 공급하여 데이터 전압이 기입되는 표시패널(290)의 라인을 선택한다.

타이밍콘트롤러(294)는 호스트(240)로부터 입력되는 수직 동기신호(Vsync), 수평 동기신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 메인 클럭(MCLK) 등의 타이밍신호를 입력받아 드라이버회로(292)의 동작 타이밍을 제어하기 위한 스캔 타이밍 제어신호와 데이터 타이밍 제어신호를 발생할 수 있다. 스캔 타이밍 제어신호는 게이트 스타트 펄스(Gate Start Pulse, GSP), 게이트 쉬프트 클럭(Gate Shift Clock), 게이트 출력 인에이블신호(Gate Output Enable, GOE) 등을 포함할 수 있다. 데이터 타이밍 제어신호는 소스 샘플링 클럭(Source Sampling Clock, SSC), 극성제어신호(Polarity, POL), 소스 출력 인에이블신호(Source Output Enable, SOE) 등을 포함할 수 있다.

전술한 부분은 표시장치(200)에서 화면에 영상을 표시하는 것과 관련된 구성들이다. 도 2를 계속해서 참조하면서, 표시장치(200)에서 터치를 센싱하는 것과 관련된 구성에 대해 살펴본다.

표시장치는(200)는 터치스크린(210) 및 터치스크린(210)에서의 터치를 센싱하기 위한 터치회로(220, 터치 IC) 및 마이크로콘트롤유니트(230, MCU)를 포함할 수 있다. 터치IC(220)와 MCU(230, Micro Control Unit)를 합쳐서 터치콘트롤러로 명명할 수도 있으나 이러한 명칭에 의해 본 발명이 제한되는 것은 아니다.

도 2에서는 터치IC(220)와 MCU(230, Micro Control Unit)가 분리되어 있는 것으로 도시하였으나 터치IC(220)와 MCU(230)는 하나의 제어기로 구성될 수도 있다. 아래에서는 설명의 편의를 위해 터치IC(220)와 MCU(230)가 분리된 실시예에 대하여 설명한다. 그런데, 전술한 바와 같이 터치IC(220)와 MCU(230)는 하나의 제어기로 구현할 수도 있는 것으로서 터치IC(220)가 수행하는 기능 중 일부는 MCU(230)에서 수행될 수 있고 MCU(230)가 수행하는 기능 중 일부는 터치IC(220)에서 수행될 수 있다.

터치스크린(210)은 표시패널(290)의 상부 편광판 상에 접합되거나, 상부 편광판과 상부 기판 사이에 형성될 수 있다. 또한, 터치스크린(210)의 전극들은 표시패널(290) 내에서 픽셀 어레이와 함께 인셀(In-cell) 타입으로 하부기판에 형성될 수 있다.

터치스크린(210)은 Tx 라인들, Tx 라인들과 교차하는 Rx 라인들 및 Tx 라인들과 Rx 라인들의 교차부들에 형성되는 센서 노드들을 포함할 수 있다.

터치IC(220)는 Tx 라인들에 구동펄스를 공급하고 Rx 라인들을 통해 센서 노드의 전압을 센싱하여 디지털 데이터로 변환할 수 있다. Tx 라인들로 구동펄스를 공급하는 회로와 Rx 라인들의 전압을 센싱하는 회로는 분리되어 별도의 IC로 구성될 수 있으나 도 2의 예시와 같이 하나의 ROIC(Read-out IC) 내에 집적될 수 있다.

터치IC(220)는 MCU(230)로부터 입력된 셋업신호에 응답하여 Tx 채널을 설정하고, 설정된 Tx 채널에 연결된 Tx 라인들에 구동펄스를 공급한다.

하나의 Tx 라인에 연결된 센서 노드로 한번씩 구동펄스를 공급하는 것을 하나의 스캔이라고 할 때, 터치IC(220)는 하나의 Tx 라인에 대하여 둘 이상의 스캔(예를 들어, 10회의 스캔)을 수행할 수 있다. 터치IC(220)는 이렇게 하나의 Tx 라인에 대하여 다수의 스캔을 수행하고 다음 Tx 라인에도 같은 방식으로 다수의 스캔을 수행할 수 있다.

터치IC(220)는 MCU(230)로부터 입력된 셋업신호에 응답하여 센서 노드의 전압을 수신할 Rx 채널을 설정하고, 설정된 Rx 채널과 연결된 Rx 라인을 통해 센서 노드의 전압을 센싱한다. 터치IC(220)는 센싱된 센서 노드의 전압을 디지털 데이터인 터치 로 데이터(touch raw data)로 변환하여 MCU(230)로 전송할 수 있다.

MCU(230)는 I2C 버스, SPI(serial peripheral interface), 시스템 버스(System bus) 등의 인터페이스를 통해 터치IC(220)에 연결될 수 있다. MCU(230)는 셋업신호를 터치IC(220)에 공급하여 구동펄스가 출력될 Tx 채널을 설정하고 센서 노드의 전압이 읽혀질 Rx 채널을 선택한다. MCU(230)는 터치IC(220)에 내장된 샘플링 회로의 스위치들을 제어하기 위한 Rx 샘플링 클럭을 터치IC(220)에 공급하여 센서 노드의 전압 샘플링 타이밍을 제어할 수 있다. 또한, MCU(230)는 ADC 클럭을 터치IC(220)에 내장된 아날로그-디지털 변환기(Analog to Digital converter)에 공급하여 ADC의 동작 타이밍을 제어할 수 있다.

MCU(230)는 터치IC(220)로부터 입력되는 터치 로 데이터들을 미리 설정된 터치 알고리즘으로 분석하여 소정의 기준값 이상의 터치 데이터들에 대한 좌표값을 추정하여 좌표 정보를 포함한 터치 데이터를 생성하고 호스트(240)로 출력할 수 있다.

호스트(240)는 외부 비디오 소스 기기 예를 들면, 네비게이션 시스템, 셋톱박스, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 방송 수신기, 폰 시스템(Phone system) 등에 접속되어 그 외부 비디오 소스 기기로부터 영상 데이터를 입력받을 수 있다. 호스트(240)는 스케일러(scaler)를 포함한 SoC(System on chip)을 포함하여 외부 비디오 소스 기기로부터의 영상 데이터를 표시패널(290)에 표시하기에 적합한 포맷으로 변환한다. 또한, 호스트(240)는 MCU(230)로부터 입력되는 터치 데이터의 좌표값과 연계된 응용 프로그램을 실행할 수 있다.

한편, MCU(230)는 터치IC(220)로 제어신호를 전송하여 터치IC(220)가 주기적으로 터치스크린(210)에 대하여 터치를 센싱하고 이렇게 센싱된 센싱데이터를 MCU(230)로 전송하도록 제어할 수 있다. 하나의 주기를 프레임으로 호칭할 수 있으나 본 발명이 이러한 호칭으로 제한되지는 않는다. 이하에서는 설명의 편의를 위하여 프레임 단위로 터치IC(220)가 터치를 센싱하고 센싱데이터를 MCU(230)로 전송하는 실시예에 대해 설명한다.

MCU(230)는 터치IC(220)로부터 프레임 단위로 전송되는 센싱데이터를 분석하여 이전 프레임의 터치와 그 다음 프레임의 터치를 연관시킨다. 이를 위해, MCU(230)는 센싱데이터로부터 각각의 터치에 대한 터치좌표를 인식하고, 이전 프레임(이하 "K-1프레임"이라함) 터치의 터치좌표와 그 다음 프레임(이하 "K프레임"이라함) 터치의 터치좌표에 대하여 근접도을 테스트한다. MCU(230)는 이러한 근접도 테스트의 결과를 통해 근접도이 높게 평가된 K-1프레임 및 K프레임의 터치좌표를 서로 연관시킨다.

도 3은 근접도를 평가하기 위한 요소들을 나타내는 도면이다.

도 3을 참조하면, MCU(230)는 근접도 테스트를 위해, K프레임에서의 터치좌표(L(j) at frame(k))와 K-1프레임에서의 터치좌표(Tm(i) at frame(k-1)) 사이의 거리(d) 값을 사용한다. MCU(230)는 거리(d) 값이 작을수록 K프레임에서의 터치좌표(L(j) at frame(k))와 K-1프레임에서의 터치좌표(Tm(i) at frame(k-1))의 근접도가 높다고 평가할 수 있다. 이하 설명의 편의를 위해 K프레임의 j번째 터치좌표는 L(j)_k, K-1프레임의 i번째 터치좌표는 Tm(i)_k-1, 그리고, Tm(i)_k-1과 연관되어진 K-2프레임(K-2프레임은 K-1프레임보다 앞선 프레임)의 터치좌표는 Tm(i)_k-2로 표시한다. 여기서, i, j, K는 자연수이고, K-2프레임까지 고려하는 경우, K는 3이상의 자연수일 수 있다.

MCU(230)는 또한, K-1프레임에서의 터치좌표(Tm(i)_k-1)와 K-2프레임의 터치좌표(Tm(i)_k-2)를 연결한 직선과 K프레임에서의 터치좌표(L(j)_k)와 K-1프레임(Tm(i)_k-1)에서의 터치좌표가 연결된 직선이 이루는 각도(Θ)를 근접도 테스트를 위해 사용할 수 있다. MCU(230)는 이러한 각도(Θ)가 작을수록 K프레임에서의 터치좌표(L(j)_k)와 K-1프레임에서의 터치좌표(Tm(i)_k-1)의 근접도가 높다고 평가할 수 있다.

MCU(230)는 근접도 테스트를 함수의 형태로 계산할 수 있다.

MCU(230)는 수학식 1의 proximity 값을 계산함으로써 근접도 테스트를 수행한다. 수학식 1을 참조하면 proximity 함수는 K프레임 터치좌표와 K-1프레임 터치좌표의 거리 값(d)과 이루는 각도(Θ)를 인자로 포함하는 함수인데, 구체적으로 살펴보면, K프레임 터치좌표와 K-1프레임 터치좌표의 거리 값(d)에 제1가중치(α)를 곱한 값과 K프레임 터치좌표와 K-1프레임 터치좌표가 이루는 각도(Θ)(도 3의 예시에서는 전술한 바와 같이 K-2프레임의 터치좌표도 고려하여 계산한 각도)에 제2가중치(β)를 곱한 값을 더하는 형태로 되어 있다.

MCU(230)는 이러한 proximity 함수의 값이 일정 범위 이내에 있는 경우 K프레임 터치좌표와 K-1프레임 터치좌표와 연관시킬 수 있다.

그런데, K-1프레임의 터치좌표가 두 개 이상 있고 그 두 개 이상에 대한 proximity 함수의 값이 모두 일정 범위 이내에 있는 경우 문제가 될 수 있다. K프레임의 하나의 터치좌표는 K-1프레임의 하나의 터치좌표와만 연관될 수 있기 때문에 MCU(230)는 proximity 함수의 값이 모두 일정 범위 이내에 있는 K-1프레임의 터치좌표 중 하나의 터치좌표를 선택해야 한다.

비슷한 상황으로, K프레임의 터치좌표가 두 개 이상 있고, 이 두 개 이상이 K-1프레임의 동일한 터치좌표에 대하여 계산된 proximity 함수 값이 모두 일정 범위 이내에 있는 경우도 전술한 문제와 유사한 문제가 발생할 수 있다.

이러한 상황은 멀티터치에서 발생한다. 멀티터치는 MCU(230)가 하나의 프레임에서 둘 이상의 터치좌표를 인식할 수 있는 것을 의미하는데, 이러한 멀티터치 상황에서 K프레임의 터치좌표가 둘 이상일 수 있고, 또한 K-1프레임의 터치좌표가 둘 이상일 수 있기 때문에, 전술한 문제가 발생하게 된다.

도 4는 멀티터치에 대하여 근접도 테스트를 수행하는 것을 설명하기 위한 도면이다.

도 4를 참조하면, MCU(230)는 K프레임에서 제1(K)프레임터치좌표(L(1) at frame(k), 이하 "L(1)_k") 및 제2(K)프레임터치좌표(L(1) at frame(k), 이하 "L(2)_k")를 인식할 수 있다. 또한, MCU(230)는 K-1프레임에서 제1(K-1)프레임터치좌표(Tm(1) at frame(k-1), 이하 "Tm(1)_k-1") 및 제2(K-1)프레임터치좌표(Tm(2) at frame(k-1), 이하 "Tm(2)_k-1")를 인식하고, 각각의 K-1프레임터치좌표는 K-2프레임에서 인식된 제1(K-2)프레임터치좌표(Tm(1) at frame(k-2), 이하 "Tm(1)_k-2") 및 제2(K-2)프레임터치좌표((Tm(2) at frame(k-2), 이하 "Tm(2)_k-2")와 연관되어 있을 수 있다.

멀티터치에 따라 K프레임의 터치좌표와 K-1프레임의 터치좌표가 모두 둘 이상이기 때문에, MCU(230)는 모든 가능한 조합(p1, p2, p3, p4)에 대하여 근접도 테스트를 수행한다. 예를 들어, MCU(230)는 제1(K)프레임터치좌표(L(1)_k)를 제1(K-1)프레임터치좌표(Tm(1)_k-1) 뿐만 아니라 제2(K-1)프레임터치좌표(Tm(2)_k-1)에 대하여도 근접도 테스트를 수행한다. 또한, MCU(230)는 제2(K)프레임터치좌표(L(2)_k)를 제1(K-1)프레임터치좌표(Tm(1)_k-1) 뿐만 아니라 제2(K-1)프레임터치좌표(Tm(2)_k-1)에 대하여도 근접도 테스트를 수행한다.

그리고, MCU(230)는 근접도 테스트에 기초하여 근접도가 높은 조합(예를 들어, L(1)_k에 대하여 p1 조합)에 해당되는 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시키게 된다.

도 5는 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제1 예시 방법에 대한 흐름도이다.

도 5를 참조하면, MCU(230)는 먼저 각종 변수에 대한 초기값을 세팅한다(S502). 도 5에서는 i 및 j 변수가 0으로 세팅된다.

그리고, MCU(230)는 j번째 K프레임 터치좌표에 대하여 i번째 K-1프레임 터치좌표와 Proximity 함수를 계산하게 된다(S504).

S506 단계에서, i는 하나씩 증가하고, S508 단계에서 i가 K-1프레임 터치좌표의 개수(T_max)보다 작으면(S508에서 YES) S504 단계로 분기하기 때문에 MCU(230)는 S504, S506 및 S508 단계(제1루프)를 통해 j번째 K프레임 터치좌표에 대하여 K-1프레임의 모든 터치좌표와 Proximity 함수를 계산하게 된다.

제1루프가 종료되면(S508에서 NO), MCU(230)는 계산된 Proximity 함수이 최소가 되는 K-1프레임 터치좌표를 j번째 K프레임 터치좌표와 연관시킨다(S510).

K-1프레임 터치좌표들에는 터치를 추적하는데 사용하기 위한 추적아이디가 할당되어 있을 수 있다. S510 단계에서 K-1프레임 터치좌표를 j번째 K프레임 터치좌표와 연관시킬 때, MCU(230)는 연관되는 K-1프레임 터치좌표에 할당된 추적아이디를 j번째 K프레임 터치좌표에 재할당함으로써 K-1프레임 터치좌표를 j번째 K프레임 터치좌표와 연관시킬 수 있다.

MCU(230)는 j번째 K프레임 터치좌표에 대한 K-1프레임 터치좌표 연동이 종료되면 다음 단계로 j를 하나씩 증가시키고(S512), j가 K프레임 터치좌표 개수(L_max)보다 작으면(S514에서 YES) 다시 S504 단계로 분기한다.

MCU(230)는 제1루프, S510, S512 및 S514 단계(제2루프)를 반복 수행하면서, 모든 K프레임 터치좌표를 K-1프레임 터치좌표와 연동시킨다.

도 6은 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제2 예시 방법에 대한 흐름도이다.

도 6을 참조하면, MCU(230)는 먼저 각종 변수에 대한 초기값을 세팅한다(S602). 도 5에서는 i 및 j 변수가 0으로 세팅된다.

그리고, MCU(230)는 j번째 K프레임 터치좌표에 대하여 i번째 K-1프레임 터치좌표와 Proximity 함수를 계산하게 된다(S604).

S606 단계에서, i는 하나씩 증가하고, S608 단계에서 i가 K-1프레임 터치좌표의 개수(T_max)보다 작으면(S608에서 YES) S604 단계로 분기하기 때문에 MCU(230)는 S604, S606 및 S608 단계(제3루프)를 통해 j번째 K프레임 터치좌표에 대하여 K-1프레임의 모든 터치좌표와 Proximity 함수를 계산하게 된다.

K-1프레임의 모든 터치좌표와 Proximity 함수를 계산(제3루프를 종료)한 후에 도 6의 제2 예시 방법은 도 5의 제1 예시 방법과 달리 바로 j번째 K프레임 터치좌표에 계산된 Proximity 함수 값이 최소가 되는 K-1프레임 터치좌표를 연관시키지 않는다.

MCU(230)는 j를 하나씩 증가시키면서(S610), j가 K프레임 터치좌표 개수(L_max)보다 작으면(S612에서 YES) 다시 S604 단계로 분기한다.

MCU(230)는 제3루프, S610 및 S612 단계(제4루프)를 반복 수행하면서, 모든 K프레임 터치좌표와 모든 K-1프레임 터치좌표 사이의 Proximity 함수를 모두 계산한다.

그리고나서, MCU(230)는 계산된 모든 조합의 Proximity 함수의 결과를 크기에 따라 정렬한다. 그리고, 크기가 작은 순서대로 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시킨다.

도 7 및 도 8은 각각 도 5의 제1 예시 방법 및 도 6의 제2 예시 방법에 의한 K프레임 터치좌표와 K-1프레임 터치좌표의 연관관계 결과를 도식화한 도면이다.

도 7은 도 5의 제1 예시 방법에 따른 K프레임 터치좌표와 K-1프레임 터치좌표의 연관관계 결과도이다.

도 7을 참조하면, K프레임의 터치좌표와 K-1프레임의 터치좌표는 각각 3개씩이다. MCU(230)는 도 5의 제1 예시 방법에 따라 L(1)_k과 K-1프레임 터치좌표들에 대해 Proximity 함수를 계산한다. 도 7에 도시된 계산 결과를 살펴보면, L(1)_k와 Tm(1)_k-1에 대한 Proximity 함수 값(P1)은 3을 나타내고 있고, L(1)_k와 Tm(2)_k-1에 대한 함수 값(P2)으로 4, 그리고 L(1)_k와 Tm(3)_k-1에 대한 함수 값(P3)으로 5를 나타내고 있다. 이중 Proximity 함수 결과 값이 최소인 P1의 결과에 따라 L(1)_k는 Tm(1)_k-1과 연관된다.

MCU(230)는 계속해서 도 5의 제1 예시 방법에 따라 L(2)_k과 K-1프레임 터치좌표들에 대해 Proximity 함수를 계산한다. 도 7에 도시된 계산 결과를 살펴보면, L(2)_k와 Tm(1)_k-1에 대한 Proximity 함수 값(P4)은 2를 나타내고 있고, L(2)_k와 Tm(2)_k-1에 대한 함수 값(P5)으로 5, 그리고 L(2)_k와 Tm(3)_k-1에 대한 함수 값(P6)으로 6을 나타내고 있다.

이때, MCU(230)는 Proximity 함수 결과 값이 최소인 P4의 결과에 따라 L(2)_k는 Tm(1)_k-1과 연관시키지 못한다. K-1프레임 터치좌표가 중복해서 K프레임 터치좌표와 연관될 수 없기 때문에, MCU(230)는 그 다음으로 Proximity 함수 결과 값이 작은 P5의 결과에 따라 L(2)_k를 Tm(2)_k-1와 연관시킨다.

마지막으로 MCU(230)는 나머지 K프레임 터치좌표인 L(3)_k에 대하여 K-1프레임 터치좌표들과 Proximity 함수를 계산한다. 도 7에 도시된 계산 결과를 살펴보면, L(3)_k와 Tm(1)_k-1에 대한 Proximity 함수 값(P7)은 6을 나타내고 있고, L(3)_k와 Tm(2)_k-1에 대한 함수 값(P8)으로 5, 그리고 L(3)_k와 Tm(3)_k-1에 대한 함수 값(P9)으로 3를 나타내고 있다. 이중 Proximity 함수 결과 값이 최소인 P9의 결과에 따라 L(3)_k는 Tm(1)_k-1과 연관된다.

도 7을 참조할 때, L(1)_k에 대하여 P1 조합이 확정되면, K프레임의 다른 터치좌표들은 Tm(1)_k-1과 연관될 수 없기 때문에 MCU(230)는 P4 및 P7의 계산을 생략할 수 있다. 마찬가지로 (L2)_k에 대하여 P5 조합이 확정되면, K프레임의 다른 터치좌표들은 Tm(2)_k-1과 연관될 수 없기 때문에 MCU(230)는 P8의 계산을 생략할 수 있다. 결국, MCU(230)는 6번의 계산만 수행하면 K프레임의 터치좌표들을 K-1프레임의 터치좌표들과 연관시킬 수 있다.

도 5의 제1 예시 방법을 확장하면, K프레임 터치좌표의 개수가 M(M은 자연수)개 있고, K-1프레임 터치좌표의 개수가 L(L은 자연수)개 있는 경우, MCU(230)가 계산하는 총 Proximity 함수의 개수는 수학식 2와 같이 된다.

도 8은 도 6의 제2 예시 방법에 따른 K프레임 터치좌표와 K-1프레임 터치좌표의 연관관계 결과도이다.

도 6을 참조하여 설명한 바와 같이 제2 예시 방법에서 MCU(230)는 K프레임의 터치좌표들과 K-1프레임의 터치좌표들의 전체 조합에 대하여 Proximity 함수를 계산한 후 Proximity 함수 결과 값이 작은 순서대로 정렬한다. MCU(230)는 이렇게 정렬된 Proximity 함수 결과 값 중 최소가 되는 조합에 대해 먼저 K프레임의 터치좌표와 K-1프레임의 터치좌표를 연관시키고, 그 다음 최소가 되는 조합에 대해 순차적으로 K프레임의 터치좌표와 K-1프레임의 터치좌표를 연관시킨다.

도 8을 참조할 때, Proximity 함수 결과 값 중 최소가 되는 조합은 L(2)_k와 Tm(1)_k-1이다. 이에 따라, MCU(230)는 L(2)_k와 Tm(1)_k-1를 연관시킨다.

그 다음으로 작은 조합은 L(1)_k와 Tm(1)_k-1 및 L(3)와 Tm(3)_k-1 조합이다. 그런데, Tm(1)_k-1은 이미 L(2)_k와 연관되어 있으므로 MCU(230)는 중복을 피하기 위해 L(1)_k와 Tm(1)_k-1를 연관시키지 않고, L(3)와 Tm(3)_k-1만 연관시킨다.

그리고, 그 다음으로 작은 조합인 L(1)_k와 Tm(2)_k-1의 조합에 따라 MCU(230)는 L(1)_k와 Tm(2)_k-1를 연관시키게 된다.

도 6의 제1 예시 방법을 확장하면, 계산되는 Proximity 함수의 수는 K프레임 터치좌표의 개수가 M(M은 자연수)개 있고, K-1프레임 터치좌표의 개수가 L(L은 자연수)개 있는 경우, 수학식 3과 같이 된다.

수학식 2와 수학식 3을 비교할 때, 도 5의 제1 예시에 의한 방법이 도 6의 제2 예시에 의한 방법 보다 계산해야 하는 함수의 개수가 M x (M-1) / 2만큼 작게 된다.

다만, 도 7 및 도 8의 연관관계 결과를 참조할 때, 도 8의 결과가 도 7의 결과보다 정확도가 높을 수 있다. 구체적으로 살펴보면, L(2)_k와 Tm(1)_k-1이 근접도가 가장 높은데, 도 7에서는 이러한 조합에 따라 L(2)_k와 Tm(1)_k-1이 연관되지 못한다. 하지만, 도 8 Proximity 함수 결과 값을 정렬한 후 가장 최소가 되는 조합부터 연관시키기 때문에 L(2)_k와 Tm(1)_k-1이 연관될 수 있게 된다.

한편, 도 5 및 도 7을 참조하여 설명한 제1 예시 방법에 따르면 MCU(230)는 Proximity 함수를 최소 L x M - M x (M-1) / 2 만큼 계산해야 한다. 그리고, 도 6 및 도 8을 참조하여 설명한 제2 예시 방법에 따른 MCU(230)는 Proximity 함수를 L x M 만큼 계산해야 한다.

대면적 터치스크린에 대한 멀티터치에 대하여 K프레임의 터치좌표들과 K-1프레임의 터치좌표들의 전체 조합에 대하여 Proximity 함수를 계산하게 되면 Proximity 함수에 대한 계산이 MCU(230)에 상당히 큰 프로세싱 부하로 작용할 수 있다. 예를 들어, 대면적 터치스크린에서 50개의 터치가 입력되는 경우, 도 6을 참조하여 설명한 제2 예시 방법을 따를 때, MCU(230)는 총 50 x 50 = 2500 개의 Proximity 함수를 계산해야 한다. 이렇게 큰 프로세싱 부하는 처리 시간을 지연시키는 문제 뿐만 아니라 전력 소비를 증가시키는 문제를 야기할 수 있다.

도 9는 멀티터치에서 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시키는 제3 예시 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 터치좌표들이 일정 서브영역에 몰려 있는 것을 확인할 수 있다. 대면적 터치스크린에서 다수의 사용자에 의해 멀티터치가 이루어지는 경우, 도 9에 도시된 것과 같이 터치좌표들은 일정 서브영역에 몰려 있을 수 있다.

이때, MCU(230)는 터치좌표들이 군집되어 있는 서브영역 단위로 근접도 테스트를 수행하여 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시킬 수 있다.

이를 위해, 터치스크린(210)은 N(N은 2이상의 자연수)개의 서브영역으로 분할되어 정의될 수 있다. 도 9를 참조할 때, 터치스크린(210)은 8개의 직사각형 모양의 서브영역(A1 내지 A8)으로 분할되어 정의되고 있다.

도 9를 다시 참조하면, A1 서브영역에는 3개의 K프레임 터치좌표와 3개의 K-1프레임 터치좌표가 속해 있다. 그리고, A3 서브영역에는 다른 3개의 K프레임 터치좌표와 다른 3개의 K-1프레임 터치좌표가 속해 있다.

MCU(230)는 각각의 서브영역 단위로 근접도 테스트(도 2 내지 도 8을 참조하여 설명한 Proximity 함수 계산)를 수행할 수 있다. 이렇게 할 경우, MCU(230)는 A1 서브영역에서 최대 3 x 3 = 9번의 근접도 테스트를 수행하고, A3 서브영역에서 최대 3 x 3 = 9번의 근접도 테스트를 수행하여 총 18번의 근접도 테스트를 수행하게 된다.

이에 반해, MCU(230)가 전체 영역에 대하여 근접도 테스트를 수행하는 경우, MCU(230)는 6 x 6 = 36번의 근접도 테스트를 수행하게 되어 서브영역 단위로 근접도 테스트를 수행하는 경우보다 2배만큼 많이 근접도 테스트를 수행하게 된다. 이에 따르면, MCU(230)는 도 9를 참조하여 설명한 서브영역 단위의 근접도 테스트 방법을 통해 프로세싱 부하를 반으로 줄일 수 있게 된다.

도 10은 도 9를 참조하여 설명한 제3 예시 방법의 흐름도이다.

도 10을 참조하면, MCU(230)는 터치스크린(210)에 대한 K-1프레임에서의 센싱데이터로부터 K-1프레임의 터치좌표와 K-1프레임의 터치좌표가 속하는 서브영역을 인식한다(S1002). 그리고, MCU(230)는 터치스크린(210)에 대한 K프레임에서의 센싱데이터로부터 K프레임의 터치좌표와 K프레임의 터치좌표가 속하는 서브영역을 인식한다(S1004).

그리고, MCU(230)는 서브영역 단위로 K프레임의 터치좌표와 K-1프레임의 터치좌표에 대하여 근접도 테스트를 수행하고(S1006), 근접도 테스트 결과에 기초하여 K프레임의 터치좌표와 K-1프레임의 터치좌표를 연관시킨다(S1008).

도 11은 멀티터치에서 K프레임 터치좌표와 K-1프레임 터치좌표를 연관시키는 제4 예시 방법을 설명하기 위한 도면이다.

도 11을 참조하면, A1 서브영역의 터치좌표들은 A2 서브영역의 터치좌표들과 근접하여 위치하는 것을 확인할 수 있다. A1 서브영역과 A2 서브영역에 위치하는 터치좌표들은 서로 연관되어 있을 가능성이 높음으로 MCU(230)는 A1 서브영역과 A2 서브영역을 통합하여 근접도 테스트를 수행할 수 있다.

도 12는 도 11을 참조하여 설명한 제4 예시 방법의 흐름도이다.

도 12를 참조하면, MCU(230)는 터치스크린(210)에 대한 K-1프레임에서의 센싱데이터로부터 K-1프레임의 터치좌표와 K-1프레임의 터치좌표가 속하는 서브영역을 인식한다(S1202). 그리고, MCU(230)는 터치스크린(210)에 대한 K프레임에서의 센싱데이터로부터 K프레임의 터치좌표와 K프레임의 터치좌표가 속하는 서브영역을 인식한다(S1204).

그리고, MCU(230)는 동일 서브영역 및 인접 서브영역에 대하여 K프레임의 터치좌표와 K-1프레임의 터치좌표에 대한 근접도 테스트를 수행하고(S1206), 근접도 테스트 결과에 기초하여 K프레임의 터치좌표와 K-1프레임의 터치좌표를 연관시킨다(S1208).

도 13은 제4 예시 방법에서 인접 서브영역을 확인하는 방법을 설명하기 위한 도면이다.

도 13의 (a)를 참조하면 A1, A3 및 A5 서브영역에만 터치좌표들이 위치하고 있다. MCU(230)는 각각의 터치좌표를 인식할 때, 각각의 터치좌표가 속하는 서브영역도 함께 인식할 수 있는데, 이렇게 서브영역을 인식하면서 MCU(230)는 특정 서브영역에 터치좌표가 위치하는지 하지 않는지를 도 13의 (b)와 같이 플래그(Area Flag)로 표시하여 저장할 수 있다.

도 13의 (b)를 참조하면, A1, A3 및 A5 서브영역에만 플래그가 ON으로 표시되어 있다. MCU(230)는 이러한 플래그 값을 확인하여 인접한 서브영역에 터치좌표가 존재하는지 확인하고 플래그가 ON되어 있는 인접 서브영역에 대해서만 근접도 테스트를 수행할 수 있다. 도 13의 (a)를 참조하면, MCU(230)는 A3 서브영역에 대하여는 A3 서브영역 단독으로 근접도 테스트를 수행하고, A1 및 A5 서브영역에 대하여는 두 개를 통합하여 근접도 테스트를 수행할 수 있다.

도 13의 (c)를 참조하면, A1, A2, A3, A5, A6 및 A7 서브영역에 터치좌표가 위치하고 있고, MCU(230)는 이러한 정보를 도 13의 (d)와 같은 플래그 테이블을 통해 확인할 수 있다.

도 13의 (c)를 참조할 때, A2 서브영역에 위치하는 터치좌표들은 최대 5개의 인접 서브영역을 더 포함시켜서 근접도 테스트를 수행하게 된다.

서브영역에 플래그를 설정하기 위해서는 터치좌표들이 속하는 서브영역을 인식해야 한다.

도 14는 터치좌표가 속하는 서브영역을 인식하는 방법을 설명하기 위한 도면이다.

도 14를 참조하면, MCU(230)는 직사각형의 A2 서브영역에 대하여 네 꼭지점 좌표 혹은 네 모서리 좌표를 저장할 수 있다. MCU(230)가 네 꼭지점 좌표를 저장하고 있는 경우, MCU(230)는 터치좌표(Q)의 수평 축(x축) 좌표(a) 및 수직 축(y축) 좌표(b)를 확인하고 각각의 값을 A2 서브영역의 네 꼭지점에 나타나는 좌표(x1, x2, y1, y2)와 비교하여 터치좌표(Q)가 A2 서브영역에 위치한다는 것을 인식할 수 있다.

예를 들어, x1 < a < x2 및 y1 < b < y2의 관계를 이룰 때, MCU(230)는 터치좌표(Q)가 A2 서브영역에 속한다는 것을 인식할 수 있다.

도 15는 제4 예시 방법을 포함하여 MCU가 호스트로 좌표와 추적아이디를 송신하는 과정의 흐름도이다.

도 15를 참조하면, MCU(230)는 K-1프레임의 터치좌표들에 대해 할당된 추적아이디를 저장한다(S1500).

그리고, MCU(230)는 K프레임에서 터치좌표들을 인식하고, 각각의 K프레임 터치좌표들에 임시 라벨을 부여한다. K프레임의 터치좌표들은 최종적으로 추적아이디가 할당되어 관리되는데, 그 전에 K-1프레임의 터치좌표들과 연관되어 있지 않기 때문에 임시 아이디로서 라벨을 부여하게 된다(S1502).

K프레임의 터치좌표들을 인식한 후 MCU(230)는 각각의 터치좌표들이 속하는 서브영역을 인식한다(S1504). 그리고, MCU(230)는 터치좌표들이 위치하는 서브영역의 플래그를 ON으로 설정하고, 터치좌표들이 위치하지 않는 서브영역의 플래그를 OFF로 설정한다.

MCU(230)는 플래그를 통해 근접도 테스트를 수행해야하는 서브영역들(동일 서브영역 혹은 인접 서브영역)을 확인하고 해당 서브영역 내에서 근접도 테스트를 수행하여 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시킨다. 이때, MCU(230)는 K프레임 터치좌표에 K-1프레임 터치좌표에 할당되었던 추적아이디를 재할당할 수 있다.

그리고, MCU(230)는 터치좌표와 추적아이디를 호스트(240)로 송신하게 된다.

한편, MCU(230)는 서브영역의 크기를 결정함에 있어서, 한 프레임의 시간과 사용자 움직임의 속도를 고려할 수 있다. 비슷한 맥락으로 MCU(230)는 서브영역의 크기를 한 프레임의 시간 동안 사용자가 움직일 수 있는 최대 거리보다 크게 설정할 수 있다.

도 16은 한 프레임의 시간 동안 사용자가 움직이는 최대 거리를 측정하는 방법을 설명하는 도면이다.

도 16의 (a)는 터치스크린(210) 상에서 한 프레임 동안 사용자(11)가 움직이는 거리를 도시한 도면이고, 도 16의 (b)는 MCU(230)가 프레임별로 터치좌표를 저장한 테이블이다. 도 16의 (b)에 예시된 테이블을 참조하면, 1프레임에서 터치좌표는 (X축 좌표, Y축 좌표)로 (10, 10)이고, 2프레임에서 터치좌표는 (X축 좌표, Y축 좌표)로 (12, 9)이다.

MCU(230)는 이렇게 테이블에 저장된 터치좌표 중 프레임 단위로 최대로 이동한 거리를 탐색할 수 있다. 도 16의 (b) 테이블을 참조할 때, 9프레임과 10프레임 사이에서 사용자(11)는 X축으로 3만큼 이동하였고, Y축으로 1만큼 이동하였다.

이러한 데이터에 근거하여 MCU(230)는 서브영역의 크기를 X축으로 6보다 크게, 그리고 Y축으로 2보다 크게 설정할 수 있다. 이렇게 설정할 경우, 사용자(11)의 이동거리는 한 서브영역 내로 국한되거나 아니면 인접한 서브영역 내로 국한되게 된다.

또한, 한 프레임의 시간이 짧아지면 그 만큼 사용자(11)의 프레임당 이동거리는 짧아지게 된다. 반대로 한 프레임의 시간이 길어지면 그 만큼 사용자(11)의 프레임당 이동거리는 길어지게 된다. 이에 따라, MCU(230)는 한 프레임의 시간과 서브영역의 크기를 비례 관계로 제어할 수 있다. 서브영역이 크기는 터치스크린(210) 내에 정의되는 서브영역의 개수(N, N은 자연수)와 반비례 관계가 있으므로, MCU(230)는 한 프레임의 시간과 서브영역의 개수(N)을 반비례 관계로 제어할 수 있다.

도 17은 멀티터치에서 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시키는 제5 예시 방법에 대한 흐름도이다.

도 17을 참조하면, MCU(230)는 K프레임 터치좌표(도 17에서 (a, b)에 위치한 터치좌표)로부터 일정 범위(1710) 안에 속하는 K-1프레임 터치좌표들과 근접도 테스트를 수행하고, 이러한 근접도 테스트 결과에 기초하여 K프레임 터치좌표를 K-1프레임 터치좌표와 연관시킬 수 있다.

도 17의 예시에서, MCU(230)는 근접도 테스트를 수행하는 일정 범위(1710)를 직사각형으로 설정하여 수평방향(X축)으로 제1거리(xd) 및 수직방향(Y축)으로 제2거리(yd) 이내의 범위에서 근접도 테스트를 수행한다.

이상에서 설명한 실시예들에 의하면, MCU(230)는 이전 시간(K-1프레임)에 센싱된 터치와 다음 시간(K프레임)에 센싱된 터치를 연관시켜 터치를 추적할 수 있게 된다.

또한, MCU(230)는 멀티터치에서 각각의 터치가 이전 시간의 동일한 터치좌표와 중첩되어 연관되지 않도록 추적하여 각각의 터치가 서로 간섭되지 않도록 한다.

또한, MCU(230)는 서브영역 단위로 근접도 테스트를 수행하거나 터치로부터 일정 범위 이내에서만 근접도 테스트를 수행함으로써 이전 시간(K-1프레임)에 센싱된 터치 중 다음 시간(K프레임)에 센싱되는 터치와 연관될 가능성이 낮은 것을 추적에서 제외하여 프로세싱 부하를 감소시킨다.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

210 : TSP
220 : 터치IC
230 : MCU
240 : 호스트
290 : 표시패널
292 : 드라이버IC
294 : T-con

Claims

터치를 추적하는 방법에 있어서,
터치스크린은 미리 정해진 크기를 가지는 N(N은 2이상의 자연수)개의 서브영역으로 분할되어 정의되고,
현재 프레임에서, 상기 터치스크린에 대한 센싱데이터로부터 상기 터치의 제1터치좌표 및 상기 제1터치좌표가 속하는 제1서브영역을 인식하는 단계;
상기 제1서브영역에 속하는 상기 제1터치좌표에 대하여 상기 제1서브영역 및 상기 제1서브영역과 인접한 서브영역에 속하는 이전 프레임의 터치좌표들과 근접도 테스트를 수행하는 단계; 및
상기 근접도 테스트 결과에 기초하여 상기 제1터치좌표를 상기 이전 프레임의 터치좌표들 중에서 선택된 하나의 터치좌표와 연관시키는 단계
를 포함하는 터치추적방법.
제1항에 있어서,
상기 제1터치좌표와 상기 이전 프레임의 터치좌표들 사이의 거리를 인자로 포함하는 함수를 이용하여 상기 근접도 테스트를 수행하는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
상기 제1터치좌표와 상기 이전 프레임의 터치좌표들이 이루는 각도를 인자로 포함하는 함수를 이용하여 상기 근접도 테스트를 수행하는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
상기 이전 프레임의 터치좌표들과 연관시키는 단계에서,
상기 이전 프레임의 터치좌표들은 추적아이디가 할당되어 있고,
상기 제1터치좌표와 연관되는 상기 하나의 터치좌표에 할당된 추적아이디를 상기 제1터치좌표에 재할당함으로써 상기 제1터치좌표와 상기 하나의 터치좌표를 연관시키는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
상기 근접도 테스트를 수행하는 단계에서,
상기 터치와 같은 프레임에서 인식되는 다른 터치좌표들에 대하여 상기 이전 프레임의 터치좌표들과 근접도 테스트를 수행하고,
상기 이전 프레임의 터치좌표들과 연관시키는 단계에서,
근접도 테스트가 먼저 수행된 순서대로 상기 제1터치좌표 및 상기 다른 터치좌표들을 상기 이전 프레임의 터치좌표들과 연관시키는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
상기 근접도 테스트를 수행하는 단계에서,
상기 터치와 같은 프레임에서 인식되는 다른 터치좌표들에 대하여 상기 이전 프레임의 터치좌표들과 근접도 테스트를 수행하고,
상기 이전 프레임의 터치좌표들과 연관시키는 단계에서,
상기 근접도 테스트를 통해 근접도가 높게 평가된 순서대로 상기 제1터치좌표 및 상기 다른 터치좌표들을 정렬한 후 상기 이전 프레임의 터치좌표들과 연관시키는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
한 프레임의 시간과 상기 N은 반비례 관계를 가지는 것을 특징으로 하는 터치추적방법.
제1항에 있어서,
상기 서브영역은 직사각형을 이루고,
서브영역을 인식하는 단계에서,
상기 서브영역의 모서리 혹은 꼭지점의 좌표 값과 상기 제1터치좌표의 수평 축 좌표 및 수직 축 좌표를 비교하여 상기 제1터치좌표가 속하는 서브영역을 인식하는 것을 특징으로 하는 터치추적방법.
삭제
삭제