KR20080055577A

KR20080055577A - 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Info

Publication number: KR20080055577A
Application number: KR1020070024180A
Authority: KR
Inventors: 장형욱; 배상혁; 심연심
Original assignee: 엘지디스플레이 주식회사
Priority date: 2006-12-15
Filing date: 2007-03-12
Publication date: 2008-06-19
Also published as: CN101206546A; CN101206546B; KR101346865B1

Abstract

본 발명은 표시화면 상에서 멀티터치 이미지를 촬상하기 위한 카메라들의 렌즈왜곡을 보상하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.

이 표시장치는 표시패널; 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로; 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들; 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시함과 아울러, 상기 카메라들의 렌즈왜곡을 미리 설정된 보상각으로 보상하고 상기 카메라들에 의해 촬상된 이미지와 상기 보상각을 이용하여 상기 표시패널 상에 터치된 터치 이미지들 각각의 좌표를 계산하는 콘트롤보드; 및 상기 콘트롤보드에 타이밍신호와 함께 상기 표시패널에 표시될 디지털 비디오 데이터를 공급하는 시스템을 구비한다.

Description

멀티 터치인식 기능을 가지는 표시장치와 그 구동방법{DISPLAY APPARATUS HAVING MULITI-TOUCH RECOGNIZING FUNCTION AND DRIVING METHOD THEREOF}

도 1은 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치를 개략적으로 나타내는 도면.

도 2는 도 1에 도시된 표시장치를 상세히 나타내는 도면.

도 3은 도 2에 도시된 화소 어레이의 일부를 등가적으로 나타내는 회로도.

도 4는 본 발명의 실시예에 따른 카메라 렌즈의 화각을 나타내는 도면.

도 5는 본 발명의 실시예에 따른 비반사부재를 나타내는 단면도.

도 6은 본 발명의 실시예에 따른 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도.

도 7은 윈도우 처리를 설명하기 위한 도면.

도 8은 터치 위치 각각에 대한 고유식별부호의 부여를 도식적으로 나타내는 도면.

도 9는 렌즈의 90°화각을 도식적으로 보여 주는 도면.

도 10은 렌즈왜곡에 의해 왜곡되는 터치 위치를 보여 주는 도면.

도 11은 본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법에서 생성되는 보 정각의 일예를 보여 주는 그래프.

도 12는 본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법의 제어수순을 단계적으로 나타내는 흐름도.

도 13은 사용자에 의해 순차적으로 터치될 터치점들의 일예를 나타내는 도면.

도 14 내지 도 17은 도 13에서 터치점에 대한 각도 계산 과정을 상세히 나타내는 도면들.

도 18은 본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법에서 계산치와 측정치 사이의 각도 오차를 나타내는 그래프.

도 19는 도 18의 각도 오차 커브에 대하여 폴리노미얼 커브 핏팅(Polynomial curve fitting)을 수행하여 수정된 렌즈왜곡 각도 오차 커브를 나타낸 그래프.

도 20은 삼각 측량법을 설명하기 위한 도면.

도 21은 멀티터치 프로세서의 측정각 보상회로를 나타내는 회로도.

도 22는 터치점들 각각의 위치에 대한 검증과정을 보여 주는 도면.

< 도면의 주요 부분에 대한 부호의 설명 >

10 : 액정표시패널 11 : 소스 드라이버

12 : 게이트 드라이버 13 : 비반사부재

14 : 브라켓 20 : 터치&표시 일체화모듈

30 : 콘트롤보드 31 : 타이밍 콘트롤러

32 : 멀티터치 프로세서 40 : 시스템

21A 내지 21D : 카메라들 321 : 룩업 테이블

322 : 가산기

본 발명은 표시장치에 관한 것으로 특히, 렌즈왜곡을 보상하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다. 또한, 본 발명은 액정표시모듈을 제어하고 터치인식을 신호처리하기 위한 회로를 최적화하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.

터치패널은 일반적으로 표시장치 상에 부착되어 손이나 펜과 접촉되는 터치지점에서 전기적인 특성이 변하여 그 터치지점을 감지하는 유저 인터페이스의 하나로써 그 응용범위가 소형 휴대용 단말기, 사무용기기 등으로 확대되고 있다. 이러한 터치패널은 두 개 이상의 멀티 터치가 동시에 발생되면 오동작되거나 미리 설정된 프로그램에 의해 어느 하나를 선택할 수 있다.

기존 터치패널에서 멀티 터치 인식의 한계를 극복하기 위하여, 최근에는 다수의 터치를 동시에 인식하는 멀티 터치 인식장치가 개발되고 있다.

이러한 멀티 터치 인식장치는 렌즈를 가지는 카메라를 이용하는 경우에 렌즈의 수차 등으로 인하여 터치위치를 오인식 할 수 있다. 또한, 멀티 터치 인식장치 는 기구적, 광학적으로 터치면에 대하여 카메라의 위치가 어긋날 수 있으며, 이 때문에 카메라에 의해 측정된 터치점의 각도에 옵셋(Offset) 값이 존재하여 실제 터치점과 옵셋 만큼의 차이가 유발될 수 있다. 최근에는 멀티 터치 인식장치에서 터치면에 대한 카메라 위치에 따라 나타나는 옵셋값을 미리 계산하고 그 옵셋값을 메모리에 저장하여 그 옵셋값을 터치점에 반영하려는 시도가 있다. 그러나, 종래 기술은 멀티 터치 인식장치에서 렌즈 자체에서 발생되는 왜곡을 전혀 보상할 방법이 없었다.

또한, 멀티 터치 인식장치는 터치인식회로를 표시소자의 구동회로와 분리하여 표시동작과 터치인식 동작이 동기되지 않고 회로를 비효율적으로 구현하는 문제점이 있다.

멀티 터치 인식장치 중에서 광센서를 표시장치의 각 화소들에 내장하는 방법이 있으나, 이 방법은 광센서로 인하여 표시장치의 개구율을 떨어뜨려 휘도를 낮추는 또 다른 문제점이 있다.

따라서, 본 발명의 목적은 상기 종래 기술의 문제점들을 해결하고자 안출된 발명으로써 표시화면 상에서 멀티터치 이미지를 촬상하기 위한 카메라들의 렌즈왜곡을 보상하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.

본 발명의 다른 목적은 액정표시모듈을 제어하고 터치인식을 신호처리하기 위한 회로를 최적화하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 표시패널; 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로; 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들; 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시함과 아울러, 상기 카메라들의 렌즈왜곡을 미리 설정된 보상각으로 보상하고 상기 카메라들에 의해 촬상된 이미지와 상기 보상각을 이용하여 상기 표시패널 상에 터치된 터치 이미지들 각각의 좌표를 계산하는 콘트롤보드; 및 상기 콘트롤보드에 타이밍신호와 함께 상기 표시패널에 표시될 디지털 비디오 데이터를 공급하는 시스템을 구비한다.

상기 구동회로는 상기 디지털 비디오 데이터를 아날로그 감마보상전압으로 변환하여 상기 표시패널의 데이터라인들에 공급하는 소스 드라이버; 및 상기 표시패널의 게이트라인들에 스캔펄스를 순차적으로 공급하는 게이트 드라이버를 구비한다.

상기 콘트롤보드는 상기 타이밍신호를 이용하여 상기 소스 드라이버와 상기 게이트 드라이버의 동작 타이밍을 제어하고 상기 소스 드라이버에 상기 디지털 비디오 데이터를 공급하는 타이밍 콘트롤러; 및 상기 타이밍신호와 상기 디지털 비디 오 데이터를 상기 타이밍 콘트롤러와 함께 입력받고 상기 카메라들에 의해 촬상된 이미지를 입력받아 상기 터치 이미지들 각각의 좌표를 계산하는 멀티터치 프로세서를 구비한다.

상기 멀티터치 프로세서는 상기 카메라의 촬상 이미지로부터 상기 표시패널에 근접한 유효 터치영역의 이미지를 추출하고, 상기 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조 정보로 변환한 후에 그 계조 정보와 상기 카메라들에 의해 촬영된 배경 이미지의 차에 해당하는 터치 이미지를 추출하고, 상기 터치 이미지와 미리 설정된 임계치를 비교하여 상기 임계치 이상의 터치 이미지 데이터를 백색 데이터로 변환하고, 상기 백색 데이터가 다수 존재하면 상기 백색 데이터 각각에 대하여 고유 식별부호를 부여하며, 상기 카메라들과 상기 백색 데이터의 위치 사이의 각도를 계산하여 측정각을 구한 후에 그 각도에 상기 보상각을 가산하고, 상기 보상각과 상기 카메라들 간의 거리 및 상기 카메라들과 상기 백색 데이터 사이의 거리를 함수로 하여 상기 백색 데이터 각각에 대한 xy 좌표를 계산하여 그 xy 좌표의 데이터를 상기 시스템에 공급한다.

상기 멀티터치 프로세서는 상기 카메라의 0°~45°화각에 대한 보상각이 등재되고 상기 측정각에 대응하는 보상각을 출력하는 룩업 테이블; 및 상기 룩업 테이블로부터의 보상각을 상기 측정각에 가산하는 가산기를 구비한다.

상기 보상각 'θ_error'은 아래의 계산식에 의해 산출된다.

여기서, 'A'는 정확한 측정각 'θ'에서의 상기 백색 데이터의 실제 위치를 의미하고, 'A''은 렌즈왜곡이 반영된 측정각 'θ''에서의 상기 백색 데이터의 오인식 위치를 의미하며, 'c'는 렌즈의 고유한 특성을 나타내는 상수값으로써 0<c≤1의 값을 갖는다.

상기 보상각 'θ_error'은 터치점의 계산치와 실제 측정시 사이의 오차를 3차 이상의 다항식을 이용한 폴리노미얼 커브 핏팅을 통해 얻어진다.

상기 시스템은 상기 좌표 데이터들을 이용하여 터치 데이터를 발생하고 그 터치 데이터를 상기 배경 이미지의 디지털 비디오 데이터에 합성하여 상기 콘트롤보드에 공급한다.

상기 표시패널, 구동회로 및 상기 카메라들은 하나의 모듈에 일체화된다.

상기 표시패널은 액정표시패널, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)의 표시패널, 평판표시패널을 포함한 입체영상 표시장치의 표시패널 중 어느 하나를 포함한다.

본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치의 구동방법은 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시하는 단계; 상기 카메라들의 렌즈왜곡을 미리 설정된 보상각으로 보상하는 단계; 및 상기 카메라들에 의해 촬상된 이미지와 상기 보상각을 이용하여 상기 표시패널 상에 터치된 터치 이미지들 각각의 좌표를 계산하는 단계를 포함한다.

이하, 도 1 내지 도 22를 참조하여 본 발명의 바람직한 실시예들에 대하여 설명하기로 한다.

도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 화상이 표시되는 화소어레이(10A)의 네 모서리에 카메라들(21A 내지 21D)이 배치된 터치&표시 일체화모듈(20); 터치&표시 일체화모듈(20)을 제어하고 터치지점의 좌표를 계산하는 콘트롤보드(30); 및 콘트롤보드(30)에 타이밍신호와 함께 표시될 데이터(RGB)를 공급하기 위한 시스템(40)을 구비한다.

터치&표시 일체화모듈(20)은 화상이 표시되는 화소어레이(10A)가 형성된 액정표시패널(10)과, 액정표시패널(10)의 데이터라인들(D1 내지 Dm)에 데이터전압을 공급하기 위한 소스 드라이버(11)와, 액정표시패널(10)의 게이트라인들(G1 내지 Gn)에 스캔펄스를 공급하기 위한 게이트 드라이버(12)와, 화소어레이(10A)의 네모서리 근방에 각각 배치된 카메라들(21A 내지 21D)을 구비한다.

액정표시패널(10)은 박막트랜지스터(Thin Film Transistor: 이하, "TFT"라 함) 기판과 컬러필터 기판을 포함한다.

TFT 기판과 컬러필터 기판 사이에는 액정층이 형성된다. TFT 기판 상에는 하부 유리기판 상에 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)이 상호 직교되도록 형성되고 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)에 의해 정의된 셀영역들에 액정셀들(Clc)이 매트릭스 형태로 배치된다. 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)의 교차부에 형성된 TFT는 게이트라인(G1 내지 Gn)으로부터의 스캔펄스에 응답하여 데이터라인들(D1 내지 Dm)을 경유하여 공급되는 데이터전압을 액정셀(Clc)의 화소전극에 전달하게 된다. 이를 위하여, TFT의 게이트전극은 게이트라인(G1 내지 Gn)에 접속되며, 소스전극은 데이터라인(D1 내지 Dm)에 접속된다. TFT의 드레인전극은 액정셀(Clc)의 화소전극에 접속된다. 화소전극과 대향하는 공통전극에는 공통전압(Vcom)이 공급된다.

컬러필터 기판은 상부 유리기판 상에 형성된 블랙매트릭스, 컬러필터를 포함한다.

공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 유리기판 상에 형성된다.

도면부호 'Cst'는 스토리지 커패시터(Storage Capacitor)이다. 스토리지 커패시터(Cst)는 게이트라인과 액정셀(Clc)의 화소전극의 중첩으로 형성될 수 있고, 또한, 별도의 공통라인과 화소전극의 중첩으로 형성될 수도 있다.

소스 드라이버(11)는 다수의 데이터 집적회로를 포함하여 콘트롤보드(30)로부터 입력되는 디지털 비디오 데이터(RGB)를 콘트롤보드(30)의 제어 하에 정극성 또는 부극성 아날로그 감마보상전압으로 변환하고, 그 아날로그 감마보상전압을 아날로그 데이터전압으로써 데이터라인들(D1 내지 Dm)에 공급한다.

게이트 드라이버(12)는 다수의 게이트 집적회로를 포함하며, 콘트롤보드(30)의 제어 하에 게이트라인들(G1 내지 Gn)에 순차적으로 스캔펄스를 공급한다.

소스 드라이버(11)의 데이터 집적회로들과 게이트 드라이버(12)의 게이트 집적회로들은 테이프 캐리어 패키지(Tape Carrier Package, TCP)를 이용한 테이프 오토메이티트 본딩(Tape Automated Bonding, TAB)이나 칩온글라스(Chip on glass, COG) 방식으로 하부 유리기판에 형성될 수 있다. 게이트 드라이브(12)의 게이트 집적회로들은 화소어레이(10A)의 TFT들과 동시에 그리고 TFT 공정과 동일한 공정으로 하부 유리기판에 직접 형성될 수도 있다.

카메라들(21A 내지 21D)은 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용한 카메라들로써 액정표시패널(10)에서 화상이 표시되는 화소 어레이(10A)의 네 모서리에 배치된다. 이 카메라들(21A 내지 21D) 각각은 화소 어레이의 표시면과 그 근방의 이미지를 촬상한다. 카메라(21A 내지 21D)로 사용되는 CMOS 센서는 최소 320×240 화소에서 1280×1024 화소의 해상도를 필요로 한다. 이 카메라들(21A 내지 21D) 각각으로부터 촬상된 터치 이미지는 콘트롤보드(30)에 공급된다.

카메라들(21A 내지 21D)의 각각의 렌즈 화각(Lens angle of view)은 도 4와 같이 90°로 되는 것이 바람직하다. 이러한 카메라들(21A 내지 21D)의 렌즈 화각(Lens angle of view)은 액정표시패널(10)과 카메라들(21A 내지 21D) 사이의 거리나 액정표시패널(10)의 크기에 따라 달라질 수 있지만 80°~90° 정도로 되어야 한다. 이는 카메라들(21A 내지 21D)의 렌즈 화각(Lens angle of view)이 80° 미만으로 좁아지면 카메라들(21A 내지 21D)이 촬상하지 못하는 음영지역이 많아져 멀티터치를 정확하게 인식할 수 없게 되고, 90° 보다 크면 액정표시패널(10)을 벗어난 불필요한 부분을 포함하여 멀티터치를 정확하게 인식할 수 없기 때문이다.

액정표시패널(10)의 유리기판 가장자리 근방에는 도 5와 같이 비반사부재들(13)이 설치된다. 비반사부재들(13)은 광흡수축이 서로 교차되도록 적층된 2 매의 편광필터, 흑색층 및 반사방지체(Anti-reflector) 중 어느 하나를 포함한다. 이 비반사부재들(13)은 카메라들(21A 내지 21D)의 렌즈 앞에 배치되고, 액정표시패널(10)의 유리기판 표면으로부터 소정높이(h1)만큼 위로 들어 올려진다. 액정표시패널(10)의 유리기판 표면과 비반사부재들(13) 사이의 높이(h1)는 액정표시패널(10)의 크기에 반비례하고, 카메라 렌즈와 유리기판 사이의 거리에 비례하며 대략 수mm~수십mm 정도로 되어야 한다. 비반사부재들(13)과 카메라들(21A 내지 21D)은 터치&표시 일체화모듈(20)을 지지하는 브라켓(14)의 가장자리에 고정된다. 비반사부재들(13)은 외부광을 흡수 또는 차단하여 카메라들(21A 내지 21D)의 렌즈로 입사되는 외부광으로 인한 광의 간섭 현상을 예방하는 역할을 한다.

콘트롤보드(30)는 가요성인쇄필름(Flexible Printed Circuit, FPC)과 커넥터를 통해 소스 드라이버(11)와 게이트 드라이버(12)에 접속된다. 이 콘트롤보 드(30)는 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)를 포함한다.

타이밍 콘트롤러(31)는 수직/수평 동기신호(V,H)와 클럭(CLK)을 이용하여 게이트 드라이버(12)의 동작 타이밍을 제어하기 위한 게이트 제어신호와, 소스 드라이버(11)의 동작 타이밍을 제어하기 위한 데이터 제어신호를 발생한다. 또한, 타이밍 콘트롤러(31)는 시스템(40)으로부터 입력되는 디지털 비디오 데이터(RGB)를 소스 드라이버(11)에 공급한다.

멀티터치 프로세서(32)는 멀치터치신호 처리 프로그램을 실행시켜 카메라들(21A 내지 21D)의 렌즈특성에 의한 왜곡을 보상하고 그 카메라들(21A 내지 21D)에 의해 이전에 촬상된 배경 이미지와 현재 촬상된 터치 이미지를 비교하여 터치 이미지를 추출한다. 카메라들(21A 내지 21D)에 의해 이전에 촬상된 배경 이미지는 멀티터치 프로세서(32)의 메모리에 저장된다. 그리고 멀티터치 프로세서(32)는 터치 이미지에 대한 좌표를 계산하여 그 결과(Txy)를 시스템(32)에 공급한다. 이 멀티터치 프로세서(32)는 수직/수평 동기신호(V,H)와 클럭(CLK) 등의 타이밍신호를 타이밍 콘트롤러(31)와 공유하므로 타이밍 콘트롤러(31)와 동기되어 동작한다. 따라서, 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)가 동기므로 액정표시패널(10)에 표시되는 배경 이미지와 터치 이미지가 합성된 이미지의 표시와 터치지점의 좌표계산처리가 동기될 수 있다.

시스템(40)은 응용프로그램이 내장된 메모리, 응용프로그램을 실행시키기 위한 중앙처리장치(Central Processing Unit), 및 배경이미지와 터치이미지를 합성하고 그 합성 데이터의 신호보간처리와 해상도변환 등을 처리하는 그래픽처리회로를 포함한다. 이 시스템(40)은 멀티터치 프로세서(32)로부터의 좌표 데이터(Txy)를 입력받아 그 좌표 데이터의 좌표값에 연계된 응용프로그램을 실행시킨다. 예를 들면, 터치지점의 좌표에 특정 프로그램의 아이콘이 있다면 시스템(40)은 메모리에서 그 프로그램을 로딩하여 실행시킨다. 또한, 시스템(40)은 배경이미지와 터치이미지를 합성하여 액정표시패널(10)에 표시하고자 하는 디지털 비디오 데이터(RGB)를 발생한다. 이 시스템(40)은 개인용 컴퓨터(PC)로 구현될 수 있으며, 직력 혹은 범용직렬버스(Universal Serial Bus, USB) 인터페이스를 통해 멀티터치 프로세서(32)와 데이터를 주고 받는다.

도 6은 멀티터치 프로세서(32)에서 실행되는 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도이다.

도 6을 참조하면, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D)에 의해 촬상된 터치이미지를 입력받아, 윈도우(Window) 처리를 통해 유효 터치영역의 이미지를 추출한다.(S1 및 S2) 카메라들(21A 내지 21D)로부터 촬상된 터치 이미지는 도 7과 같이 화소 어레이의 터치면에서 촬상된 유효 터치영역의 이미지 뿐만 아니라 터치면 위의 공간에 해당하는 무효 터치영역의 이미지를 포함한다. 따라서, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D) 각각으로부터 촬상된 이미지로부터 터치면 근방에서 터치가 이루어지는 유효 터치영역의 이미지(빗금친부분)를 윈도우 처리를 통해 추출한다. 윈도우 처리는 입력 이미지신호에 대하여 서브-매트릭스(Sub-matrix) 연산을 통해 필요한 이미지만을 추출하는 이미지추출기법을 이용한다.

이어서, 멀티터치신호 처리 프로그램은 윈도우 처리에 의해 추출된 유효 터치영역의 이미지에 포함된 R, G, B를 계조(Gray) 정보로 변환한다.(S3) 카메라들(21A 내지 21D)에 의해 촬상된 이미지는 R, G, B를 포함하는데, 윈도우 처리를 통해 추출된 유효 터치이미지 역시 R, G, B를 포함한다. 터치 정보를 검출하기 위해서는 터치가 이루어지지 않을 때 액정표시패널(10)의 화소 어레이(10A)에 표시된 배경 이미지와 실제 터치가 이루어진 때의 이미지는 컬러정보 즉, R, G, B로 비교되는 것이 아니라 흑백과 그 사이의 중간톤을 포함한 계조(Gray)를 기준으로 비교되기 때문에 S3 단계에서 유효 터치 이미지의 R, G, B는 아래의 수학식 1에 의해 계조 정보로 변환된다.

계조정보(Gray scale intensity)=pR+qG+sB

여기서, 'p', 'q', 's'는 서로 다른 값을 갖는 상수이다.

터치인식을 위해서는 액정표시패널(10)의 화소 어레이(10A)에 표시된 배경 이미지와 실제 터치가 이루어진 터치 이미지를 비교하여 그 터치 이미지만을 추출하여야 한다. 이를 위하여, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D)에 의해 촬영되어 미리 저장된 배경 이미지와 카메라들(21A 내지 21D)에 의해 현재 촬영된 터치 이미지를 비교하여 두 이미지 간의 차에 해당하는 터치 이미지를 추출한다.(S4)

이어서, 멀티터치신호 처리 프로그램은 S4에서 추출된 터치 이미지의 계조정보(Gray scale intensity)를 미리 설정된 임계치와 비교한다. 그리고 멀티터치신 호 처리 프로그램은 임계치 이상의 데이터에 한해서 터치 이미지의 계조정보를 백색 데이터(White data)로 변환하고, 임계치 미만의 데이터들을 블랙 데이터(Black data)로 변환한다.(S5) 화이트 데이터는 유효한 터치 위치를 의미하고 블랙 데이터는 터치 이미지 중에서 실제로 터치되지 않은 무효 데이터를 의미한다. 임계치는 실험적으로 결정된다.

S6 단계에서, 멀티터치신호 처리 프로그램은 터치 위치 각각을 구분하기 위하여 도 8과 같이 화이트 데이터들 즉, 유효 터치 위치 데이터들 각각에 대하여 고유식별부호(① 내지 ⑤)를 부여한다.

이어서, 멀티터치신호 처리 프로그램은 백색 데이터로 변환된 유효 터치 위치들 각각에 대하여 2차원 평면 상에서 위치를 찾기 위하여 각도 계산 알고리즘을 이용하여 유효 터치 위치들을 바라 보는 카메라의 각도를 측정한다.(S7)

S7 단계에서 측정된 유효 터치 위치들과 카메라 사이의 측정각 각각에는 카메라들(21A 내지 21D)의 렌즈수차 만큼의 왜곡양이 포함되어 있다. 따라서, 멀티터치신호 처리 프로그램은 룩업 테이블(Look-up)에 유효 터치 위치와 카메라 사이의 각도 각각에 대한 보상값을 등재하고 그 룩업 테이블로부터의 보상각을 측정각 에 가산하여 측정각에서 렌즈특성에 의한 왜곡양을 보상한다.(S8) 렌즈 왜곡 보상방법은 제1 실시예와 제2 실시예로 나뉘어진다.

제1 실시예에 따른 렌즈 왜곡 보상방법

본 발명의 제1 실시예에 따른 렌즈 왜곡 보상방법을 도 9 내지 도 11을 결부하여 설명하기로 한다.

카메라들(21A 내지 21D)의 렌즈에서, 화각(angle of view)이 90°일 때 도 9와 같이 렌즈수차에 의한 왜곡은 렌즈특성에 의해 45°에 해당하는 기준선(Lref)을 기준으로 좌우 대칭을 만족한다.

도 10은 기준선(Lref)의 오른쪽 면에서 예시한 렌즈의 왜곡모델을 도식적으로 보여 준다. 카메라(21A)가 유효 터치 위치 'A'를 바라보면 실제로 터치된 유효 터치 위치의 측정각은 'θ'으로 되어야 하지만, 렌즈 수차로 인하여 카메라(21A)는 유효 터치지점을 오인식된 측정각 'θ''에 위치하는 'A''로 인식한다. 따라서, 렌즈수차가 보상되지 않은 측정각은 "θ-θ'"만큼의 오차를 포함한다. 이러한 측정각의 오차를 보상하기 위하여, 멀티터치신호 처리 프로그램은 아래의 수학식 2와 같은 보상식을 이용하여 45°이내의 측정각'θ''에 대하여 보상각을 구한다.

여기서, 'c'는 렌즈의 고유한 특성을 나타내는 상수값(Lens coeffecient)으로써 0<c≤1의 값을 갖는다.

수학식 2에 의해 구해진 보상각(θ_error)은 0°~45°사이의 모든 각도에서 구해진다.

도 11은 렌즈 상수 'c'를 1로 가정할 때, 0°~35.1°사이의 각도에서 수학식 2에 의해 계산된 보상각(θ_error)을 나타낸다. 도 11에서 횡축은 렌즈수차에 의한 왜곡이 반영된 측정각(θ')×10이며, 종축은 수학식 2에 의해 계산된 보상각(θ_error)을 나타낸다. 도 11에서 알 수 있는 바, 보상각(θ_error)은 각도가 클수록 비선형적으로 증가한다. 45°~90°의 측정각(θ')에 대한 보상각(θ_error)은 0°~45°의 보상각(θ_error)을 이용한다. 이는 전술한 바와 같이 렌즈수차에 의한 왜곡양은 렌즈의 화각 45°를 기준으로 대칭적이기 때문이다. 예를 들면, 60°의 보상각(θ_error)은 수학식 2에 의해 구해진 30°의 보상각과 동일하다. 이와 같은 과정을 통해 산출된 0°~90°의 보상각(θ_error)은 측정각의 각도 각각에 맵핑되어 룩업 테이블에 등재된다. 룩업 테이블은 멀티터치 프로세서(32)의 내장 메모리에 저장된다.

제2 실시예에 따른 렌즈 왜곡 보상방법

본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법을 도 12 내지 도 19를 결부하여 설명하기로 한다.

도 12를 참조하면, 본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법은 렌즈 왜곡 계산에 필요한 터치점을 설정한다.(S101) 터치점은 도 13과 같이 화소어레이(10A)의 터치면 주변에 N 개로 설정된다. 여기서, N은 5~90 사이에서 설정된다.

이어서, 터치점들 각각에 대하여 카메라(21A 내지 21D) 별로 각도가 계산된다.(S102) S102 단계에서의 각도 계산은 화소어레이(10A)의 수평 및 수직거리, 카메라(21A 내지 21D)의 위치, 터치점 위치를 파라미터(parameter)로 하는 삼각함수로 계산되며, 렌즈 수차를 반영하지 않는다. 이를 도 14 내지 도 17을 결부하여설명하기로 한다. 도 14에서, "Coffset"은 카메라(21A 내지 21D)와 화소어레이(10A) 사이의 거리, "Hlen"은 화소어레이(10A)의 수평거리, "Vlen"은 화소어레이(10A)의 수직거리를 각각 나타낸다. 이러한 파라미터들은 화소어레이(10A)의 크기와, 카메라들(21A 내지 21D)의 설치위치에 따라 달라진다. 도 14와 같은 파라미터들을 설정한 후에, 도 15와 같이 사용자가 유저 인터페이스를 통해 터치점들 중에서 최초 표시되는 'P1'을 화소어레이(10A) 내에서 지정하고 시계방향으로 P1과 이웃하는 P2와 P1 사이의 피치(Pitch)를 입력하면, 그 피치만큼 이격된 다수의 터치점들이 화소어레이(10A) 내에서 시계방향을 따라 자동 생성되고 순차적으로 표시된다. P1의 좌표값은 (x1, y1)이라고 가정한다. 사용자는 표시되는 순서대로 터치점들을 하나씩 터치한다. 이러한 터치 동작에 의해 각 터치점들에 대하여 렌즈수차가 반영되지 않은 이상적인 카메라(21A 내지 21D)의 각도가 아래의 수학식 3과 같은 삼각함수로 계산된다.(S103)

제1 카메라(21A)는 도 17에서 'B', 'C' 면에 존재하는 터치점들을 측정하며, 제2 카메라(21B)는 도 17에서 'C', 'D' 면에 존재하는 터치점들을 측정한다. 제3 카메라(21C)는 도 17에서 'A', 'B' 면에 존재하는 터치점들을 측정하며, 제4 카메라(21D)는 도 17에서 'A', 'D' 면에 존재하는 터치점들을 측정한다. 이렇게 카메 라(21A 내지 21D)가 상대적으로 먼 위치의 터치점을 측정하는데 이용되는 이유는 카메라(21A 내지 21D)와 터치점 사이의 거리가 가까우면 카메라(21A 내지 21D)에서 터치점의 크기가 실제보다 크게 보이므로 터치점이 오인식될 수 있기 때문이다. 후술하는 검증과정에서는 각 터치점에 대하여 네 개의 카메라들이 모두 이용된다.

이렇게 계산된 터치점들의 계산값은 S104 단계에서 터치점들에 대한 실제 터치시에 측정된 측정값과의 오차를 계산하는 기준이 된다.

터치점들이 순차적으로 표시되고 화면에 표시되는 터치점들을 사용자가 순차적으로 터치하면 그 터치점에 대한 카메라의 각도가 측정된다.(S103) S103 단계의 각도 측정은 후술하는 삼각측량법으로 계산되며, 렌즈 수차에 따른 왜곡양을 포함한다. 이 측정치의 각도와 S102 단계에서 계산된 계산치의 각도 사이에는 도 8과 같이 렌즈의 수차에 의해 오차가 있고, 그 오차는 카메라가 바라 보는 터치면의 각도범위 즉, 0°~90°내의 각도 각각에 대하여 계산되어 메모리에 저장된다.(S104)

도 18은 계산치와 측정치 사이의 각도 오차를 나타내는 예이다. 도 18에서, x축은 N 개의 터치점에 대한 계산값이며 y축은 N 개의 터치점에 대한 각도 오차이다.

도 18과 같은 각도 오차 커브를 더 정확하게 하고 정확한 각도 오차값을 얻기 위하여, 본 발명의 제2 실시예에 따른 렌즈 왜곡 보상방법은 수학식 4와 같은 3차 이상의 다항식을 이용한 폴리노미얼 커브 핏팅(Polynomial curve fitting)을 수행한다.(S105)

여기서, 'x'는 각 터치점에 대한 각도 계산치(N-by-4 Matrix), 'y'는 각 터치점에 대한 계산치와 측정치와의 오차값(N-by-1 Matrix), 'a'는 3차 polynomial 계수(4-by-1 Matrix)이다. 수학식 4의 (1)은 카메라 오차 곡선을 핏팅하기 위한 3 차 다항식이며, 수학식 4의 (2)는 N개의 측정값과 오차값과의 관계를 수식화한 것이며, 수학식 3의 (3)은 수학식 4의 (2)에 Linear Least Square를 적용하여 유도된 수식으로써 y-xa에 대한 유클리디안 놈(Euclidean norm)의 크기를 최소화시키는 a 값을 나타낸 것이다.

도 19는 도 18의 각도 오차 커브에 대하여 폴리노미얼 커브 핏팅(Polynomial curve fitting)을 수행하여 수정된 렌즈왜곡 각도 오차 커브를 나타낸 그래프이다. 렌즈왜곡 각도 오차 커브는 수학식 3으로 계산된 폴리노미얼 계수값들을 가지는 다항식을 통해 근사화된 것이다. 이러한 폴리노미얼 계수 데이터들을 포함한 오차 데이터들은 보상각(θ_error)으로써 각도 별로 맵핑되어 메모리에 저장되는 룩업 테이블로 구성된다.(S106)

본 발명의 제1 실시예 또는, 제2 실시예에 따른 렌즈 왜곡 보상방법에 의해 얻어진 보상각(θ_error)의 데이터들은 측정각에 가산되어 렌즈 왜곡을 보상한다.

도 6으로 돌아가면, 멀티터치신호 처리 프로그램은 S8 단계에서 렌즈 왜곡이 보상된 측정각(θ)으로부터 수학식 5와 같은 삼각 측량법을 이용하여 유효 터치 위치 각각에 대하여 2 차원 평면에서의 위치를 계산한다.(S9) 수학식 5는 하나의 터치 위치를 2차원 xy 좌표 값으로 계산하기 위한 계산식으로써 도 20과 같이 두 개의 카메라의 측정각(A, B), 터치위치와 카메라들 사이의 각도(C), 두 개의 카메라와 터치 위치 사이의 거리(a, b, c)를 포함한다. 터치위치와 카메라들 사이의 각도 C는 "C=180-각도A-각도B"로 산출된다.

이렇게 멀티터치신호 처리 프로그램으로부터 터치 위치 각각에 대한 x, y 좌표 데이터들(Txy)이 산출되면, 시스템(40)은 그 좌표 데이터들을 이용하여 터치 데이터를 발생하고, 그 터치 데이터를 액정표시패널(10)에 표시될 배경 이미지에 합성한다. 배경 이미지에 합성된 터치 데이터는 타이밍 콘트롤러(31)로 전송되어 액정표시패널(10)에 표시된다.(S10) 배경 이미지에 합성되는 터치 데이터들은 사용자의 편의에 따라 다양한 형태로 형상화될 수 있다.

도 21은 멀티터치 프로세서(32)의 측정각 보상회로를 나타낸다.

도 21을 참조하면, 멀티터치 프로세서(32)는 렌즈수차에 의해 왜곡양을 포함한 측정각(θ')이 입력되는 룩업 테이블(321), 룩업 테이블(321)의 출력단에 접속된 가산기(322)를 구비한다.

룩업 테이블(321)은 0°~90°의 보상각(θ_error)을 저장한 메모리와, 그 메모리의 읽기(read)/쓰기(write)를 제어하기 위한 메모리 콘트롤러를 포함한다. 룩업 테이블(321)이 저장된 메모리는 렌즈왜곡이 렌즈마다 다르기 때문에 렌즈특성에 따라 보상각(θ_error)을 갱신할 수 있도록 EEPROM(electrically erasable and programmable read only memory)으로 선택되는 것이 바람직하다. 이 룩업 테이블(321)은 렌즈수차에 의해 왜곡양을 포함한 측정각(θ')을 리드 어드레스로 하여 그 측정각(θ')에 대응하는 보상각(θ_error)을 출력한다.

가산기(322)는 룩업 테이블(321)로부터의 보상각(θ_error)을 렌즈수차에 의해 왜곡양을 포함한 측정각(θ')에 더하여 왜곡양이 보상된 측정각(θ)을 출력한다.

본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법은 화소 어레이를 피하여 카메라들을 배치하여 개구율 저하 요인을 최소화할 뿐 아니라, 터치 인식 모듈과 액정표시모듈을 일체화시켜 일체화된 표시장치의 외관 변형없이 기구적 안정도 저하를 최소화할 수 있다. 특히, 본 발명은 렌즈의 고유특성으로 인하여 발생되는 카메라와 터치 위치 사이의 측정각의 왜곡을 보상함으로써 터치 위치의 오인식을 예방하여 터치 위치 각각을 정확하게 감지할 수 있다.

한편, 터치&표시 일체화모듈(20)은 액정표시패널(10)과 카메라들을 분리될 수 있고, 이 경우에 본 발명은 액정표시패널(10)과 카메라모듈을 기구적으로 조립할 수 있도록 액정표시패널(10)과 카메라모듈에 탈부착 기구를 설치한다. 또한, 터치&표시 일체화모듈(20)의 액정표시패널(10)은 다른 평판표시패널 예를 들면, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)나 평판표시패널을 포함한 입체영상 표시장치의 표시패널로 대신될 수 있다.

S9의 멀티 터치 위치 계산과정에서, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치의 구동방법은 수학식 4와 같은 삼각 측량법을 이용하여 산출된 터치점들의 위치에 대하여 검증하는 과정을 포함할 수 있다.

도 22는 터치점들 각각의 위치에 대한 검증과정을 보여 주는 도면이다.

도 22를 참조하면, 표시면(10A) 상에 두 개의 멀티 터치점((X1, Y1), (X2, Y2)이 존재한다고 가정할 때, 그 두 지점들 각각에 대하여 이웃한 4 개의 카메라쌍들(21C와 21D, 21A와 21B, 21B와 21D, 21A와 21C)의 삼각측량법 결과를 수학식 6과 같이 비교 판단한다.

X1 : A*cos(θ1) && (L-C*sin(θ3)) && (H-E*cos(θ6)) && G*sin(θ8)

Y1 : A*sin(θ1) && (L-C*cos(θ3)) && (H-E*sin(θ6)) && G*cos(θ8)

X2 : B*cos(θ2) && (L-D*sin(θ4)) && (H-F*cos(θ5)) && H*sin(θ7)

Y2 : B*sin(θ2) && (L-D*cos(θ4)) && (H-F*sin(θ5)) && H*cos(θ7)

수학식 6에서, 각각의 변수들은 도 22와 같다.

멀티터치신호 처리 프로그램은 도 22 및 수학식 6과 같은 검증과정에서 이웃한 카메라쌍들(21C와 21D, 21A와 21B, 21B와 21D, 21A와 21C)에 의해 측정된 위치의 오차값이 미리 설정된 임계치를 초과하면 그 위치를 터치 위치로 보지 않고 에러로 판단한다.

상술한 바와 같이, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법은 멀티터치 이미지를 촬상하기 위한 카메라들의 렌즈왜곡을 보상하여 터치 위치 각각을 정확하게 검출할 수 있으며 또한, 액정표시모듈을 제어하고 터치인식을 신호처리하기 위한 회로를 최적화할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다.

Claims

표시패널;

상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로;

상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들;

상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시함과 아울러, 상기 카메라들의 렌즈왜곡을 미리 설정된 보상각으로 보상하고 상기 카메라들에 의해 촬상된 이미지와 상기 보상각을 이용하여 상기 표시패널 상에 터치된 터치 이미지들 각각의 좌표를 계산하는 콘트롤보드; 및

상기 콘트롤보드에 타이밍신호와 함께 상기 표시패널에 표시될 디지털 비디오 데이터를 공급하는 시스템을 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 1 항에 있어서,

상기 구동회로는,

상기 디지털 비디오 데이터를 아날로그 감마보상전압으로 변환하여 상기 표시패널의 데이터라인들에 공급하는 소스 드라이버; 및

상기 표시패널의 게이트라인들에 스캔펄스를 순차적으로 공급하는 게이트 드라이버를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 2 항에 있어서,

상기 콘트롤보드는,

상기 타이밍신호를 이용하여 상기 소스 드라이버와 상기 게이트 드라이버의 동작 타이밍을 제어하고 상기 소스 드라이버에 상기 디지털 비디오 데이터를 공급하는 타이밍 콘트롤러; 및

상기 타이밍신호와 상기 디지털 비디오 데이터를 상기 타이밍 콘트롤러와 함께 입력받고 상기 카메라들에 의해 촬상된 이미지를 입력받아 상기 터치 이미지들 각각의 좌표를 계산하는 멀티터치 프로세서를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 3 항에 있어서,

상기 멀티터치 프로세서는,

상기 카메라의 촬상 이미지로부터 상기 표시패널에 근접한 유효 터치영역의 이미지를 추출하고,

상기 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조 정보로 변환한 후에 그 계조 정보와 상기 카메라들에 의해 촬영된 배경 이미지의 차에 해당하는 터치 이미지를 추출하고,

상기 터치 이미지와 미리 설정된 임계치를 비교하여 상기 임계치 이상의 터치 이미지 데이터를 백색 데이터로 변환하고, 상기 백색 데이터가 다수 존재하면 상기 백색 데이터 각각에 대하여 고유 식별부호를 부여하며,

상기 카메라들과 상기 백색 데이터의 위치 사이의 각도를 계산하여 측정각을 구한 후에 그 각도에 상기 보상각을 가산하고, 상기 보상각과 상기 카메라들 간의 거리 및 상기 카메라들과 상기 백색 데이터 사이의 거리를 함수로 하여 상기 백색 데이터 각각에 대한 xy 좌표를 계산하여 그 xy 좌표의 데이터를 상기 시스템에 공급하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 4 항에 있어서,

상기 멀티터치 프로세서는,

상기 카메라의 0°~90°화각에 대한 보상각이 등재되고 상기 측정각에 대응하는 보상각을 출력하는 룩업 테이블; 및

상기 룩업 테이블로부터의 보상각을 상기 측정각에 가산하는 가산기를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 5 항에 있어서,

상기 보상각 'θ_error'은 아래의 계산식에 의해 산출되는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.

여기서, 'A'는 정확한 측정각 'θ'에서의 상기 백색 데이터의 실제 위치를 의미하고, 'A''은 렌즈왜곡이 반영된 측정각 'θ''에서의 상기 백색 데이터의 오인식 위치를 의미하며, 'c'는 렌즈의 고유한 특성을 나타내는 상수값으로써 0<c≤1의 값을 갖는다.
제 5 항에 있어서,

상기 보상각 'θ_error'은 터치점의 계산치와 실제 측정시 사이의 오차를 3차 이상의 다항식을 이용한 폴리노미얼 커브 핏팅을 통해 얻어지는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 4 항에 있어서,

상기 시스템은,

상기 좌표 데이터들을 이용하여 터치 데이터를 발생하고 그 터치 데이터를 상기 배경 이미지의 디지털 비디오 데이터에 합성하여 상기 콘트롤보드에 공급하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 1 항에 있어서,

상기 표시패널, 구동회로 및 상기 카메라들은 하나의 모듈에 일체화되는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
제 9 항에 있어서,

상기 표시패널은,

액정표시패널, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)의 표시패널, 평판표시패널을 포함한 입체영상 표시장치의 표시패널 중 어느 하나를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
표시패널, 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로, 및 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들을 가지는 멀티 터치인식 기능을 가지는 표시장치의 구동방법에 있어서,

상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시하는 단계;

상기 카메라들의 렌즈왜곡을 미리 설정된 보상각으로 보상하는 단계; 및

상기 카메라들에 의해 촬상된 이미지와 상기 보상각을 이용하여 상기 표시패널 상에 터치된 터치 이미지들 각각의 좌표를 계산하는 단계를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
제 11 항에 있어서,

상기 터치 이미지들 각각의 좌표를 계산하는 단계는,

상기 카메라의 촬상 이미지로부터 상기 표시패널에 근접한 유효 터치영역의 이미지를 추출하는 단계;

상기 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조 정보로 변환하는 단계;

상기 계조 정보와 상기 카메라들에 의해 촬영된 배경 이미지의 차에 해당하는 터치 이미지를 추출하는 단계;

상기 터치 이미지와 미리 설정된 임계치를 비교하여 상기 임계치 이상의 터치 이미지 데이터를 백색 데이터로 변환하는 단계;

상기 백색 데이터가 다수 존재하면 상기 백색 데이터 각각에 대하여 고유 식별부호를 부여하는 단계;

상기 카메라들과 상기 백색 데이터의 위치 사이의 각도를 계산하여 측정각을 구하는 단계;

상기 측정각에 상기 보상각을 가산하는 단계; 및

상기 보상각이 가산된 측정각과 상기 카메라들 간의 거리 및 상기 카메라들과 상기 백색 데이터의 거리를 함수로 하여 상기 백색 데이터 각각에 대한 xy 좌표를 계산하는 단계를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
제 12 항에 있어서,

상기 보상각 'θ_error'은 아래의 계산식에 의해 산출되는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.

여기서, 'A'는 정확한 측정각 'θ'에서의 상기 백색 데이터의 실제 위치를 의미하고, 'A''은 렌즈왜곡이 반영된 측정각 'θ''에서의 상기 백색 데이터의 오인식 위치를 의미하며, 'c'는 렌즈의 고유한 특성을 나타내는 상수값으로써 0<c≤1의 값을 갖는다.
제 12 항에 있어서,

상기 보상각 'θ_error'은 터치점의 계산치와 실제 측정시 사이의 오차를 3차 이상의 다항식을 이용한 폴리노미얼 커브 핏팅을 통해 얻어지는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
제 12 항에 있어서,

상기 xy 좌표를 이용하여 터치 이미지 데이터를 발생하고 그 터치 데이터를 상기 배경 이미지의 디지털 비디오 데이터에 합성하는 단계를 더 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.