KR20080055478A - 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 - Google Patents

멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 Download PDF

Info

Publication number
KR20080055478A
KR20080055478A KR1020060128864A KR20060128864A KR20080055478A KR 20080055478 A KR20080055478 A KR 20080055478A KR 1020060128864 A KR1020060128864 A KR 1020060128864A KR 20060128864 A KR20060128864 A KR 20060128864A KR 20080055478 A KR20080055478 A KR 20080055478A
Authority
KR
South Korea
Prior art keywords
touch
display panel
data
cameras
image
Prior art date
Application number
KR1020060128864A
Other languages
English (en)
Other versions
KR101330471B1 (ko
Inventor
심연심
장형욱
배상혁
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020060128864A priority Critical patent/KR101330471B1/ko
Publication of KR20080055478A publication Critical patent/KR20080055478A/ko
Application granted granted Critical
Publication of KR101330471B1 publication Critical patent/KR101330471B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 멀티 터치 입력에 적합한 데이터 패킷을 생성하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
이 표시장치는 표시패널; 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로; 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들; 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시함과 아울러, 상기 카메라들에 의해 촬상된 이미지를 이용하여 상기 표시패널 상에 터치된 터치 위치들 각각의 좌표를 계산하는 콘트롤보드; 및 상기 좌표에 상기 터치 위치들 각각의 식별코드를 부가한 터치 데이터 패킷을 생성하고, 타이밍신호와 함께 상기 터치 위치 각각에 대응하는 터치 이미지들을 포함한 디지털 비디오 데이터를 상기 콘트롤보드에 공급하는 시스템을 구비한다.

Description

멀티 터치인식 기능을 가지는 표시장치와 그 구동방법{DISPLAY APPARATUS HAVING MULITI-TOUCH RECOGNIZING FUNCTION AND DRIVING METHOD THEREOF}
도 1은 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치를 개략적으로 나타내는 도면.
도 2는 도 1에 도시된 표시장치를 상세히 나타내는 도면.
도 3은 도 2에 도시된 화소 어레이의 일부를 등가적으로 나타내는 회로도.
도 4는 본 발명의 실시예에 따른 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도.
도 5는 윈도우 처리를 설명하기 위한 도면.
도 6은 터치 위치 각각에 대한 고유식별코드의 부여를 도식적으로 나타내는 도면.
도 7은 삼각 측량법을 설명하기 위한 도면.
도 8은 시스템의 멀티 터치 데이터 처리를 나타내는 흐름도.
도 9는 시스템에서 생성되는 터치 데이터 패킷의 일례를 나타내는 도면.
< 도면의 주요 부분에 대한 부호의 설명 >
10 : 액정표시패널 11 : 소스 드라이버
12 : 게이트 드라이버 20 : 터치&표시 일체화모듈
30 : 콘트롤보드 31 : 타이밍 콘트롤러
32 : 멀티터치 프로세서 40 : 시스템
21A 내지 21D : 카메라들
본 발명은 표시장치에 관한 것으로 특히, 멀티 터치 입력에 적합한 데이터 패킷을 생성하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
터치패널은 일반적으로 표시장치 상에 부착되어 손이나 펜과 접촉되는 터치지점에서 전기적인 특성이 변하여 그 터치지점을 감지하는 유저 인터페이스의 하나로써 그 응용범위가 소형 휴대용 단말기, 사무용기기 등으로 확대되고 있다. 이러한 터치패널은 두 개 이상의 멀티 터치가 발생되면 오동작되거나 미리 설정된 프로그램에 의해 어느 하나를 선택할 수 있다.
기존 터치패널에서 멀티 터치 인식의 한계를 극복하기 위하여, 최근에는 다수의 터치를 동시에 인식하는 멀티 터치 인식장치가 개발되고 있으나, 이러한 멀티 터치 인식장치는 멀티 터치 입력을 각각 인식할 수 있게 하고 그 멀티 터치 입력 각각의 좌표를 분리 인식할 수 있는 데이터 패킷이 정의되지 않았기 때문에 응용 소프트웨어의 개발이 어려운 문제점이 있고 또한, 터치가 이루어지는 멀티 터치 패널과 응용 소프트웨어를 실행하기 위한 시스템 사이의 인터페이스를 통해 좌표 데이터가 전송되면서 멀티 터치 입력 중 일부가 누락될 수 있는 문제점이 있다.
또한, 종래의 멀티터치 인식장치는 터치인식회로가 표시소자의 구동회로와 분리되어 표시동작과 터치인식 동작이 동기되지 않고 회로를 비효율적으로 구현하는 문제점이 있고, 광센서를 각 화소들에 내장하면 광센서로 인하여 표시장치의 개구율이 낮아져 표시장치에 표시되는 배경 이미지의 표시품질이 떨어지는 문제점이 있다.
따라서, 본 발명의 목적은 상기 종래 기술의 문제점들을 해결하고자 안출된 발명으로써 멀티 터치 입력에 적합한 데이터 패킷을 생성하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 표시패널; 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로; 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들; 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표 시함과 아울러, 상기 카메라들에 의해 촬상된 이미지를 이용하여 상기 표시패널 상에 터치된 터치 위치들 각각의 좌표를 계산하는 콘트롤보드; 및 상기 좌표에 상기 터치 위치들 각각의 식별코드를 부가한 터치 데이터 패킷을 생성하고, 타이밍신호와 함께 상기 터치 위치 각각에 대응하는 터치 이미지들을 포함한 디지털 비디오 데이터를 상기 콘트롤보드에 공급하는 시스템을 구비한다.
상기 구동회로는 상기 디지털 비디오 데이터를 아날로그 감마보상전압으로 변환하여 상기 표시패널의 데이터라인들에 공급하는 소스 드라이버; 및 상기 표시패널의 게이트라인들에 스캔펄스를 순차적으로 공급하는 게이트 드라이버를 구비한다.
상기 콘트롤보드는 상기 타이밍신호를 이용하여 상기 소스 드라이버와 상기 게이트 드라이버의 동작 타이밍을 제어하고 상기 소스 드라이버에 상기 디지털 비디오 데이터를 공급하는 타이밍 콘트롤러; 및 상기 타이밍신호와 상기 디지털 비디오 데이터를 상기 타이밍 콘트롤러와 함께 입력받고 상기 카메라들에 의해 촬상된 이미지를 입력받아 상기 터치 위치들 각각의 좌표를 계산하는 멀티터치 프로세서를 구비한다.
상기 멀티터치 프로세서는 상기 카메라의 촬상 이미지로부터 상기 표시패널에 근접한 유효 터치영영역의 이미지를 추출하고, 상기 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조 정보로 변환한 후에 그 계조 정보와 상기 카메라들에 의해 촬영된 배경 이미지의 차에 해당하는 터치 이미지를 추출하고, 상기 터치 이미지와 미리 설정된 임계치를 비교하여 상기 임계치 이상의 터치 이미지 데이터 를 백색 데이터로 변환하고, 상기 백색 데이터가 다수 존재하면 상기 백색 데이터 각각에 대하여 고유 식별코드를 부여하며, 상기 카메라들과 상기 백색 데이터의 각도를 계산하고 그 각도와 상기 카메라들 간의 거리 및 상기 카메라들과 상기 백색 데이터 사이의 거리를 함수로 하여 상기 백색 데이터 각각에 대한 xy 좌표를 계산하여 좌표 데이터를 발생하여 상기 시스템에 공급한다.
상기 터치 데이터 패킷은 상기 터치 위치 각각을 지시하는 1 Byte의 식별코드, 상기 좌표의 x 값과 y 값을 포함한 6 Byte의 좌표 관련 데이터를 포함한다.
상기 식별코드는 다른 터치 위치의 상기 터치 데이터 패킷의 입력 여부를 지시하는 1 bit의 확장 코드를 포함한다.
상기 표시패널, 상기 구동회로 및 상기 카메라들은 하나의 모듈에 일체화된다.
상기 표시패널은 액정표시패널, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)의 표시패널, 평판표시패널을 포함한 입체영상 표시장치의 표시패널 중 어느 하나를 포함한다.
본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치의 구동방법은 상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시하는 단계; 상기 카메라들에 의해 촬상된 이미지를 이용하여 상기 표시패널 상에 터치된 터치 위치들 각각의 좌표를 계산하는 단계; 상기 좌표에 상기 터치 위치들 각각의 식별코드를 부가한 터치 데이터 패킷을 생성하는 단계; 및 타이밍신호와 함께 상기 터치 위치 각각에 대응하는 터치 이미지들을 포함한 디지털 비디오 데이터를 상기 표시패널의 타이밍 콘트롤러에 공급하는 단계를 포함한다.
이하, 도 1 내지 도 9를 참조하여 본 발명의 바람직한 실시예들에 대하여 설명하기로 한다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 화상이 표시되는 화소어레이(10A)의 네 모서리에 카메라들(21A 내지 21D)이 배치된 터치&표시 일체화모듈(20), 터치&표시 일체화모듈(20)을 제어하고 터치지점의 좌표를 계산하는 콘트롤보드(30), 및 타이밍신호와 함께 터치&표시 일체화모듈(20)에 표시될 데이터(RGB)를 콘트롤보드(30)에 공급하기 위한 시스템(40)을 구비한다.
터치&표시 일체화모듈(20)은 화상이 표시되는 화소어레이(10A)가 형성된 액정표시패널(10)와, 액정표시패널(10)의 데이터라인들(D1 내지 Dm)에 데이터전압을 공급하기 위한 소스 드라이버(11)와, 액정표시패널(10)의 게이트라인들(G1 내지 Gn)에 스캔펄스를 공급하기 위한 게이트 드라이버(12)와, 화소어레이(10A)의 네모서리에 배치된 카메라들(21A 내지 21D)을 구비한다.
액정표시패널(10)은 박막트랜지스터(Thin Film Transistor: 이하, "TFT"라 함) 기판과 컬러필터 기판을 포함한다. TFT 기판과 컬러필터 기판 사이에는 액정층이 형성된다. TFT 기판 상에는 하부 유리기판 상에 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)이 상호 직교되도록 형성되고 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)에 의해 정의된 셀영역들에 액정셀들(Clc)이 매트릭스 형태로 배치된다. 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)의 교차부에 형성된 TFT는 게이트라인(G1 내지 Gn)으로부터의 스캔펄스에 응답하여 데이터라인들(D1 내지 Dm)로부터의 데이터전압을 액정셀(Clc)에 공급한다. 이를 위하여, TFT의 게이트전극은 게이트라인(G1 내지 Gn)에 접속되며, 소스전극은 데이터라인(D1 내지 Dm)에 접속된다. TFT의 드레인전극은 액정셀(Clc)의 화소전극에 접속된다. 화소전극과 대향하는 공통전극에는 공통전압(Vcom)이 공급된다.
컬러필터 기판은 상부 유리기판 상에 형성된 블랙매트릭스, 컬러필터를 포함한다.
공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 유리기판 상에 형성된다.
도면부호 'Cst'는 스토리지 커패시터(Storage Capacitor)이다. 스토리지 커패시터(Cst)는 게이트라인과 액정셀(Clc)의 화소전극의 중첩으로 형성될 수 있고, 또한, 별도의 공통라인과 화소전극의 중첩으로 형성될 수도 있다.
소스 드라이버(11)는 다수의 데이터 집적회로를 포함하여 콘트롤보드(30)로부터 입력되는 디지털 비디오 데이터(RGB)를 콘트롤보드(30)의 제어 하에 정극성 또는 부극성 아날로그 감마보상전압으로 변환하고, 그 아날로그 감마보상전압을 아날로그 데이터전압으로써 데이터라인들(D1 내지 Dm)에 공급한다.
게이트 드라이버(12)는 다수의 게이트 집적회로를 포함하며, 콘트롤보드(30) 의 제어 하에 게이트라인들(G1 내지 Gn)에 순차적으로 스캔펄스를 공급한다.
소스 드라이버(11)의 데이터 집적회로들과 게이트 드라이버(12)의 게이트 집적회로들은 테이프 캐리어 패키지(Tape Carrier Package, TCP)를 이용한 테이프 오토메이티트 본딩(Tape Automated Bonding, TAB)이나 칩온글라스(Chip on glass, COG) 방식으로 하부 유리기판에 형성될 수 있다.
카메라들(21A 내지 21D)은 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용한 카메라들로써 액정표시패널(10)에서 화상이 표시되는 화소 어레이(10A)의 네 모서리에 배치되어 각각 화소 어레이의 표시면과 그 근방의 이미지를 촬상한다. 카메라(21A 내지 21D)로 사용되는 CMOS 센서는 최소 320×240 화소에서 1280×1024 화소의 해상도를 필요로 한다. 이 카메라들(21A 내지 21D) 각각으로부터 촬상된 터치 이미지는 콘트롤보드(30)에 공급된다.
콘트롤보드(30)는 가요성인쇄필름(Flexible Printed Circuit, FPC)과 커넥터를 통해 소스 드라이버(11)와 게이트 드라이버(12)에 접속된다. 이 콘트롤보드(30)는 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)를 포함한다.
타이밍 콘트롤러(31)는 수직/수평 동기신호(V,H)와 클럭(CLK)을 이용하여 게이트 드라이버(12)의 동작 타이밍을 제어하기 위한 게이트 제어신호와, 소스 드라이버(11)의 동작 타이밍을 제어하기 위한 데이터 제어신호를 발생한다. 또한, 타이밍 콘트롤러(31)는 시스템(40)으로부터 입력되는 디지털 비디오 데이터(RGB)를 소스 드라이버(11)에 공급한다.
멀티터치 프로세서(32)는 멀치터치신호 처리 프로그램을 실행시켜 카메라 들(21A 내지 21D)에 의해 촬상되는 이미지를 저장하고 저장된 배경 이미지와 현재 촬상된 터치 이미지를 비교하여 터치 이미지를 추출한다. 그리고 멀티터치 프로세서(32)는 터치 이미지에 대한 좌표를 계산하여 그 결과(Txy)를 시스템(32)에 공급한다. 이 멀티터치 프로세서(32)는 수직/수평 동기신호(V,H)와 클럭(CLK) 등의 타이밍신호를 타이밍 콘트롤러(31)와 공유하므로 타이밍 콘트롤러(31)와 동기되어 동작한다. 따라서, 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)가 동기되어 동작하므로 액정표시패널(10)의 데이터 표시와 카메라(21A 내지 21D)에 의해 촬상된 이미지의 저장이 동기될 수 있다.
시스템(40)은 응용 소프트웨어가 내장된 메모리, 응용 소프트웨어를 실행시키기 위한 중앙처리장치(Central Processing Unit, CPU), 및 배경이미지와 터치이미지를 합성하고 그 합성 데이터의 신호보간처리와 해상도변환 등을 처리하는 그래픽처리회로를 포함한다. 이 시스템(40)은 멀티터치 프로세서(32)로부터의 좌표 데이터(Txy)와 터치 위치 각각에 대한 고유 식별코드를 입력받아 그 터치 위치 각각에 대한 좌표에 연계된 응용 소프트웨어를 실행시킨다. 예를 들면, 터치 위치의 좌표에 특정 프로그램의 아이콘이 있다면 시스템(40)은 메모리에서 그 프로그램을 로딩하여 실행시킨다. 또한, 시스템(40)은 배경이미지와 터치이미지를 합성하여 액정표시패널(10)에 표시하고자 하는 디지털 비디오 데이터(RGB)를 발생한다. 이 시스템(40)은 개인용 컴퓨터(PC)로 구현될 수 있으며, 직력 혹은 범용직렬버스(Universal Serial Bus, USB) 인터페이스를 통해 멀티터치 프로세서(32)와 데이터를 주고 받는다.
도 4는 멀티터치 프로세서(32)에서 실행되는 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도이다.
도 4를 참조하면, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D)에 의해 촬상된 터치이미지를 입력받아, 윈도우(Window) 처리를 통해 유효 터치영역의 이미지를 추출한다.(S1 및 S2) 카메라들(21A 내지 21D)로부터 촬상된 터치 이미지는 도 5와 같이 화소 어레이의 터치면에서 촬상된 유효 터치영역의 이미지 뿐만 아니라 터치면 위의 공간에 해당하는 무효 터치영역의 이미지를 포함한다. 따라서, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D) 각각으로부터 촬상된 이미지로부터 터치면 근방에서 터치가 이루어지는 유효 터치영역의 이미지(빗금친부분)를 윈도우 처리를 통해 추출한다. 윈도우 처리는 입력 이미지신호에 대하여 서브-매트릭스(Sub-matrix) 연산을 통해 필요한 이미지만을 추출하는 이미지추출기법이다.
이어서, 멀티터치신호 처리 프로그램은 윈도우 처리에 의해 추출된 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조(Gray) 정보로 변환한다.(S3) 카메라들(21A 내지 21D)에 의해 촬상된 이미지는 R, G, B 데이터를 포함하는데, 윈도우 처리를 통해 추출된 유효 터치이미지 역시 R, G, B를 포함한다. 터치 정보를 검출하기 위해서는 터치가 이루어지지 않을 때 액정표시패널(10)의 화소 어레이(10A)에 표시된 배경 이미지와 실제 터치가 이루어진 때의 이미지는 컬러정보 즉, R, G, B로 비교되는 것이 아니라 흑백과 그 사이의 중간톤을 포함한 계조(Gray)를 기준으로 비교되기 때문에 S3 단계에서 유효 터치 이미지의 R, G, B는 아래의 수학식 1에 의해 계조 정보로 변환된다.
계조정보(Gray scale intensity)=pR+qG+sB
여기서, 'p', 'q', 's'는 서로 다른 값을 갖는 상수이다.
터치인식을 위해서는 액정표시패널(10)의 화소 어레이(10A)에 표시된 배경 이미지와 실제 터치가 이루어진 터치 이미지를 비교하여 그 터치 이미지만을 추출하여야 한다. 이를 위하여, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D)에 의해 촬영되어 미리 저장된 배경 이미지와 카메라들(21A 내지 21D)에 의해 현재 촬영된 터치 이미지를 비교하여 두 이미지 간의 차에 해당하는 터치 이미지를 추출한다.(S4)
이어서, 멀티터치신호 처리 프로그램은 S4에서 추출된 터치 이미지의 계조정보(Gray scale intensity)를 미리 설정된 임계치와 비교한다. 그리고 멀티터치신호 처리 프로그램은 임계치 이상의 데이터에 한해서 터치 이미지의 계조정보를 백색 데이터(White data)로 변환하고, 임계치 미만의 데이터들을 블랙 데이터(Black data)로 변환한다.(S5) 화이트 데이터는 유효한 터치 위치를 의미하고 블랙 데이터는 터치 이미지 중에서 실제로 터치되지 않은 무효 데이터를 의미한다. 임계치는 실험적으로 결정된다.
S6 단계에서, 멀티터치신호 처리 프로그램은 터치 위치 각각을 구분하기 위하여 도 6과 같이 화이트 데이터들 즉, 유효 터치 위치 데이터들 각각에 대하여 식별코드(ID)(① 내지 ⑤)를 부여한다.
멀티터치신호 처리 프로그램은 백색 데이터로 변환된 유효 터치 위치들 각각에 대하여 2차원 평면 상에서 위치를 찾기 위하여 각도 계산 알고리즘을 이용하여 유효 터치 위치들을 바라 보는 카메라의 각도를 측정한다.(S7)
S8 단계에서, 멀티터치신호 처리 프로그램은 카메라의 측정각으로부터 수학식 2와 같은 삼각 측량법을 이용하여 유효 터치 위치 각각에 대하여 2 차원 평면에서의 위치를 계산한다. 아래의 수학식 2는 하나의 터치 위치를 xy 좌표로 계산하기 위한 계산식으로써 도 7과 같이 두 개의 카메라의 측정각(A, B), 터치 위치와 카메라들 사이의 각도(C), 두 개의 카메라와 터치 위치 사이의 거리(a, b, c)를 포함한다. 터치위치와 카메라들 사이의 각도 C는 "C=180-각도A-각도B"로 산출된다.
Figure 112006093179605-PAT00001
이렇게 멀티터치신호 처리 프로그램으로부터 터치 위치 각각에 대한 x, y 좌표 데이터들(Txy)이 산출된 후에, 멀티터치 프로세서(32)는 터치 위치 각각의 좌표 데이터와 함께 식별코드(ID)를 시스템(40)에 전송한다.
시스템(40)은 멀티터치 프로세서(32)로부터 좌표 데이터들(Txy)과 식별코드들(ID)들이 입력되면(S81), 시스템(40)의 중앙처리장치(CPU)는 터치 위치 각각에 대응하는 식별코드(ID)를 재부여하고 그 좌표 데이터(Txy)와 식별코드(ID)가 1:1로 구성된 터치 데이터 패킷을 생성한다.(S83) 시스템(40)에 의해 새로 부여되는 식별코드(ID)는 문자 및/또는 숫자를 포함할 수 있다. 그리고 시스템(40)의 중앙처리장치(CPU)는 터치 데이터 패킷을 응용 소프트웨어(S/W)에 공급하여 그 응용 소프트웨어를 실행시키고, 영상 처리 프로그램을 이용하여 터치 데이터 패킷을 터치 이미지로 변환한 후에 그 터치 이미지를 액정표시패널(10)에 표시될 배경 이미지에 합성하여 타이밍 콘트롤러(31)에 공급한다.(S84) 배경 이미지에 합성되는 터치 이미지는 사용자의 편의에 따라 다양한 형태로 가공될 수 있다.
도 9는 시스템(40)에서 생성되는 터치 데이터 패킷의 일례를 나타낸다.
도 9를 참조하면, 터치 위치 각각을 지시하는 식별코드(ID)로 1 Byte가 할당되고, 그 식별코드(ID)에 이어서 6 비트의 좌표관련 데이터로 6 Byte가 할당된다.
식별코드(ID)의 MSB 1 bit는 다음 터치 위치의 식별코드(ID)와 좌표 관련 데이터가 연속된다는 것을 지시하는 확장비트이다. 예컨대, 식별코드(ID)의 MSB가 '1'이면 다른 터치 위치의 식별코드(ID)와 좌표 관련 데이터들이 이어서 입력된다는 것을 의미하고, 식별코드(ID)의 MSB가 '0'이면 다른 터치 위치의 입력이 없다는 것을 의미한다.
좌표관련 데이터 중에서, 3 Byte는 터치 위치의 y 좌표 값을, 2 Byte는 터치 위치의 x 좌표 값을 나타낸다. 그리고 좌표관련 데이터 중에서, 1 Byte는 x/y 좌표값의 오버 플로우(overflow), x/y 좌표값의 부호를 포함하며, 그 중 4 bit는 좌표 관련 데이터에서 잉여로 남는 비트들로써 다른 기능으로 활용될 수 있다.
본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법은 화소 어레이를 피하여 카메라들을 배치하여 개구율 저하 요인을 최소화할 뿐 아니라, 터치 인식 모듈과 액정표시모듈을 일체화시켜 일체화된 표시장치의 외관 변형없이 기구적 안정도 저하를 최소화할 수 있으며, 액정표시패널의 타이밍 콘트롤러(31)와 멀티 터치 프로세서(32)를 콘트롤 보드 내에 함께 실장하고 동기신호를 공유함으로써 표시소자의 제어회로와 멀티 터치 프로세서의 회로를 최적화할 수 있다. 특히, 본 발명은 터치 위치 각각의 식별코드(ID)와 좌표관련 데이터를 시스템에서 생성하여 콘트롤보드(30)와 시스템(40) 사이의 인터페이스에서 식별코드(ID)의 전송이 누락되더라도 좌표 데이터(Txy)에 새로운 식별코드(ID)를 생성하여 터치 인식 오류를 예방할 수 있고 시스템(40)에서 새로 생성되는 터치 데이터 패킷을 표준화하여 응용 소프트 웨어의 개발을 용이하게 할 수 있다.
한편, 터치&표시 일체화모듈(20)은 액정표시패널(10)과 카메라들을 분리될 수 있고, 이 경우에 본 발명은 액정표시패널(10)과 카메라모듈을 기구적으로 조립할 수 있도록 액정표시패널(10)과 카메라모듈에 탈부착 기구를 설치한다. 또한, 터치&표시 일체화모듈(20)의 액정표시패널(10)은 다른 평판표시패널 예를 들면, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)나 평판표시패널을 포함한 입체영상 표시장치의 표시패널로 대신될 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법은 터치 위치 각각의 식별코드와 좌표관련 데이터를 시스템에서 생성하여 콘트롤보드와 시스템 사이의 인터페이스에서 식별코드의 전송이 누락되더라도 좌표 데이터에 새로운 식별코드를 부가하여 터치 인식 오류를 예방할 수 있으므로 멀티 터치 입력에 적합한 데이터 패킷을 생성할 수 있다. 또한, 본 발명은 액정표시모듈을 제어하고 터치인식을 신호처리하기 위한 회로를 최적화할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다.

Claims (11)

  1. 표시패널;
    상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로;
    상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들;
    상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시함과 아울러, 상기 카메라들에 의해 촬상된 이미지를 이용하여 상기 표시패널 상에 터치된 터치 위치들 각각의 좌표를 계산하는 콘트롤보드; 및
    상기 좌표에 상기 터치 위치들 각각의 식별코드를 부가한 터치 데이터 패킷을 생성하고, 타이밍신호와 함께 상기 터치 위치 각각에 대응하는 터치 이미지들을 포함한 디지털 비디오 데이터를 상기 콘트롤보드에 공급하는 시스템을 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  2. 제 1 항에 있어서,
    상기 구동회로는,
    상기 디지털 비디오 데이터를 아날로그 감마보상전압으로 변환하여 상기 표시패널의 데이터라인들에 공급하는 소스 드라이버; 및
    상기 표시패널의 게이트라인들에 스캔펄스를 순차적으로 공급하는 게이트 드라이버를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  3. 제 2 항에 있어서,
    상기 콘트롤보드는,
    상기 타이밍신호를 이용하여 상기 소스 드라이버와 상기 게이트 드라이버의 동작 타이밍을 제어하고 상기 소스 드라이버에 상기 디지털 비디오 데이터를 공급하는 타이밍 콘트롤러; 및
    상기 타이밍신호와 상기 디지털 비디오 데이터를 상기 타이밍 콘트롤러와 함께 입력받고 상기 카메라들에 의해 촬상된 이미지를 입력받아 상기 터치 위치들 각각의 좌표를 계산하는 멀티터치 프로세서를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  4. 제 3 항에 있어서,
    상기 멀티터치 프로세서는,
    상기 카메라의 촬상 이미지로부터 상기 표시패널에 근접한 유효 터치영영역의 이미지를 추출하고,
    상기 유효 터치영역의 이미지에 포함된 R, G, B 데이터를 계조 정보로 변환한 후에 그 계조 정보와 상기 카메라들에 의해 촬영된 배경 이미지의 차에 해당하는 터치 이미지를 추출하고,
    상기 터치 이미지와 미리 설정된 임계치를 비교하여 상기 임계치 이상의 터치 이미지 데이터를 백색 데이터로 변환하고, 상기 백색 데이터가 다수 존재하면 상기 백색 데이터 각각에 대하여 고유 식별코드를 부여하며,
    상기 카메라들과 상기 백색 데이터의 각도를 계산하고 그 각도와 상기 카메라들 간의 거리 및 상기 카메라들과 상기 백색 데이터 사이의 거리를 함수로 하여 상기 백색 데이터 각각에 대한 xy 좌표를 계산하여 좌표 데이터를 발생하여 상기 시스템에 공급하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  5. 제 1 항에 있어서,
    상기 터치 데이터 패킷은,
    상기 터치 위치 각각을 지시하는 1 Byte의 식별코드, 상기 좌표의 x 값과 y 값을 포함한 6 Byte의 좌표 관련 데이터를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  6. 제 5 항에 있어서,
    상기 식별코드는,
    다른 터치 위치의 상기 터치 데이터 패킷의 입력 여부를 지시하는 1 bit의 확장 코드를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  7. 제 1 항에 있어서,
    상기 표시패널, 상기 구동회로 및 상기 카메라들은 하나의 모듈에 일체화되는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  8. 제 7 항에 있어서,
    상기 표시패널은,
    액정표시패널, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)의 표시패널, 평판표시패널을 포함한 입체영상 표시장치의 표시패널 중 어느 하나를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  9. 표시패널, 상기 표시패널의 데이터라인과 게이트라인들을 구동하기 위한 구동회로, 및 상기 표시패널의 표시화면 가장자리에 배치되는 다수의 카메라들을 가지는 멀티 터치인식 기능을 가지는 표시장치의 구동방법에 있어서,
    상기 표시패널의 구동회로를 제어하여 상기 표시패널에 배경 이미지를 표시하는 단계;
    상기 카메라들에 의해 촬상된 이미지를 이용하여 상기 표시패널 상에 터치된 터치 위치들 각각의 좌표를 계산하는 단계;
    상기 좌표에 상기 터치 위치들 각각의 식별코드를 부가한 터치 데이터 패킷을 생성하는 단계; 및
    타이밍신호와 함께 상기 터치 위치 각각에 대응하는 터치 이미지들을 포함한 디지털 비디오 데이터를 상기 표시패널의 타이밍 콘트롤러에 공급하는 단계를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  10. 제 9 항에 있어서,
    상기 터치 데이터 패킷은,
    상기 터치 위치 각각을 지시하는 1 Byte의 식별코드, 상기 좌표의 x 값과 y 값을 포함한 6 Byte의 좌표 관련 데이터를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  11. 제 9 항에 있어서,
    상기 식별코드는,
    다른 터치 위치의 상기 터치 데이터 패킷의 입력 여부를 지시하는 1 bit의 확장 코드를 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
KR1020060128864A 2006-12-15 2006-12-15 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 KR101330471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060128864A KR101330471B1 (ko) 2006-12-15 2006-12-15 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060128864A KR101330471B1 (ko) 2006-12-15 2006-12-15 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Publications (2)

Publication Number Publication Date
KR20080055478A true KR20080055478A (ko) 2008-06-19
KR101330471B1 KR101330471B1 (ko) 2013-11-20

Family

ID=39802306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060128864A KR101330471B1 (ko) 2006-12-15 2006-12-15 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Country Status (1)

Country Link
KR (1) KR101330471B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120037661A (ko) * 2010-10-12 2012-04-20 엘지디스플레이 주식회사 입체 영상 표시장치와 그 감마 보정 방법
KR20150082782A (ko) * 2014-01-08 2015-07-16 엘지전자 주식회사 허브 장치 및 그의 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404361B1 (ko) * 2021-01-05 2022-06-02 엘지전자 주식회사 디스플레이 장치 및 그 구동방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE453147T1 (de) 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
JP2002091686A (ja) 2000-09-14 2002-03-29 Vstone Kk 位置検出方法，位置検出装置，視覚的特徴検出方法，ポインティングシステム及び監視システム
JP3920067B2 (ja) 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120037661A (ko) * 2010-10-12 2012-04-20 엘지디스플레이 주식회사 입체 영상 표시장치와 그 감마 보정 방법
KR20150082782A (ko) * 2014-01-08 2015-07-16 엘지전자 주식회사 허브 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR101330471B1 (ko) 2013-11-20

Similar Documents

Publication Publication Date Title
KR101352264B1 (ko) 멀티 터치 감지방법 및 장치
KR101374104B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
US10152156B2 (en) Touch sensor integrated type display device
US9542026B2 (en) Display device and driving method thereof
US8139045B2 (en) Display device having multi-touch recognizing function and driving method thereof
JP5138406B2 (ja) 表示装置及びその駆動方法
KR101329461B1 (ko) 터치 스크린 패널 일체형 표시장치
CN101727231B (zh) 触控传感器件以及用于校正其输出的方法
KR102609068B1 (ko) 구동 회로 및 구동 회로의 센싱부
KR102549692B1 (ko) 표시 영역에 의해 둘러싸인 공백 영역이 형성된 디스플레이 패널을 구동하는 주사 구동 회로를 포함하는 디스플레이 장치
KR102008512B1 (ko) 터치 센싱 시스템의 에지부 좌표 보상 방법
CN107015697B (zh) 显示装置
US9285921B2 (en) Touch panel display device and driving method thereof
KR101350876B1 (ko) 디스플레이장치 및 그 제어방법
TW201514819A (zh) 附觸控面板之液晶顯示裝置
US11360626B2 (en) Display including touch-sensitive circuit and method for operating the same
US9645639B2 (en) Apparatus and method for driving touch sensor
KR101346865B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR101330471B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR20150043801A (ko) 터치패널 표시장치
KR101407290B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
CN109491534B (zh) 触摸显示装置
KR101773971B1 (ko) 터치 감지 장치와 그 데이터 전송 방법
KR101633097B1 (ko) 멀티 터치 감지방법 및 장치
KR101549246B1 (ko) 멀티터치 시스템과 그 구동방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161012

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171016

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181015

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 7