KR20080098787A - 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 - Google Patents

멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 Download PDF

Info

Publication number
KR20080098787A
KR20080098787A KR1020070044080A KR20070044080A KR20080098787A KR 20080098787 A KR20080098787 A KR 20080098787A KR 1020070044080 A KR1020070044080 A KR 1020070044080A KR 20070044080 A KR20070044080 A KR 20070044080A KR 20080098787 A KR20080098787 A KR 20080098787A
Authority
KR
South Korea
Prior art keywords
image
touch
value
pixel
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070044080A
Other languages
English (en)
Other versions
KR101407290B1 (ko
Inventor
장형욱
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020070044080A priority Critical patent/KR101407290B1/ko
Publication of KR20080098787A publication Critical patent/KR20080098787A/ko
Application granted granted Critical
Publication of KR101407290B1 publication Critical patent/KR101407290B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 그림자를 제거하여 오동작을 예방하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
이 표시장치는 표시소자; 상기 표시소자의 가장자리 근방에 설치된 다수의 카메라; 상기 카메라들에 의해 촬상되어 미리 저장된 배경 이미지의 평균값과 표준 편차값을 함수로 하는 기준값을 상기 카메라들에 의해 현재 촬상된 터치 이미지와비교하여 차이영상을 얻고 그 차이영상으로부터 상기 표시소자 위에 터치되는 터치물체의 위치를 산출하는 터치 콘트롤 회로; 및 상기 터치 물체의 이미지를 상기 표시소자에 표시하는 표시 구동회로를 구비한다.

Description

멀티 터치인식 기능을 가지는 표시장치와 그 구동방법{DISPLAY APPARATUS HAVING MULTI-TOUCH RECOGNIZING FUNCTION AND DRIVING METHOD THEREOF}
도 1은 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치를 개략적으로 나타내는 도면.
도 2는 도 1에 도시된 표시장치를 상세히 나타내는 도면.
도 3은 도 2에 도시된 화소 어레이의 일부를 등가적으로 나타내는 회로도.
도 4는 본 발명의 실시예에 따른 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도.
도 5는 윈도우 처리를 설명하기 위한 도면.
도 6은 터치물체의 그림자를 보여 주는 도면.
도 7은 도 6과 같은 그림자를 터치물체로 인식하는 오동작의 예를 보여 주는 도면.
도 8은 배경 이미지의 히스토그램과 그 히스토그램에서의 평균값 및 표준 편차값을 보여 주는 그래프.
도 9는 배경 이미지, 터치물체, 그림자의 히스토그램들과 그 히스토그램들에서의 평균값들을 나타내는 그래프.
도 10은 터치위치들 각각의 라벨링 처리를 예시한 도면.
도 11은 삼각 측량법을 설명하기 위한 도면.
도 12는 터치 이미지에서 그림자의 제거과정을 보여 주는 도면.
< 도면의 주요 부분에 대한 부호의 설명 >
10 : 액정표시패널 11 : 소스 드라이버
12 : 게이트 드라이버 20 : 터치&표시모듈
30 : 콘트롤보드 31 : 타이밍 콘트롤러
32 : 멀티터치 프로세서 40 : 시스템
21A 내지 21D : 카메라 22 : 흑화된 내측벽
본 발명은 표시장치에 관한 것으로 특히, 그림자를 제거하여 오동작을 예방하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
터치패널은 일반적으로 표시장치 상에 부착되어 손이나 펜과 접촉되는 터치위치에서 전기적인 특성이 변하여 그 터치위치을 감지하는 유저 인터페이스의 하나로써 그 응용범위가 소형 휴대용 단말기, 사무용기기 등으로 확대되고 있다. 이러한 터치패널은 두 개 이상의 멀티 터치가 동시에 발생되면 오동작되거나 미리 설정 된 프로그램에 의해 어느 하나를 선택할 수 있다.
기존 터치패널에서 멀티 터치 인식의 한계를 극복하기 위하여, 최근에는 다수의 터치를 동시에 인식하는 멀티 터치 인식장치가 개발되고 있다.
이러한 멀티 터치 인식장치는 렌즈를 가지는 카메라를 이용하는 경우에 터치물체의 그림자나 렌즈의 수차 등으로 인하여 터치위치를 오인식할 수 있다.
따라서, 본 발명의 목적은 상기 종래 기술의 문제점들을 해결하고자 안출된 발명으로써 그림자를 제거하여 오동작을 예방하도록 한 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 표시소자; 상기 표시소자의 가장자리 근방에 설치된 다수의 카메라; 상기 카메라들에 의해 촬상되어 미리 저장된 배경 이미지의 평균값과 표준 편차값을 함수로 하는 기준값을 상기 카메라들에 의해 현재 촬상된 터치 이미지와비교하여 차이영상을 얻고 그 차이영상으로부터 상기 표시소자 위에 터치되는 터치물체의 위치를 산출하는 터치 콘트롤 회로; 및 상기 터치 물체의 이미지를 상기 표시소자에 표시하는 표시 구동회로를 구비한다.
상기 배경 이미지는 상기 표시소자의 흑화된 측벽의 이미지로써 상기 카메라 들 각각에 의해 100 프레임기간 이상 촬상된 이미지를 포함한다.
상기 배경 이미지의 평균값과 표준 편차값은 상기 배경 이미지의 각 픽셀별로 히스토그램으로 분석되고 그 분석결과로 산출되는 각 픽셀별 히스토그램의 평균값들과 분산값들을 포함한다.
상기 터치 콘트롤 회로는 상기 터치 이미지의 픽셀값이 상기 기준값보다 크면 그 픽셀값을 상기 터치 이미지의 픽셀값으로 저장하고 상기 터치 이미지의 픽셀값이 기준값 이하이면 그 픽셀값을 미리 저장된 상기 배경 이미지 픽셀의 평균값으로 치환하여 터치 이미지의 픽셀값으로 저장한다.
상기 터치 콘트롤 회로는 각 픽셀 단위로 상기 배경 이미지의 픽셀값과 상기 터치 이미지의 픽셀값과의 차이를 산출하여 상기 차이영상을 얻는다.
본 발명의 실시예에 따른 표시장치의 구동방법은 상기 카메라들에 의해 촬상되어 미리 저장된 배경 이미지의 평균값과 표준 편차값을 함수로 하는 기준값과 상기 카메라들에 의해 현재 촬상된 터치 이미지를 비교하여 차이영상을 얻는 단계; 상기 차이영상으로부터 상기 표시소자 위에 터치되는 터치물체의 위치를 산출하는 단계; 및 상기 터치 물체의 이미지를 상기 표시소자에 표시한다.
이하, 도 1 내지 도 12를 참조하여 본 발명의 바람직한 실시예들에 대하여 설명하기로 한다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치는 화상이 표시되는 화소어레이(10A)의 네 모서리에 카메라들(21A 내지 21D)이 배치된 터치&표시모듈(20); 터치&표시모듈(20)을 제어하고 터치위치를 인식하기 위한 알고리즘을 수행하는 콘트롤보드(30); 및 콘트롤보드(30)에 타이밍신호와 함께 터치&표시모듈(20)의 표시소자에 표시될 디지털 비디오 데이터(RGB)를 공급하기 위한 시스템(40)을 구비한다.
터치&표시모듈(20)은 화상이 표시되는 화소어레이(10A)가 형성된 액정표시패널(10)과, 액정표시패널(10)의 데이터라인들(D1 내지 Dm)에 데이터전압을 공급하기 위한 소스 드라이버(11)와, 액정표시패널(10)의 게이트라인들(G1 내지 Gn)에 스캔펄스를 공급하기 위한 게이트 드라이버(12)와, 화소어레이(10A)의 네모서리 근방에 각각 배치된 카메라들(21A 내지 21D)을 구비한다.
액정표시패널(10)은 박막트랜지스터(Thin Film Transistor: 이하, "TFT"라 함) 기판과 컬러필터 기판을 포함한다. TFT 기판과 컬러필터 기판 사이에는 액정층이 형성된다. TFT 기판 상에는 하부 유리기판 상에 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)이 상호 직교되도록 형성된다. 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)에 의해 정의된 셀영역들에는 액정셀들(Clc)이 매트릭스 형태로 배치된다. 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)의 교차부에 형성된 TFT는 게이트라인(G1 내지 Gn)으로부터의 스캔펄스에 응답하여 데이터라인들(D1 내지 Dm)을 경유하여 공급되는 데이터전압을 액정셀(Clc)의 화소전극에 전달하게 된다. 이를 위하여, TFT의 게이트전극은 게이트라인(G1 내지 Gn)에 접속되며, 소스전극은 데이터라인(D1 내지 Dm)에 접속된다. TFT의 드레인전극은 액정셀(Clc)의 화소전극에 접속된다. 화소전극과 대향하는 공통전극에는 공통전압(Vcom)이 공급된다. 컬러필터 기판은 상부 유리기판 상에 형성된 블랙매트릭 스, 컬러필터를 포함한다.
공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 유리기판 상에 형성된다.
도면부호 'Cst'는 스토리지 커패시터(Storage Capacitor)이다. 스토리지 커패시터(Cst)는 게이트라인과 액정셀(Clc)의 화소전극의 중첩으로 형성될 수 있고, 또한, 별도의 공통라인과 화소전극의 중첩으로 형성될 수도 있다.
소스 드라이버(11)는 다수의 데이터 집적회로를 포함하여 콘트롤보드(30)로부터 입력되는 디지털 비디오 데이터(RGB)를 콘트롤보드(30)의 제어 하에 정극성 또는 부극성 아날로그 감마보상전압으로 변환하고, 그 아날로그 감마보상전압을 아날로그 데이터전압으로써 데이터라인들(D1 내지 Dm)에 공급한다.
게이트 드라이버(12)는 다수의 게이트 집적회로를 포함하며, 콘트롤보드(30)의 제어 하에 게이트라인들(G1 내지 Gn)에 순차적으로 스캔펄스를 공급한다.
소스 드라이버(11)의 데이터 집적회로들과 게이트 드라이버(12)의 게이트 집적회로들은 테이프 캐리어 패키지(Tape Carrier Package, TCP)를 이용한 테이프 오토메이티트 본딩(Tape Automated Bonding, TAB)이나 칩온글라스(Chip on glass, COG) 방식으로 하부 유리기판에 형성될 수 있다. 게이트 드라이브(12)의 게이트 집적회로들은 화소어레이(10A)의 TFT들과 동시에 그리고 TFT 공정과 동일한 공정으로 하부 유리기판에 직접 형성될 수도 있다.
카메라들(21A 내지 21D)은 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용한 카메라들로써 액정표시패널(10)에서 화상이 표시되는 화소 어레이(10A)의 네 모서리에 배치된다. 이 카메라들(21A 내지 21D) 각각은 화소 어레이의 표시면과 그 근방의 이미지를 촬상한다. 이 카메라들(21A 내지 21D) 각각으로부터 촬상된 터치 이미지는 콘트롤보드(30)에 공급된다.
카메라들(21A 내지 21D) 각각의 렌즈 화각(Lens angle of view)은 도 4와 같이 90°로 되는 것이 바람직하다. 이러한 카메라들(21A 내지 21D)의 렌즈 화각(Lens angle of view)은 액정표시패널(10)과 카메라들(21A 내지 21D) 사이의 거리나 액정표시패널(10)의 크기에 따라 달라질 수 있지만 80°~90° 정도로 되어야 한다. 이는 카메라들(21A 내지 21D)의 렌즈 화각(Lens angle of view)이 80° 미만으로 좁아지면 카메라들(21A 내지 21D)이 촬상하지 못하는 음영지역이 많아져 멀티터치를 정확하게 인식할 수 없게 되고, 90° 보다 크면 액정표시패널(10)을 벗어난 부분을 포함하여 멀티터치를 정확하게 인식할 수 없기 때문이다.
콘트롤보드(30)는 가요성인쇄필름(Flexible Printed Circuit, FPC)과 커넥터를 통해 소스 드라이버(11)와 게이트 드라이버(12)에 접속된다. 이 콘트롤보드(30)는 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)를 포함한다.
타이밍 콘트롤러(31)는 수직/수평 동기신호(V,H)와 클럭(CLK)을 이용하여 게이트 드라이버(12)의 동작 타이밍을 제어하기 위한 게이트 제어신호와, 소스 드라이버(11)의 동작 타이밍을 제어하기 위한 데이터 제어신호를 발생한다. 또한, 타이밍 콘트롤러(31)는 시스템(40)으로부터 입력되는 디지털 비디오 데이터(RGB)를 소스 드라이버(11)에 공급한다.
멀티터치 프로세서(32)의 터치 콘트롤 회로는 배경 이미지의 평균값, 배경 이미지의 표준 편차값, 및 터치 이미지의 각 픽셀별로 비교되는 기준값을 저장하고, 멀치터치신호 처리 프로그램을 실행시켜 멀티 터치인식 알고리즘을 수행한다. 이러한 알고리즘은 배경 이미지와 터치 이미지를 비교하는 과정, 그 비교과정에서 터치물체의 그림자를 터치물체로 인식하는 오동작을 예방하기 위하여 터치 이미지에서 그림자를 제거하는 과정을 포함한다. 멀티터치 프로세서(32)는 터치위치 각각을 인식하기 위한 알고리즘을 수행하여 얻어진 터치위치 좌표정보(Txy)를 시스템(32)에 공급한다. 이 멀티터치 프로세서(32)는 수직/수평 동기신호(V,H)와 클럭(CLK) 등의 타이밍신호를 타이밍 콘트롤러(31)와 공유하므로 타이밍 콘트롤러(31)와 동기되어 동작한다.
카메라들(21A 내지 21D)의 렌즈에 노출되는 터치&표시모듈(20)의 내측벽들(22)은 흑색으로 도색된다. 후술하는 터치물체의 그림자를 제거하기 위하여, 배경 이미지는 100 프레임기간 이상의 기간 동안 카메라들(21A 내지 21D)에 의해 촬상되어 각 픽셀별 평균값으로 얻어진다. 이 배경 이미지는 멀티터치 프로세서(30)의 메모리에 저장되어 터치 인식과정에서 터치 이미지와 비교된다.
시스템(40)은 응용프로그램이 내장된 메모리, 응용프로그램을 실행시키기 위한 중앙처리장치(Central Processing Unit), 및 액정표시패널(10)에 표시하고자 하는 영상과 터치 이미지을 합성하고 그 합성 데이터의 신호보간처리와 해상도변환 등을 처리하는 그래픽처리회로를 포함한다. 이 시스템(40)은 멀티터치 프로세 서(32)로부터의 터치위치정보(Txy)를 입력받아 그 터치위치정보(Txy)에 연계된 응용프로그램을 실행시킨다. 예를 들면, 터치위치의 좌표에 특정 프로그램의 아이콘이 있다면 시스템(40)은 메모리에서 그 프로그램을 로딩하여 실행시킨다. 또한, 시스템(40)은 액정표시패널(10)에 표시하고자 하는 영상과 터치 이미지을 합성하여 디지털 비디오 데이터(RGB)를 발생한다. 이 시스템(40)은 개인용 컴퓨터(PC)로 구현될 수 있으며, 직력 혹은 범용직렬버스(Universal Serial Bus, USB) 인터페이스를 통해 멀티터치 프로세서(32)와 데이터를 주고 받을 수 있다.
도 4는 멀티터치 프로세서(32)에서 실행되는 멀티터치신호 처리 프로그램의 제어수순을 단계적으로 나타내는 흐름도이다.
도 4를 참조하면, 멀티터치신호 처리 프로그램은 카메라들(21A 내지 21D)에 의해 촬상된 터치 이미지을 입력받아, 도 5와 같이 윈도우(Window) 처리를 통해 유효 터치영역 위의 불필요한 공간 이미지를 제거하여 유효 터치면 근방의 유효 터치 이미지을 추출한다.(S1 및 S2) 윈도우 처리는 입력 이미지신호에 대하여 서브-매트릭스(Sub-matrix) 연산을 통해 필요한 이미지만을 추출하는 이미지추출기법을 이용한다.
이어서, 멀티터치신호 처리 프로그램은 윈도우 처리에 의해 추출된 유효 터치영역의 이미지에 포함된 R, G, B를 계조(Gray) 정보로 변환한다.(S3) 카메라들(21A 내지 21D)에 의해 촬상된 이미지는 적색(R), 녹색(G) 및 청색(B)의 컬러정보를 포함하는데, 윈도우 처리를 통해 추출된 유효 터치이미지 역시 적색(R), 녹색(G) 및 청색(B)의 컬러정보를 포함한다. 흑화된 측벽(22)의 배경 이미지와 유효 터치 이미지는 컬러정보로 비교되는 것이 아니라 흑백과 그 사이의 중간톤을 포함한 계조(Gray)를 기준으로 비교된다. 이 때문에 S3 단계에서 유효 터치 이미지의 컬러정보는 아래의 수학식 1에 의해 계조 정보로 변환된다.
계조정보(Gray scale intensity)=pR+qG+sB
여기서, 'p', 'q', 's'는 서로 다른 값을 갖는 상수이다.
터치인식을 위해서는 배경 이미지와 실제 터치가 이루어진 터치 이미지를 비교하여 그 터치 이미지만을 추출하여야 한다. 이를 위하여, 멀티터치신호 처리 프로그램은 미리 저장된 배경 이미지와 카메라들(21A 내지 21D)에 의해 현재 촬영된 터치 이미지를 각 픽셀별 평균값으로 비교하고 두 이미지 간의 차에 해당하는 실제 터치물체의 이미지를 추출한다.(S4)
도 6과 같이 흑화된 측벽(22)에 터치 물체의 그림자가 비쳐 진다면, 배경 이미지와 터치 이미지의 비교과정에서 그 차로 추출되는 터치물체의 이미지는 터치물체 뿐만 아니라 터치물체의 그림자도 추출된다. 이 경우, 도 7과 같이 터치물체의 그림자를 터치물체로 인식하여 오동작이 발생된다. 도 7은 배경 이미지, 터치 이미지, 그리고 터치물체의 그림자가 터치 이미지에 포함된 경우에 배경 이미지와 터치 이미지의 차이영상을 보여 주는 일예이다.
이러한 오동작을 예방하기 위하여, 본 발명의 멀티터치신호 처리 프로그램은 100 프레임 이상의 기간 동안 카메라들(21A 내지 21D)에 의해 촬영되어 얻어진 배경 이미지에서 각 픽셀의 계조별 누적함수 즉, 히스토그램(histogram)을 산출하고 그 히스토그램을 분삭하여 배경 이미지에서 각 픽셀별 평균값들과 표준 편차값들을 산출하여 메모리에 저장한다.
배경 이미지를 얻는 과정을 상세히 설명하면 다음과 같다. 도 8은 배경 이미지의 실험 픽셀(140, 2)에 대한 히스토그램의 일예이다. 이 히스토그램은 10,000 프레임기간 동안 배경 이미지의 실험 픽셀에서 얻어진 실험결과이다. 배경 이미지는 흑화된 내측벽(22)의 이미지이기 때문에 배경 이미지에서 실험 픽셀 이외의 다른 픽셀들의 히스토그램 역시 도 8과 유사한 히스토그램으로 얻어진다. 본 발명은 배경 이미지의 모든 픽셀들에 대하여 히스토그램을 산출한다. 도 8의 횡축은 계조이며, 종축은 누적값이다. 이어서, 각 픽셀별 히스토그램들에서 100 프레임 이상의 기간 동안 배경 이미지의 각 픽셀별 평균값과 표준 편차값이 산출된다. 히스토그램에서 각 픽셀별 평균값 μ은 수학식 2로 산출되고, 표준 편차값 σ은 수학식 3으로 산출된다.
Figure 112007033847309-PAT00001
Figure 112007033847309-PAT00002
본 발명의 멀티터치신호 처리 프로그램은 각 픽셀들 단위로 배경 이미지와 터치 이미지를 비교한다. 도 9는 하나의 픽셀에 대하여 배경 이미지와 터치 이미지의 히스토그램의 일예를 나타낸다. 도 9에서 알 수 있는 바, 터치물체의 그림자의 평균값 μS은 배경 이미지의 평균값 μB과 유사한 값을 가지며, 터치물체의 평균값 μO은 그림자나 배경보다 비교적 차이가 큰 값을 갖는다. 실험 결과에 의하면 모든 픽셀들에서 배경 이미지와 터치 이미지의 평균값은 도 9와 같은 경향으로 나타난다.
본 발명의 멀티터치신호 처리 프로그램은 터치물체의 그림자를 제거하기 위하여 터치물체의 그림자의 평균값 μS과 터치물체의 평균값 μO 사이의 값으로 기준값을 결정한다. 그리고 본 발명의 멀티터치신호 처리 프로그램은 기준값을 현재 촬상된 터치 이미지의 각 픽셀값과 비교한다. 이 비교 결과, 본 발명의 멀티터치신호 처리 프로그램은 현재 촬상된 터치 이미지의 픽셀값이 기준값보다 크면 그 픽셀값을 터치 이미지의 픽셀값으로 저장하고 현재 촬상된 터치 이미지의 픽셀값이 기준값 이하이면 그 픽셀값을 미리 저장된 배경 이미지 픽셀의 평균값으로 치환하여 터치 이미지의 픽셀값으로 저장한다.
이어서, 본 발명의 멀티터치신호 처리 프로그램은 각 픽셀 단위로 배경 이미지와 터치 이미지를 비교하여, 그 차이영상을 구한다.
아래의 수학식 4는 배경영상의 픽셀값 Bp을 정의한 수식이고, 수학식 5는 터치 이미지의 픽셀값 OP을 정의한 수식이다. 그리고 수학식 6은 배경 이미지와 터치 이미지의 차이영상 픽셀값 DP을 정의한 수식이다.
Figure 112007033847309-PAT00003
Figure 112007033847309-PAT00004
Figure 112007033847309-PAT00005
수학식 4 내지 6에 있어서,
μB : 100 프레임기간 이상의 기간 동안 산출된 배경 이미지의 히스토그램 평균값
σB : 100 프레임기간 이상의 기간 동안 산출된배경 이미지의 히스토그램 표준 편차값
α : 조정계수(0≤α≤1), 이 조정계수에 의해 기준값이 조정될 수 있다.
μB+α·σB : 그림자와 터치물체간의 구분을 위한 기준값
BP : 배경 이미지의 픽셀값
IP : 현재 카메라에 의해 촬상된 터치 이미지의 픽셀값
OP : 터치 이미지의 픽셀값
DP : 배경 이미지와 터치 이미지의 차이영상 픽셀값
이어서, 멀티터치신호 처리 프로그램은 S4 단계에서 산출된 차이영상의 계조정보(Gray scale intensity)를 미리 설정된 임계치와 비교한다. 그리고 멀티터치신호 처리 프로그램은 임계치 이상의 데이터에 한하여 터치 이미지의 계조정보를 백색 데이터(White data)로 변환하고, 임계치 미만의 데이터들을 블랙 데이터(Black data)로 변환한다.(S5) 화이트 데이터는 유효한 터치 위치를 의미하고 블랙 데이터는 터치 이미지 중에서 실제로 터치되지 않은 무효 데이터를 의미한다. 임계치는 실험적으로 결정된다.
S6 단계에서, 멀티터치신호 처리 프로그램은 라벨링(Labelign) 처리한다. f라벨링 처리는 터치위치 각각을 구분하기 위하여 도 10과 같이 화이트 데이터들 즉, 유효 터치 위치 데이터들 각각에 대하여 고유식별부호(① 내지 ⑤)를 부여한다.
이어서, 멀티터치신호 처리 프로그램은 백색 데이터로 변환된 유효 터치 위치들 각각에 대하여 2차원 평면 상에서 위치를 찾기 위하여 각도 계산 알고리즘을 이용하여 유효 터치 위치들을 바라보는 카메라들(21A 내지 21D) 각각의 각도를 측정한다.(S7)
S7 단계에서 측정된 유효 터치 위치들과 카메라 사이의 측정각 각각에는 카메라들(21A 내지 21D)의 렌즈수차 만큼의 왜곡양이 포함되어 있다. 따라서, 멀티 터치신호 처리 프로그램은 룩업 테이블(Look-up table)에 유효 터치 위치와 카메라 사이의 각도 각각에 대한 보상값을 등재하고 그 룩업 테이블로부터의 보상각을 측정각 에 가산하여 측정각에서 렌즈특성에 의한 왜곡양을 보상한다.(S8) 보상각의 산출방법 및 이를 이용한 보상회로는 본원 출원인에 의해 기출원된 P07-024180에 상세히 설명되어 있다.
S9 단계에서, 멀티터치신호 처리 프로그램은 렌즈 왜곡이 보상된 각도들로부터 수학식 6과 같은 삼각 측량법을 이용하여 유효 터치 위치 각각의 위치를 계산한다. 수학식 7은 하나의 터치 위치를 2차원 xy 좌표 값으로 계산하기 위한 계산식으로써 도 11과 같이 두 개의 카메라의 측정각(A, B), 터치위치와 카메라들 사이의 각도(C), 두 개의 카메라와 터치 위치 사이의 거리(a, b, c)를 포함한다. 터치위치와 카메라들 사이의 각도 C는 "C=180-각도A-각도B"로 산출된다. 이러한 삼각 측량법은 다수의 터치 위치 각각에 대하여 적용된다.
Figure 112007033847309-PAT00006
이렇게 멀티터치신호 처리 프로그램으로부터 터치 위치 각각에 대한 x, y 좌표 데이터들을 포함한 터치위치정보(Txy)가 산출되면, 시스템(40)은 그 터치위치정보(Txy)를 액정표시패널(10)에 표시될 디지털 비디오 데이터와 합성한다. 배경 이미지에 합성된 터치위치정보(Txy)는 타이밍 콘트롤러(31)를 통해 소스 드라이버의 IC들에 전송되어 액정표시패널(10)에 표시된다.(S10) 배경 이미지에 합성되는 터치위치정보들은 다양한 형태로 형상화될 수 있다.
한편, 터치&표시모듈(20)에서 액정표시패널(10)과 카메라들을 분리될 수 있고, 이 경우에 본 발명은 액정표시패널(10)과 카메라모듈을 기구적으로 조립할 수 있도록 액정표시패널(10)과 카메라모듈에 탈부착 기구를 설치한다. 액정표시패널(10)은 다른 평판표시패널 예를 들면, 유기발광다이오드소자(Organic Light Emitting Diode, OLED)의 표시패널, 플라즈마 디스플레이 패널(Plasma display panel, PDP), 전계방출소자(Field Emitting Display, FED)나 평판표시패널을 포함한 입체영상 표시장치의 표시패널로 대신 될 수 있다.
도 12는 기준값과의 비교를 통해 얻어진 터치 이미지에서 그림자가 제거되는 예를 도식적으로 나타낸 예이다.
상술한 바와 같이, 본 발명의 실시예에 따른 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법은 실제 터치물체의 평균값과 그 터치물체의 그림자 평균값 사이의 기준값을 이용하여 터치 이미지에서 그림자를 제거하여 오동작을 예방할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다.

Claims (10)

  1. 표시소자;
    상기 표시소자의 가장자리 근방에 설치된 다수의 카메라;
    상기 카메라들에 의해 촬상되어 미리 저장된 배경 이미지의 평균값과 표준 편차값을 함수로 하는 기준값을 상기 카메라들에 의해 현재 촬상된 터치 이미지와비교하여 차이영상을 얻고 그 차이영상으로부터 상기 표시소자 위에 터치되는 터치물체의 위치를 산출하는 터치 콘트롤 회로; 및
    상기 터치 물체의 이미지를 상기 표시소자에 표시하는 표시 구동회로를 구비하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  2. 제 1 항에 있어서,
    상기 배경 이미지는,
    상기 표시소자의 흑화된 측벽의 이미지로써 상기 카메라들 각각에 의해 100 프레임기간 이상 촬상된 이미지인 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  3. 제 2 항에 있어서,
    상기 배경 이미지의 평균값과 표준 편차값은
    상기 배경 이미지의 각 픽셀별로 히스토그램으로 분석되고 그 분석결과로 산 출되는 각 픽셀별 히스토그램의 평균값들과 분산값들을 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  4. 제 3 항에 있어서,
    상기 터치 콘트롤 회로는,
    상기 터치 이미지의 픽셀값이 상기 기준값보다 크면 그 픽셀값을 상기 터치 이미지의 픽셀값으로 저장하고 상기 터치 이미지의 픽셀값이 기준값 이하이면 그 픽셀값을 미리 저장된 상기 배경 이미지 픽셀의 평균값으로 치환하여 터치 이미지의 픽셀값으로 저장하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  5. 제 4 항에 있어서,
    상기 터치 콘트롤 회로는,
    각 픽셀 단위로 상기 배경 이미지의 픽셀값과 상기 터치 이미지의 픽셀값과의 차이를 산출하여 상기 차이영상을 얻는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치.
  6. 표시소자, 상기 표시소자의 가장자리 근방에 설치된 다수의 카메라를 구비하는 표시장치의 구동방법에 있어서,
    상기 카메라들에 의해 촬상되어 미리 저장된 배경 이미지의 평균값과 표준 편차값을 함수로 하는 기준값과 상기 카메라들에 의해 현재 촬상된 터치 이미지를 비교하여 차이영상을 얻는 단계;
    상기 차이영상으로부터 상기 표시소자 위에 터치되는 터치물체의 위치를 산출하는 단계; 및
    상기 터치 물체의 이미지를 상기 표시소자에 표시하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  7. 제 6 항에 있어서,
    상기 배경 이미지는,
    상기 표시소자의 흑화된 측벽의 이미지로써 상기 카메라들 각각에 의해 100 프레임기간 이상 촬상된 이미지인 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  8. 제 7 항에 있어서,
    상기 배경 이미지의 평균값과 표준 편차값은
    상기 배경 이미지의 각 픽셀별로 히스토그램으로 분석되고 그 분석결과로 산출되는 각 픽셀별 히스토그램의 평균값들과 분산값들을 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  9. 제 8 항에 있어서,
    상기 터치 이미지의 픽셀값이 상기 기준값보다 크면 그 픽셀값을 상기 터치 이미지의 픽셀값으로 저장하는 단계; 및
    상기 터치 이미지의 픽셀값이 기준값 이하이면 그 픽셀값을 미리 저장된 상기 배경 이미지 픽셀의 평균값으로 치환하여 터치 이미지의 픽셀값으로 저장하는 단계를 더 포함하는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
  10. 제 9 항에 있어서,
    상기 차이영상을 얻는 단계는,
    각 픽셀 단위로 상기 배경 이미지의 픽셀값과 상기 터치 이미지의 픽셀값과의 차이를 산출하여 상기 차이영상을 얻는 것을 특징으로 하는 멀티 터치인식 기능을 가지는 표시장치의 구동방법.
KR1020070044080A 2007-05-07 2007-05-07 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법 Expired - Fee Related KR101407290B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070044080A KR101407290B1 (ko) 2007-05-07 2007-05-07 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044080A KR101407290B1 (ko) 2007-05-07 2007-05-07 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Publications (2)

Publication Number Publication Date
KR20080098787A true KR20080098787A (ko) 2008-11-12
KR101407290B1 KR101407290B1 (ko) 2014-06-13

Family

ID=40286023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044080A Expired - Fee Related KR101407290B1 (ko) 2007-05-07 2007-05-07 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법

Country Status (1)

Country Link
KR (1) KR101407290B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100087958A (ko) * 2009-01-29 2010-08-06 엘지디스플레이 주식회사 멀티 터치 감지방법 및 장치
US9098146B2 (en) 2009-06-16 2015-08-04 Samsung Electronics Co., Ltd. Multi-touch sensing apparatus using rear view camera of array type

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0601651A1 (en) * 1992-12-10 1994-06-15 Koninklijke Philips Electronics N.V. Optical touch tablet based on sector cross bearing
JP3946936B2 (ja) 2000-06-26 2007-07-18 株式会社シロク 光デジタイザ
JP2002312123A (ja) * 2001-04-16 2002-10-25 Hitachi Eng Co Ltd タッチ位置検出装置
KR100716886B1 (ko) * 2004-11-05 2007-05-09 주식회사 휴맥스 전자 칠판 기능이 구비된 디지털 텔레비전과 전자 칠판기능 구현방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100087958A (ko) * 2009-01-29 2010-08-06 엘지디스플레이 주식회사 멀티 터치 감지방법 및 장치
US9098146B2 (en) 2009-06-16 2015-08-04 Samsung Electronics Co., Ltd. Multi-touch sensing apparatus using rear view camera of array type
US9870100B2 (en) 2009-06-16 2018-01-16 Samsung Electronics Co., Ltd. Multi-touch sensing apparatus using rear view camera of array type

Also Published As

Publication number Publication date
KR101407290B1 (ko) 2014-06-13

Similar Documents

Publication Publication Date Title
KR101374104B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR101352264B1 (ko) 멀티 터치 감지방법 및 장치
US8139045B2 (en) Display device having multi-touch recognizing function and driving method thereof
TWI541710B (zh) 附觸控面板之液晶顯示裝置
US9645639B2 (en) Apparatus and method for driving touch sensor
US20120313861A1 (en) In-cell touch sensor touch area enhancing algorithm
US20100271335A1 (en) Display device having optical sensors
KR20080055577A (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
US8072413B2 (en) Display device, display control method and electronic equipment
KR20140044688A (ko) 터치 센서의 구동 장치 및 방법
KR101407290B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
US10394067B2 (en) Detection device
KR101330471B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR20090097095A (ko) 표시장치
CN109491534B (zh) 触摸显示装置
JP2009122919A (ja) 表示装置
CN116339537A (zh) 触摸感测装置和坐标校正方法
EP2447811B1 (en) Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same
KR102016570B1 (ko) 터치 센싱 시스템과 그 노이즈 제거 방법
US20100053227A1 (en) Image recognition method, image recognition apparatus and image input/output apparatus
KR101549246B1 (ko) 멀티터치 시스템과 그 구동방법
KR101633097B1 (ko) 멀티 터치 감지방법 및 장치
US11429227B2 (en) Electronic device provided with position detector and touch position detection method
KR20090014966A (ko) 액정 표시 장치
JP2008140021A (ja) 表示装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180610

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180610

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000