KR20110049381A - 영상 센서 기반의 다중 터치 인식 장치 및 방법 - Google Patents

영상 센서 기반의 다중 터치 인식 장치 및 방법 Download PDF

Info

Publication number
KR20110049381A
KR20110049381A KR1020090106375A KR20090106375A KR20110049381A KR 20110049381 A KR20110049381 A KR 20110049381A KR 1020090106375 A KR1020090106375 A KR 1020090106375A KR 20090106375 A KR20090106375 A KR 20090106375A KR 20110049381 A KR20110049381 A KR 20110049381A
Authority
KR
South Korea
Prior art keywords
image sensor
touch
distance
touch point
angle
Prior art date
Application number
KR1020090106375A
Other languages
English (en)
Other versions
KR101628081B1 (ko
Inventor
한재준
최창규
이권주
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090106375A priority Critical patent/KR101628081B1/ko
Publication of KR20110049381A publication Critical patent/KR20110049381A/ko
Application granted granted Critical
Publication of KR101628081B1 publication Critical patent/KR101628081B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

거리와 각도를 함께 측정하는 영상 센서를 사용한 다중 터치 인식 장치 및 방법이 개시된다. 다중 터치 인식 장치는 액정 패널에서 터치가 발생한 장소와 영상 센서간의 각도와 거리를 측정하는 복수의 영상 센서; 및 상기 복수의 영상 센서가 측정한 상기 각도와 상기 거리를 기초로 터치 포인트를 추정하고, 추정한 상기 터치 포인트를 상기 터치가 발생한 장소로 인식하는 터치 포인트 인식부를 포함할 수 있다.
액정 패널, 영상 센서, 터치 포인트, 인식

Description

영상 센서 기반의 다중 터치 인식 장치 및 방법{SYSTEM AND METHOD FOR SENSING MULTIPLE　TOUCH POINTS BASED IMAGE SENSOR}
본 발명의 일실시예들은 액정 패널에서 터치 위치를 검출하는 기술에 관한 것으로, 거리와 각도를 함께 측정하는 영상 센서를 사용하여 고스트를 인식하거나 가려짐 효과에 의해 인식 못하던 장소를 인식할 수 있는 장치 및 방법에 관한 것이다.
휴대폰, PDA, 휴대용 PC등에서 입력 인터페이스로 많이 사용되는 터치스크린은 화면을 직접 터치하면 터치 위치를 검출하여 화면에 표시되는 버튼이나 아이콘을 조작할 수 있도록 하는 입출력 겸용 장치이다.
상기 터치스크린 장치 중에는 액정 패널의 측면에 영상 센서를 결합하여 액정 패널의 터치를 인식하는 방법이 있었다.
종래의 영상 센서를 사용한 터치 인식 방법은 영상 센서가 획득한 영상을 기초로 터치를 인식하고 있으나, 사용자가 동시에 두 개 이상의 장소를 터치한 경우에는 실제로 터치하지 않은 영역을 터치된 영역으로 인식하는 고스트(Ghost)가 발생하는 문제가 있었다.
또한, 영상 센서가 감지하는 영역의 교차점이나 다중 터치의 장소에 따라서는 가려짐 효과(Occlusion)가 발생하여 해당 영역에서의 터치를 인식하지 못하는 문제도 있었다.
따라서, 터치 센서를 사용하지 않는 저 비용의 터치 위치 검출 장치 또는 대형화면에 적합한 터치 위치 검출 장치가 요구되고 있다.
본 발명의 일실시예에 따르면, 다중 터치 인식 장치는 액정 패널에서 터치가 발생한 장소와 영상 센서간의 각도와 거리를 측정하는 복수의 영상 센서; 및 상기 복수의 영상 센서가 측정한 상기 각도와 상기 거리를 기초로 터치 포인트를 추정하고, 추정한 상기 터치 포인트를 상기 터치가 발생한 장소로 인식하는 터치 포인트 인식부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 복수의 영상 센서는, 액정 패널의 모서리 중 하나에 설치되는 제1 영상 센서; 및 상기 액정 패널에서 상기 제1 영상 센서가 설치된 모서리와 대각선 방향에 위치한 모서리에 설치되는 제2 영상 센서를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 복수의 영상 센서는, 액정 패널의 모서리 중 하나에 설치되는 제1 영상 센서; 및 상기 액정 패널에서 상기 제1 영상 센서가 설치된 모서리의 수직, 또는 수평 방향으로 반대편에 위치한 모서리에 설치되는 제2 영상 센서를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 터치 포인트 인식부는, 상기 제1 영상 센서에서 측정한 상기 각도와 상기 거리를 기초로 제1 위치를 계산하고, 상기 제2 영상 센서에서 측정한 상기 각도와 상기 거리를 기초로 제2 위치를 계산하며, 상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정할 수 있다.
본 발명의 일측면에 따르면, 상기 터치 포인트 인식부는, 추정한 상기 터치 포인트에서 상기 영상 센서까지의 거리를 계산하고, 상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 경우에, 추정한 상기 터치 포인트를 제거할 수 있다.
본 발명의 일실시예에 따르면, 다중 터치 인식 방법은 센서가 액정 패널에서 터치가 발생한 장소의 영상을 획득하는 단계; 상기 영상을 기초로 상기 터치가 발생한 장소와 상기 센서간의 각도를 계산하고, 상기 터치가 발생한 장소와 상기 센서간의 거리를 측정하는 단계; 상기 각도와 상기 거리를 기초로 터치 포인트를 추정하는 단계; 및 상기 터치 포인트를 상기 터치가 발생한 장소로 인식하는 단계를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 추정하는 단계는, 제1 영상 센서에서 측정한 각도와 거리를 기초로 제1 위치를 계산하는 단계; 제2 영상 센서에서 측정한 각도와 거리를 기초로 제2 위치를 계산하는 단계; 및 상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정하는 단계를 포함 할 수 있다.
본 발명의 일측면에 따르면, 상기 추정하는 단계에서 추정한 상기 터치 포인트에서 상기 영상 센서까지의 거리를 계산하는 단계; 상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 것인지 여부를 확인하는 단계; 및 상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 경우에, 추정한 상기 터치 포인트를 제거하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 다중 터치 인식 장치는 터치 장소의 각도와 거리를 동시에 측정하는 두 개의 센서를 사용하여 터치 장소를 인식함으로써, 고스트를 회피하거나, 가려짐 효과에 의해 인식 못하던 장소의 터치를 인식할 수 있는 터치 인식 수단을 제공할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 다중 터치 인식 장치의 구성을 도시한 블록 다이어그램이다.
도 1을 참고하면, 다중 터치 인식 장치는 액정 패널(100)의 일측에 부착되어 사용자가 액정 패널(100)과 접촉한 터치 장소를 검출하는 장치로서, 제1 영상 센서(110), 제2 영상 센서(120), 및 터치 포인트 인식부 (130)로 구성된다.
제1 영상 센서(110)는 액정 패널(100)의 모서리 중 하나에 설치되어 액정 패널(100)에서 터치가 발생한 장소와 제1 영상 센서(110)간의 각도와 거리를 측정한다.
구체적으로 제1 영상 센서(110)는 액정 패널(100)에서 터치가 발생한 장소의 영상을 획득하고, 획득한 영상을 기초로 터치가 발생한 장소와 제1 영상 센서(110)간의 각도를 계산하며, 터치가 발생한 장소와 제1 영상 센서(110)간의 거리를 측정할 수 있다.
또한, 제2 영상 센서(120)는 액정 패널(100)에서 제1 영상 센서(110)가 설치된 모서리와 대각선 방향에 위치한 모서리에 설치되어 액정 패널(100)에서 터치가 발생한 장소와 제2 영상 센서(120)간의 각도와 거리를 측정한다.
구체적으로 제2 영상 센서(120)는 액정 패널(100)에서 터치가 발생한 장소의 영상을 획득하고, 획득한 영상을 기초로 터치가 발생한 장소와 제2 영상 센서(120)간의 각도를 계산하며, 터치가 발생한 장소와 제2 영상 센서(120)간의 거리를 측정할 수 있다.
그리고, 제1 영상 센서(110)와 제2 영상 센서(120)로는 TOF 카메라나 스테레오 카메라가 사용될 수 있다.
터치 포인트 인식부(130)는 제1 영상 센서(110)와 제2 영상 센서(120)가 측정한 각도와 거리를 기초로 터치 포인트를 추정하고, 추정한 상기 터치 포인트를 상기 터치가 발생한 터치 장소로 인식한다.
구체적으로 터치 포인트 인식부(130)는 제1 영상 센서(110)에서 측정한 각도와 거리를 기초로 제1 위치를 계산하고, 제2 영상 센서(120)에서 측정한 각도와 거리를 기초로 제2 위치를 계산하며, 제1 위치와 제2 위치를 기초로 터치 포인트를 추정할 수 있다.
이때, 제1 영상 센서(110)와 제2 영상 센서(120)는 서로 설치된 위치가 다르므로 획득하는 영상에도 차이가 있게 된다. 따라서, 하나의 터치 포인트에 대해 계산한 제1 위치와 제2 위치는 다를 수 있다.
그러므로, 터치 포인트 인식부(130)는 제1 위치와 제2 위치의 차이를 오차 범위와 비교하고 제1 위치와 제2 위치의 차이가 오차 범위보다 작은 경우에만, 제1 위치와 제2 위치를 기초로 터치 포인트를 추정할 수 있다. 이때, 제1 위치와 제2 위치의 차이가 오차 범위보다 큰 경우에 터치 포인트 인식부(130)는 제1 영상 센서(110)와 제2 영상 센서(120)가 획득하는 영상에 오류가 있는 것으로 판단하여 터치가 발생한 장소를 인식하기 위한 과정을 중단할 수 있다.
또한, 터치 포인트 인식부(130)는 터치 포인트를 추정할 경우에 제1 위치와 제2 위치에 제1 영상 센서(110)의 정확도와 제2 영상 센서(120)의 정확도를 적용하여 상기 터치 포인트를 추정할 수 있다.
이때, 제1 영상 센서(110)의 정확도는 제1 영상 센서(110)가 거리를 측정할 경우에 발생하는 오차 값의 범위이고, 제2 영상 센서(120)의 정확도는 상기 제2 영상 센서가 거리를 측정할 경우에 발생하는 오차 값의 범위일 수 있다.
일례로 터치 포인트 인식부(130)는 하기된 수학식 1을 사용하여 터치 포인트 (x, y)를 추정할 수 있다.
Figure 112009068042957-PAT00001
이때, 제1 위치는 (x1, y1)이고, 제2 위치는 (x2, y2)이며, 제1 영상 센서(110)의 정확도는 λ1이고, 제2 영상 센서(120)의 정확도는 λ2일 수 있다.
또한, 터치 포인트 인식부(130)는 상기 과정에 의하여 추정한 터치 포인트 에서 제1 영상 센서(110) 및 제2 영상 센서(120)까지의 거리를 계산하고, 추정한 터치 포인트에서 제1 영상 센서(110) 및 제2 영상 센서(120)까지의 거리와 제1 영상 센서(110) 및 제2 영상 센서(120)가 측정한 거리의 차이를 기초로 추정한 터치 포인트가 터치 장소인지 판별할 수 있다. 이때, 터치 장소는 사용자가 실제로 터치한 장소일 수 있다.
구체적으로 터치 포인트 인식부(130)는 추정한 터치 포인트에서 제1 영상 센서(110) 및 제2 영상 센서(120)까지의 거리와 제1 영상 센서(110) 및 제2 영상 센서(120)가 측정한 거리의 차이가 오차 범위 보다 큰 경우에, 추정한 터치 포인트가 터치 장소가 아닌 고스트(Ghost)인 것으로 판단하고, 추정한 터치 포인트를 삭제할 수 있다.
일례로 터치 포인트 인식부(130)는 추정한 터치 포인트가 하기된 수학식 2를 만족한 경우에만 추정한 터치 포인트가 고스트가 아닌 것으로 판단하고, 추정한 터치 포인트를 인식할 수 있다.
Figure 112009068042957-PAT00002
이때, d는 제1 영상 센서(110) 및 제2 영상 센서(120)가 측정한 거리이며, △는 오차 범위일 수 있다. 이때, 오차 범위는 거리에 따라 발생할 수 있는 오차 값을 고려하여 선택된 범위일 수 있다.
도 2는 본 발명의 일실시예에 따라 복수의 터치 장소를 인식하는 과정의 일 례이다.
도 2는 사용자가 본 발명의 일실시예에 따른 액정 패널(100)에서 제1 장소(210), 제2 장소(220), 및 제3 장소(230)을 동시에 터치한 경우에 터치 장소를 인식하는 과정의 일례이다.
구체적으로 제1 장소(210)은 각도 e1과 거리 d1에 기초하여 터치 장소를 인식하고, 제2 장소(220)은 각도 e2과 거리 d2에 기초하여 터치 장소를 인식할 수 있다.
이때, 장소(225)와 같이 제1 영상 센서(110)과 제1 장소(210)의 중간에 위치한 장소가 더 터치된 경우라도 각 장소와 제1 영상 센서(110)간의 거리가 다르므로 용이하게 식별할 수 있다.
또한, 제1 영상 센서(110)과 제2 영상 센서(120)가 감지하는 방향과 거리가 모두 다르므로 제3 장소(210)과 같이 제1 장소(210)과 제2 장소(220)에 의하여 가려져 인식하지 못하게 되는 장소도 인식이 가능하다.
도 3은 본 발명의 일실시예에 따른 다중 터치 인식 장치에서 반사된 빛을 사용하여 터치가 발생한 장소의 영상을 획득하는 구성을 도시한 일례이다.
본 발명의 일실시예에 따른 다중 터치 인식 장치에서 반사된 빛을 사용하여 터치가 발생한 장소의 영상을 획득하는 구성은 도 3에 도시된 바와 같이 영상 센서(310)의 상부에 광원(320)을 구비하고, 영상 센서(310)는 광원(320)에서 방출되는 빛이 FTIR(Frustrated Total Internal Reflection) 패널(300)과 일정 거리에 있 는 물체에 반사되는 것을 감지하여 거리를 추정할 수 있다. 이때, FTIR 패널(300) 대신에 액정 패널(100)을 사용할 수도 있다.
일례로 사용자의 손가락(330)을 FTIR 패널(300)에서 일정 거리까지 근접한 경우에 영상 센서(310)는 광원(320)에서 방출되는 빛 중에 손가락(330)에서 반사되는 빛을 감지하고, 빛이 반사된 지점(321)과 영상 센서(310) 간의 거리(311)를 터치 포인트 인식부(130)로 전송할 수 있다. 이때, 터치 포인트 인식부(130)는 거리(311)를 기초로 터치가 발생한 장소와 영상 센서(310) 간의 거리(312)를 계산하여 터치가 발생한 장소의 좌표를 계산할 수 있다.
구체적으로 터치 포인트 인식부(130)는 상기 과정을 통하여 감지한 빛이 반사된 지점(321)를 FTIR 패널(300)의 x, y 좌표와 매핑(mapping)할 수 있다. 이때, 터치 포인트 인식부(130)는 옵티컬 센터(Optical center)를 기준으로 빛이 반사된 지점(321)의 3차원 위치를 계산하고, 계산된 빛이 반사된 지점(321)의 3차원 위치에서 FTIR 패널(300) 의 수직 방향으로 투사하여 FTIR 패널(300)상의 (x, y)좌표를 추정할 수 있다. 이때, 수직 방향으로 투사된 거리는 FTIR 패널(300)과의 근접 정도를 표현할 수 있다.
또한, 사용자의 손가락(340)이 FTIR 패널(300)가 접촉한 경우에 영상 센서(310)는 광원(320)에서 방출되는 빛 중에 손가락(340)에서 반사되는 빛을 감지하고, 빛이 반사된 지점(322)과 영상 센서(310) 간의 거리(315)를 터치 포인트 인식부(130)로 전송할 수 있다. 이때, 터치 포인트 인식부(130)는 거리(315)와 FTIR 패널(300)이 손가락(340)를 인식한 장소를 기초로 터치가 발생한 장소와 영상 센 서(310) 간의 거리(316)를 계산하여 터치가 발생한 장소의 좌표를 계산할 수 있다.
도 4는 본 발명의 일실시예에 따른 다중 터치 인식 방법의 전체 과정을 도시한 플로우차트이다.
단계(S410)에서 제1 영상 센서(110)와 제2 영상 센서(120)는 각각 액정 패널(100)에서 터치가 발생한 장소의 영상을 획득한다.
단계(S420)에서 제1 영상 센서(110) 및 제2 영상 센서(120)는 각각 단계(S410)에서 획득한 영상을 기초로 터치가 발생한 장소와 제1 영상 센서(110) 및 제2 영상 센서(120)간의 거리를 측정한다.
이때, 제1 영상 센서(110) 및 제2 영상 센서(120)는 각각 단계(S410)에서 획득한 영상을 기초로 터치가 발생한 장소와 제1 영상 센서(110) 및 제2 영상 센서(120)간의 각도를 계산할 수도 있다.
단계(S430)에서 터치 포인트 인식부(130)는 단계(S420)에서 측정한 거리와 각도를 기초로 제1 영상 센서(110)가 측정한 터치 장소인 제1 위치와 제2 영상 센서(120)가 측정한 터치 장소인 제2 위치를 계산한다.
단계(S440)에서 터치 포인트 인식부(130)는 단계(S430)에서 계산된 제1 위치와 제2 위치의 차이가 오차 범위 보다 작은지 여부를 확인하고, 제1 위치와 제2 위치의 차이가 오차 범위보다 크면 터치가 발생한 장소를 인식하기 위한 과정을 중단할 수 있다.
단계(S450)에서 터치 포인트 인식부(130)는 단계(S440)에서 계산된 제1 위치와 제2 위치의 차이가 오차 범위 보다 작은 것으로 확인된 제1 위치와 제2 위치 에 제1 영상 센서의 정확도와 제2 영상 센서의 정확도를 적용하여 터치 포인트를 추정한다.
구체적으로 터치 포인트 인식부(130)는 상기 수학식 1을 사용하여 터치 포인트를 추정할 수 있다.
단계(S460)에서 터치 포인트 인식부(130)는 단계(S450)에서 추정한 터치 포인트에서 제1 영상 센서(110)까지의 거리를 계산하고, 계산된 거리와 제1 영상 센서(110)가 측정한 거리의 차이가 오차 범위 보다 큰 것인지에 대한 여부를 확인할 수 있다.
이때, 터치 포인트 인식부(130)는 제1 영상 센서(110)를 제2 영상 센서(120)로 대체하여 계산하고, 계산된 거리와 제2 영상 센서(120)가 측정한 거리의 차이가 오차 범위 보다 큰 것인지에 대한 여부를 확인할 수도 있다.
단계(S470)에서 터치 포인트 인식부(130)는 단계(S460)에서 제1 영상 센서(110)까지의 거리와 제1 영상 센서(110)가 측정한 거리의 차이가 오차 범위 보다 큰 것으로 확인된 터치 포인트를 고스트로 간주하여 제거한다.
단계(S480)에서 터치 포인트 인식부(130)는 단계(S460)에서 제1 영상 센서(110)까지의 거리와 제1 영상 센서(110)가 측정한 거리의 차이가 오차 범위 보다 작은 것으로 확인된 터치 포인트를 터치 장소로 인식한다.
도 5는 본 발명의 다른 실시예에 따른 다중 터치 인식 장치의 구성을 도시한 블록 다이어그램이다.
본 발명의 다른 실시예는 도 5에 도시된 바와 같이 제2 영상 센서(120)의 위치를 도 1과 다르게 구성한 실시예이다.
이때, 제2 영상 센서(120)는 액정 패널(100)에서 제1 영상 센서(110)가 설치된 모서리의 수직 방향으로 반대편에 위치한 모서리에 설치되거나(510), 수평 방향으로 반대편에 위치한 모서리에 설치될 수 있다(520).
또한, 터치 포인트 인식부(130)는 제1 영상 센서(110)에서 측정한 각도와 거리로부터 제2 영상 센서(120)가 측정할 각도를 추정하고, 추정된 각도와 제2 영상 센서(120)가 측정한 각도를 비교하여 터치 포인트를 확인할 수 있다.
터치 포인트 인식부(130)가 터치 포인트를 확인하는 과정은 이하 도 5를 참고하여 상세히 설명한다.
그리고, 제1 영상 센서(110) 및 제2 영상 센서(120)의 동작은 상기 도 1의 일실시예와 동일하므로 상세한 설명은 생략한다.
도 5에서 설명되지 않은 부분은 도 1 또는 도 4의 설명을 참고할 수 있다.
도 6은 본 발명의 다른 실시예에 따라 터치 포인트를 인식하는 과정의 일례이다.
도 6은 본 발명의 다른 실시예에서 장소(610)의 터치 포인트를 인식하는 과정의 일례이다.
먼저, 터치 포인트 인식부(130)는 제2 영상 센서(120)가 측정한 장소(610)까지의 거리 d3과 제2 영상 센서(120)에서 장소(610)까지의 각도 θ3을 기초로 제1 영상 센서(110)와 장소(610)간의 각도 θ2를 추정한다.
다음으로 터치 포인트 인식부(130)는 추정한 각도 θ2와 제1 영상 센서(110)에서 측정한 각도를 비교한다.
이때, 제1 영상 센서(110)에서 측정한 각도가 θ2이면 동일한 장소를 인식한 것으로 판단하여 장소(610)를 터치 포인트로 인식할 수 있다.
반면에 제1 영상 센서(110)에서 측정한 각도가 θ1이면 제1 영상 센서(110)는 장소(620)를 인식한 것이므로 터치 포인트 인식부(130)는 측정에 오류가 있다고 판단하고, 제1 영상 센서(110)와 제2 영상 센서(120)가 다시 터치 포인트를 측정하도록 할 수 있다.
본 발명의 일실시예에 따르면, 다중 터치 인식 장치는 터치 장소의 각도와 거리를 동시에 측정하는 두 개의 센서를 사용하여 터치 장소를 인식함으로써, 고스트를 회피하거나, 가려짐 효과에 의해 인식 못하던 장소의 터치를 인식할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 다중 터치 인식 장치의 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 복수의 터치 장소를 인식하는 과정의 일례이다.
도 3은 본 발명의 일실시예에 따른 다중 터치 인식 장치에서 반사된 빛을 사용하여 터치가 발생한 장소의 영상을 획득하는 구성을 도시한 일례이다.
도 4는 본 발명의 일실시예에 따른 다중 터치 인식 방법의 전체 과정을 도시한 플로우차트이다.
도 5는 본 발명의 다른 실시예에 따른 다중 터치 인식 장치의 구성을 도시한 블록 다이어그램이다.
도 6은 본 발명의 다른 실시예에 따라 터치 포인트를 인식하는 과정의 일례이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 제1 영상 센서
120: 제2 영상 센서
130: 터치 포인트 인식부

Claims (14)

  1. 액정 패널에서 터치가 발생한 장소와 영상 센서간의 각도와 거리를 측정하는 복수의 영상 센서; 및
    상기 복수의 영상 센서가 측정한 상기 각도와 상기 거리를 기초로 터치 포인트를 추정하고, 추정한 상기 터치 포인트를 상기 터치가 발생한 장소로 인식하는 터치 포인트 인식부
    를 포함하는 다중 터치 인식 장치.
  2. 제1항에 있어서,
    상기 복수의 영상 센서는,
    액정 패널의 모서리 중 하나에 설치되는 제1 영상 센서; 및
    상기 액정 패널에서 상기 제1 영상 센서가 설치된 모서리와 대각선 방향에 위치한 모서리에 설치되는 제2 영상 센서
    를 포함하는 다중 터치 인식 장치.
  3. 제2항에 있어서,
    상기 터치 포인트 인식부는,
    상기 제1 영상 센서에서 측정한 상기 각도와 상기 거리를 기초로 제1 위치를 계산하고, 상기 제2 영상 센서에서 측정한 상기 각도와 상기 거리를 기초로 제2 위치를 계산하며, 상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정하는 다중 터치 인식 장치.
  4. 제3항에 있어서,
    상기 터치 포인트 인식부는,
    상기 제1 위치와 상기 제2 위치의 차이가 오차 범위 보다 작으면, 상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정하는 다중 터치 인식 장치.
  5. 제3항에 있어서,
    상기 터치 포인트 인식부는,
    상기 제1 위치와 상기 제2 위치에 상기 제1 영상 센서의 정확도와 상기 제2 영상 센서의 정확도를 적용하여 상기 터치 포인트를 추정하는 다중 터치 인식 장치.
  6. 제5항에 있어서,
    상기 제1 영상 센서의 정확도는 상기 제1 영상 센서가 거리를 측정할 경우에 발생하는 오차 값의 범위이고, 상기 제2 영상 센서의 정확도는 상기 제2 영상 센서가 거리를 측정할 경우에 발생하는 오차 값의 범위인 다중 터치 인식 장치.
  7. 제1항에 있어서,
    상기 터치 포인트 인식부는,
    추정한 상기 터치 포인트에서 상기 영상 센서까지의 거리를 계산하고, 상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 경우에, 추정한 상기 터치 포인트를 제거하는 다중 터치 인식 장치.
  8. 제1항에 있어서,
    상기 복수의 영상 센서는,
    액정 패널의 모서리 중 하나에 설치되는 제1 영상 센서; 및
    상기 액정 패널에서 상기 제1 영상 센서가 설치된 모서리의 수직, 또는 수평 방향으로 반대편에 위치한 모서리에 설치되는 제2 영상 센서
    를 포함하는 다중 터치 인식 장치.
  9. 제8항에 있어서,
    상기 터치 포인트 인식부는,
    제1 영상 센서에서 측정한 상기 각도와 상기 거리로부터 상기 제2 영상 센서가 측정할 각도를 추정하고, 추정된 각도와 상기 제2 영상 센서가 측정한 각도를 비교하여 상기 터치 포인트를 확인하는 다중 터치 인식 장치.
  10. 제1항에 있어서,
    상기 복수의 영상 센서에 결합되어 빛을 방출하는 광원
    을 더 포함하고,
    상기 복수의 영상 센서는 상기 광원에서 방출되는 빛이 상기 액정 패널과 일정 거리에 있는 물체에 반사되는 것을 감지하여 거리를 추정하는 다중 터치 인식 장치.
  11. 센서가 액정 패널에서 터치가 발생한 장소의 영상을 획득하는 단계;
    상기 영상을 기초로 상기 터치가 발생한 장소와 상기 센서간의 각도를 계산하고, 상기 터치가 발생한 장소와 상기 센서간의 거리를 측정하는 단계;
    상기 각도와 상기 거리를 기초로 터치 포인트를 추정하는 단계; 및
    상기 터치 포인트를 상기 터치가 발생한 장소로 인식하는 단계
    를 포함하는 다중 터치 인식 방법.
  12. 제11항에 있어서,
    상기 추정하는 단계는,
    제1 영상 센서에서 측정한 각도와 거리를 기초로 제1 위치를 계산하는 단계;
    제2 영상 센서에서 측정한 각도와 거리를 기초로 제2 위치를 계산하는 단계; 및
    상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정하는 단 계
    를 포함하는 다중 터치 인식 방법.
  13. 제12항에 있어서,
    상기 제1 위치와 상기 제2 위치의 차이가 오차 범위 보다 작은지 여부를 확인하는 단계
    를 더 포함하고,
    상기 추정하는 단계는
    상기 제1 위치와 상기 제2 위치의 차이가 오차 범위 보다 작은 경우에 상기 제1 위치와 상기 제2 위치를 기초로 상기 터치 포인트를 추정하는 다중 터치 인식 방법.
  14. 제11항에 있어서,
    상기 추정하는 단계에서 추정한 상기 터치 포인트에서 상기 영상 센서까지의 거리를 계산하는 단계;
    상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 것인지 여부를 확인하는 단계; 및
    상기 영상 센서까지의 거리와 상기 영상 센서가 측정한 상기 거리의 차이가 오차 범위 보다 큰 경우에, 추정한 상기 터치 포인트를 제거하는 단계
    를 더 포함하는 다중 터치 인식 방법.
KR1020090106375A 2009-11-05 2009-11-05 영상 센서 기반의 다중 터치 인식 장치 및 방법 KR101628081B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106375A KR101628081B1 (ko) 2009-11-05 2009-11-05 영상 센서 기반의 다중 터치 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106375A KR101628081B1 (ko) 2009-11-05 2009-11-05 영상 센서 기반의 다중 터치 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110049381A true KR20110049381A (ko) 2011-05-12
KR101628081B1 KR101628081B1 (ko) 2016-06-22

Family

ID=44360530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106375A KR101628081B1 (ko) 2009-11-05 2009-11-05 영상 센서 기반의 다중 터치 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101628081B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101304162B1 (ko) * 2011-07-22 2013-09-04 티피케이 터치 솔루션즈 (씨아먼) 인코포레이티드 터치 스크린을 위한 터치 추적 장치 및 방법
KR20140042016A (ko) * 2012-09-26 2014-04-07 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
CN103885701A (zh) * 2012-12-24 2014-06-25 联想(北京)有限公司 操作处理方法和电子设备
KR101415679B1 (ko) * 2013-08-07 2014-07-04 (주)비앤에스미디어 터치 스크린 장치의 터치 좌표 산출방법
WO2024080814A1 (ko) * 2022-10-13 2024-04-18 주식회사 엘엑스세미콘 터치 센싱 회로 및 이의 터치 센싱 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119375A (ko) * 2006-06-15 2007-12-20 (주)나노터치시스템 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
KR20090079019A (ko) * 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
KR100910024B1 (ko) * 2008-10-13 2009-07-30 호감테크놀로지(주) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린
KR20090107152A (ko) * 2008-04-08 2009-10-13 엘지디스플레이 주식회사 멀티 터치 시스템 및 그 구동 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119375A (ko) * 2006-06-15 2007-12-20 (주)나노터치시스템 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
KR20090079019A (ko) * 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
KR20090107152A (ko) * 2008-04-08 2009-10-13 엘지디스플레이 주식회사 멀티 터치 시스템 및 그 구동 방법
KR100910024B1 (ko) * 2008-10-13 2009-07-30 호감테크놀로지(주) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101304162B1 (ko) * 2011-07-22 2013-09-04 티피케이 터치 솔루션즈 (씨아먼) 인코포레이티드 터치 스크린을 위한 터치 추적 장치 및 방법
KR20140042016A (ko) * 2012-09-26 2014-04-07 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
CN103885701A (zh) * 2012-12-24 2014-06-25 联想(北京)有限公司 操作处理方法和电子设备
KR101415679B1 (ko) * 2013-08-07 2014-07-04 (주)비앤에스미디어 터치 스크린 장치의 터치 좌표 산출방법
WO2024080814A1 (ko) * 2022-10-13 2024-04-18 주식회사 엘엑스세미콘 터치 센싱 회로 및 이의 터치 센싱 방법

Also Published As

Publication number Publication date
KR101628081B1 (ko) 2016-06-22

Similar Documents

Publication Publication Date Title
KR101560308B1 (ko) 가상 필기 입력을 위한 방법 및 전자 장치
TWI531946B (zh) 座標定位方法及裝置
US9639212B2 (en) Information processor, processing method, and projection system
EP2353069A2 (en) Stereo optical sensors for resolving multi-touch in a touch detection system
TW201716963A (zh) 可偵測觸控面板是否覆蓋大面積導電液體或物件的觸控處理裝置、觸控電子系統與其觸控處理方法
TWI536226B (zh) 光學觸控裝置與觸控影像處理方法
KR101628081B1 (ko) 영상 센서 기반의 다중 터치 인식 장치 및 방법
TW201203055A (en) Multiple-input touch panel and method for gesture recognition
WO2012026606A1 (en) Method for obtaining 3d position information, computer program, data processor, and display panel incorporating the same
TWI461990B (zh) 光學影像式觸控裝置與觸控影像處理方法
US20160092032A1 (en) Optical touch screen system and computing method thereof
US9471983B2 (en) Information processing device, system, and information processing method
US8952934B2 (en) Optical touch systems and methods for determining positions of objects using the same
KR101332547B1 (ko) 터치패널을 구비한 단말기 및 그의 오동작 방지방법
US9207811B2 (en) Optical imaging system capable of detecting a moving direction of an object and imaging processing method for optical imaging system
US9110588B2 (en) Optical touch device and method for detecting touch point
US9652081B2 (en) Optical touch system, method of touch detection, and computer program product
EP2975503A2 (en) Touch device and corresponding touch method
US9535535B2 (en) Touch point sensing method and optical touch system
TWI439905B (zh) 觸控模組與觸控偵測方法
CN107943351B (zh) 投影面触碰识别系统及方法
US8890847B2 (en) Optical touch system and touch point calculation method thereof
CN115278185A (zh) 投影区域检测方法、装置、桌面投影机及存储介质
Wang et al. A Study on Image Splicing Algorithm for Large Screen Multi-touch Technique
KR20140145028A (ko) 입력 장치 및 그의 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4