KR101694272B1 - 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법 - Google Patents

디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법 Download PDF

Info

Publication number
KR101694272B1
KR101694272B1 KR1020100122657A KR20100122657A KR101694272B1 KR 101694272 B1 KR101694272 B1 KR 101694272B1 KR 1020100122657 A KR1020100122657 A KR 1020100122657A KR 20100122657 A KR20100122657 A KR 20100122657A KR 101694272 B1 KR101694272 B1 KR 101694272B1
Authority
KR
South Korea
Prior art keywords
image
touch
proximity
area
light source
Prior art date
Application number
KR1020100122657A
Other languages
English (en)
Other versions
KR20120061367A (ko
Inventor
서성주
최창규
이권주
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100122657A priority Critical patent/KR101694272B1/ko
Priority to US13/292,855 priority patent/US20120139855A1/en
Publication of KR20120061367A publication Critical patent/KR20120061367A/ko
Application granted granted Critical
Publication of KR101694272B1 publication Critical patent/KR101694272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법이 제공된다. 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 디스플레이 장치에서 획득되 영상이미지에 대해, 터치 센싱과 연관된 이미지 영역과 근접 센싱과 연관된 이미지 영역을 획득하여, 터치 정보와 근접 정보를 검출할 수 있다.

Description

디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING TOUCH AND PROXIMITY INFORMATION IN DISPLAY APPARATUS}
디스플레이 장치에서 획득된 영상이미지에 대해, 터치 센싱과 연관된 이미지 영역과 근접 센싱과 연관된 이미지 영역을 획득하여, 터치 정보와 근접 정보를 검출하는 장치에 관련된 것이다.
디스플레이 장치는 터치 센싱 기술을 지원하여, 직관적인 인터페이스를 제공할 수 있다.
3D 영상의 발전에 따라, 디스플레이 장치는 터치 센싱 기술과 함께 입체적인 3D 영상에 접근할 수 있도록 근접 센싱 기술을 제공하고 있다.
디스플레이 장치는 사용자의 터치 동작 및 근접 동작이 수행되는 경우, 동작에 대한 영상이미지를 획득하고, 획득된 영상이미지로부터 터치 이미지 영역 및 근접 이미지 영역을 추출하여, 센싱 정보 및 근접 정보를 구분할 수 있다.
그러나, 디스플레이 장치는 영상이미지에 포함되는 터치 이미지 영역과 근접 이미지 영역의 구별이 모호하여, 획득된 영상이미지로부터 터치 이미지 영역 및 근접 이미지 영역을 추출하는 것이 용이하지 않다.
획득한 영상이미지에 대해, 제1 문턱값을 이용하여 터치 센싱과 연관된 제1 이미지 영역을 추출하고, 제2 문턱값을 이용하여 제2 이미지 영역을 추출하는 영상 추출부와, 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득하는 영상 필터링부를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치가 제공된다.
상기 영상 추출부는 상기 제1 문턱값 보다 상대적으로 작은 크기의 상기 제2 문턱값을 이용하여, 상기 제2 이미지 영역을 추출할 수 있다.
상기 영상 필터링부는 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역을 일부로서 포함하는 영역을 제거할 수 있다.
영상이미지에 대해 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출하는 영상 추출부와, 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역과, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역으로 구분하는 영상 필터링부를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치가 제공된다.
상기 영상 추출부는 제1 문턱값을 적용하여 터치 센싱과 연관된 터치 이미지 유닛과, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값을 적용하여 근접 센싱과 연관된 근접 이미지 유닛을 추출하고, 상기 영상 필터링부는 상기 터치 이미지 유닛과 상기 근접 이미지 유닛을 중첩하여 구성하여, 터치 영역으로서의 상기 제1 이미지 영역으로 구분할 수 있다.
상기 영상 필터링부는 제1 문턱값 적용 이후, 상기 제1 문턱값과 상대적으로 작은 크기의 제2 문턱값이 적용되어 추출되는, 근접 센싱과 연관된 근접 이미지 유닛을 구성하여, 근접 영역으로서의 상기 제2 이미지 영역으로 구분할 수 있다.
영상이미지에 대해, 제1, 2 문턱값을 이용하여 터치 센싱과 연관된 이미지 영역과 근접 센싱과 연관된 이미지 영역을 획득 함으로써, 터치 정보와 근접 정보를 용이하게 검출할 수 있다.
영상이미지에 대해, 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출하고, 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역을 터치 영역으로 구분하고, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역을 근접 영역으로 구분 함으로써, 터치 정보와 근접 정보를 용이하게 검출할 수 있다.
도 1은 디스플레이 장치의 예를 도시한 도면이다.
도 2는 일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에 대한 구성 예를 도시한 도면이다.
도 3은 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에서 획득한 영상이미지의 일례를 도시한 도면이다.
도 4는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에서 획득한 영상이미지의 다른 일례를 도시한 도면이다.
도 5는 일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 방법을 나타내는 흐름도이다.
도 6은 다른 실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 디스플레이 장치의 예를 도시한 도면이다.
도 1을 참조하면, 디스플레이 장치(101)는 디스플레이 패널(103)의 상부에 위치하고, 적외선(IR)을 전반사시켜, 적외선을 내부에 유지시키는 적외선 광 가이드(IR light guide, 105), 적외선 광 가이드(105)의 일측에 위치하여 적외선 광 가이드(105) 내부로 터치 적외선 광원(Touch IR)을 발생하는 터치 적외선 광원부(107), 적외선 광 가이드(105)의 타측에 위치하여 적외선 광 가이드(105)의 표면으로 호버 적외선 광원(Hover IR)을 발생하는 호버 적외선 광원부(109) 및 디스플레이 패널(103)의 하부에 위치하여, 적외선 광 가이드(105)에 터치되거나 또는 근접되는 오브젝트로부터 반사된 터치 적외선 광원 또는 호버 적외선 광원을 센싱하는 적외선 센싱부(IR sensor, 111)를 포함할 수 있다.
디스플레이 장치는 터치하거나 또는 근접되는 오브젝트로부터 반사된 터치 적외선 광원 또는 호버 적외선 광원을 센싱하여, 터치 센싱 또는 근접 센싱 중 적어도 하나와 연관된 영상이미지를 획득하고, 획득된 영상이미지로부터 터치 정보 및 근접 정보를 검출할 수 있다.
여기서, 디스플레이 장치는 터치 적외선 광원부(107) 및 호버 적외선 광원부(109)을 동시에 활성화하여, 터치 적외선 광원 및 호버 적외선 광원을 센싱한 결과로서, 터치 센싱 및 근접 센싱과 연관된 영상이미지를 획득할 수 있다. 또한, 디스플레이 장치는 터치 적외선 광원부(107) 및 호버 적외선 광원부(109)를 순차적으로 활성화하여, 터치 적외선 광원을 센싱한 결과로서, 터치 센싱과 연관된 제1 영상이미지를 획득한 후, 호버 적외선 광원을 센싱한 결과로서, 근접 센싱과 연관된 제2 영상이미지를 획득할 수 있다.
도 2는 일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에 대한 구성 예를 도시한 도면이다.
도 2를 참조하면, 일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치(201)는 영상 추출부(203) 및 영상 필터링부(205)를 포함한다. 디스플레이 장치에서의 터치 및 근접 정보 검출 장치(201)는 프로세서(207)를 더 포함할 수 있다.
영상 추출부(203)는 획득한 영상이미지에 대해 문턱값들을 이용하여, 이미지영역들을 추출할 수 있다. 즉, 영상 추출부(203)는 획득한 영상이미지에 대해, 제1 문턱값을 이용하여 터치 센싱과 연관된 제1 이미지 영역을 추출하고, 제2 문턱값을 이용하여 제2 이미지 영역을 추출한다. 여기서, 영상 이미지는 디스플레이 장치 내 영상 패널에 대해, 터치 적외선 광원(Touch IR) 또는 호버 적외선 광원(Hover IR)을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해 획득될 수 있다.
예컨대, 영상 추출부(203)는 영상이미지 중에서 상기 제1 문턱값 이상에 대응하는 영역을 상기 제1 이미지 영역으로서 추출하고, 상기 제2 문턱값 이상에 대응하는 영역을 상기 제2 이미지 영역으로서 추출할 수 있다. 여기서, 제2 이미지 영역은 근접 센싱과 연관된 근접 이미지 영역과 함께, 터치 센싱과 연관된 근접 이미지 영역을 포함할 수 있다.
영상 추출부(203)는 상기 제1 문턱값 보다 상대적으로 작은 크기의 상기 제2 문턱값을 이용하여, 상기 제2 이미지 영역을 추출할 수 있다. 여기서, 영상 추출부(203)는 근접 센싱과 연관된 영역의 밝기가 터치 센싱과 연관된 영역의 밝기 보다 상대적으로 낮음에 따라, 상기 제2 이미지 영역을 추출하기 위해 제1 문턱값 보다 작은 크기의 제2 문턱값을 이용할 수 있다. 이에, 상기 제2 이미지 영역은 상기 제1 이미지 영역을 포함할 수 있다.
영상 추출부(203)는 하나의 영상이미지로부터 제1 이미지 영역 및 제2 이미지 영역을 추출할 수 있으나, 이에 한정되지 않고 복수의 영상이미지로부터 제1 이미지 영역 및 제2 이미지 영역을 추출할 수도 있다. 예컨대, 영상 추출부(203)는 상기 터치 적외선 광원과 연관되어 획득한 제1 영상이미지로부터 상기 제1 이미지 영역을 추출하고, 상기 호버 적외선 광원과 연관되어 획득한 제2 영상이미지로부터 상기 제2 이미지 영역을 추출할 수 있다.
영상 추출부(203)는 영상이미지로부터 제1, 2 문턱값을 이용하여 제1, 2 이미지 영역을 추출하기 전에, 상기 영상이미지를 보정(예컨대, 스무딩(smoothing))할 수 있다. 또한, 영상 추출부(203)는 상기 제1 이미지 영역에 대해 터치 포인트(touch point)를 추출하기 위한 필터링(filtering) 또는 세그멘테이션(segmentation)을 적용할 수 있다.
영상 필터링부(205)는 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득한다. 구체적으로, 영상 필터링부(205)는 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역을 일부로서 포함하는 영역을 제거할 수 있다.
영상 필터링부(205)는 제1, 2 영상이미지로부터 제1, 2 이미지 영역이 추출된 경우, 상기 제1 영상이미지 내 상기 제1 이미지 영역의 위치, 및 상기 제2 영상이미지 내 상기 제2 이미지 영역의 위치를 이용하여, 상기 제2 이미지 영역 내에, 일부로서 포함되는 상기 제1 이미지 영역에 대응하는 영역을 제거할 수 있다.
프로세서(207)는 상기 추출된 제1 이미지 영역을 터치 정보로서 구분하여, 터치 센싱에 대응하는 동작을 수행할 수 있다. 또한, 프로세서(207)는 상기 추출된 근접 이미지 영역을 근접 센싱과 연관된 근접 정보로서 구분하여, 근접 센싱에 대응하는 동작을 수행할 수 있다.
일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 획득한 영상이미지에 터치 센싱과 연관된 터치 이미지 영역 및 근접 센싱과 연관된 근접 이미지 영역 뿐만 아니라, 터치 센싱과 연관된 근접 이미지 영역이 포함되는 경우에도, 제1, 2 문턱값을 이용하여 터치 센싱과 연관된 터치 정보와 근접 센싱과 연관된 근접 정보를 용이하게 구분할 수 있다.
도 3은 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에서 획득한 영상이미지의 일례를 도시한 도면이다.
도 3을 참조하면, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 획득한 영상이미지(301)에 대해 제1 문턱값을 이용하여 터치 센싱과 연관된 제1 이미지 영역(303)을 추출하고, 제2 문턱값을 이용하여 제2 이미지 영역(305-1, 305-2)을 추출할 수 있다. 여기서, 영상이미지(301)는 디스플레이 장치 내 터치 적외선 광원(Touch IR) 및 호버 적외선 광원(Hover IR)을 동시에 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해, 제1 오브젝트(307)의 터치 동작 및 제2 오브젝트(309)의 근접 동작을 센싱하여 획득될 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제2 이미지 영역 중에서 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득할 수 있다. 예컨대, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제2 이미지 영역(305-1, 305-2) 중에서 제1 이미지 영역(303)을 일부로서 포함하는 영역(305-1)을 제거 함으로써, 근접 센싱과 연관된 근접 이미지 영역(305-2)을 획득할 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제1 이미지 영역(303)을 터치 정보로서 구분하여, 터치 센싱에 대응하는 동작을 수행하고, 근접 이미지 영역(305-2)을 근접 센싱과 연관된 근접 정보로서 구분하여, 근접 센싱에 대응하는 동작을 수행할 수 있다.
한편, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제2 이미지 영역(305-1, 305-2) 중에서 제1 이미지 영역(303)을 일부로서 포함하는 영역(305-1)을 터치 센서와 연관된 근접 정보로서 구분하여, 근접 센싱에 대응하는 동작을 제한할 수 있다.
도 4는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에서 획득한 영상이미지의 다른 일례를 도시한 도면이다.
도 4를 참조하면, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 획득한 제1 영상이미지(401)로부터 제1 이미지 영역(403-1, 403-2)을 추출하고, 획득한 제2 영상이미지(405)로부터 제2 이미지 영역(407-1, 407-2)을 추출할 수 있다.
여기서, 제1 영상이미지(401)는 디스플레이 장치 내 터치 적외선 광원(Touch IR)을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해, 제1 오브젝트(409)의 터치 동작 및 제2 오브젝트(411)의 터치 동작을 센싱하여 획득될 수 있다.
또한, 제2 영상이미지(405)는 디스플레이 장치 내 호버 적외선 광원(Hover IR)을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해, 제1 오브젝트(409)의 터치 동작 및 제2 오브젝트(411)의 터치 동작을 센싱하여 획득될 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제1 영상이미지(401) 내 제1 이미지 영역의 위치, 및 제2 영상이미지(405) 내 상기 제2 이미지 영역의 위치를 이용하여, 제2 이미지 영역(407-1, 407-2) 내에, 일부로서 포함되는 제1 이미지 영역(403-1, 403-2)에 대응하는 영역(407-1, 407-2)을 제거할 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제1 이미지 영역(403-1, 403-2)을 터치 정보로서 구분하여, 터치 센싱에 대응하는 동작을 수행할 수 있다.
반면, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제2 이미지 영역(407-1, 407-2) 내에, 일부로서 포함되는 상기 제1 이미지 영역(403-1, 403-2)에 대응하는 영역(407-1, 407-2)을 제거 함으로써, 터치 센싱과 연관된 근접 이미지 영역이 제거되어 근접 정보가 존재하지 않으므로, 근접 센싱에 대응하는 동작을 제한할 수 있다.
이하, 다른 실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치에 대해 설명한다.
도 2를 다시 참조하면, 다른 실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 장치(201)는 영상 추출부(203) 및 영상 필터링부(205)를 포함한다. 디스플레이 장치에서의 터치 및 근접 정보 검출 장치(201)는 프로세서(207)를 더 포함할 수 있다.
영상 추출부(203)는 영상이미지에 대해 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출한다. 영상 추출부(203)는 제1 문턱값을 적용하여 터치 센싱과 연관된 터치 이미지 유닛을 추출하고, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값을 적용하여 근접 이미지 유닛을 추출할 수 있다.
예컨대, 영상 추출부(203)는 영상이미지 중에서 상기 제1 문턱값 이상에 대응하는 유닛을 상기 터치 이미지 유닛으로서 추출하고, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값 이상에 대응하는 유닛을 근접 이미지 유닛으로서 추출할 수 있다.
영상 필터링부(205)는 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역과, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역으로 구분한다.
여기서, 영상 필터링부(205)는 상기 터치 이미지 유닛과 상기 근접 이미지 유닛을 중첩하여 구성하여, 터치 영역으로서의 상기 제1 이미지 영역으로 구분할 수 있다.
또한, 영상 필터링부(205)는 상기 근접 이미지 유닛에 상기 터치 이미지 유닛이 중첩되지 않고 구성되는, 근접 영역으로서의 상기 제2 이미지 영역을 구분할 수 있다.
프로세서(207)는 상기 제1 이미지 영역을 터치 정보로서 확인하여, 터치 센싱에 대응하는 동작을 수행할 수 있다. 또한, 프로세서(207)는 상기 제2 이미지 영역을 근접 센싱과 연관된 근접 정보로서 확인하여, 근접 센싱에 대응하는 동작을 수행할 수 있다.
도 5는 일실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 방법을 나타내는 흐름도이다.
도 5를 참조하면, 단계 501에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 획득한 영상이미지에 대해, 제1 문턱값을 이용하여 터치 센싱과 연관된 제1 이미지 영역을 추출한다.
여기서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 디스플레이 장치 내 영상 패널에 대해, 터치 적외선 광원(Touch IR) 또는 호버 적외선 광원(Hover IR)을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해, 상기 영상 이미지를 획득할 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 영상이미지 중에서 상기 제1 문턱값 이상에 대응하는 영역을 상기 제1 이미지 영역으로서 추출할 수 있다.
또한, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 터치 적외선 광원과 연관되어 획득한 제1 영상이미지로부터 상기 제1 이미지 영역을 추출할 수도 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 영상이미지로부터 제1 이미지 영역을 추출하기 전에, 상기 영상이미지를 보정(예컨대, 스무딩(smoothing))할 수 있다. 또한, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제1 이미지 영역에 대해 터치 포인트(touch point)를 추출하기 위한 필터링(filtering) 또는 세그멘테이션(segmentation)을 적용할 수 있다.
단계 503에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 영상이미지에 대해, 제2 문턱값을 이용하여 제2 이미지 영역을 추출한다. 여기서, 제2 문턱값은 상기 제1 문턱값 보다 상대적으로 작을 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 영상이미지 중에서 상기 제2 문턱값 이상에 대응하는 영역을 상기 제2 이미지 영역으로서 추출할 수 있다. 여기서, 제2 이미지 영역은 근접 센싱과 연관된 근접 이미지 영역과 함께, 터치 센싱과 연관된 근접 이미지 영역을 포함할 수 있다.
또한, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 호버 적외선 광원과 연관되어 획득한 제2 영상이미지로부터 상기 제2 이미지 영역을 추출할 수도 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제1 문턱값 보다 상대적으로 작은 크기의 상기 제2 문턱값을 이용하여, 상기 제2 이미지 영역을 추출할 수 있다.
단계 505에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득한다.
즉, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제2 이미지 영역 중에서 상기 제1 이미지 영역을 일부로서 포함하는 영역을 제거하여, 상기 근접 센싱과 연관된 근접 이미지 영역을 획득할 수 있다.
한편, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제1, 2 영상이미지로부터 제1, 2 이미지 영역이 추출된 경우, 상기 제1 영상이미지 내 상기 제1 이미지 영역의 위치, 및 상기 제2 영상이미지 내 상기 제2 이미지 영역의 위치를 이용하여, 상기 제2 이미지 영역 내에, 일부로서 포함되는 상기 제1 이미지 영역에 대응하는 영역을 제거 함으로써, 상기 근접 센싱과 연관된 근접 이미지 영역을 획득할 수 있다.
단계 507에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제1 이미지 영역 또는 근접 이미지 영역에 기초하여, 터치 센싱 또는 근접 센싱 중 적어도 하나에 대응하는 동작을 수행할 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 추출된 제1 이미지 영역을 터치 정보로서 구분하여, 터치 센싱에 대응하는 동작을 수행하거나, 또는 상기 추출된 근접 이미지 영역을 근접 센싱과 연관된 근접 정보로서 구분하여, 근접 센싱에 대응하는 동작을 수행할 수 있다.
도 6은 다른 실시예에 따른 디스플레이 장치에서의 터치 및 근접 정보 검출 방법을 나타내는 흐름도이다.
도 6을 참조하면, 단계 601에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 영상이미지에 대해 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출한다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 제1 문턱값을 적용하여 터치 센싱과 연관된 터치 이미지 유닛을 추출하고, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값을 적용하여 근접 이미지 유닛을 추출할 수 있다.
예컨대, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 영상이미지 중에서 상기 제1 문턱값 이상에 대응하는 유닛을 상기 터치 이미지 유닛으로서 추출하고, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값 이상에 대응하는 유닛을 근접 이미지 유닛으로서 추출할 수 있다.
단계 603에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역으로 구분한다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 터치 이미지 유닛과 상기 근접 이미지 유닛을 중첩하여 구성하여, 터치 영역으로서의 상기 제1 이미지 영역으로 구분할 수 있다.
단계 605에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역으로 구분한다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 근접 이미지 유닛에 상기 터치 이미지 유닛이 중첩되지 않고 구성되는, 근접 영역으로서의 상기 제2 이미지 영역을 구분할 수 있다.
단계 607에서, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제1 이미지 영역 또는 2 이미지 영역에 기초하여, 터치 센싱 또는 근접 센싱 중 적어도 하나에 대응하는 동작을 수행할 수 있다.
디스플레이 장치에서의 터치 및 근접 정보 검출 장치는 상기 제1 이미지 영역을 터치 정보로서 확인하여, 터치 센싱에 대응하는 동작을 수행하거나, 또는 상기 제2 이미지 영역을 근접 센싱과 연관된 근접 정보로서 확인하여, 근접 센싱에 대응하는 동작을 수행할 수 있다.
실시예에 따르면, 영상이미지에 대해, 제1, 2 문턱값을 이용하여 터치 센싱과 연관된 이미지 영역과 근접 센싱과 연관된 이미지 영역을 획득 함으로써, 터치 정보와 근접 정보를 용이하게 검출할 수 있다.
실시예에 따르면, 영상이미지에 대해, 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출하고, 상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역을 터치 영역으로 구분하고, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역을 근접 영역으로 구분 함으로써, 터치 정보와 근접 정보를 용이하게 검출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
201: 디스플레이 장치에서의 터치 및 근접 정보 검출 장치
203: 영상 추출부
205: 영상 필터링부
207: 프로세서

Claims (15)

  1. 획득한 영상이미지에 대해, 디스플레이 장치의 내부로 방사하는 제1 광원에 의한 제1 이미지 영역을 추출하고, 상기 디스플레이 장치의 표면으로 방사하는 제2 광원에 의한 제2 이미지 영역을 추출하는 영상 추출부; 및
    상기 제2 이미지 영역 중에서 상기 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득하는 영상 필터링부
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  2. 제1항에 있어서,
    상기 영상 추출부는,
    터치 센싱과 연관된 상기 제1 이미지 영역을 추출하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  3. 제1항에 있어서,
    상기 영상 필터링부는,
    상기 제2 이미지 영역 중에서 상기 제1 이미지 영역을 일부로서 포함하는 영역을 제거하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  4. 제1항에 있어서,
    상기 제1 광원은 터치 적외선 광원(Touch IR)이고,
    상기 제2 광원은 호버 적외선 광원(Hover IR)이며,
    상기 영상 이미지는,
    상기 디스플레이 장치 내 영상 패널에 대해, 상기 터치 적외선 광원과, 상기 호버 적외선 광원을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해 획득되는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  5. 제4항에 있어서,
    상기 영상 추출부는,
    상기 터치 적외선 광원과 연관되어 획득한 제1 영상이미지로부터 상기 제1 이미지 영역을 추출하고,
    상기 호버 적외선 광원과 연관되어 획득한 제2 영상이미지로부터 상기 제2 이미지 영역을 추출하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  6. 제5항에 있어서,
    상기 영상 필터링부는,
    상기 제1 영상이미지 내 상기 제1 이미지 영역의 위치, 및 상기 제2 영상이미지 내 상기 제2 이미지 영역의 위치를 이용하여,
    상기 제2 이미지 영역 내에, 일부로서 포함되는 상기 제1 이미지 영역에 대응하는 영역을 제거하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  7. 디스플레이 장치의 내부로 방사하는 제1 광원과, 상기 디스플레이 장치의 표면으로 방사하는 제2 광원을 제공하는 상태에서, 획득한 영상이미지에 대해 상이한 크기의 문턱값들을 순차적으로 적용하여 이미지 유닛을 추출하는 영상 추출부; 및
    상기 추출된 이미지 유닛을 상기 영상이미지 내 위치를 고려하여 구성하되, 복수의 이미지 유닛이 중첩되어 구성되는 제1 이미지 영역과, 단일의 이미지 유닛으로 구성되는 제2 이미지 영역으로 구분하는 영상 필터링부
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  8. 제7항에 있어서,
    상기 영상 추출부는,
    제1 문턱값을 적용하여 터치 센싱과 연관된 터치 이미지 유닛과, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값을 적용하여 근접 이미지 유닛을 추출하고,
    상기 영상 필터링부는,
    상기 터치 이미지 유닛과 상기 근접 이미지 유닛을 중첩하여 구성하여, 터치 영역으로서의 상기 제1 이미지 영역으로 구분하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  9. 제7항에 있어서,
    상기 영상 추출부는,
    제1 문턱값을 적용하여 터치 센싱과 연관된 터치 이미지 유닛과, 상기 제1 문턱값 보다 상대적으로 작은 크기의 제2 문턱값을 적용하여 근접 이미지 유닛을 추출하고,
    상기 영상 필터링부는,
    상기 근접 이미지 유닛에 상기 터치 이미지 유닛이 중첩되지 않고 구성되는, 근접 영역으로서의 상기 제2 이미지 영역을 구분하는, 디스플레이 장치에서의 터치 및 근접 정보 검출 장치.
  10. 획득한 영상이미지에 대해, 디스플레이 장치의 내부로 방사하는 제1 광원에 의한 제1 이미지 영역을 추출하는 단계;
    상기 영상이미지에 대해, 상기 디스플레이 장치의 표면으로 방사하는 제2 광원에 의한 제2 이미지 영역을 추출하는 단계; 및
    상기 제2 이미지 영역 중에서 상기 제1 이미지 영역과 관련한 영역을 제거하여, 근접 센싱과 연관된 근접 이미지 영역을 획득하는 단계
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
  11. 제10항에 있어서,
    상기 제1 이미지 영역을 추출하는 단계는,
    터치 센싱과 연관된 상기 제1 이미지 영역을 추출하는 단계
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
  12. 제10항에 있어서,
    상기 근접 이미지 영역을 획득하는 단계는,
    상기 제2 이미지 영역 중에서 상기 제1 이미지 영역을 일부로서 포함하는 영역을 제거하여, 상기 근접 센싱과 연관된 근접 이미지 영역을 획득하는 단계
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
  13. 제10항에 있어서,
    상기 제1 광원은 터치 적외선 광원이고,
    상기 제2 광원은 호버 적외선 광원이며,
    상기 디스플레이 장치 내 영상 패널에 대해, 상기 터치 적외선 광원과, 상기 호버 적외선 광원을 제공하는 상태에서, 상기 디스플레이 장치 내 센서 패널에 의해, 상기 영상 이미지를 획득하는 단계
    를 더 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
  14. 제13항에 있어서,
    상기 제1 이미지 영역을 추출하는 단계는,
    상기 터치 적외선 광원과 연관되어 획득한 제1 영상이미지로부터 상기 제1 이미지 영역을 추출하는 단계
    를 포함하고,
    상기 제2 이미지 영역을 추출하는 단계는,
    상기 호버 적외선 광원과 연관되어 획득한 제2 영상이미지로부터 상기 제2 이미지 영역을 추출하는 단계
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
  15. 제14항에 있어서,
    상기 근접 이미지 영역을 획득하는 단계는,
    상기 제1 영상이미지 내 상기 제1 이미지 영역의 위치, 및 상기 제2 영상이미지 내 상기 제2 이미지 영역의 위치를 이용하여,
    상기 제2 이미지 영역 내에, 일부로서 포함되는 상기 제1 이미지 영역에 대응하는 영역을 제거하여, 상기 근접 센싱과 연관된 근접 이미지 영역을 획득하는 단계
    를 포함하는 디스플레이 장치에서의 터치 및 근접 정보 검출 방법.
KR1020100122657A 2010-12-03 2010-12-03 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법 KR101694272B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100122657A KR101694272B1 (ko) 2010-12-03 2010-12-03 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법
US13/292,855 US20120139855A1 (en) 2010-12-03 2011-11-09 Apparatus and method for detecting touch information and proximity information in display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100122657A KR101694272B1 (ko) 2010-12-03 2010-12-03 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120061367A KR20120061367A (ko) 2012-06-13
KR101694272B1 true KR101694272B1 (ko) 2017-01-10

Family

ID=46161782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100122657A KR101694272B1 (ko) 2010-12-03 2010-12-03 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US20120139855A1 (ko)
KR (1) KR101694272B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507462B2 (en) * 2012-06-13 2016-11-29 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-dimensional image detection apparatus
US9223442B2 (en) * 2013-01-10 2015-12-29 Samsung Display Co., Ltd. Proximity and touch sensing surface for integration with a display
CN103970360B (zh) * 2013-01-30 2017-02-08 北京汇冠新技术股份有限公司 一种基于多点触摸的手势识别方法及系统
JP6094527B2 (ja) * 2013-10-02 2017-03-15 株式会社デンソー スイッチ装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456447B2 (en) * 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US20060158437A1 (en) * 2005-01-20 2006-07-20 Blythe Michael M Display device
KR20080048608A (ko) * 2006-11-29 2008-06-03 삼성전자주식회사 전자영동 터치패널 및 이를 구비한 전자영동 표시장치
US8970501B2 (en) * 2007-01-03 2015-03-03 Apple Inc. Proximity and multi-touch sensor detection and demodulation
KR100942293B1 (ko) * 2007-07-12 2010-02-16 주식회사 토비스 광을 이용한 터치 센싱 방법 및 그에 따른 터치패널 장치와시스템
JP4835578B2 (ja) * 2007-11-09 2011-12-14 ソニー株式会社 表示撮像装置、物体検出プログラムおよび物体の検出方法
TW200945123A (en) * 2008-04-25 2009-11-01 Ind Tech Res Inst A multi-touch position tracking apparatus and interactive system and image processing method there of
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
JP5366045B2 (ja) * 2009-02-27 2013-12-11 株式会社ジャパンディスプレイ 画像入力装置および画像入出力装置並びに電子機器
TWI569174B (zh) * 2010-06-01 2017-02-01 林卓毅 可攜式光學觸控系統
US8519980B2 (en) * 2010-08-16 2013-08-27 Qualcomm Incorporated Method and apparatus for determining contact areas within a touch sensing region
US9098138B2 (en) * 2010-08-27 2015-08-04 Apple Inc. Concurrent signal detection for touch and hover sensing

Also Published As

Publication number Publication date
KR20120061367A (ko) 2012-06-13
US20120139855A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5709227B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106575043A8 (zh) 用于手势识别和交互的系统，装置和方法
US9489574B2 (en) Apparatus and method for enhancing user recognition
JP6282758B2 (ja) 投射型映像表示装置および映像表示方法
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
KR101694272B1 (ko) 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP2012110618A5 (ko)
JP2019501747A5 (ko)
TWI454995B (zh) 光學式觸控裝置及其偵測觸控點座標之方法
US20160054859A1 (en) User interface apparatus and control method
JP2017199289A5 (ko)
US9690430B2 (en) Touch detection apparatus, touch detection method and recording medium
CN109101172A (zh) 多屏联动系统及其互动显示方法
CN109101173B (zh) 屏幕布局控制方法、装置、设备及计算机可读存储介质
JP2014021562A5 (ja) 検出装置、検出方法及びプログラム
JP2016027444A5 (ko)
CN103809787B (zh) 适于接触控制及悬浮控制的触控系统及其操作方法
JP2013146011A5 (ja) 撮像装置、撮像方法及びプログラム
JP2015212897A5 (ko)
JP6229554B2 (ja) 検出装置および検出方法
JP2011227828A5 (ko)
KR20100010011A (ko) 영상 센서 터치스크린의 이중 터치 판별 방법
KR101184742B1 (ko) 비접촉식 손동작에 의한 방향 인식 방법
KR101595293B1 (ko) 깊이 센서 기반의 공간 터치 제어장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4