KR102167576B1 - 터치 스크린 장치 및 그 제어 방법 - Google Patents

터치 스크린 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102167576B1
KR102167576B1 KR1020150105136A KR20150105136A KR102167576B1 KR 102167576 B1 KR102167576 B1 KR 102167576B1 KR 1020150105136 A KR1020150105136 A KR 1020150105136A KR 20150105136 A KR20150105136 A KR 20150105136A KR 102167576 B1 KR102167576 B1 KR 102167576B1
Authority
KR
South Korea
Prior art keywords
ultrasonic
reflected
ultrasonic sensor
signal
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020150105136A
Other languages
English (en)
Other versions
KR20160142208A (ko
Inventor
최성도
유재헌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/994,369 priority Critical patent/US9785288B2/en
Priority to EP16803661.4A priority patent/EP3295286B1/en
Priority to PCT/KR2016/005482 priority patent/WO2016195306A1/en
Priority to CN201610387741.9A priority patent/CN106227392B/zh
Publication of KR20160142208A publication Critical patent/KR20160142208A/ko
Application granted granted Critical
Publication of KR102167576B1 publication Critical patent/KR102167576B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)

Abstract

초음파 기반의 터치 스크린 장치가 개시된다. 본 발명의 터치 스크린 장치는, 디스플레이, 초음파 신호를 방사하는 복수의 초음파 센서 및 복수의 초음파 센서로부터 방사된 초음파 신호가 디스플레이에 터치된 오브젝트에 의해 반사되어 복수의 초음파 센서에 의해 각각 수신되면, 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 판단하는 프로세서를 포함한다.

Description

터치 스크린 장치 및 그 제어 방법 { TOUCH SCREEN APPARATUS AND CONTROL METHODS THEREOF }
본 발명은 터치 스크린 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 초음파 방식의 터치 스크린 장치 및 그 제어 방법에 대한 것이다.
터치 스크린, 터치 패드 등과 같은 접촉 감지 장치는 디스플레이 장치에 부착되어 사용자에게 직관적인 입력 방법을 제공할 수 있는 입력 장치로서, 최근 휴대폰, PDA(Personal Digital Assistant), 네비게이션 등과 같은 다양한 전자 기기에 널리 적용되고 있다. 특히, 최근 스마트 폰에 대한 수요가 증가하면서, 제한된 폼 팩터에서 다양한 입력 방법을 제공할 수 있는 접촉 감지 장치로 터치 스크린의 채용 비율이 날로 증가하고 있다.
휴대용 기기에 적용되는 터치 스크린은, 터치 입력을 감지하는 방법에 따라 크게 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(IR) 방식 및 표면 초음파(Surface Acoustic Wave; SAW) 방식 등으로 구현될 수 있다.
한편, SAW 방식의 터치 스크린은 저항막 방식, 정전용량 방식 등과 달리 방사된 초음파가 장애물을 만나 파동의 크기가 줄어든 것을 감지하는 방식으로, 빛 투과성이 높고, 정확성과 선명도가 뛰어나 무인 정보 단말기 등에 주로 적용되어 널리 사용되고 있다.
그러나, 기존의 SAW 방식의 터치 스크린은, 터치 스크린 표면의 오염 물질 등에 취약하고, 초음파가 표면을 따라 방사되기 때문에 소프트한 터치의 인식 성능이 낮다는 문제점이 있었다. 또한, 기존의 SAW 방식의 터치 스크린은, 복수의 음파 반향기를 구비하여야 하고, 고스트 터치(ghost touch)를 방지하기 위한 추가적인 처리 작업이 필요하므로, 설계가 복잡하고 많은 비용이 발생한다는 문제점이 있었다.
이에 따라, 좀 더 편리하고 저비용으로 터치의 인식 성능을 높이기 위한 방안이 요구된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 초음파의 ToF를 이용하여, 터치 포인트를 좀 더 정확하게 측정할 수 있는 터치 스크린 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 터치 스크린 장치는 디스플레이, 초음파 신호를 방사하는 복수의 초음파 센서 및, 상기 복수의 초음파 센서로부터 방사된 초음파 신호가 상기 디스플레이에 터치된 오브젝트에 의해 반사되어 상기 복수의 초음파 센서에 의해 각각 수신되면, 상기 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 프로세서를 포함한다.
또한, 상기 프로세서는, 제1 초음파 센서 및 제2 초음파 센서에서 각각 방사된 초음파 신호가 상기 오브젝트에 의해 반사되어 상기 제1 초음파 센서 및 상기 제2 초음파 센서 각각에 의해 수신되면, 상기 각각 수신된 초음파 신호의 ToF에 기초하여 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고, 상기 산출된 각각의 거리에 기초하여 상기 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 상기 프로세서는, 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 제1 초음파 센서에 의해 방사된 초음파 신호가 제1 오브젝트에 의해 굴절되어 상기 제2 초음파 센서에 의해 수신되면, 상기 굴절되어 수신된 초음파 신호의 ToF를 더 이용하여 상기 제1 오브젝트의 고스트 터치(Ghost Touch) 포인트를 제거함으로써, 상기 제1 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 상기 프로세서는, 상기 제1 초음파 센서에 의해 수신된 초음파 신호에서, 상기 제1 오브젝트 외의 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고, 상기 제2 초음파 센서에 의해 수신된 초음파 신호에서, 상기 굴절되어 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고, 상기 추출된 각각의 초음파 신호에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 거리에 따른 초음파 신호의 반사 파형을 저장하는 저장부;를 더 포함하고, 상기 프로세서는, 상기 추출된 각각의 초음파 신호의 파형과 상기 저장된 반사 파형을 비교하여, 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 제1 오브젝트의 터치 포인트까지의 거리를 각각 산출하고, 상기 산출된 각각의 거리에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 상기 프로세서는, 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 복수의 오브젝트 중 제1 오브젝트에 의해 반사된 초음파 신호 및 상기 복수의 오브젝트 중 제2 오브젝트에 의해 반사된 초음파 신호가 중첩되어 수신되면, 상기 중첩되어 수신되는 신호의 파형 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 서로 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 이용하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단할 수 있다.
또한, 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 초음파 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 저장하는 저장부를 더 포함하고, 상기 프로세서는, 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 상기 중첩된 초음파 신호의 피크 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출하고, 상기 추출된 반사 파형에 기초하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단할 수 있다.
또한, 상기 프로세서는, 상기 수신된 각각의 초음파 신호의 ToF를 계산하여, 상기 오브젝트의 외곽점을 검출하고, 상기 검출된 외곽점으로부터 상기 오브젝트의 크기 및 모양을 추정할 수 있다.
또한, 상기 프로세서는 제1 초음파 센서에서 방사된 초음파 신호가 상기 오브젝트에 굴절되어 제2 초음파 센서에 수신되는 시간을 계산하여, 상기 오브젝트의 추가적인 외곽점을 검출할 수 있다.
또한, 상기 디스플레이의 외곽에 구비되어, 상기 복수의 초음파 센서로부터 방사되는 초음파 신호의 일부를 상기 디스플레이에 평행하도록 반사 또는 굴절시키는 포물면(paraboloid)을 갖는 반사체 기구를 더 포함할 수 있다.
또한, 상기 반사체 기구에 반사 또는 굴절되어 상기 디스플레이에 평행하게 방사되는 초음파 신호 외의 나머지 초음파 신호를 흡수하는 초음파 흡음재를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 터치 스크린 장치의 제어 방법은, 복수의 초음파 센서로부터 방사된 초음파 신호가 디스플레이에 터치된 오브젝트에 의해 반사된 초음파 신호를 상기 복수의 초음파 센서에 의해 각각 수신하는 단계 및, 상기 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 단계를 포함한다.
또한, 상기 수신하는 단계는, 제1 초음파 센서 및 제2 초음파 센서에서 각각 방사된 초음파 신호가 상기 오브젝트에 의해 반사된 초음파 신호를 상기 제1 초음파 센서 및 상기 제2 초음파 센서 각각에 의해 수신하고, 상기 판단하는 단계는, 상기 각각 수신된 초음파 신호의 ToF에 기초하여 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 오브젝트의 터치 포인트까지의 각각의 거리를 산출하는 단계 및, 상기 산출된 각각의 거리에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 단계를 포함할 수 있다.
또한, 상기 판단하는 단계는, 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 제1 초음파 센서에 의해 방사된 초음파 신호가 제1 오브젝트에 의해 굴절되어 상기 제2 초음파 센서에 의해 수신되면, 상기 굴절되어 수신된 초음파 신호의 ToF를 더 이용하여 상기 제1 오브젝트의 고스트 터치(Ghost Touch) 포인트를 제거함으로써, 상기 제1 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 상기 판단하는 단계는, 상기 제1 초음파 센서에 의해 수신된 초음파 신호에서, 상기 제1 오브젝트 외의 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고, 상기 제2 초음파 센서에 의해 수신된 초음파 신호에서, 상기 굴절되어 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하는 단계 및, 상기 추출된 각각의 초음파 신호에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 단계를 포함할 수 있다.
또한, 거리에 따른 초음파 신호의 반사 파형을 저장하는 단계를 더 포함하고, 상기 판단하는 단계는, 상기 추출된 각각의 초음파 신호의 파형과 상기 저장된 반사 파형을 비교하여, 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 제1 오브젝트의 터치 포인트까지의 거리를 각각 산출하는 단계 및, 상기 산출된 각각의 거리에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 단계를 포함할 수 있다.
또한, 상기 판단하는 단계는, 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 복수의 오브젝트 중 제1 오브젝트에 의해 반사된 초음파 신호 및 상기 제2 오브젝트에 의해 반사된 초음파 신호가 중첩되어 수신되면, 상기 중첩되어 수신되는 신호의 파형 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 서로 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 이용하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단할 수 있다.
또한, 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 초음파 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 저장하는 단계를 더 포함하고, 상기 판단하는 단계는, 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 상기 중첩된 초음파 신호의 피크 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출하는 단계 및, 상기 추출된 반사 파형에 기초하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단하는 단계를 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 수신된 각각의 초음파 신호의 ToF를 계산하여, 상기 오브젝트의 외곽점을 검출하는 것을 특징으로 하고, 상기 검출된 외곽점으로부터 상기 오브젝트의 크기 및 모양을 추정하는 단계를 더 포함할 수 있다.
또한, 상기 판단하는 단계는, 제1 초음파 센서에서 방사된 초음파 신호가 상기 오브젝트에 의해 굴절되어 제2 초음파 센서에 수신되는 시간을 계산하여, 상기 오브젝트의 추가적인 외곽점을 검출할 수 있다.
또한, 상기 복수의 초음파 센서로부터 방사된 초음파 신호의 일부는, 상기 디스플레이의 외곽에 구비된 반사체 기구의 포물면(paraboloid)에 의해, 상기 디스플레이에 평행하도록 반사 또는 굴절될 수 있다.
또한, 상기 반사체 기구에 반사 또는 굴절되어 상기 디스플레이에 평행하게 방사되는 초음파 신호 외의 나머지 초음파 신호는 상기 복수의 초음파 센서 주위에 각각 구비된 초음파 흡음재에 의해 흡수될 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 저비용으로 터치 스크린의 터치 인식 성능을 높일 수 있으므로, 사용자의 편의성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른, 터치 스크린 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 초음파 센서에서 방사되는 초음파 신호를 디스플레이에 평행하게 반사 또는 굴절시키는 방법을 설명하기 위한 터치 스크린 장치의 측면도,
도 3a 내지 도 3c는 본 발명의 다양한 실시 예에 따른, 초음파 센서와 반사체 기구의 배치 형태를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 복수의 오브젝트에 의한 멀티 터치가 이루어진 경우의 각 터치 포인트를 판단하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면,
도 7은 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 거리에 따른 초음파 신호의 반사 파형 모델을 나타낸 도면,
도 8a 내지 도 8d는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 고스트 터치 인식을 방지하기 위한 방법을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 각 터치 포인트를 판단하는 과정을 설명하기 위한 흐름도,
도 10은 본 발명의 다른 실시 예에 따른, 멀티 터치에 있어서, 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면,
도 11a 내지 도 12b는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 제1 반사 신호 및 제2 반사 신호의 위상차를 검출하는 방법을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 제1 반사 신호 및 제2 반사 신호의 중첩된 영역의 크기 및 위상 차에 따른 반사 파형 모델을 나타낸 도면,
도 13은 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 제1 반사 신호 및 제2 반사 신호가 서로 특정한 위상 차를 가지는 경우, 제1 반사 신호 및 제2 반사 신호가 서로 중첩된 영역의 크기에 따른 모델을 나타낸 도면,
도 14는 본 발명의 일 실시 예에 따른, 오브젝트의 외곽점을 검출하여 오브젝트의 크기 및 모양을 추정하는 방법을 설명하기 위한 도면,
도 15는 본 발명의 일 실시 예에 따른, 오브젝트의 크기 및 모양을 더욱 정교하게 추정하는 방법을 설명하기 위한 도면,
도 16은 본 발명의 다른 실시 예에 따른, 터치 스크린 장치의 구성을 상세히 도시한 블럭도,
도 17은 본 발명의 일 실시 예에 따른, 터치 스크린 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 일 실시 예에 따른, 터치 스크린 장치의 구성을 간략히 도시한 블럭도이다. 본 발명에 있어서 터치 스크린 장치(100)는 디스플레이를 통해 터치에 의한 사용자 명령을 입력받을 수 있는 전자 장치를 의미하는 것으로, 예컨대 스마트 폰, 카메라, 태블릿 PC, 노트북, 데스크톱, 미디어 플레이어(MP3 플레이어 등), PDA(Personal Digital Assistant), 게임용 단말, 웨어러블 기기 등을 포함할 수 있다. 또한, 본 발명에 따른 터치 스크린 장치는 디스플레이를 탑재한 가전 기기(냉장고, 세탁기 등)에도 적용될 수 있다.
도 1에 따르면 본 발명의 일 실시 예에 따른 터치 스크린 장치(100)는 디스플레이(110), 복수의 초음파 센서(120) 및 프로세서(130)를 포함한다.
디스플레이(110)는 사용자에 의해 터치가 이루어지는 구성이다. 구체적으로, 사용자는 손가락 또는 전자펜을 이용하여 디스플레이(110)에 표시된 다양한 컨텐츠를 터치함으로써, 원하는 정보를 입력할 수 있다. 즉, 디스플레이(110)는 컨텐츠를 디스플레이하면서 동시에 터치 패드의 역할을 하는 터치 스크린(Touch Screen)으로 구현될 수 있다.
한편, 디스플레이(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
여기서, 터치가 이루어지는 디스플레이(110)의 전면에는 디스플레이(110)를 보호하기 위해 강화 처리된 유리 기판 및 보호 필름 등이 제공될 수 있다.
복수의 초음파 센서(120)는 제1 내지 n 초음파 센서(120-1 ~ 120-n)를 포함하며, 제1 내지 n 초음파 센서(120-1 ~ 120-n)는 초음파 신호를 방사하거나 수신하는 구성이다. 제1 내지 n 초음파 센서(120-1 ~ 120-n)는 디스플레이(110)의 외곽에 각각 구비되어, 초음파 신호를 방사하고, 오브젝트에 의해 반사되거나 굴절된 초음파를 수신하여 각 초음파 센서로부터 오브젝트까지의 거리 및 오브젝트의 방향을 검지할 수 있다.
제1 내지 n 초음파 센서(120-1 ~ 120-n)가 터치 스크린 장치(100)에 배치되는 구조 및 디스플레이(110)에 평행하게 방사되는 초음파 신호를 생성하는 방법에 대하여는 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른, 초음파 센서에서 방사되는 초음파 신호를 디스플레이에 평행하게 반사 또는 굴절시키는 방법을 설명하기 위한 터치 스크린 장치의 측면도이다. 이하, 도 2 내지 도 3c에서는, 편의상 제1 초음파 센서(120-1)의 구조 및 동작에 한정하여 설명하도록 한다.
도 2를 참조하면, 제1 초음파 센서(120-1)는 디스플레이(110)의 외곽 부근에 위치하여 디스플레이(110)의 위쪽 방향으로 초음파가 방사되도록 설계될 수 있다. 디스플레이(110)를 터치하는 오브젝트가 사용자의 검지 손가락(50)인 경우, 터치 스크린 장치(100)는 제1 초음파 센서(120-1)에서 초음파 신호가 방사된 후, 검지 손가락(50)에 반사되어 되돌아 오는 시간, 즉, 초음파 신호의 ToF(Time of Flight)를 계산하여 검지 손가락(50)이 제1 초음파 센서(120-1)로부터 떨어진 거리를 검지할 수 있다.
그러나 이때, 제1 초음파 센서(120-1)는 3차원 공간의 일정한 각도의 범위로 초음파 신호를 방사하기 때문에, 사용자의 검지 손가락(50) 뿐만 아니라, 사용자의 엄지 손가락, 손등 또는 다른 물체에 의해 반사되어 되돌아오는 반사 신호를 모두 수신하므로, 터치 스크린 장치(100)가 검지 손가락(50)이 디스플레이(110)에 터치된 위치를 정확히 검지할 수 없게 된다.
따라서, 본 발명의 터치 스크린 장치(100)는 도 2에 도시된 바와 같이, 제1 초음파 센서(120-1) 부근에 반사체 기구(10)가 설치되어, 제1 초음파 센서(120-1)로부터 방사되는 초음파 신호의 일부를 반사 또는 굴절시켜 디스플레이(110) 면과 평행하게 방사되도록 할 수 있다.
여기서, 반사체 기구(10)의 안쪽 면은, 제1 초음파 센서(120-1)로부터 방사된 초음파 신호가 디스플레이(110) 면과 평행하게 방사되도록 반사 또는 굴절되도록 설계된 포물면(paraboloid)의 형태로 구현될 수 있다. 반사체 기구(10)는 금속, 플라스틱 등 초음파를 반사 또는 굴절시킬 수 있는 모든 물질을 재료로 제작될 수 있다.
또한, 터치 스크린 장치(100)는 제1 초음파 센서(120-1)에서 방사되는 초음파 신호 중에서, 디스플레이(110) 위에서 디스플레이(110) 면과 평행하게 반사되는 초음파 신호 외의 나머지 초음파 신호, 즉, 기생 신호를 흡수하기 위한 초음파 흡음재(20)를 더 포함할 수 있다. 초음파 흡음재(20)는 초음파를 흡수하는 성능이 뛰어난 재료 등으로 구성될 수 있다. 예를 들어, 초음파 흡음재(20)는 텍스, 펠트, 천 등의 외공성 물질을 이용하여 제작되거나 공명 흡수 방식에 의하는 경우 흡음판 등을 이용하여 제작될 수 있다.
한편, 검지 손가락(50)이 디스플레이(110)에 근접하여 호버링(Hovering)된 경우에도 터치된 것으로 인식되는 것을 방지하기 위하여, 디스플레이(110) 면과 평행하게 방사되는 초음파 신호와 디스플레이(110) 간의 거리(41)는 최소화되는 것이 바람직하다. 또한, 기생 신호의 발생을 최소화하거나, 발생된 기생 신호를 제거하여 기생 신호에 의한 노이즈(parastic reflection noise)를 최소화하는 것이 바람직하다.
이를 위하여, 반사체 기구(10)는 높이, 위치 및 포물면의 형태가 적절하게 선택되어 설계될 수 있다. 도 3a 내지 도 3c는 본 발명의 다양한 실시 예에 따른, 초음파 센서와 반사체 기구의 배치 형태를 도시한 도면이다.
도 3a는 도 2에 도시된 제1 초음파 센서(120-1) 및 반사체 기구(10)의 배치 형태를 자세히 도시한 도면이다. 도 3a에 도시된 바와 같이, 디스플레이(110)의 외곽 모서리에는 디스플레이(110)와 반사체 기구(10)를 연결하기 위한 PCB 연결부(30)가 포함될 수 있으며, PCB 연결부(30)의 하부에는 디스플레이(110)를 감싸는 베젤과 디스플레이(110)를 결합하기 위한 베젤 결합부(40)가 포함될 수 있다. PCB 연결부(30)의 상부에는 제1 초음파 센서(120-1) 및 반사체 기구(10)가 결합될 수 있다.
도 3a에 도시된 바와 같이, 반사체 기구(10)에 의해 반사되는 초음파 신호의 일부는 디스플레이(110) 위에서 디스플레이(110) 면과 평행하게 방사될 수 있다. 도 3a의 실시 예의 경우, 반사체 기구(10)에 의해 반사되지 않는 초음파 신호의 일부는 초음파 흡음재(20)에 의하여 흡수되거나 반사되어 디스플레이(110) 면과 평행하지 않은 방향으로 이탈할 수 있으나, 구조가 단순하여 제작이 용이한 장점이 있다.
한편, 여기서, PCB 연결부(30)는 초음파를 흡수할 수 있는 흡음재로 구현될 수도 있다.
도 3b는 본 발명의 다른 실시 예에 따른, 초음파 센서와 반사체 기구의 배치 형태를 도시한 도면이다. 도 3b의 실시 예에서는, PCB 연결부(30)의 내부 공간이 돔 형태로 설계되고, PCB 연결부(30)의 상부의 바깥면에 반사체 기구(10)가 결합될 수 있다. PCB 연결부(30)의 돔 형태로 설계된 내부 공간에는 제1 초음파 센서(120-1)가 PCB 연결부(30)의 상부에 결합된다.
도 3b에 도시된 바와 같이, 터치 스크린 장치(100)는 제1 초음파 센서(120-1)에서 방사되는 초음파 신호의 대부분이 PCB 연결부(120-1)에 의해 흡수되거나 반사되어, PCB 연결부(120-1)의 외부로 이탈되지 않도록 설계될 수 있다. 이때, PCB 연결부(30)의 개구부를 통해 일정한 범위의 방향으로 방사되는 초음파 신호만이 반사체 기구(10)에 의해 반사되어 디스플레이(110) 면에 평행하게 방사될 수 있다.
도 3b의 실시 예의 경우, 기생 신호가 PCB 연결부(30)에 의해 반사되어 제1 초음파 센서(120-1)로 되돌아가므로, 기생 신호에 의한 노이즈를 줄일 수 있는 장점이 있다.
도 3c는 본 발명의 다른 실시 예에 따른, 초음파 센서와 반사체 기구의 배치 형태를 도시한 도면이다. 도 3c의 실시 예에서는, 반사체 기구(10-1)가 디스플레이(110) 면보다 아래에 배치되어 디스플레이(110)와 결합되며, 디스플레이(110)와 반사체 기구(10-1)의 결합 면 반대 측에는 베젤(10-2)이 결합될 수 있다.
이때, 베젤(10-2)은 반사체 기구(10-1)에 의해 반사되어 위쪽 방향으로 방사되는 초음파 신호가 디스플레이(110) 위에서 디스플레이(110) 면과 평행하도록 90도로 반사시킬 수 있는 반사면을 포함하는 형태를 갖도록 설계될 수 있다. 이에 따라, 반사체 기구(10-1)에 의해 반사되어 베젤(10-2)의 반사면의 극히 일부의 영역에서 반사되는 초음파 신호만이 디스플레이(110) 위에서 디스플레이(110) 면과 평행하도록 방사될 수 있다.
도 3c의 실시 예의 경우, 베젤(10-2)의 높이를 최소화하여 디스플레이(110) 면과 평행하게 방사되는 초음파와 디스플레이(110) 사이의 거리를 최소화할 수 있으므로 호버링에 의한 터치 인식 오인률을 줄일 수 있다는 장점이 있다.
한편, 도 1에 있어서, 프로세서(130)는 터치 스크린 장치(100)의 전반적인 동작을 제어하는 구성이다.
프로세서(130)는 복수의 초음파 센서(120)로부터 방사된 초음파 신호가 디스플레이에 터치된 오브젝트에 의해 반사되어 복수의 초음파 센서에 의해 각각 수신되면, 수신된 각각의 초음파 신호의 ToF에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.
예를 들어, 프로세서(130)는 제1 초음파 센서 및 제2 초음파 센서에서 각각 방사된 초음파 신호가 오브젝트에 의해 반사되어 제1 초음파 센서 및 제2 초음파 센서 각각에 의해 수신되면, 각각 수신된 초음파 신호의 ToF에 기초하여 제1 초음파 센서 및 제2 초음파 센서로부터 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고, 산출된 각각의 거리에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.
이하, 오브젝트의 터치 포인트를 판단하는 구체적인 방법에 대하여는 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면이다. 이하에서는, 제1 내지 4 초음파 센서(120-1 ~ 120-4)가 디스플레이(110)의 각 코너 부근에 각각 한 개씩 구비되는 실시 예에 대하여 설명하도록 한다. 다만, 본 발명의 실시가 이러한 실시 예에 한정되는 것은 아니며, 본 발명의 터치 스크린 장치(100)가 디스플레이(110)의 외곽의 다양한 위치에 2개 또는 3개의 초음파 센서를 구비하거나, 5개 이상의 초음파 센서를 구비하여 실시되는 것 또한 본 발명의 기술적 사상에 포함될 수 있음을 자명하다.
도 4에 도시된 바와 같이, 오브젝트(o1)가 디스플레이(110) 상에 터치된 경우, 프로세서(130)는 제1 초음파 센서(120-1)의 발신부(tA)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제1 초음파 센서(120-1)의 수신부(rA)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 이때, 초음파의 속력은 340m/s로 항상 일정하므로 프로세서(130)는, 검출된 ToF에 기초하여 제1 초음파 센서(120-1)로부터 오브젝트(o1)까지의 거리 a1을 계산할 수 있다.
또한, 프로세서(130)는 제2 초음파 센서(120-2)의 발신부(tB)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제2 초음파 센서(120-2)의 수신부(rb)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 프로세서(130)는, 마찬가지로 검출된 ToF에 기초하여 제2 초음파 센서(120-2)로부터 오브젝트(o1)까지의 거리 b1을 계산할 수 있다.
거리 a1 및 b1이 계산되면, 디스플레이(110) 상에서의 오브젝트(o1)의 위치는 삼각법에 의해 계산될 수 있다. 즉, 터치 스크린 장치(100)에서 제1 초음파 센서(120-1) 및 제2 초음파 센서(120-2) 사이의 거리는 기지의 정보라고 가정했을 때, 제1 초음파 센서(120-1)로부터 오브젝트(o1)까지의 거리 a1과 제2 초음파 센서(120-2)로부터 오브젝트(o1)까지의 거리 b1이 계산되면, 삼각형의 3 요소(세 변의 길이)가 결정되며, 프로세서(130)는 도 4에 도시된 바와 같은 삼각법에 의해 디스플레이(110)의 2차원 좌표 상에서의 오브젝트(o1)의 위치를 판단할 수 있다.
결과적으로, 프로세서(130)는 오브젝트(o1)가 제1 초음파 센서(120-1) 및 제2 초음파 센서(120-2)로부터 떨어진 거리에 기초하여 오브젝트(o1)의 터치 포인트를 판단할 수 있다.
이와 같이, 오브젝트(o1)의 터치 포인트를 판단하기 위해서는 최소 2개의 초음파 센서로부터의 거리를 계산하여야 한다. 이때, 거리 계산에 이용되는 초음파 센서는 다양하게 선택될 수 있으나, 가장 빠른 ToF를 검출하는 초음파 센서, 즉, 오브젝트(o1)와 가장 최단 거리에 있는 초음파 센서 및 이와 가장 가까이에 인접한 초음파 센서가 포함되도록 선택되는 것이 바람직하다.
한편, 제1 내지 4 초음파 센서(120-1 ~ 102-4))로부터 방사되는 초음파 신호는 서로 다른 신호일 수 있다. 예를 들어, 제1 초음파 센서(120-1) 및 제2 초음파 센서(120-2)로부터 방사되는 초음파 신호는 서로 다른 주파수를 가질 수 있다.
구체적으로, 각 초음파 센서는, 자신이 방사한 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호 뿐만 아니라 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호 또한 수신할 수 있다. 이로 인해, 프로세서(130)가 초음파 센서로부터 오브젝트(o1)까지의 거리를 정확하게 측정하지 못하는 문제가 발생할 수 있다.
따라서, 각 초음파 센서에서 방사되는 초음파 신호를 서로 다른 신호로 구현함으로써, 초음파 센서에서 수신되는 초음파 신호로부터 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호를 분리할 수 있다.
또한, 프로세서(130)는 제1 초음파 센서(120-1) 및 제2 초음파 센서(120-2)로부터 방사되는 초음파 신호를 시분할(time division) 처리하여 각 초음파 센서로부터 방사되는 초음파 신호를 시간에 따라 구별하여 분리함으로써, 동일하게 문제를 해결할 수 있다.
한편, 프로세서(130)는 복수의 오브젝트에 의해 디스플레이(110)에 멀티 터치(multi-touch)가 이루어진 경우에도 상술한 방식과 동일한 방식으로 터치 포인트를 판단할 수 있다. 이에 대한 구체적인 내용은 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른, 복수의 오브젝트에 의한 멀티 터치가 이루어진 경우의 각 터치 포인트를 판단하는 방법을 설명하기 위한 도면이다.
예를 들어, 2개의 오브젝트에 의해 멀티 터치가 이루어진 경우, 프로세서(130)는 제1 초음파 센서(120-1)에 의해 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 반사되어 되돌아오는 초음파 신호의 ToF를 이용하여, 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리(a1)를 계산할 수 있다. 또한, 프로세서(130)는 제2 초음파 센서(120-2)에 의해 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 반사되어 되돌아오는 초음파 신호의 ToF를 이용하여, 제2 초음파 센서(120-2)로부터 제1 오브젝트(o1)까지의 거리(b2)를 계산할 수 있다. 프로세서(130)는 계산된 거리 a1 및 b2를 이용하여, 디스플레이(110)의 2차원 좌표 상에서의 제1 오브젝트(o1)의 터치 포인트를 판단할 수 있다.
한편, 제2 오브젝트(O2)에 의한 터치 포인트를 판단하는 과정도 이와 동일하다. 프로세서(130)는 제2 초음파 센서(120-2)에 의해 방사된 초음파가 제2 오브젝트(O2)에 의해 반사되어 되돌아오는 초음파 신호의 ToF를 이용하여, 제2 초음파 센서(120-2)로부터 제2 오브젝트(O2)까지의 거리(b1)를 계산할 수 있다. 또한, 프로세서(130)는 제1 초음파 센서(120-1)에 의해 방사된 초음파 신호가 제2 오브젝트(O2)에 의해 반사되어 되돌아오는 초음파 신호의 ToF를 이용하여, 제1 초음파 센서(120-1)로부터 제2 오브젝트(O2)까지의 거리(a2)를 계산할 수 있다. 프로세서(130)는 계산된 거리 b1 및 a2를 이용하여, 디스플레이(110)의 2차원 좌표 상에서의 제2 오브젝트(O2)의 터치 포인트를 판단할 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면이다.
도 6의 (a)에 도시된 신호의 파형을 제1 초음파 센서(120-1)에서 수신되는 반사 신호라고 가정할 수 있다. 도 6에 도시된 바와 같이, 반사 신호의 파형은 제1 초음파 센서(120-1)로부터 방사되어 제1 오브젝트(o1)에 의해 반사되어 되돌아온 신호의 파형(61)과 제1 초음파 센서(120-1)로부터 방사되어 제1 오브젝트(o1)보다 제1 초음파 센서(120-1)로부터 멀리 떨어진 제2 오브젝트(o2)에 의해 반사되어 되돌아온 신호의 파형(62)을 포함할 수 있다. 이때, 두 신호의 파형(61, 62)은 서로 중첩되지 않음을 전제로 한다.
이때, 프로세서(130)는 도 6의 (a)에 나타난 반사 신호의 파형(61, 62)으로부터 두 신호가 각각 제1 초음파 센서(120-1)에 수신된 시간을 검출할 수 있다. 도 6의 (a)를 참조하면, 제1 오브젝트(o1)에 의한 반사 신호가 수신된 시간은 가로축의 2에 해당하는 시간이며, 제2 오브젝트(o2)에 의한 반사 신호가 수신된 시간은 가로축의 4에 해당하는 시간이 된다. 이와 같은 정보를 이용하여, 프로세서(130)는 제1 초음파 센서(120-1)에서 초음파를 방사한 시간 및 각 반사 신호가 검출된 시간에 대한 정보를 이용하여 제1 오브젝트(o1) 및 제2 오브젝트(o2)에 대한 초음파 신호의 ToF 및 거리를 각각 검출할 수 있다.
한편, 이와 다른 실시 예로서, 본 발명의 터치 스크린 장치(100)는 거리에 따른 초음파 신호의 반사 파형을 저장하는 저장부(미도시)를 더 포함할 수 있다. 이때, 프로세서(130)는 검출된 각각의 반사 신호의 파형(61, 62)과 저장된 반사 파형을 비교하여, 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1) 및 제2 오브젝트(o2)까지의 거리를 각각 판단할 수 있다.
구체적으로, 프로세서(130)는 도 6의 (b)에 도시된 바와 같이, 제1 오브젝트(o1)에 의한 반사 신호의 파형(61)에 대한 엔빌로프(63) 및 제2 오브젝트(o2)에 의한 반사 신호의 파형(62)에 대한 엔빌로프(64)를 추출하고, 추출된 엔빌로프(64)와 저장부에 저장된 거리에 따른 초음파 신호의 반사 파형의 엔빌로프를 비교할 수 있다. 도 7에 도시된 바와 같이, 저장부는 멀티 터치에 있어서, 거리에 따른 초음파 신호의 반사 파형 모델 저장할 수 있다.
도 7을 참조하면, 저장부는 방사되는 초음파 신호(Tx)에 있어서, 오브젝트에 의해 반사되어 되돌아오는 반사 신호 파형의 엔빌로프 특성에 대응하여 초음파 센서로부터 오브젝트까지의 거리 또는 ToF가 매핑된 룩업 테이블(look-up table)을 저장할 수 있다. 이에 따라, 프로세서(130)는 추출된 각 반사 신호의 엔빌로프(63, 64)의 슬로프(slope) 및 강도(intensity)에 대한 특성에 대응되는 거리 또는 ToF에 대한 값을 저장부에 저장된 룩업 테이블에서 탐색하여 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1) 및 제2 오브젝트(o2)까지의 거리를 각각 판단할 수 있다.
다만, 2개 이상의 오브젝트에 의한 터치 포인트가 존재하는 경우, 각 초음파 센서에 의해 검출되는 반사 신호가 각 오브젝트에 의해 반사된 초음파 신호를 모두 포함하므로, 각 초음파 센서에 의해 검출되는 ToF를 조합하는 경우 실제 터치 포인트가 아닌 좌표, 즉 고스트 터치(ghost touch) 포인트가 나타나게 된다. 고스트 터치를 제거하는 방법에 대하여는 도 8a 내지 도 8d와 관련하여 후술하도록 한다.
도 8a 내지 도 8d는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 고스트 터치 인식을 방지하기 위한 방법을 설명하기 위한 도면이다.
도 8a 및 도 8c는 고스트 터치가 발생되는 과정을 설명하기 위한 도면이다. 구체적으로 도 8a를 참조하면, 프로세서(130)는 제1 초음파 센서(120-1)에서 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 반사되어 되돌아오는 초음파 신호의 ToF를 검출하여 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리(a1)를 계산할 수 있다. 이때, 프로세서(130)는 제2 초음파 센서(120-2)에서 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 반사되어 되돌아오는 초음파 신호의 ToF 뿐만 아니라, 제2 초음파 센서(120-2)에서 방사된 초음파 신호가 제2 오브젝트(02)에 의해 반사되어 되돌아오는 초음파 신호의 ToF 또한 검출하게 되므로 2가지 조합이 가능하게 되는 문제가 발생한다. 즉, 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리(a1)와 제2 초음파 센서(120-2)로부터 제1 오브젝트(o1)까지의 거리(b2)가 조합되는 경우에는 실제하는 터치 포인트(11a)가 검출되지만, 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리(a1)와 제2 초음파 센서(120-2)로부터 제2 오브젝트(o2)까지의 거리(b2)가 조합되는 경우에는 실제하지 않는 고스트 터치 포인트(11c)가 발생하게 된다.
한편, 도 8b는 도 8a의 경우와 마찬가지로, 제1 초음파 센서(120-1)에서 방사된 초음파 신호가 제2 오브젝트(o2)에 의해 반사되어 되돌아오는 초음파 신호의 ToF와 제2 초음파 센서(120-2)에서 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 반사되어 되돌아오는 초음파 신호의 ToF가 조합되는 경우에 실제하지 않는 고스트 터치 포인트(11d)가 발생하는 현상을 도시한 것이다.
따라서, 도 8c에 도시된 바와 같이 실제의 터치 포인트(11a, 11b) 외에도 각 초음파 센서에 의해 검출된 거리의 조합에 의한 고스트 터치 포인트(11c, 11d)가 추가적으로 발생하게 되므로, 터치 인식 오류가 일어나게 되는 문제가 발생하게 된다.
이러한 고스트 터치의 인식을 방지하기 위하여 프로세서(130)는 제1 초음파 센서(120-1)에 의해 방사된 초음파 신호가 제1 오브젝트(o1)에 의해 굴절되어 제2 초음파 센서에 의해 수신되면, 굴절되어 수신된 초음파 신호의 ToF를 추가적으로 이용하여 제1 오브젝트의 고스트 터치(Ghost Touch) 포인트를 제거함으로써, 제1 오브젝트(o1)가 터치된 지점을 판단할 수 있다.
구체적으로, 프로세서(130)는, 제1 초음파 센서(120-1)에 의해 수신된 초음파 신호에서, 제1 오브젝트 외의 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 제1 오브젝트(o1)에 의해 반사된 초음파 신호를 추출하고, 제2 초음파 센서(120-2)에 의해 수신된 초음파 신호에서, 제1 오브젝트(o1)에 의해 굴절되어 수신된 초음파 신호의 ToF를 이용하여 제2 오브젝트(o2)에 의해 반사된 초음파 신호를 추출하고, 추출된 각각의 초음파 신호에 기초하여 제1 오브젝트(o1)의 터치 포인트를 판단할 수 있다. 여기서 제1 오브젝트(o1)는 다른 오브젝트보다 상대적으로 제1 초음파 센서(120-1)에 가까운 포인트에 터치된 오브젝트로서, 제1 오브젝트에 의해 반사된 초음파 신호가 가장 먼저 제1 초음파 센서(120-1)에 의해 수신되는 신호임이 바람직하다.
예를 들어, 도 8d를 참조하면, 제1 초음파 센서(120-1)에서 방사되는 초음파 신호 중에서 제1 오브젝트(o1)에 의해 굴절되어 제2 초음파 센서(120-2)로 수신되는 초음파 신호가 존재할 수 있다. 프로세서(130)는 이러한 굴절 신호의 ToF를 검출하고, 실제 터치 포인트(11a) 및 고스트 터치 포인트(11c) 중에서, 검출된 굴절 신호의 ToF를 만족하는 포인트를 실제 터치 포인트(11a)로 판단할 수 있다. 이때, 프로세서(130)는 제1 초음파 센서(120-1)에서 방사되어 실제 터치 포인트(11a)에서 굴절된 후 제2 초음파 센서(120-2)에 수신되는 가상의 굴절 신호의 ToF 및 고스트 터치 포인트(11c)에서 굴절된 후 제2 초음파 센서(120-2)에 수신되는 가상의 굴절 신호의 ToF를 계산하고, 계산된 ToF와 실제 검출된 굴절 신호의 ToF를 비교하는 과정을 수행하게 된다.
이를 위해, 제1 초음파 센서(120-1)와 제2 초음파 센서(120-2)는 서로 동기화(Synchronization)가 수행될 수 있다. 동기화가 수행된 제1 초음파 센서(120-1) 및 제2 초음파 센서(120-2)는 각 초음파 센서에서 방사되는 초음파 신호 및 수신되는 초음파 신호의 시간 정보를 공유할 수 있으므로 상술한 실시 예에서의 굴절 신호에 대한 ToF가 검출될 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 각 터치 포인트를 판단하는 과정을 설명하기 위한 흐름도이다.
먼저, 제1 초음파 센서(120-1)에서 반사 신호(제1 Rx 신호)를 수신하면(S905), 수신된 제1 Rx 신호가 수신된 시간을 이용하여, 제1 초음파 센서(120-1)로부터 가장 가까운 포인트에 터치된 오브젝트(o1)에 의해 반사된 신호의 ToF(1st ToF)를 추출할 수 있다(S910). 여기서, 제1 초음파 센서(120-1)에 제일 가까운 포인트에 터치된 오브젝트(o1)를 제1 오브젝트라 하고, 나머지 다른 포인트에 터치된 오브젝트(o2)를 제2 오브젝트라고 정의하기로 한다.
이 후, 추출된 ToF를 기초로하여, 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리를 검출할 수 있다(S915).
한편, 제2 초음파 센서(120-2)에서 반사 신호(제2 Rx 신호)를 수신하면(S920), 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)에 굴절되어 제2 초음파 센서(120-2)에 수신되는 초음파 신호의 ToF를 추출할 수 있다(S925). 추출된 ToF에 기초하여 제2 초음파 센서(120-2)로부터 수신된 제2 Rx 신호 중에서 제1 오브젝트(o1)에 의해 반사되어 수신된 초음파 신호가 무엇인지 판단하고, 이에 따라 제2 Rx 신호를 구성하는 신호 중 가장 빠른 신호의 ToF(1st ToF) 또는 그 다음 차순의 신호의 ToF(2nd ToF)를 추출할 수 있다(S930).
이때, S915 단계에서 검출된 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리와 S930 단계에서 검출된 제2 초음파 센서(120-2)로부터 제1 오브젝트(o1)까지의 거리를 이용한 삼각법에 의해 제1 오브젝트(o1)의 위치를 검출할 수 있다(S940).
한편, 제1 Rx 신호에서 제1 오브젝트(o1)에 의해 반사된 초음파 신호(1st 반사 신호)를 제거하여, 제2 오브젝트(o2)에 의해 반사된 초음파 신호(2nd 반사 신호)의 ToF(2nd ToF)를 추출할 수 있다(S945). 이에 따라, 제1 초음파 센서(120-1)로부터 제2 오브젝트(o2)까지의 거리를 검출할 수 있다(S950).
또한, 제1 오브젝트(o1)에 의해 반사된 초음파 신호에 해당하는 1st 반사 신호 또는 2nd 반사 신호가 제거된 제2 Rx 신호로부터 1st ToF 또는 2nd ToF를 추출하고(S955), 추출된 ToF에 기초하여 제2 초음파 센서(120-2)로부터 제2 오브젝트(o2)까지의 거리를 검출할 수 있다(S960).
이때, S950 단계에서 검출된 제1 초음파 센서(120-1)로부터 제2 오브젝트(o2)까지의 거리와 S960 단계에서 검출된 제2 초음파 센서(120-2)로부터 제2 오브젝트(o2)까지의 거리를 이용한 삼각법에 의해 제2 오브젝트(o2)의 위치를 검출할 수 있다(S965).
도 10은 본 발명의 다른 실시 예에 따른, 멀티 터치에 있어서, 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면이다.
도 10의 (a) 및 (b)에 따르면, 초음파 센서에 의해 수신된 반사 신호의 파형(101)은 제1 오브젝트(o1) 및 제1 오브젝트(o1)보다 상대적으로 초음파 센서로부터 멀리 떨어진 포인트의 제2 오브젝트(o2)에 의해 반사되는 두 개의 초음파 신호의 파형(102, 103)의 일부 영역이 서로 중첩된 형태일 수 있다. 여기서, 초음파 센서는 제1 초음파 센서(120-1)인 경우를 가정하여 설명하도록 한다. 두 개의 초음파 신호가 서로 중첩되는 정도는 제1 초음파 센서(120-1)로부터 제1 오브젝트(o1)까지의 거리(a1)와 제1 초음파 센서(120-1)로부터 제2 오브젝트(o2)까지의 거리(a2)의 차이가 작을수록 크다.
한편, 저장부는, 제1 오브젝트(o1) 및 제2 오브젝트(o2) 각각에 의해 반사된 초음파 신호가 중첩된 반사 신호에 있어서, 중첩된 영역의 크기에 따른 반사 파형모델을 저장할 수 있다.
이때, 프로세서(130)는, 제1 초음파 센서(120-1)에 의해 수신된 반사 신호 파형(101)의 엔빌로프(106)를 추출하고, 추출된 엔빌로프(106)를 저장된 반사 파형 모델의 엔빌로프와 비교하여 두 초음파 신호의 파형(102, 103)의 독립적인 엔빌로프 모델(104, 105)을 각각 탐색할 수 있다. 구체적인 탐색 과정에 대하여는 도 12에 대한 설명에서 후술하도록 한다.
도 11a 내지 도 11b는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 제1 반사 신호 및 제2 반사 신호의 위상차를 검출하는 방법을 설명하기 위한 도면이다.
도 11a에 도시된 바와 같이, 제1 초음파 센서(120-1)에 의해 수신된 반사 신호는 제1 오브젝트(o1)에 의해 반사된 초음파 신호(실선) 및 제2 오브젝트(o2)에 의해 반사된 초음파 신호(점선)가 서로 일부 중첩된 형태일 수 있다. 이하, 설명의 편의를 위해 제1 오브젝트(o1)에 의해 반사된 초음파 신호를 제1 반사 신호, 제2 오브젝트(o2)에 의해 반사된 초음파 신호를 제2 반사 신호라 칭하도록 한다. 또한, 제1 반사 신호만 수신되는 영역을 제1 영역, 제1 반사 신호 및 제2 반사 신호가 중첩되어 수신되는 영역을 제2 영역, 제2 반사 신호만 수신되는 영역을 제3 영역이라 칭하도록 한다. 한편, 제1 반사 신호 및 제2 반사 신호가 수신되는 간격(제1 영역의 길이)은 10.25λ에 해당하며, 제1 반사 신호 및 제2 반사 신호는 90도의 위상차를 가진다.
제1 초음파 센서(120-1)에 의해 수신되는 반사 신호는 도 11b에 도시된 바와 같다. 도 11b를 참조하면, 제1 반사 신호만 수신되는 제1 영역에서는 일정한 주기를 유지하다가(in phase), 제1 반사 신호 및 제2 반사 신호가 중첩되는 제2 영역에서는 위상 차로 인해 주기가 변화하게 된다(out phase). 이후, 제2 반사 신호만 수신되는 제3 영역에서는 다시 일정한 주기를 유지한다(in phase). 그러나, 제1 영역과 제3 영역에서 수신되는 신호의 위상은 90도 만큼의 차이가 발생하게 된다.
따라서, 프로세서(130)는 제1 반사 신호만 수신되는 영역에서 제1 반사 신호의 위상 및 제2 반사 신호만 수신되는 영역에서의 제2 반사 신호의 위상을 비교하여 두 신호의 위상 차이를 검출할 수 있다. 프로세서(130)는, 제1 반사 신호만 수신되는 제1 영역의 거리 정보에 더하여, 제1 반사 신호 및 제2 반사 신호의 위상 차이에 대한 정보, 제2 반사 신호의 슬로프(rising slope, falling slope) 및 강도(intensity)에 대한 정보를 종합적으로 이용하여 제2 반사 신호의 ToF를 검출할 수 있다. 이에 대한 구체적인 내용은 도 12를 참조하여 설명하도록 한다.
도 12는 본 발명의 일 실시 예에 따른, 멀티 터치에 있어서, 제1 반사 신호 및 제2 반사 신호의 중첩된 영역의 크기 및 위상 차에 따른 반사 파형 모델을 나타낸 도면이다.
저장부는, 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 저장할 수 있다.
이때, 프로세서(130)는 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 중첩된 초음파 신호의 강도 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출하고, 추출된 반사 파형에 기초하여 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단할 수 있다.
도 12를 참조하면, 저장부는 초음파 센서에 의해 수신되는 반사 신호 파형에 있어서, 제1 반사 신호 및 제2 반사 신호의 중첩된 영역의 크기 및 위상 차에 따른 반사 신호 파형의 특성에 대응되는 제1 반사 신호 및 제2 반사 신호의 독립적인 반사 파형 모델을 저장할 수 있다. 도 12는 저장부가 제1 반사 신호 및 제2 반사 신호의 독립적인 반사 파형의 엔빌로프 모델을 룩업 테이블 형식으로 저장한 예를 도시한 것이다.
구체적으로, 제1 영역의 크기에 따라서, 저장부에 저장된 엔빌로프 모델이 분류될 수 있다. 예를 들어, 제1 영역의 크기를 Rx1-Rx2라고 정의하고, 제1 반사 신호의 수신이 시작되는 지점부터 종료되는 시점까지의 거리 또는, 제2 반사 신호의 수신이 시작되는 지점부터 종료되는 시점까지의 거리를 Tp라고 정의할 수 있다. 이때, 저장부에 저장된 엔빌로프 모델은, 0 < Rx1 - Rx2 <Tp/2의 수식을 만족하는 제1 엔빌로프 모델군, Tp/2 < Rx1 - Rx2 < Tp의 수식을 만족하는 제2 엔빌로프 모델군 및 Tp < Rx1 - Rx2의 수식을 만족하는 제3 엔빌로프 모델군으로 분류될 수 있다. 즉, 제1 엔빌로프 모델군은 제1 반사 신호 및 제2 반사 신호가 절반 이상 중첩된 것으로, 중첩 영역의 크기가 가장 크고, 제3 반사 파형 모델군은 제1 반사 신호 및 제2 반사 신호의 중첩 영역의 크기가 가장 작다. 예를 들어, 제1 엔빌로프 모델군의 경우 제1 영역의 크기는 약 5λ, 제2 엔빌로프 모델군의 경우 제1 영역의 크기는 약 10λ, 제3 반사 파형 모델군의 경우 제1 영역의 크기는 약 15λ에 해당한다.
한편, 도 12의 가로축(X1) 및 세로축(Y1)에 따른 분류에 있어서, 가로축(X1)은 제1 반사 신호와 제2 반사 신호의 수신 간격(Rx1 - Rx2)을 소수점 단위의 값을 제외한 실수값의 크기에 따라 분류한 것이고, 세로축(Y1)은 제1 반사 신호와 제2 반사 신호의 수신 간격을 소수점 단위의 소수값의 크기, 즉 위상 차만을 고려하여 분류한 것이다.
프로세서(130)는 룩업 테이블로부터, 제1 초음파 센서(120-1)에서 수신된 반사 신호에서 발생하는 위상 차 및 제1 영역의 크기에 대응되는 엔빌로프 모델군을 가로축(X1) 및 세로축(Y1)으로부터 탐색하여 대응되는 후보 모델군을 좁힐 수 있으며, 수신된 반사 신호의 슬로프 및 강도를 후보 모델군과 비교하여 최종적으로 대응되는 엔빌로프 모델을 결정할 수 있다.
예를 들어, 도 13에 도시된 바와 같이, 위상 차가 결정된 경우, 해당하는 위상 차를 갖고 서로 다른 실수값을 갖는 복수의 엔빌로프 모델이 포함된 후보 모델 군이 탐색 대상 모델군이 될 수 있다.
한편, 세로축(Y1)에 따른 위상 차에 따른 분류는 제1 반사 신호 및 제2 반사 신호의 간격 차이가 가로축(X1)에 비하여 상대적으로 미미하긴 하지만, 제1 반사 신호 및 제2 반사 신호의 중첩 영역의 크기가 클수록 제1 초음파 센서(120-1)에 의해 수신되는 반사 신호의 파형이 위상 차에 따라 센시티브하게 변화하므로, 특히 제1 엔빌로프 모델군에 있어서, 도 11b에 따른 위상차 판단이 수행됨이 바람직하다.
프로세서(130)는 위와 같은 과정에 따라 최종적인 엔빌로프 모델이 결정되면 제2 반사 신호의 독립적인 엔빌로프 모델로부터 제2 반사 신호의 수신이 시작되는 시점을 예측할 수 있으며, 제1 초음파 센서(120-1)에서 방사된 초음파 신호가 제2 오브젝트에 의해 반사되어 되돌아오는 반사 신호의 ToF를 검출할 수 있게 된다.
도 14는 본 발명의 일 실시 예에 따른, 오브젝트의 외곽점을 검출하여 오브젝트의 크기 및 모양을 추정하는 방법을 설명하기 위한 도면이다.
도 14의 (a)에 도시된 바와 같이, 디스플레이(110) 상에서 오브젝트(o1)에 의한 면 터치가 이루어진 경우, 터치된 오브젝트(o1) 면의 형체를 검출하는 기술 분야에서도 본 발명이 기술적 사상이 적용될 수 있다. 구체적으로, 프로세서(130)는 도 14의 (b)에 도시된 바와 같이, 디스플레이(110)의 각 코너에 구비된 초음파 센서에서 방사되는 초음파 신호가 오브젝트에 의해 반사되어 각 초음파 센서로 반사되어 되돌아가는 반사 신호의 ToF를 계산하여, 오브젝트(o1)의 외곽점을 검출할 수 있다. 이때, 프로세서(130)는 오브젝트(o1)의 외곽점을 연결하여 오브젝트(o1)의 크기 및 모양을 추정할 수 있다.
도 15는 본 발명의 일 실시 예에 따른, 오브젝트의 크기 및 모양을 더욱 정교하게 추정하는 방법을 설명하기 위한 도면이다.
프로세서(130)는 하나의 초음파 센서에서 방사된 초음파 신호가 오브젝트에 굴절되어 다른 초음파 센서에 수신되는 시간을 계산하여, 오브젝트의 추가적인 외곽점을 검출할 수 있다. 도 15에 도시된 바와 같이, 제3 초음파 센서(120-3)에서 방사되는 초음파 신호 중에서 일부는 오브젝트에 의해 굴절되어 제4 초음파 센서(120-4)에서 수신될 수 있다. 이때, 프로세서(130)는 오브젝트에 의해 굴절된 초음파 신호의 ToF를 계산하여, 굴절이 이루어진 외곽점(14e)을 검출할 수 있다.
이를 위하여, 제3 초음파 센서 및 제4 초음파 센서는 서로 동기화를 수행할 수 있으며, 각 초음파 센서(120-3, 120-4)에서 방사되는 초음파 신호는 서로 다른 신호일 수 있다. 예를 들어, 제3 초음파 센서(120-3) 및 제4 초음파 센서(120-4)는 서로 다른 주파수를 가지는 구별된 신호일 수 있다. 또한, 제3 초음파 센서(120-3) 및 제4 초음파 센서(120-4)에서 방사되는 초음파 신호는 프로세서(130)에 의해 시분할 처리될 수 있다.
상술한 실시 예에 따라, 초음파 센서의 갯수를 늘리지 않고도, 오브젝트의 외곽점을 추가적으로 추출할 수 있으므로 오브젝트의 크기 및 모양을 더욱 정교하게 추정할 수 있다.
도 16은 본 발명의 다른 실시 예에 따른, 터치 스크린 장치의 구성을 상세히 도시한 블럭도이다. 도 16에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 터치 스크린 장치(100')는 디스플레이(110), 제1 내지 n 초음파 센서(120-1 ~ 120-n), 프로세서(130), 저장부(140), 사용자 인터페이스(150)를 포함한다. 이하에서는 도 1과 중복되는 구성에 대한 설명은 생략하기로 한다.
프로세서(130)는 터치 스크린 장치(130)의 전반적인 동작을 제어하는 구성이다. 구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 제1 내지 n 인터페이스(134-1 ~ 134-n) 및 버스(135)를 포함한다. 여기서, RAM(132), ROM(132), 메인 CPU(133), 제1 내지 n 인터페이스(134-1 ~ 134-n) 등은 버스(135)를 통해 서로 연결될 수 있다.
메인 CPU(133)는 저장부(140)에 액세스하여, 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(133)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
RAM(131)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(140)에 저장된 각종 애플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
제1 내지 n 인터페이스(134-1 ~ 134-n)은 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(140)에 저장된 프로그램에 의해 수행될 수 있다.
저장부(140)는 터치 스크린 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티 미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.
구체적으로, 저장부(140)는 터치 스크린 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈, 보안 모듈 등을 저장할 수 있다. 특히, 저장부(140)는 본 발명의 일 실시 예에 따른 초음파 신호의 ToF를 검출하는데 필요한 ToF 계산 모듈, 오브젝트에 의한 터치 포인트를 검출하기 위한 터치 좌표 판단 모듈 등의 프로그램이 저장되어 있을 수 있다.
또한, 저장부(140)에는 상술한 바와 같이, 거리에 따른 초음파 신호의 반사 파형 모델 및 중첩된 초음파 신호에 있어서 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형 모델을 저장할 수 있다.
사용자 인터페이스(150)는, 터치 스크린 장치(100')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소로서, 카메라(미도시), 마이크(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
도 17은 본 발명의 일 실시 예에 따른, 터치 스크린 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 복수의 초음파 센서로부터 방사된 초음파 신호가 디스플레이에 터치된 오브젝트에 의해 반사된 초음파 신호를 복수의 초음파 센서에 의해 각각 수신한다(S1710). 이때, 제1 초음파 센서 및 제2 초음파 센서에서 각각 방사된 초음파 신호가 오브젝트에 의해 반사된 초음파 신호를 제1 초음파 센서 및 제2 초음파 센서 각각에 의해 수신할 수 있다.
이 후, 수신된 각각의 초음파 신호의 ToF를 검출하고, 검출된 각 ToF에 기초하여 오브젝트가 터치된 지점을 판단한다(S1720). 이때, 각각 수신된 초음파 신호의 ToF에 기초하여 제1 초음파 센서 및 제2 초음파 센서로부터 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고, 산출된 각각의 거리에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 복수의 오브젝트가 디스플레이에 터치된 경우, 제1 초음파 센서에 의해 방사된 초음파 신호가 제1 오브젝트에 의해 굴절되어 제2 초음파 센서에 의해 수신되면, 굴절되어 수신된 초음파 신호의 ToF를 추가적으로 이용하여 제1 오브젝트의 고스트 터치 포인트를 제거함으로써, 제1 오브젝트의 터치 포인트를 판단할 수 있다.
좀 더 구체적으로, 제1 오브젝트가 다른 오브젝트보다 상대적으로 제1 초음파 센서에 가까운 포인트에 터치된 경우, 제1 초음파 센서에 의해 수신된 초음파 신호에서, 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고, 제2 초음파 센서에 의해 수신된 초음파 신호에서, 굴절되어 수신된 초음파 신호의 ToF를 이용하여 제1 오브젝트에 의해 반사된 초음파 신호를 추출할 수 있다. 이때, 추출된 각각의 초음파 신호에 기초하여 제1 오브젝트의 터치 포인트를 판단할 수 있다.
또한, 거리에 따른 초음파 신호의 반사 파형을 저장할 수 있으며, 이때, 추출된 각각의 초음파 신호의 파형과 저장된 반사 파형을 비교하여, 제1 초음파 센서 및 제2 초음파 센서로부터 제1 오브젝트의 터치 포인트까지의 거리를 각각 산출하고, 산출된 각각의 거리에 기초하여 제1 오브젝트의 터치 포인트를 판단할 수 있다.
한편, 제1 오브젝트에 의해 반사된 초음파 신호 및 제2 오브젝트에 의해 반사된 초음파 신호가 중첩되어 수신되는 경우에는, 중첩되어 수신되는 신호의 파형 상에서 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 서로 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 이용하여 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단할 수 있다.
여기서, 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 초음파 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 기 저장되어 있을 수 있으며,
제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 중첩된 초음파 신호의 피크 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출할 수 있다. 이때, 추출된 반사 파형에 기초하여 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단함으로써, 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 터치 스크린의 터치 인식 성능을 높일 수 있으며, 터치 스크린의 설계가 용이하여 비용을 절감할 수 있다.
상술한 다양한 실시 예에 따른 터치 스크린 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 터치 스크린 장치 110: 디스플레이
120: 초음파 센서 130: 프로세서
10: 반사체 기구 20: 흡음재

Claims (22)

  1. 터치 스크린 장치에 있어서,
    디스플레이;
    초음파 신호를 방사하는 복수의 초음파 센서; 및
    상기 디스플레이에 터치된 오브젝트에 의해 반사된 초음파 신호가 상기 복수의 초음파 센서에 각각 수신되면, 상기 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 프로세서;를 포함하며,
    상기 복수의 초음파 센서는, 제1 초음파 센서 및 제2 초음파 센서를 포함하고,
    상기 프로세서는,
    상기 오브젝트를 포함하는 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 제1 초음파 센서에 의해 방사된 초음파 신호가 상기 복수의 오브젝트 중 제1 오브젝트에 의해 반사되어 상기 제2 초음파 센서에 수신되면, 상기 제2 초음파 센서에 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트의 고스트 터치(Ghost Touch) 포인트를 제거함으로써, 상기 제1 오브젝트의 터치 포인트를 판단하는, 터치 스크린 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 초음파 센서 및 상기 제2 초음파 센서에서 각각 방사된 초음파 신호가 상기 오브젝트에 의해 반사되어 상기 제1 초음파 센서 및 상기 제2 초음파 센서 각각에 수신되면, 상기 각각 수신된 초음파 신호의 ToF에 기초하여 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고,
    상기 산출된 각각의 거리에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 것을 특징으로 하는 터치 스크린 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 초음파 센서에 의해 수신된 초음파 신호에서, 상기 복수의 오브젝트 중에서 상기 제1 오브젝트 외의 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고,
    상기 제2 초음파 센서에 수신된 초음파 신호에서, 상기 제2 초음파 센서에 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고,
    상기 추출된 각각의 초음파 신호에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 것을 특징으로 하는 터치 스크린 장치.
  5. 제4항에 있어서,
    거리에 따른 초음파 신호의 반사 파형을 저장하는 저장부;를 더 포함하고,
    상기 프로세서는,
    상기 추출된 각각의 초음파 신호의 파형과 상기 저장된 반사 파형을 비교하여, 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 제1 오브젝트의 터치 포인트까지의 거리를 각각 산출하고,
    상기 산출된 각각의 거리에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 것을 특징으로 하는 터치 스크린 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 복수의 오브젝트 중 상기 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩되어 수신되면, 상기 중첩되어 수신되는 신호의 파형 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 서로 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 이용하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단하는 것을 특징으로 하는 터치 스크린 장치.
  7. 제6항에 있어서,
    상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 초음파 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 저장하는 저장부;를 더 포함하고,
    상기 프로세서는,
    상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 상기 중첩된 초음파 신호의 피크 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출하고,
    상기 추출된 반사 파형에 기초하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단하는 것을 특징으로 하는 터치 스크린 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 수신된 각각의 초음파 신호의 ToF를 계산하여, 상기 오브젝트의 외곽점을 검출하고, 상기 검출된 외곽점으로부터 상기 오브젝트의 크기 및 모양을 추정하는 것을 특징으로 하는 터치 스크린 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 초음파 센서에서 방사된 초음파 신호가 상기 오브젝트에 의해 반사되어 상기 제2 초음파 센서에 수신되는 시간을 계산하여, 상기 오브젝트의 추가적인 외곽점을 검출하는 것을 특징으로 하는 터치 스크린 장치.
  10. 제1항에 있어서,
    상기 디스플레이의 외곽에 구비되어, 상기 복수의 초음파 센서로부터 방사되는 초음파 신호의 일부를 상기 디스플레이에 평행하도록 반사 또는 굴절시키는 포물면(paraboloid)을 갖는 반사체 기구;를 더 포함하는 것을 특징으로 하는 터치 스크린 장치.
  11. 제10항에 있어서,
    상기 반사체 기구에 반사 또는 굴절되어 상기 디스플레이에 평행하게 방사되는 초음파 신호 외의 나머지 초음파 신호를 흡수하는 초음파 흡음재;를 더 포함하는 것을 특징으로 하는 터치 스크린 장치.
  12. 터치스크린 장치의 제어 방법에 있어서,
    디스플레이에 터치된 오브젝트에 의해 반사된 초음파 신호를 복수의 초음파 센서에 의해 각각 수신하는 단계; 및
    상기 수신된 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 단계;를 포함하며,
    상기 복수의 초음파 센서는, 제1 초음파 센서 및 제2 초음파 센서를 포함하고,
    상기 판단하는 단계는,
    상기 오브젝트를 포함하는 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 제1 초음파 센서에 의해 방사된 초음파 신호가 상기 복수의 오브젝트 중 제1 오브젝트에 의해 반사되어 상기 제2 초음파 센서에 수신되면, 상기 제2 초음파 센서에 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트의 고스트 터치(Ghost Touch) 포인트를 제거함으로써, 상기 제1 오브젝트의 터치 포인트를 판단하는, 터치 스크린 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 수신하는 단계는,
    상기 제1 초음파 센서 및 상기 제2 초음파 센서에서 각각 방사된 초음파 신호가 상기 오브젝트에 의해 반사된 초음파 신호를 상기 제1 초음파 센서 및 상기 제2 초음파 센서 각각에 의해 수신하고,
    상기 판단하는 단계는,
    상기 각각 수신된 초음파 신호의 ToF에 기초하여 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 오브젝트의 터치 포인트까지의 각각의 거리를 산출하는 단계; 및
    상기 산출된 각각의 거리에 기초하여 상기 오브젝트의 터치 포인트를 판단하는 단계;를 포함하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  14. 삭제
  15. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 제1 초음파 센서에 의해 수신된 초음파 신호에서, 상기 복수의 오브젝트 중에서 상기 제1 오브젝트 외의 다른 오브젝트에 의해 반사된 초음파 신호를 분리하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하고, 상기 제2 초음파 센서에 의해 수신된 초음파 신호에서, 상기 상기 제2 초음파 센서에 수신된 초음파 신호의 ToF를 이용하여 상기 제1 오브젝트에 의해 반사된 초음파 신호를 추출하는 단계; 및
    상기 추출된 각각의 초음파 신호에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 단계;를 포함하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  16. 제15항에 있어서,
    거리에 따른 초음파 신호의 반사 파형을 저장하는 단계;를 더 포함하고,
    상기 판단하는 단계는,
    상기 추출된 각각의 초음파 신호의 파형과 상기 저장된 반사 파형을 비교하여, 상기 제1 초음파 센서 및 상기 제2 초음파 센서로부터 상기 제1 오브젝트의 터치 포인트까지의 거리를 각각 산출하는 단계; 및
    상기 산출된 각각의 거리에 기초하여 상기 제1 오브젝트의 터치 포인트를 판단하는 단계;를 포함하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  17. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 복수의 오브젝트가 상기 디스플레이에 터치된 경우, 상기 복수의 오브젝트 중 상기 제1 오브젝트 및 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩되어 수신되면, 상기 중첩되어 수신되는 신호의 파형 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 서로 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 이용하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호의 ToF를 판단하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  18. 제17항에 있어서,
    상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 초음파 신호에 있어서, 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 따른 반사 파형을 저장하는 단계;를 더 포함하고,
    상기 판단하는 단계는,
    상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나에 대응되는 반사 파형의 후보군 중에서, 상기 중첩된 초음파 신호의 피크 값 및 슬로프 값 중 적어도 하나에 대응되는 반사 파형을 추출하는 단계; 및
    상기 추출된 반사 파형에 기초하여 상기 제1 오브젝트 및 상기 제2 오브젝트 각각에 의해 반사된 초음파 신호가 중첩된 영역의 크기 및 위상 차 중 적어도 하나를 판단하는 단계;를 포함하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  19. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 수신된 각각의 초음파 신호의 ToF를 계산하여, 상기 오브젝트의 외곽점을 검출하는 것을 특징으로 하고,
    상기 검출된 외곽점으로부터 상기 오브젝트의 크기 및 모양을 추정하는 단계;를 더 포함하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  20. 제19항에 있어서,
    상기 판단하는 단계는,
    상기 제1 초음파 센서에서 방사된 초음파 신호가 상기 오브젝트에 의해 반사되어 상기 제2 초음파 센서에 수신되는 시간을 계산하여, 상기 오브젝트의 추가적인 외곽점을 검출하는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  21. 제12항에 있어서,
    상기 복수의 초음파 센서로부터 방사된 초음파 신호의 일부는,
    상기 디스플레이의 외곽에 구비된 반사체 기구의 포물면(paraboloid)에 의해, 상기 디스플레이에 평행하도록 반사 또는 굴절되는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
  22. 제21항에 있어서,
    상기 반사체 기구에 반사 또는 굴절되어 상기 디스플레이에 평행하게 방사되는 초음파 신호 외의 나머지 초음파 신호는 상기 복수의 초음파 센서 주위에 각각 구비된 초음파 흡음재에 의해 흡수되는 것을 특징으로 하는 터치 스크린 장치의 제어 방법.
KR1020150105136A 2015-06-02 2015-07-24 터치 스크린 장치 및 그 제어 방법 Expired - Fee Related KR102167576B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/994,369 US9785288B2 (en) 2015-06-02 2016-01-13 Touch screen apparatus and control method thereof
EP16803661.4A EP3295286B1 (en) 2015-06-02 2016-06-01 Touch screen apparatus and control method thereof
PCT/KR2016/005482 WO2016195306A1 (en) 2015-06-02 2016-06-01 Touch screen apparatus and control method thereof
CN201610387741.9A CN106227392B (zh) 2015-06-02 2016-06-02 触摸屏装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562169783P 2015-06-02 2015-06-02
US62/169,783 2015-06-02

Publications (2)

Publication Number Publication Date
KR20160142208A KR20160142208A (ko) 2016-12-12
KR102167576B1 true KR102167576B1 (ko) 2020-10-19

Family

ID=57574393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150105136A Expired - Fee Related KR102167576B1 (ko) 2015-06-02 2015-07-24 터치 스크린 장치 및 그 제어 방법

Country Status (2)

Country Link
EP (1) EP3295286B1 (ko)
KR (1) KR102167576B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542910B (zh) * 2018-12-03 2022-10-28 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种海量海杂波数据分类存储方法
WO2025095627A1 (ko) * 2023-10-31 2025-05-08 삼성전자 주식회사 전자 장치 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092527A (ja) * 2003-09-17 2005-04-07 Fdk Corp 超音波式タッチパネル
US20090024038A1 (en) * 2007-07-16 2009-01-22 Arnold Stephen C Acoustic imaging probe incorporating photoacoustic excitation
US20130127783A1 (en) * 2011-11-18 2013-05-23 Au Optronics Corporation Apparatus and method for controlling information display

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
US8674966B2 (en) * 2001-11-02 2014-03-18 Neonode Inc. ASIC controller for light-based touch screen
WO2013074471A1 (en) * 2011-11-15 2013-05-23 Elo Touch Solutions, Inc. Radial transducer & radial layout for acoustic wave touch sensor
US9201546B2 (en) * 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
US8994696B2 (en) * 2012-10-30 2015-03-31 Elo Touch Solutions, Inc. Acoustic touch apparatus with addressable multi-touch capability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092527A (ja) * 2003-09-17 2005-04-07 Fdk Corp 超音波式タッチパネル
US20090024038A1 (en) * 2007-07-16 2009-01-22 Arnold Stephen C Acoustic imaging probe incorporating photoacoustic excitation
US20130127783A1 (en) * 2011-11-18 2013-05-23 Au Optronics Corporation Apparatus and method for controlling information display

Also Published As

Publication number Publication date
EP3295286A1 (en) 2018-03-21
EP3295286B1 (en) 2020-08-26
EP3295286A4 (en) 2018-09-05
KR20160142208A (ko) 2016-12-12

Similar Documents

Publication Publication Date Title
CN106227392B (zh) 触摸屏装置及其控制方法
US10067608B2 (en) Touch recognition apparatus and control method thereof
US10936114B1 (en) Gesture-equipped touch screen system, method, and computer program product
US8547360B2 (en) Capacitive touch screen sensing and electric field sensing for mobile devices and other devices
KR20130018450A (ko) 비접촉식 터치 스크린을 위한 시스템 및 방법
KR102022288B1 (ko) 터치 입력 방법 및 휴대 단말
US20120249599A1 (en) Method of identifying a multi-touch scaling gesture and device using the same
US9317150B2 (en) Virtual and configurable touchscreens
CN106062687A (zh) 用于基于光学的主动触控笔输入辨识的系统和方法
US8947378B2 (en) Portable electronic apparatus and touch sensing method
US20120075202A1 (en) Extending the touchable area of a touch screen beyond the borders of the screen
KR102167576B1 (ko) 터치 스크린 장치 및 그 제어 방법
KR102210377B1 (ko) 터치 인식 장치 및 그 제어 방법
US9152275B2 (en) Optical touch system, method of touch detection and non-transitory computer readable medium recording program instructions
US9971457B2 (en) Audio augmentation of touch detection for surfaces
TW201516806A (zh) 三維觸控裝置
US9310839B2 (en) Disable home key
US20140152601A1 (en) Touch display device and control method thereof
US10684688B2 (en) Actuating haptic element on a touch-sensitive device
KR102093887B1 (ko) 이동 단말기 및 그 제어 방법
KR101623409B1 (ko) 터치스크린 장치, 터치스크린 장치 구동 방법, 및 그를 이용하는 단말기

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150724

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180629

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150724

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191004

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200221

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200811

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201013

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201014

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240724