KR102210377B1 - Touch recognition apparatus and control methods thereof - Google Patents

Touch recognition apparatus and control methods thereof Download PDF

Info

Publication number
KR102210377B1
KR102210377B1 KR1020150173323A KR20150173323A KR102210377B1 KR 102210377 B1 KR102210377 B1 KR 102210377B1 KR 1020150173323 A KR1020150173323 A KR 1020150173323A KR 20150173323 A KR20150173323 A KR 20150173323A KR 102210377 B1 KR102210377 B1 KR 102210377B1
Authority
KR
South Korea
Prior art keywords
ultrasonic
signal
ultrasonic sensors
sensors
signals
Prior art date
Application number
KR1020150173323A
Other languages
Korean (ko)
Other versions
KR20160140324A (en
Inventor
최성도
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP16800273.1A priority Critical patent/EP3274796A4/en
Priority to CN201680030761.9A priority patent/CN107690611B/en
Priority to PCT/KR2016/005422 priority patent/WO2016190634A1/en
Priority to US15/167,087 priority patent/US10067608B2/en
Publication of KR20160140324A publication Critical patent/KR20160140324A/en
Application granted granted Critical
Publication of KR102210377B1 publication Critical patent/KR102210377B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

초음파 기반의 터치 인식 장치가 개시된다. 본 발명의 터치 인식 장치는, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 및 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어하고, 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 프로세서를 포함한다.An ultrasound-based touch recognition device is disclosed. The touch recognition apparatus of the present invention controls a plurality of ultrasonic sensors to emit ultrasonic signals at different time intervals, each of a plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period, and the emitted ultrasonic waves. And a processor that detects a touch point of an object based on a time of flight (ToF) of an ultrasonic signal received by the signal being reflected by the object.

Description

터치 인식 장치 및 그 제어 방법 { TOUCH RECOGNITION APPARATUS AND CONTROL METHODS THEREOF }Touch recognition device and its control method {TOUCH RECOGNITION APPARATUS AND CONTROL METHODS THEREOF}

본 발명은 터치 인식 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 초음파 방식의 터치 인식 장치 및 그 제어 방법에 대한 것이다.The present invention relates to a touch recognition apparatus and a control method thereof, and more particularly, to an ultrasonic touch recognition apparatus and a control method thereof.

터치 스크린, 터치 패드 등과 같은 접촉 감지 장치는 디스플레이 장치에 부착되어 사용자에게 직관적인 입력 방법을 제공할 수 있는 입력 장치로서, 최근 휴대폰, PDA(Personal Digital Assistant), 네비게이션 등과 같은 다양한 전자 기기에 널리 적용되고 있다. 특히, 최근 스마트 폰에 대한 수요가 증가하면서, 제한된 폼 팩터에서 다양한 입력 방법을 제공할 수 있는 접촉 감지 장치로 터치 스크린의 채용 비율이 날로 증가하고 있다.A touch sensing device such as a touch screen and a touch pad is an input device that can be attached to a display device to provide an intuitive input method to a user, and is widely applied to various electronic devices such as mobile phones, PDA (Personal Digital Assistant), and navigation. Has become. In particular, as the demand for smart phones is increasing in recent years, the rate of adoption of touch screens as touch sensing devices capable of providing various input methods in a limited form factor is increasing day by day.

또한, 홀로그램 영상을 터치하여 마치 허공의 물체를 조작하는 효과를 나타내는 3차원 공간 터치 기술이 적용된 VR(Visual Reality) 기기가 대중화되면서 터치 기술이 빠르게 발전하고 있다.In addition, with the popularization of VR (Visual Reality) devices to which a 3D spatial touch technology that shows the effect of manipulating an object in the air by touching a holographic image, touch technology is rapidly developing.

한편, 휴대용 기기에 적용되는 터치 스크린은, 터치 입력을 감지하는 방법에 따라 크게 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(IR) 방식 및 표면 초음파(Surface Acoustic Wave; SAW) 방식 등으로 구현될 수 있다.On the other hand, touch screens applied to portable devices are largely a resistive method, a capacitive method, an infrared (IR) method, and a surface acoustic wave (SAW) method according to a method of sensing a touch input. It can be implemented as such.

한편, SAW 방식의 터치 스크린은 저항막 방식, 정전용량 방식 등과 달리 방사된 초음파가 장애물을 만나 파동의 크기가 줄어든 것을 감지하는 방식으로, 빛 투과성이 높고, 정확성과 선명도가 뛰어나 무인 정보 단말기 등에 주로 적용되어 널리 사용되고 있다.On the other hand, the SAW type touch screen is a method that detects that the size of the wave is reduced due to the encounter of an obstacle, unlike the resistive type and the capacitive type. It has been applied and is widely used.

그러나, 기존의 SAW 방식의 터치 스크린은, 복수의 음파 반향기를 구비하여야 하고, 그에 따른 제반 비용이 많이 발생한다는 문제점이 있었다. 이에 따라, 좀 더 편리하고 저비용으로 터치의 인식 성능을 높이기 위한 방안이 요구되고 있다.However, the conventional SAW type touch screen has a problem in that a plurality of sound wave reflectors must be provided, and overall costs are high. Accordingly, there is a need for a method for improving touch recognition performance at a more convenient and low cost.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 초음파의 ToF를 이용하여, 터치 포인트를 좀 더 정확하게 측정할 수 있는 터치 인식 장치 및 그 제어 방법을 제공함에 있다.The present invention has been conceived to solve the above-described problem, and an object of the present invention is to provide a touch recognition device capable of more accurately measuring a touch point and a control method thereof using ToF of ultrasonic waves.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 터치 인식 장치는, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 및 상기 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 상기 복수의 초음파 센서를 제어하고, 상기 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 검출하는 프로세서를 포함한다.In the touch recognition apparatus according to an embodiment of the present invention for achieving the above object, a plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period, and each of the plurality of ultrasonic sensors emitting ultrasonic signals at different time intervals And a processor configured to control the plurality of ultrasonic sensors so as to detect the touch point of the object based on the time of flight (ToF) of the ultrasonic signal received by reflecting the radiated ultrasonic signal by the object.

또한, 상기 프로세서는, 제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하고, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어할 수 있다.In addition, in the processor, the plurality of ultrasonic sensors simultaneously emit a first ultrasonic signal in a first detection section, and each of the plurality of ultrasonic sensors emit a second ultrasonic signal at different time points in a second detection section. Can be controlled to do.

또한, 상기 프로세서는, 상기 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 상기 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다.In addition, the processor may control the plurality of ultrasonic sensors to sequentially emit the second ultrasonic signal at a preset delay interval in the second detection period.

또한, 상기 프로세서는, 상기 서로 다른 시간 간격에 따라 발생하는 상기 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 상기 ToF를 산출할 수 있다.In addition, the processor may calculate the ToF by determining each ultrasonic sensor that emits the received ultrasonic signal based on different reception time intervals of the plurality of ultrasonic signals generated according to the different time intervals. have.

또한, 제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 저장부를 더 포함하고, 상기 프로세서는, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 저장된 정보를 이용하여 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, the plurality of ultrasonic sensors in the first detection section further comprises a storage unit for storing information on a time point when each ultrasonic signal is emitted and the time point when each ultrasonic signal is received by the object reflected, the processor Is, in a second detection period, information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal, information on a time point at which each ultrasonic signal is received by reflection by the object, and the received ultrasonic wave using the stored information Each of the ultrasonic sensors that emitted the signal can be determined.

또한, 상기 딜레이는, 상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.In addition, the delay may be determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize in the preset detection period.

또한, 상기 복수의 초음파 센서는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다.In addition, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic signals.

또한, 상기 프로세서는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다.In addition, the processor may differently control phases of ultrasonic signals radiated from the plurality of ultrasonic sensors.

또한, 상기 프로세서는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어할 수 있다.In addition, the processor may differently control pulse durations of ultrasonic signals radiated from the plurality of ultrasonic sensors.

또한, 상기 프로세서는, 제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, in a third detection period, the processor may control to emit a plurality of ultrasound signals at a time point corresponding to a time point at which the plurality of ultrasound signals are respectively radiated in the first detection period.

또한, 디스플레이부를 더 포함하고, 상기 오브젝트는, 상기 디스플레이부에 터치되는 오브젝트일 수 있다.In addition, a display unit may be further included, and the object may be an object that is touched on the display unit.

한편, 본 발명의 일 실시 예에 따른 터치 인식 장치의 제어 방법은, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 상기 복수의 초음파 센서를 제어하는 단계 및 상기 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 검출하는 단계를 포함할 수 있다.On the other hand, in the control method of the touch recognition apparatus according to an embodiment of the present invention, the plurality of ultrasonic sensors are configured such that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals. Controlling and detecting a touch point of the object based on a time of flight (ToF) of the ultrasonic signal received by reflecting the radiated ultrasonic signal by the object.

여기서, 상기 복수의 초음파 센서를 제어하는 단계는, 제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어하는 단계 및 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어하는 단계를 포함할 수 있다.Here, the controlling of the plurality of ultrasonic sensors may include controlling the plurality of ultrasonic sensors to emit a first ultrasonic signal at the same time in a first detection section, and each of the plurality of ultrasonic sensors in a second detection section. It may include controlling to emit each of the second ultrasonic signals at different times.

또한, 상기 제2 초음파 신호를 각각 방사하도록 제어하는 단계는, 상기 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 상기 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다.In addition, the controlling to emit each of the second ultrasonic signals may include controlling the plurality of ultrasonic sensors to sequentially emit the second ultrasonic signals at a preset delay interval in the second detection period.

또한, 상기 오브젝트의 터치 포인트를 검출하는 단계는, 상기 서로 다른 시간 간격에 따라 발생하는 상기 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 상기 ToF를 산출할 수 있다.In addition, the detecting of the touch point of the object may include determining an ultrasonic sensor that emits the received ultrasonic signal based on different reception time intervals of the plurality of ultrasonic signals generated according to the different time intervals. Thus, the ToF can be calculated.

또한, 제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 단계를 더 포함하고, 상기 오브젝트의 터치 포인트를 검출하는 단계는, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 저장된 정보를 이용하여 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, the method further comprises storing information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in the first detection section and a time point at which each ultrasonic signal is received by the object, the object The detecting of the touch point of may include information on a time when the plurality of ultrasonic sensors emit each ultrasonic signal in a second detection period, information on a time when each ultrasonic signal is received by reflection by the object, and the stored information Each of the ultrasonic sensors that radiated the received ultrasonic signal may be determined by using.

또한, 상기 딜레이는, 상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.In addition, the delay may be determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize in the preset detection period.

또한, 상기 복수의 초음파 센서는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다.In addition, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic signals.

또한, 상기 복수의 초음파 센서를 제어하는 단계는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다.In addition, in the controlling of the plurality of ultrasonic sensors, phases of ultrasonic signals radiated from the plurality of ultrasonic sensors may be differently controlled.

또한, 상기 복수의 초음파 센서를 제어하는 단계는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어할 수 있다.In addition, in controlling the plurality of ultrasonic sensors, pulse durations of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently.

또한, 상기 복수의 초음파 센서를 제어하는 단계는, 제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, the controlling of the plurality of ultrasonic sensors may include controlling a plurality of ultrasonic signals to be emitted at a time corresponding to a time point at which the plurality of ultrasonic signals are respectively radiated in the first detection section in a third detection section. can do.

상술한 본 발명의 다양한 실시 예에 따르면, 저비용으로 터치 스크린의 터치 인식 성능을 높일 수 있으므로, 사용자의 편의성이 향상된다.According to various embodiments of the present disclosure described above, since the touch recognition performance of the touch screen can be improved at low cost, user convenience is improved.

도 1은 본 발명의 일 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따른 문제를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따라, 각 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면,
도 6 및 도 7은 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른, 각 초음파 신호의 타임 쉬프트 값을 결정하기 위한 조건을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 지속적으로 구별하기 위한 방법을 설명하기 위한 도면,
도 10은 본 발명의 일 실시 예에 따른, 신호 패턴의 차이를 이용하여 복합적으로 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면,
도 11은 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 상세히 도시한 블록도,
도 12는 본 발명의 일 실시 예에 따른, 터치 인식 장치의 제어 방법을 설명하기 위한 흐름도이다.
1 is a block diagram schematically showing a configuration of a touch recognition device according to an embodiment of the present invention;
2 is a block diagram schematically illustrating a configuration of a touch recognition device according to another embodiment of the present invention;
3 is a view for explaining a method of determining a touch point of an object according to an embodiment of the present invention;
4 is a view for explaining a problem due to refraction of an ultrasonic signal according to an embodiment of the present invention;
5 is a view showing a waveform of an ultrasonic signal received by each ultrasonic sensor according to the refraction of the ultrasonic signal according to an embodiment of the present invention;
6 and 7 are diagrams for explaining a method for distinguishing an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention;
8 is a diagram for explaining a condition for determining a time shift value of each ultrasound signal according to an embodiment of the present invention;
9 is a view for explaining a method for continuously distinguishing an ultrasonic signal radiated from each ultrasonic sensor according to an embodiment of the present invention;
10 is a view for explaining a method for discriminating an ultrasonic signal radiated from each ultrasonic sensor complex using a difference in signal pattern according to an embodiment of the present invention;
11 is a block diagram showing in detail a configuration of a touch recognition device according to another embodiment of the present invention;
12 is a flowchart illustrating a method of controlling a touch recognition device according to an embodiment of the present invention.

본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.Before describing the present invention in detail, a method of describing the present specification and drawings will be described.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.First, general terms used in the specification and claims are selected in consideration of functions in various embodiments of the present invention. However, these terms may vary depending on the intention of a technician in the field, legal or technical interpretation, and the emergence of new technologies. In addition, some terms may be terms arbitrarily selected by the applicant. These terms may be interpreted as the meanings defined in the present specification, and if there is no specific term definition, they may be interpreted based on the general contents of the present specification and common technical knowledge in the art.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.In addition, the same reference numbers or numerals in each drawing attached to the present specification indicate parts or components that perform substantially the same function. For convenience of description and understanding, different embodiments will be described using the same reference numbers or symbols. That is, even if all the components having the same reference numerals are shown in a plurality of drawings, the plurality of drawings do not mean one embodiment.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 “제1”, “제2” 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.In addition, terms including ordinal numbers such as “first” and “second” may be used in the specification and claims to distinguish between components. These ordinal numbers are used to distinguish the same or similar constituent elements from each other, and the meaning of the term should not be limitedly interpreted due to the use of such ordinal numbers. For example, components combined with these ordinal numbers should not be interpreted as limiting the order of use or arrangement by the number. If necessary, each of the ordinal numbers may be used interchangeably.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “구성하다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present specification, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "comprise" are intended to designate the existence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other It is to be understood that it does not preclude the presence or addition of features, numbers, steps, actions, components, parts, or combinations thereof.

본 발명의 실시 예에서 “모듈”, “유닛”, “부(Part)” 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 “모듈”, “유닛”, “부(part)” 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In an embodiment of the present invention, terms such as “module”, “unit”, “part” are terms used to refer to components that perform at least one function or operation, and these components are hardware or software. It may be implemented or may be implemented as a combination of hardware and software. In addition, a plurality of “modules”, “units”, and “parts” are integrated into at least one module or chip, and at least one processor, except when each needs to be implemented as individual specific hardware. It can be implemented as (not shown).

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.In addition, in an embodiment of the present invention, when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도이다.1 is a block diagram schematically illustrating a configuration of a touch recognition apparatus according to an embodiment of the present invention.

본 발명에 있어서 터치 인식 장치(100)는 디스플레이를 통한 터치 또는 3차원 공간상의 터치를 통해 사용자 명령을 입력받을 수 있는 전자 장치를 의미하는 것으로, 예컨대 스마트 폰, 카메라, 태블릿 PC, 노트북, 데스크톱, 미디어 플레이어(MP3 플레이어 등), PDA(Personal Digital Assistant) 게임용 단말, VR(Visual Reality) 기기 및 웨어러블(wearable) 기기 등을 포함할 수 있다. 또한, 본 발명에 따른 터치 인식 장치는 디스플레이를 탑재한 가전 기기(냉장고, 세탁기 등)에도 적용될 수 있다.In the present invention, the touch recognition device 100 refers to an electronic device capable of receiving a user command through a touch through a display or a touch in a three-dimensional space, for example, a smart phone, a camera, a tablet PC, a laptop, a desktop, A media player (such as an MP3 player), a PDA (Personal Digital Assistant) game terminal, a VR (Visual Reality) device, and a wearable device may be included. In addition, the touch recognition device according to the present invention can be applied to a home appliance (refrigerator, washing machine, etc.) equipped with a display.

도 1에 따르면 본 발명의 일 실시 예에 따른 터치 인식 장치(100)는 복수의 초음파 센서(110) 및 프로세서(120)를 포함한다.Referring to FIG. 1, a touch recognition device 100 according to an embodiment of the present invention includes a plurality of ultrasonic sensors 110 and a processor 120.

복수의 초음파 센서(110)는 제1 내지 n 초음파 센서(110-1 ~ 110-n)를 포함한다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하거나 수신하는 구성이다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하고, 오브젝트에 의해 반사되거나 굴절된 초음파를 수신하여 각 초음파 센서로부터 오브젝트까지의 거리 및 오브젝트의 방향을 검지할 수 있다. 여기서, 오브젝트는 사용자의 손가락 또는 펜 등을 포함할 수 있다.The plurality of ultrasonic sensors 110 include first to n ultrasonic sensors 110-1 to 110-n. The first to nth ultrasonic sensors 110-1 to 110-n are configured to emit or receive ultrasonic signals. The first to nth ultrasonic sensors 110-1 to 110-n may emit ultrasonic signals, receive ultrasonic waves reflected or refracted by the object, and detect a distance from each ultrasonic sensor to the object and the direction of the object. . Here, the object may include a user's finger or a pen.

프로세서(120)는 터치 인식 장치(100)의 전반적인 동작을 제어하는 구성이다.The processor 120 is a component that controls the overall operation of the touch recognition device 100.

프로세서(120)는 복수의 초음파 센서(110)로부터 방사된 초음파 신호가 오브젝트에 의해 반사되어 복수의 초음파 센서(110)에 의해 각각 수신되면, 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.When the ultrasonic signals radiated from the plurality of ultrasonic sensors 110 are reflected by the object and received by the plurality of ultrasonic sensors 110, the processor 120 determines the Time of Flight (ToF) of each received ultrasonic signal. Based on this, the touch point of the object can be determined.

예를 들어, 프로세서(120)는 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)에서 각각 방사된 초음파 신호가 오브젝트에 의해 반사되어 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각에 의해 수신되면, 각각 수신된 초음파 신호의 ToF에 기초하여 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)로부터 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고, 산출된 각각의 거리에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.For example, the processor 120 may reflect the ultrasonic signals emitted from the first ultrasonic sensor 110-1 and the second ultrasonic sensor 110-2 by the object, and the first ultrasonic sensor 110-1 and When received by each of the second ultrasonic sensors 110-2, from the first ultrasonic sensor 110-1 and the second ultrasonic sensor 110-2 to the touch point of the object based on the ToF of each received ultrasonic signal Each distance of is calculated, and the touch point of the object may be determined based on the calculated distance.

구체적으로, 프로세서(120)는 제1 초음파 센서(110-1)의 발신부(미도시)로부터 방사된 초음파가 오브젝트에 의해 반사되어 제1 초음파 센서(110-1)의 수신부(미도시)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 이때, 초음파의 속력은 340m/s로 항상 일정하므로 프로세서(120)는, 검출된 ToF에 기초하여 제1 초음파 센서(110-1)로부터 오브젝트까지의 거리를 계산할 수 있다.Specifically, the processor 120 reflects the ultrasonic waves radiated from the transmitter (not shown) of the first ultrasonic sensor 110-1 by the object to the receiver (not shown) of the first ultrasonic sensor 110-1. The time it takes to return (ToF) can be detected. At this time, since the speed of the ultrasonic wave is always constant at 340 m/s, the processor 120 may calculate a distance from the first ultrasonic sensor 110-1 to the object based on the detected ToF.

또한, 프로세서(120)는 제2 초음파 센서(110-2)의 발신부(미도시)로부터 방사된 초음파가 오브젝트에 의해 반사되어 제2 초음파 센서(110-2)의 수신부(미도시)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 프로세서(120)는 마찬가지로 검출된 ToF에 기초하여 제2 초음파 센서(110-2)로부터 오브젝트까지의 거리를 계산할 수 있다.In addition, the processor 120 reflects the ultrasonic waves emitted from the transmitter (not shown) of the second ultrasonic sensor 110-2 by the object and returns to the receiver (not shown) of the second ultrasonic sensor 110-2. The time it takes to come (ToF) can be detected. Likewise, the processor 120 may calculate a distance from the second ultrasonic sensor 110-2 to the object based on the detected ToF.

제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각으로부터 오브젝트까지의 거리가 계산되면, 오브젝트의 위치는 삼각 측정법에 의해 계산될 수 있다. 즉, 터치 인식 장치(100)에서 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 사이의 거리는 기지의 정보라고 가정했을 때, 제1 초음파 센서(110-1)로부터 오브젝트까지의 거리와 제2 초음파 센서(110-2)로부터 오브젝트까지의 거리가 계산되면, 삼각형의 3 요소(세변의 길이)가 결정되며, 프로세서(120)는 삼각 측정법에 의해 2차원 좌표 상에서의 오브젝트의 위치를 판단할 수 있다. 또한, 이와 같은 방법에 따라, 서로 다른 위치에 구비된 3개 이상의 초음파 센서로부터 오브젝트까지의 거리를 고려하여 오브젝트의 3차원 좌표 상에서의 오브젝트의 위치 또한 판단될 수 있음은 자명할 것이다.When the distance to the object from each of the first and second ultrasonic sensors 110-1 and 110-2 is calculated, the position of the object may be calculated by a triangulation method. That is, assuming that the distance between the first ultrasonic sensor 110-1 and the second ultrasonic sensor 110-2 in the touch recognition device 100 is known information, the object from the first ultrasonic sensor 110-1 When the distance to and the distance from the second ultrasonic sensor 110-2 to the object are calculated, three elements of a triangle (length of three sides) are determined, and the processor 120 determines the object on the two-dimensional coordinates by the triangulation method. Can determine the location of. In addition, according to this method, it will be apparent that the position of the object on the three-dimensional coordinates of the object can also be determined in consideration of distances from three or more ultrasonic sensors provided at different positions to the object.

한편, 도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 터치 인식 장치(100')는 디스플레이부(130)를 더 포함할 수 있다.Meanwhile, as shown in FIG. 2, the touch recognition apparatus 100 ′ according to an exemplary embodiment may further include a display unit 130.

디스플레이부(130)는 사용자에 의해 터치가 이루어지는 구성이다. 구체적으로, 사용자는 손가락 또는 전자펜을 이용하여 디스플레이부(130)에 표시된 다양한 컨텐츠를 터치함으로써, 원하는 정보를 입력할 수 있다. 즉, 디스플레이부(130)는 컨텐츠를 디스플레이하면서 동시에 터치 패드의 역할을 하는 터치 스크린(touch screen)으로 구현될 수 있다.The display unit 130 is a component in which a user touches. Specifically, the user may input desired information by touching various contents displayed on the display unit 130 using a finger or an electronic pen. That is, the display unit 130 may be implemented as a touch screen serving as a touch pad while displaying content.

한편, 디스플레이부(130)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이부(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.Meanwhile, the display unit 130 may be implemented as various types of displays such as a Liquid Crystal Display Panel (LCD), Organic Light Emitting Diodes (OLED), Liquid Crystal on Silicon (LCoS), and Digital Light Processing (DLP). In addition, a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), and the like may be included in the display unit 130.

여기서, 터치가 이루어지는 디스플레이부(130)의 전면에는 디스플레이부(130)를 보호하기 위해 강화 처리된 유리 기판 및 보호 필름 등이 제공될 수 있다.Here, a glass substrate, a protective film, and the like that have been tempered to protect the display unit 130 may be provided on the front surface of the display unit 130 in which the touch is performed.

복수의 초음파 센서(110)는 제1 내지 n 초음파 센서(110-1 ~ 110-n)를 포함하며, 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하거나 수신하는 구성이다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 디스플레이부(130)의 외곽에 각각 구비되어, 초음파 신호를 방사하고, 오브젝트에 의해 반사되거나 굴절된 초음파를 수신하여 각 초음파 센서로부터 오브젝트까지의 거리 및 오브젝트의 방향을 검지할 수 있다.The plurality of ultrasonic sensors 110 includes first to n ultrasonic sensors 110-1 to 110-n, and the first to n ultrasonic sensors 110-1 to 110-n radiate or receive ultrasonic signals. Configuration. The first to nth ultrasonic sensors 110-1 to 110-n are respectively provided on the outer periphery of the display unit 130 to emit ultrasonic signals, receive ultrasonic waves reflected or refracted by the object, and receive an object from each ultrasonic sensor. The distance to and the direction of the object can be detected.

도 3은 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면이다. 3 is a diagram illustrating a method of determining a touch point of an object according to an embodiment of the present invention.

이하에서는, 제1 내지 4 초음파 센서(110-1 ~ 110-4)가 디스플레이(130)의 각 코너 부근에 각각 한 개씩 구비되는 실시 예에 대하여 설명하도록 한다. 다만, 본 발명의 실시가 이러한 실시 예에 한정되는 것은 아니며, 본 발명의 터치 인식 장치(100)가 디스플레이(130)의 외곽의 다양한 위치에 2개 또는 3개의 초음파 센서를 구비하거나, 5개 이상의 초음파 센서를 구비하여 실시되는 것 또한 본 발명의 기술적 사상에 포함될 수 있음을 자명하다.Hereinafter, an exemplary embodiment in which the first to fourth ultrasonic sensors 110-1 to 110-4 are provided in the vicinity of each corner of the display 130 will be described. However, the implementation of the present invention is not limited to these embodiments, and the touch recognition apparatus 100 of the present invention includes two or three ultrasonic sensors at various locations outside the display 130, or five or more It is obvious that what is implemented with an ultrasonic sensor can also be included in the technical idea of the present invention.

도 3에 도시된 바와 같이, 오브젝트(o1)가 디스플레이(130) 상에 터치된 경우를 상정할 수 있다. 이때, 프로세서(120)는 제2 초음파 센서(110-2)의 발신부(Tx B)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제2 초음파 센서(110-2)의 수신부(Rx B)로 되돌아오는데 걸리는 시간(ToF1)을 검출할 수 있다. 이때, 초음파의 속력은 일정하므로 프로세서(120)는, 검출된 ToF1에 기초하여 제2 초음파 센서(110-2)로부터 오브젝트(o1)까지의 거리 b1을 계산할 수 있다.As shown in FIG. 3, it may be assumed that the object o 1 is touched on the display 130. At this time, the processor 120 reflects the ultrasonic waves emitted from the transmitter (T x B ) of the second ultrasonic sensor 110-2 by the object (o 1 ), and the receiver of the second ultrasonic sensor 110-2 ( The time taken to return to R x B ) (ToF 1 ) can be detected. At this time, since the speed of the ultrasonic wave is constant, the processor 120 may calculate a distance b 1 from the second ultrasonic sensor 110-2 to the object o 1 based on the detected ToF 1 .

또한, 프로세서(120)는 제3 초음파 센서(110-3)의 발신부(Tx C)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제3 초음파 센서(110-3)의 수신부(Rx C)로 되돌아오는데 걸리는 시간(ToF2)을 검출할 수 있다. 프로세서(120)는, 마찬가지로 검출된 ToF2에 기초하여 제3 초음파 센서(110-3)로부터 오브젝트(o1)까지의 거리 c1을 계산할 수 있다.In addition, the processor 120 reflects the ultrasonic waves emitted from the transmitter (T x C ) of the third ultrasonic sensor 110-3 by the object (o 1 ), and the receiver of the third ultrasonic sensor 110-3 ( The time taken to return to R x C ) (ToF 2 ) can be detected. The processor 120 may also calculate a distance c 1 from the third ultrasonic sensor 110-3 to the object o 1 based on the detected ToF 2 .

거리 b1 및 c1이 계산되면, 디스플레이(130) 상에서의 오브젝트(o1)의 위치는 삼각 측정법에 의해 계산될 수 있다. 즉, 터치 인식 장치(100)에서 제2 초음파 센서(110-2) 및 제3 초음파 센서(110-3) 사이의 거리 l1은 기지의 정보라고 가정했을 때, 제2 초음파 센서(110-2)로부터 오브젝트(o1)까지의 거리 b1과 제3 초음파 센서(110-3)로부터 오브젝트(o1)까지의 거리 c1이 계산되면, 삼각형의 3 요소(세 변의 길이)가 결정되며, 프로세서(120)는 도 3에 도시된 바와 같은 삼각 측정법에 의해 디스플레이(130)의 2차원 좌표 상에서의 오브젝트(o1)의 위치를 판단할 수 있다.When the distances b 1 and c 1 are calculated, the position of the object o 1 on the display 130 may be calculated by triangulation. That is, assuming that the distance l 1 between the second ultrasonic sensor 110-2 and the third ultrasonic sensor 110-3 in the touch recognition device 100 is known information, the second ultrasonic sensor 110-2 ) To the object (o 1 ) distance b 1 and the third ultrasonic sensor 110-3 to the object (o 1 ) distance c 1 is calculated, the three elements (length of the three sides) of the triangle are determined, The processor 120 may determine the position of the object o 1 on the two-dimensional coordinates of the display 130 by using a triangulation method as illustrated in FIG. 3.

결과적으로, 프로세서(120)는 오브젝트(o1)가 제2 초음파 센서(110-2) 및 제3 초음파 센서(110-3)로부터 떨어진 거리에 기초하여 오브젝트(o1)의 터치 포인트를 판단할 수 있다.As a result, the processor 120 is an object (o 1), the second ultrasonic sensor 110-2 and the third on the basis of the distance from the ultrasonic sensor (110-3) to determine the touch point of the object (o 1) I can.

이와 같이, 오브젝트(o1)의 터치 포인트를 판단하기 위해서는 최소 2개의 초음파 센서로부터의 거리를 계산하여야 한다. 이때, 거리 계산에 이용되는 초음파 센서는 다양하게 선택될 수 있으나, 가장 빠른 ToF를 검출하는 초음파 센서, 즉, 오브젝트(o1)와 가장 최단 거리에 있는 초음파 센서 및 이와 가장 가까이에 인접한 초음파 센서가 포함되도록 선택되는 것이 바람직하다.In this way, in order to determine the touch point of the object o 1 , distances from at least two ultrasonic sensors must be calculated. At this time, the ultrasonic sensor used for distance calculation may be selected in various ways, but the ultrasonic sensor that detects the fastest ToF, that is, the ultrasonic sensor that is the shortest distance from the object o 1 and the ultrasonic sensor that is closest thereto It is preferably selected to be included.

한편, 도 4는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따른 문제를 설명하기 위한 도면이다. 도 4에서는 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)와 수신부(Rx A ~ Rx D )를 따로 도시하지 않고 간략히 통합하여 도시하였다.Meanwhile, FIG. 4 is a diagram for explaining a problem caused by refraction of an ultrasonic signal according to an embodiment of the present invention. In FIG. 4, the transmitters (T x A to T x D ) and the receivers (R x A to R x D ) of each of the ultrasonic sensors 110-1 to 110-4 are not separately shown, but briefly integrated.

도 4에 도시된 바와 같이, 복수의 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)로부터 방사된 초음파 신호는 오브젝트(o1)에 의해 반사되어 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ Rx D )로 수신되게 된다. 예를 들어, 도 4에 도시된 바와 같이, 제1 초음파 센서 내지 제4 초음파 센서(110-1 ~ 110-4)로부터 터치된 오브젝트(o1)까지의 직선 거리는 각각 459mm, 760mm, 814mm 및 576mm일 수 있으며, 이때, 프로세서(120)는 방사된 후 오브젝트(o1)에 의해 반사되어 되돌아오는 각 초음파 신호의 ToF를 계산할 수 있고, 이에 따라 디스플레이 상에서, 각 초음파 센서(110-1 ~ 110-4)로부터 오브젝트(o1)까지의 거리를 산출할 수 있다.As shown in FIG. 4, the ultrasonic signals emitted from the transmitters (T x A to T x D ) of the plurality of ultrasonic sensors (110-1 to 110-4) are reflected by the object (o 1 ) to each ultrasonic wave. It is received by the receiver (R x A ~ R x D ) of the sensors (110-1 ~ 110-4). For example, as shown in FIG. 4, the linear distances from the first to fourth ultrasonic sensors 110-1 to 110-4 to the touched object o 1 are 459 mm, 760 mm, 814 mm and 576 mm, respectively. In this case, the processor 120 may calculate the ToF of each ultrasonic signal reflected by the object o 1 after being radiated and returned, and accordingly, on the display, each ultrasonic sensor 110-1 to 110- The distance from 4) to the object o 1 can be calculated.

그러나, 이때 각 초음파 센서(110-1 ~ 110-4)는 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절되는 초음파 신호 또한 수신하게 되므로, 프로세서(120)는 수신된 각 신호가 반사 신호인지 또는 다른 초음파 센서로부터의 굴절 신호인지를 구별하기가 어렵다.However, at this time, since each of the ultrasonic sensors 110-1 to 110-4 also receives an ultrasonic signal that is radiated from another ultrasonic sensor and refracted by the object o 1 , the processor 120 receives each received signal. It is difficult to distinguish whether it is a recognition or a refractive signal from another ultrasonic sensor.

예를 들어, 도 4에 도시된 바와 같이, 제4 초음파 센서(110-4)의 발신부(Tx D)로부터 초음파 신호가 방사되면, 오브젝트(o1)에 의해 반사되어 제4 초음파 센서(110-4)의 수신부(Rx D)에 의해 수신되는 신호 외에, 오브젝트(o1)에 의해 굴절되어 제1, 제2 및 제3 초음파 센서(110-1 ~ 110-3)의 수신부(Rx A ~ Rx C)에 의해 수신되는 신호가 발생한다. 즉, 각 초음파 센서(110-1 ~ 110-4)는 다른 초음파 센서로부터 방사되어 굴절되는 초음파 신호를 수신하게 되므로, 반사 신호 외에도 3개의 굴절 신호를 추가적으로 수신하게 된다.For example, as shown in FIG. 4, when an ultrasonic signal is radiated from the transmitter (T x D ) of the fourth ultrasonic sensor 110-4, it is reflected by the object o 1 and is reflected by the fourth ultrasonic sensor ( In addition to the signal received by the receiving unit (R x D ) of 110-4), it is refracted by the object (o 1 ) and the receiving unit (R) of the first, second, and third ultrasonic sensors 110-1 to 110-3 A signal received by x A ~ R x C ) occurs. That is, since each of the ultrasonic sensors 110-1 to 110-4 receives an ultrasonic signal that is radiated and refracted from another ultrasonic sensor, it additionally receives three refraction signals in addition to the reflected signal.

도 5는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따라, 각 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면이다.5 is a diagram illustrating a waveform of an ultrasonic signal received by each ultrasonic sensor according to the refraction of the ultrasonic signal according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)에서 초음파 신호(51 ~ 54)가 일정한 주기(5.83ms)마다 각 구간대에서 동시에 방사될 수 있다. 여기서, 초음파 신호(51 ~ 54)가 방사되는 주기는, 디스플레이의 크기에 기초하여 결정될 수 있다. 초음파 신호(51 ~ 54)의 방사 주기는 오브젝트에 의해 터치될 수 있는 디스플레이 영역 중 일 초음파 센서에서 가장 멀리 떨어진 지점에 있는 오브젝트에 의해 반사되어 되돌아오는 시간 이상인 것이 바람직하다. 여기서, 초음파 센서가 주기적으로 초음파 신호를 방사하는 각 구간은 기 설정된 검출 구간으로 명명할 수 있다.As shown in Fig. 5, the ultrasonic signals 51 to 54 from the transmitters (T x A to T x D ) of each ultrasonic sensor (110-1 to 110-4) are each section at a constant period (5.83 ms). Can be radiated at the same time. Here, the period in which the ultrasonic signals 51 to 54 are emitted may be determined based on the size of the display. The radiation period of the ultrasonic signals 51 to 54 is preferably equal to or longer than a time reflected by an object located at a point farthest from an ultrasonic sensor among a display area that can be touched by an object. Here, each section in which the ultrasonic sensor periodically emits an ultrasonic signal may be referred to as a preset detection section.

한편, 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ Rx D)는 자신으로부터 방사된 후 오브젝트에 의해 반사되어 되돌아오는 반사 신호 외에 다른 초음파 센서에 의한 굴절 신호를 수신할 수 있다. 도 5에 도시된 바와 같이, 오브젝트(o1)가 복수의 초음파 센서(110-1 ~ 110-4) 중 제1 초음파 센서(110-1)에 가장 가까이 있는 경우, 제1 초음파 센서(110-1)의 수신부(Rx A)는 오브젝트(o1)에 의해 반사된 신호를 가장 먼저 수신하고, 이후 타 초음파 센서(110-2 ~ 110-4)에 의해 굴절된 신호를 오브젝트(o1)에 가까운 초음파 센서 순으로 수신한다.On the other hand, the receiving unit (R x A ~ R x D ) of each ultrasonic sensor (110-1 to 110-4) receives a refraction signal from another ultrasonic sensor in addition to the reflected signal reflected by the object after being radiated from itself can do. As shown in FIG. 5, when the object o 1 is closest to the first ultrasonic sensor 110-1 among the plurality of ultrasonic sensors 110-1 to 110-4, the first ultrasonic sensor 110- The receiving unit (R x A ) of 1 ) first receives the signal reflected by the object (o 1 ), and then receives the signal refracted by other ultrasonic sensors (110-2 to 110-4) as the object (o 1 ) The ultrasonic sensors close to are received in order.

따라서, 프로세서(120)는 ToF를 계산하기 위하여, 수신된 4개의 신호 중 반사 신호를 나머지 3개의 굴절 신호와 구별하여야 할 필요가 있으나, 반사 신호와 굴절 신호의 파형이 구분할 수 있을 정도의 차이가 있는 것이 아니므로 구별이 쉽지 않다는 문제가 있다. 따라서, 이러한 반사 신호와 굴절 신호의 구별이 되지 않는 경우, 터치 인식 오류가 발생하게 될 확률이 크다.Therefore, in order to calculate the ToF, the processor 120 needs to distinguish the reflected signal from the remaining three refracted signals among the four received signals, but the difference between the reflected signal and the refracted signal is such that the waveforms can be distinguished. There is a problem that it is not easy to distinguish because it is not there. Therefore, if such a reflection signal and a refractive signal cannot be distinguished, there is a high probability that a touch recognition error occurs.

이러한 문제점을 해결하기 위해, 종래에는 시분할 방식으로 각 초음파 센서(110-1 ~ 110-4)가 하나의 검출 구간마다 하나씩 순차적으로 초음파를 방사하도록 하는 방법을 이용하였다. 그러나, 이러한 방법은 초음파 센서가 많을 때에는 터치 인식에 걸리는 시간이 그만큼 증가하여 실효적인 방안이 되지 못했다. 예를 들어, 하나의 검출 구간이 5.8ms 일때, 초음파 센서가 4개인 경우에는, 5.8x4ms만큼의 시간이 걸리므로, 터치 인식 성능이 저하되는 문제가 있었다. 따라서, 본 발명은 시분할 방식을 쓰지 않고도, 반사 신호와 굴절 신호가 좀 더 빠르게 구별될 수 있도록 하기 위한 것이다. 도 6 및 도 7은 이러한 본 발명의 아이디어를 도시한 것이다.In order to solve this problem, conventionally, a method in which each of the ultrasonic sensors 110-1 to 110-4 sequentially emit ultrasonic waves one by one for each detection period is used in a time division method. However, this method has not been an effective method because the time required for touch recognition increases as much as there are many ultrasonic sensors. For example, when one detection period is 5.8 ms and there are 4 ultrasonic sensors, it takes 5.8 x 4 ms time, so there is a problem that touch recognition performance is deteriorated. Accordingly, the present invention is to allow the reflected signal and the refracted signal to be distinguished more quickly without using a time division method. 6 and 7 illustrate the idea of this invention.

도 6 및 도 7은 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면이다.6 and 7 are diagrams for explaining a method for discriminating an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention.

도 6은 반사 신호와 굴절 신호를 구별하기 위한 아이디어를 간략히 도시한 것이다. 각 초음파 센서(110-1 ~ 110-4)는 초음파 신호를 방사하는 각 검출 구간마다 초음파 신호를 방사할 수 있다. 도 6은 복수의 초음파 센서(110-1 ~ 110-4) 중 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)에서 방사되는 초음파 신호의 파형 및 방사된 초음파 신호에 의해 각각의 초음파 센서(110-1, 110-2)에서 수신되는 반사 및 굴절 신호의 파형만을 도시한 것이다.6 schematically shows an idea for distinguishing a reflected signal from a refracted signal. Each of the ultrasonic sensors 110-1 to 110-4 may emit an ultrasonic signal in each detection section that emits an ultrasonic signal. 6 shows a waveform of an ultrasonic signal emitted from a first ultrasonic sensor 110-1 and a second ultrasonic sensor 110-2 among a plurality of ultrasonic sensors 110-1 to 110-4 and the emitted ultrasonic signal. It shows only the waveforms of reflection and refraction signals received from each of the ultrasonic sensors 110-1 and 110-2.

프로세서(120)는 복수의 초음파 센서(110-1 ~ 110-4) 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서(110-1 ~ 110-4)를 제어하고, 방사된 초음파 신호가 오브젝트(o1)에 의해 반사되어 수신되는 초음파 신호의 ToF에 기초하여 오브젝트(o1)의 터치 포인트를 검출할 수 있다.The processor 120 controls the plurality of ultrasonic sensors 110-1 to 110-4 so that each of the plurality of ultrasonic sensors 110-1 to 110-4 emit ultrasonic signals at different time intervals, and the signal on the basis of the ultrasonic ToF signal received is reflected by the object (o 1) it is possible to detect the touch point of the object (o 1).

구체적으로, 도 6에 도시된 바와 같이 제1 검출 구간에서 제1 및 제2 초음파 센서(110-1, 110-2)의 발신부(Tx A, Tx B)에서 동시에 초음파 신호가 방사된다. 각 초음파 센서(110-1, 110-2)의 수신부(Rx A, Rx B)에서는 오브젝트(o1)에 의해 반사되거나 굴절된 신호를 수신하게 된다. 제1 초음파 센서(110-1)는 반사 신호 및 제2 초음파 센서(110-2)로부터의 굴절 신호를 순차적으로 수신하며, 제2 초음파 센서(110-2)는 제1 초음파 센서(110-1)로부터의 굴절 신호를 먼저 수신하고, 이후, 반사 신호를 수신한다. 제1 검출 구간에서는 각각의 초음파 센서(110-1, 110-2)에서 수신된 신호 중 어떤 신호가 반사 신호인지 굴절 신호인지를 알 수 없으나, 제1 검출 구간에서 반사 신호 및 굴절 신호가 수신된 시점에 대한 정보를 이용하여 제2 검출 구간에서 반사 신호와 굴절 신호를 판단할 수 있다.Specifically, as shown in FIG. 6, ultrasonic signals are simultaneously emitted from the transmitters (T x A and T x B ) of the first and second ultrasonic sensors 110-1 and 110-2 in the first detection section. . The receiving units R x A and R x B of each of the ultrasonic sensors 110-1 and 110-2 receive a signal reflected or refracted by the object o 1 . The first ultrasonic sensor 110-1 sequentially receives a reflection signal and a refraction signal from the second ultrasonic sensor 110-2, and the second ultrasonic sensor 110-2 is a first ultrasonic sensor 110-1 The refraction signal from) is first received, and then, the reflected signal is received. In the first detection section, it is not possible to know which of the signals received from each of the ultrasonic sensors 110-1 and 110-2 is a reflection signal or a refraction signal, but the reflection signal and the refraction signal are received in the first detection section. A reflection signal and a refraction signal may be determined in the second detection section by using information on the viewpoint.

구체적으로, 프로세서(120)는 1 및 제2 초음파 센서(110-1, 110-2) 각각에 대하여, 제1 검출 구간의 시작시점으로부터 초음파 신호가 방사된 시간(0ms, 0ms), 반사 신호 및 굴절 신호가 수신될 때까지 걸리는 시간(제1 초음파 센서의 2.5ms, 3.1ms, 제2 초음파 센서의 3.08ms, 3.8ms)에 대한 정보를 각각 저장한다. 이때, 본 발명의 일 실시 예에 따른 터치 인식 장치(100)는 제1 검출 구간에서 각각의 초음파 센서가 반사 신호 및 굴절 신호를 수신하는 시점에 대한 정보를 저장하는 저장부(140)를 더 포함할 수 있다.Specifically, the processor 120, for each of the first and second ultrasonic sensors 110-1 and 110-2, the time (0ms, 0ms) the ultrasonic signal is emitted from the start of the first detection period, the reflected signal, and Information on the time taken until the refraction signal is received (2.5 ms and 3.1 ms of the first ultrasonic sensor, 3.08 ms and 3.8 ms of the second ultrasonic sensor) is stored, respectively. In this case, the touch recognition apparatus 100 according to an embodiment of the present invention further includes a storage unit 140 for storing information on a time point at which each ultrasonic sensor receives a reflection signal and a refraction signal in the first detection period. can do.

이후, 프로세서(120)는 제2 검출 구간에서, 제1 및 제2 초음파 센서(110-1, 110-2)가 각각 서로 다른 시점에 초음파 신호를 각각 방사하도록 제어할 수 있다. 구체적으로, 프로세서(120)는 제1 및 제2 초음파 센서(110-1, 110-2)가 제2 검출 구간에서 서로 다른 시점에 초음파 신호를 방사하도록, 제1 및 제2 초음파 센서(110-1, 110-2) 중 적어도 하나의 센서에 대하여, 초음파 신호의 방사 시점을 딜레이(delay)시킬 수 있다.Thereafter, the processor 120 may control each of the first and second ultrasonic sensors 110-1 and 110-2 to emit ultrasonic signals at different time points in the second detection period. Specifically, the processor 120 includes the first and second ultrasonic sensors 110-so that the first and second ultrasonic sensors 110-1 and 110-2 emit ultrasonic signals at different times in the second detection period. With respect to at least one of the sensors 1 and 110-2), a timing at which the ultrasonic signal is emitted may be delayed.

즉, 프로세서(120)는 제2 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에서 초음파가 방사되는 시점이 제1 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에서 초음파가 방사되는 시점과 대응하도록 제어할 수 있다. 이때, 제2 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에 의해 반사 신호가 수신되는 시점 또한, 제1 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에 의해 반사 신호가 수신되는 시점과 대응되게 된다.That is, the processor 120 determines that the ultrasonic wave is emitted from the first ultrasonic sensor 110-1 from the start of the second detection interval and the ultrasonic wave is emitted from the first ultrasonic sensor 110-1 from the start of the first detection interval. It can be controlled to correspond to the point at which is emitted. At this time, the time when the reflected signal is received by the first ultrasonic sensor 110-1 from the start of the second detection interval and the reflected signal by the first ultrasonic sensor 110-1 from the start of the first detection interval Corresponds to the time point at which is received.

한편, 프로세서(120)는 도 6에 도시된 바와 같이, 제2 검출 구간의 시작시점으로부터 제2 초음파 센서(110-2)에서 초음파가 방사되는 시점과 제1 검출 구간의 시작시점으로부터 제2 초음파 센서(110-2)에서 초음파가 방사되는 시점간에 △ms 만큼 타임 쉬프트(Time shift)가 발생하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에 있어서, 제1 검출 구간으로부터 초음파가 방사되는 시점과 대응되는 시점보다 △ms만큼 타임 쉬프트 된 시점(0+△ms)에 초음파가 방사되도록 제어할 수 있다.On the other hand, as shown in FIG. 6, the processor 120 transmits the second ultrasonic wave from the start point of the second detection section to the second ultrasonic wave sensor 110-2 from the start point of the first detection section. It is possible to control so that a time shift occurs as much as Δms between timing points at which ultrasonic waves are emitted from the sensor 110-2. For example, in the second detection section of the second ultrasonic sensor 110-2, the processor 120 is a time shifted by Δms from a time corresponding to a time when ultrasonic waves are emitted from the first detection section (0 +△ms) can be controlled to emit ultrasonic waves.

이때, 제2 초음파 센서(110-2)에서 제2 검출 구간의 시작 시점으로부터 △ms만큼 타임 쉬프트되어 방사되는 초음파 신호에 의한 반사 신호 또한 마찬가지로 △ms만큼 타임 쉬프트(3.8+△ms)되는 반면, 제1 초음파 센서(110-1)에 의해 제2 초음파 센서(110-2)에서 수신되는 굴절 신호는 타임 쉬프트가 발생하지 않는다(3.08ms).At this time, the reflected signal of the ultrasonic signal emitted by being time-shifted by △ms from the start of the second detection period in the second ultrasonic sensor 110-2 is also time-shifted (3.8+△ms) by △ms, The refraction signal received from the second ultrasonic sensor 110-2 by the first ultrasonic sensor 110-1 does not cause a time shift (3.08 ms).

한편, 제1 초음파 센서(110-1)의 제2 검출 구간에서, 제2 초음파 센서(120)에 의한 굴절 신호는 제1 검출 구간에서 수신된 굴절 신호가 수신된 시점 에 대응되는 시점보다 △ms만큼 타임 쉬프트(3.1+△ms)되어 나타날 수 있다. 그러나, 제1 초음파 센서(110-1)에 의해 방사되어 제1 초음파 센서(110-1)에서 수신되는 반사 신호는 타임 쉬프트(2.5ms)가 발생하기 않는다.Meanwhile, in the second detection section of the first ultrasonic sensor 110-1, the refraction signal by the second ultrasonic sensor 120 is Δms higher than the time point corresponding to the time point at which the refraction signal received in the first detection section is received. It may appear as time shifted (3.1+△ms). However, a time shift (2.5 ms) does not occur in the reflected signal emitted by the first ultrasonic sensor 110-1 and received by the first ultrasonic sensor 110-1.

위와 같은 과정에 의해, 프로세서(120)는 제1 검출 구간 및 제2 검출 구간에 있어서, 제1 초음파 센서(110-1)에 의해 수신된 신호 파형을 분석하여 타임 쉬프트가 발생하지 않은 신호를 반사 신호로, 타임 쉬프트가 발생한 신호를 굴절 신호로 판단할 수 있다. 프로세서(120)는 굴절 신호를 제외한 반사 신호가 수신된 시간만을 고려하여 제2 검출 구간에서의 제1 초음파 센서(110-1)와 오브젝트(o1) 간의 ToF를 산출할 수 있으며, 산출된 ToF를 이용하여 제1 초음파 센서(110-1)와 오브젝트(o1) 간의 거리를 도출할 수 있다.Through the above process, the processor 120 analyzes the signal waveform received by the first ultrasonic sensor 110-1 in the first detection period and the second detection period and reflects the signal in which no time shift has occurred. As a signal, a signal in which a time shift has occurred may be determined as a refraction signal. The processor 120 may calculate the ToF between the first ultrasonic sensor 110-1 and the object o 1 in the second detection section by considering only the time when the reflected signal excluding the refraction signal is received, and the calculated ToF The distance between the first ultrasonic sensor 110-1 and the object o 1 may be derived by using.

또한, 프로세서(120)는 제1 검출 구간 및 제2 검출 구간에 있어서, 제2 초음파 센서(110-2)에 의해 수신된 신호 파형을 분석하여 타임 쉬프트가 발생한 신호를 반사 신호로, 타임 쉬프트가 발생하지 않은 신호를 굴절 신호로 판단할 수 있다. 프로세서(120)는 굴절 신호를 제외한 반사 신호가 수신된 시간만을 고려하여 제2 검출 구간에서의 제2 초음파 센서(110-2)와 오브젝트(o1) 간의 ToF를 산출할 수 있으며, 산출된 ToF를 이용하여 제2 초음파 센서(110-2)와 오브젝트(o1) 간의 거리를 도출할 수 있다. 즉, 프로세서(120)는 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 각 초음파 센서(110-1, 110-2)를 제어하여 각 초음파 신호의 ToF를 산출할 수 있다.In addition, the processor 120 analyzes the signal waveform received by the second ultrasonic sensor 110-2 in the first detection period and the second detection period, and converts the time-shifted signal into a reflected signal, and the time shift is A signal that has not occurred can be determined as a refraction signal. The processor 120 may calculate the ToF between the second ultrasonic sensor 110-2 and the object o 1 in the second detection section by considering only the time when the reflected signal excluding the refraction signal is received, and the calculated ToF The distance between the second ultrasonic sensor 110-2 and the object o 1 may be derived by using. That is, the processor 120 includes the ultrasonic sensors 110-1 and 110-2 so that the first ultrasonic sensor 110-1 and the second ultrasonic sensor 110-2 emit ultrasonic signals at different time intervals. By controlling the ToF of each ultrasonic signal can be calculated.

한편, 여기서 타임 쉬프트는 기 설정된 검출 구간에 있어서, 일 초음파 센서가 다른 초음파 센서에서 방사되는 초음파 신호보다 기 설정된 시간(△ms)만큼 늦거나 빠른 시점에 초음파 신호를 방사하는 경우의 시간차(△ms)를 의미한다. 이하, 일 초음파 센서가 기 설정된 검출 구간의 시작 시점을 기준으로 △ms만큼 늦게 초음파 신호를 방사하는 경우에, 일 초음파 센서의 초음파 신호가 △ms만큼 딜레이(delay)되었다고 한다. 또한, 일 초음파 센서가 기준이 되는 타 초음파 센서에서 방사되는 초음파 신호보다 △ms만큼 늦게 초음파 신호를 방사하는 경우에, 일 초음파 센서의 초음파 신호가 타 초음파 센서의 초음파 신호보다 △ms만큼 딜레이(delay)되었다고 한다.Meanwhile, the time shift is the time difference (△ms) when one ultrasonic sensor emits an ultrasonic signal at a time later or earlier than the ultrasonic signal emitted from another ultrasonic sensor by a preset time (△ms) in a preset detection period. Means ). Hereinafter, when one ultrasonic sensor emits an ultrasonic signal as late as Δms based on the start time of a preset detection period, it is assumed that the ultrasonic signal of one ultrasonic sensor is delayed as much as Δms. In addition, when one ultrasonic sensor emits an ultrasonic signal △ms later than an ultrasonic signal radiated from another ultrasonic sensor as a reference, the ultrasonic signal of one ultrasonic sensor is delayed by △ms compared to the ultrasonic signal of the other ultrasonic sensor. ).

도 7은 본 발명의 일 실시 예에 따른, 전체 초음파 센서에 의한 초음파 신호의 수신 파형을 구별하는 방법을 설명하기 위한 도형이다. 도 7에 도시된 바와 같이, 제1 검출 구간에 있어서 각 초음파 센서(110-1 ~ 110-4)는 동시에 초음파 신호를 방사할 수 있다. ① 내지 ④는 제1 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ TX D)에서 방사되는 초음파 신호를 나타낸 것이다.7 is a diagram illustrating a method of distinguishing a reception waveform of an ultrasonic signal by all ultrasonic sensors according to an embodiment of the present invention. As illustrated in FIG. 7, in the first detection period, each of the ultrasonic sensors 110-1 to 110-4 may simultaneously emit ultrasonic signals. ① to ④ represent ultrasonic signals radiated from the transmitters (T x A to T X D ) of each of the ultrasonic sensors 110-1 to 110-4 in the first and second detection intervals.

도 7에 도시된 바와 같이, 프로세서(120)는 제1 초음파 센서(110-1)의 제2 검출 구간에 있어서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점에 초음파 신호를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 △ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제3 초음파 센서(110-3)의 제2 검출 구간에서는, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 2△ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제4 초음파 센서(110-4)의 제2 검출 구간에서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 3△ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 즉, 프로세서(120)는 제2 검출 구간에서, 각 초음파 센서(110-1 ~ 110-4)가 각각 기 설정된 딜레이(△)만큼 방사 시점이 차이가 나도록 제어할 수 있다.As shown in FIG. 7, the processor 120 controls to emit an ultrasonic signal at a time corresponding to a time point of ultrasonic radiation in the first detection section in the second detection section of the first ultrasonic sensor 110-1 can do. In addition, the processor 120 controls to emit ultrasonic waves at a time delayed by Δms from a time corresponding to a time point corresponding to the time point of ultrasonic radiation in the first detection section in the second detection section of the second ultrasonic sensor 110-2. I can. In addition, in the second detection section of the third ultrasonic sensor 110-3, the processor 120 controls to emit ultrasonic waves at a time delayed by 2 Δms from a time corresponding to the time of ultrasonic radiation in the first detection section. can do. In addition, the processor 120 controls to emit ultrasonic waves at a time delayed by 3 Δms from a time corresponding to a time point corresponding to a time point corresponding to the time point corresponding to the time point of ultrasonic radiation in the first detection section in the second detection section of the fourth ultrasonic sensor 110-4. can do. That is, in the second detection period, the processor 120 may control each of the ultrasonic sensors 110-1 to 110-4 to have a difference in emission time by a preset delay Δ.

한편, ⑤ 내지 ⑧은 제1 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ RX D)에서 방사되는 초음파 신호를 나타낸 것이다. 도 7에 도시된 바와 같이, 제1 검출 구간에서는, 제1 내지 제4 초음파 센서(110-1 ~ 110-4)에서 동시에 방사된 초음파 신호에 의한 반사 및 굴절 신호가 검출될 수 있다. 이때, 각 초음파 센서(110-1 ~ 110-4)에 수신되는 신호는 오브젝트(o1)에 가장 가까운 초음파 센서 순으로 검출될 수 있다.Meanwhile, ⑤ to ⑧ represent ultrasonic signals radiated from the receiving units (R x A to R X D ) of each of the ultrasonic sensors 110-1 to 110-4 in the first and second detection intervals. As shown in FIG. 7, in the first detection period, reflection and refraction signals by ultrasonic signals simultaneously radiated from the first to fourth ultrasonic sensors 110-1 to 110-4 may be detected. In this case, the signals received by each of the ultrasonic sensors 110-1 to 110-4 may be detected in the order of ultrasonic sensors closest to the object o 1 .

예를 들어, 오브젝트(o1)에 가장 가까운 초음파 센서가 순서대로, 제1 초음파 센서, 제4 초음파 센서, 제2 초음파 센서, 제3 초음파 센서라고 할 때, 도 7에 도시된 바와 같이, 제1 초음파 센서(110-1)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 반사 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.For example, when the ultrasonic sensors closest to the object o 1 are in order, the first ultrasonic sensor, the fourth ultrasonic sensor, the second ultrasonic sensor, and the third ultrasonic sensor, as shown in FIG. 1 The reflection and refraction signals received from the ultrasonic sensor 110-1 are reflected signals from the first ultrasonic sensor 110-1, the refraction signals from the fourth ultrasonic sensor 110-4, and the second ultrasonic sensor 110 The refraction signal from -2) may be detected in the order of the refraction signal from the third ultrasonic sensor 110-3.

또한, 제2 초음파 센서(110-2)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 반사 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the second ultrasonic sensor 110-2 are a refraction signal from the first ultrasonic sensor 110-1, a refraction signal from the fourth ultrasonic sensor 110-4, and a second ultrasonic wave. The reflected signal from the sensor 110-2 may be detected in the order of the refraction signal from the third ultrasonic sensor 110-3.

또한, 제3 초음파 센서(110-3)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 반사 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the third ultrasonic sensor 110-3 are a refraction signal from the first ultrasonic sensor 110-1, a refraction signal from the fourth ultrasonic sensor 110-4, and the second ultrasonic wave. The refraction signal from the sensor 110-2 may be detected in the order of the reflection signal from the third ultrasonic sensor 110-3.

또한, 제4 초음파 센서(110-4)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 반사 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the fourth ultrasonic sensor 110-4 are a refraction signal from the first ultrasonic sensor 110-1, a reflection signal from the fourth ultrasonic sensor 110-4, and the second ultrasonic wave. The refraction signal from the sensor 110-2 and the refraction signal from the third ultrasonic sensor 110-3 may be detected in this order.

한편, 도 7에 도시된 바와 같이 제2 검출 구간에 있어서, 제1 초음파 센서(110-1)에 수신되는 제1 초음파 센서(110-1)의 반사 신호는 딜레이가 일어나지 않으나, 제2 초음파 센서(110-2)의 굴절 신호는 △ms 만큼, 제3 초음파 센서(110-3)의 굴절 신호는 2△ms만큼, 제4 초음파 센서의 굴절 신호는 3△ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 반사 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 2△ms만큼 일어난 신호를 제3 초음파 센서(110-3)의 굴절 신호로, 3△ms만큼 일어난 신호를 제4 초음파 센서(110-4)의 굴절 신호로 판단할 수 있다. 이와 같이, 프로세서(120)는 딜레이가 일어난 정도에 따라 각 반사 및 굴절 신호가 어느 초음파 센서로부터 반사 또는 굴절되어 수신된 신호인지 판단할 수 있다.Meanwhile, as shown in FIG. 7, in the second detection period, the reflected signal of the first ultrasonic sensor 110-1 received by the first ultrasonic sensor 110-1 does not cause a delay, but the second ultrasonic sensor The refraction signal of (110-2) is delayed by Δms, the refraction signal of the third ultrasonic sensor 110-3 is delayed by 2 Δms, and the refraction signal of the fourth ultrasonic sensor is delayed by 3 Δms. Accordingly, the processor 120 may determine a signal in which no delay has occurred as a reflected signal of the first ultrasonic sensor 110-1. In addition, the processor 120 uses a signal in which the delay occurs by Δms as a refraction signal of the second ultrasonic sensor 110-2, and a signal in which 2 Δms occurs as a refraction signal of the third ultrasonic sensor 110-3, A signal generated by 3 Δms may be determined as a refraction signal of the fourth ultrasonic sensor 110-4. In this way, the processor 120 may determine whether each reflected or refracted signal is a signal received by reflecting or refracting from which ultrasonic sensor according to the degree of the delay.

마찬가지로, 제2 검출 구간에 있어서, 제2 초음파 센서(110-2)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제2 초음파 센서(110-2)에 수신되는 제2 초음파 센서(110-2)의 반사 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 반사 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 굴절 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 굴절 신호로 판단할 수 있다.Likewise, in the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the second ultrasonic sensor 110-2 does not cause a delay, but is received by the second ultrasonic sensor 110-2. The reflected signal of the second ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the processor 120 may determine a signal in which no delay has occurred as a refraction signal of the first ultrasonic sensor 110-1. In addition, the processor 120 uses a signal in which the delay occurs as much as Δms as a reflected signal from the second ultrasonic sensor 110-2, and the signal in which the delay occurs as much as 2Δms as a refraction signal from the third ultrasonic sensor 110-2. Thus, a signal in which the delay occurs by 3 Δms may be determined as a refraction signal of the fourth ultrasonic sensor 110-2.

제2 검출 구간에 있어서, 제3 초음파 센서(110-3)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제3 초음파 센서(110-3)에 수신되는 제2 초음파 센서(110-2)의 굴절 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 반사 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 굴절 신호로 판단할 수 있다.In the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the third ultrasonic sensor 110-3 does not cause a delay, but the third ultrasonic sensor 110-3 2 The refraction signal of the ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the processor 120 may determine a signal in which no delay has occurred as a refraction signal of the first ultrasonic sensor 110-1. In addition, the processor 120 uses a signal in which the delay occurs as much as Δms as a refraction signal from the second ultrasonic sensor 110-2, and the signal in which the delay occurs as much as 2 Δms as a reflection signal from the third ultrasonic sensor 110-2. Thus, a signal in which the delay occurs by 3 Δms may be determined as a refraction signal of the fourth ultrasonic sensor 110-2.

제2 검출 구간에 있어서, 제4 초음파 센서(110-4)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제4 초음파 센서(110-4)에 수신되는 제2 초음파 센서(110-2)의 굴절 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 굴절 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 반사 신호로 판단할 수 있다.In the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the fourth ultrasonic sensor 110-4 does not cause a delay, but the first ultrasonic sensor 110-4 does not cause a delay. 2 The refraction signal of the ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the processor 120 may determine a signal in which no delay has occurred as a refraction signal of the first ultrasonic sensor 110-1. In addition, the processor 120 uses a signal in which the delay occurs by Δms as a refraction signal of the second ultrasonic sensor 110-2, and the signal in which the delay occurs by 2 Δms is a refraction signal of the third ultrasonic sensor 110-2. As such, a signal in which the delay occurs by 3 Δms may be determined as a reflected signal of the fourth ultrasonic sensor 110-2.

한편, 도 8은 본 발명의 일 실시 예에 따른, 각 초음파 신호의 타임 쉬프트 값을 결정하기 위한 조건을 설명하기 위한 도면이다.Meanwhile, FIG. 8 is a diagram for explaining a condition for determining a time shift value of each ultrasound signal according to an embodiment of the present invention.

본 발명에 있어서, 타임 쉬프트는, 기 설정된 검출 구간에 있어서, 오브젝트의 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다. 구체적으로, 사용자가 손가락을 이용하여 1초 동안 터치 앤 드래그를 수행할 수 있는 거리가 최대 1m라고 가정하는 경우, 기 설정된 검출 구간(5.8ms) 동안 오브젝트가 이동할 수 있는 거리 또한 최대 5.8mm가 된다. 이때, 오브젝트의 움직임으로 인하여 두 검출 구간에서 발생하는 초음파의 최대 위상차는 오브젝트의 최대 이동 거리를 초음파의 속력으로 나눈 값(5.8mm/343ms=16.9 μs)이 된다. 따라서, 두 검출 구간에서 위상차 동기화를 위한 최소 위상차, 즉, 타임 쉬프트의 최소값은 16.9 μs 의 두 배인 33.8 μs로 결정될 수 있다.In the present invention, the time shift may be determined to be greater than a difference in reception time of an ultrasound signal according to a maximum movement distance that can be recognized by the touch recognition apparatus of an object in a preset detection period. Specifically, assuming that the distance at which the user can touch and drag for 1 second using a finger is at most 1m, the distance at which the object can move during the preset detection period (5.8ms) is also at most 5.8mm. . At this time, the maximum phase difference of the ultrasound generated in the two detection sections due to the movement of the object is a value obtained by dividing the maximum movement distance of the object by the speed of the ultrasound (5.8mm/343ms=16.9 μs). Therefore, the minimum phase difference for phase difference synchronization in the two detection intervals, that is, the minimum value of the time shift may be determined to be 33.8 μs, which is twice the 16.9 μs.

도 9는 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 지속적으로 구별하기 위한 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method for continuously discriminating an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention.

도 9에 도시된 바와 같이, 제1 검출 구간 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 초음파 신호의 방사 패턴이 반복될 수 있다. 즉, 제2 검출 구간 이후의 제3 검출 구간에 있어서, 프로세서(120)는 제1 검출 구간의 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.As shown in FIG. 9, in the first detection section and the second detection section, a radiation pattern of the ultrasonic signals of each of the ultrasonic sensors 110-1 to 110-4 may be repeated. That is, in the third detection period after the second detection period, the processor 120 may control the emission of the plurality of ultrasound signals at a time point corresponding to the time point at which the plurality of ultrasound signals of the first detection period are respectively radiated. have.

이 경우, 프로세서(120)는 제2 검출 구간과 제3 검출 구간에서 각각의 초음파 센서(110-1 ~ 110-4)마다 서로 다른 시간 간격으로 방사되는 복수의 초음파 신호에 따라 발생하는 서로 다른 수신 시간 간격을 기초로, 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 ToF를 산출할 수 있다. 구체적으로, 프로세서(120)는 제2 검출 구간에서 복수의 초음파 센서(110-1 ~ 110-4)가 각각의 초음파 신호를 방사한 시점 및 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장부(140)에 저장할 수 있다.In this case, the processor 120 receives different receptions generated according to a plurality of ultrasonic signals radiated at different time intervals for each of the ultrasonic sensors 110-1 to 110-4 in the second detection section and the third detection section. Based on the time interval, the ToF may be calculated by determining each ultrasonic sensor that emits the received ultrasonic signal. Specifically, the processor 120 is at the time when the plurality of ultrasonic sensors 110-1 to 110-4 emit each ultrasonic signal in the second detection period and the time when each ultrasonic signal is received by reflection by the object. Information about the information may be stored in the storage unit 140.

이후, 프로세서(140)는 제3 검출 구간에서 복수의 초음파 센서(110-1 ~ 110-4)가 각각의 초음파 신호를 방사한 시점, 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 저장부(140)에 저장된 정보를 이용하여 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.Thereafter, the processor 140 determines when the plurality of ultrasonic sensors 110-1 to 110-4 emit each ultrasonic signal in the third detection period and the time when each ultrasonic signal is received by being reflected by the object. An ultrasonic sensor that emits a received ultrasonic signal may be determined by using the information and information stored in the storage 140.

도 10은 본 발명의 일 실시 예에 따른, 신호 패턴의 차이를 이용하여 복합적으로 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면이다.10 is a diagram for describing a method for distinguishing ultrasonic signals radiated from each ultrasonic sensor complex by using a difference in signal pattern according to an embodiment of the present invention.

본 발명의 일 실시 예에 따르면, 터치 인식 장치(100)에서 방사되는 복수의 초음파 센서(110-1 ~ 110-4)는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다. 구체적으로, 각 초음파 센서(110-1 ~ 110-4)에서 방사되는 초음파 신호를 서로 다른 주파수의 신호로 구현함으로써, 각 초음파 센서에서 수신되는 초음파 신호로부터 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호의 분리 효과를 개선할 수 있다.According to an embodiment of the present invention, the plurality of ultrasonic sensors 110-1 to 110-4 radiated from the touch recognition apparatus 100 may have different frequencies of the emitted ultrasonic signals. Specifically, by implementing ultrasonic signals radiated from each of the ultrasonic sensors 110-1 to 110-4 as signals of different frequencies, the object (o 1 ) is radiated from other ultrasonic sensors from ultrasonic signals received from each ultrasonic sensor. It is possible to improve the separation effect of the ultrasonic signal refracted by the.

또한, 본 발명의 다른 실시 예에 따르면, 프로세서(120)는 복수의 초음파 센서(110-1 ~ 110-4)로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다. 구체적으로, 프로세서(120)는 각 초음파 센서에서 방사되는 초음파 신호에 대하여, ADC 시간 해상도에 따라 부분적으로 위상을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 초음파 센서(110-1)에서 방사되는 초음파 신호의 위상은 0°, 제2 초음파 센서(110-2)에서 방사되는 초음파 신호의 위상은 90°, 제3 초음파 센서(110-3)에서 방사되는 초음파 신호의 위상은 180°, 제4 초음파 센서(110-4)에서 방사되는 초음파 신호의 위상은 270°으로, 서로 다른 위상을 가지는 초음파 신호를 방사하도록 제어할 수 있다. 이에 따라, 각 초음파 센서에서 수신되는 초음파 신호로부터 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호의 분리 효과를 개선할 수 있다.In addition, according to another embodiment of the present invention, the processor 120 may differently control phases of ultrasonic signals radiated from the plurality of ultrasonic sensors 110-1 to 110-4, respectively. Specifically, the processor 120 may partially control the phase of the ultrasonic signal emitted from each ultrasonic sensor according to the ADC temporal resolution. For example, in the processor 120, the phase of the ultrasonic signal radiated from the first ultrasonic sensor 110-1 is 0°, the phase of the ultrasonic signal radiated from the second ultrasonic sensor 110-2 is 90°, 3 The phase of the ultrasonic signal radiated from the ultrasonic sensor 110-3 is 180°, and the phase of the ultrasonic signal radiated from the fourth ultrasonic sensor 110-4 is 270°, so that ultrasonic signals having different phases are emitted. Can be controlled. Accordingly, it is possible to improve the separation effect of the ultrasonic signal that is refracted by the object o 1 by being radiated from another ultrasonic sensor from the ultrasonic signal received from each ultrasonic sensor.

또한, 본 발명의 다른 실시 예에 따르면, 프로세서(120)는 각 복수의 초음파 센서(110-1 ~ 110-4)에서 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하여 각 초음파 센서(110-1 ~ 110-4)로부터의 굴절 신호와 반사 신호를 구별할 수 있다.In addition, according to another embodiment of the present invention, the processor 120 differently controls the pulse duration of the ultrasonic signals radiated from each of the plurality of ultrasonic sensors 110-1 to 110-4 to control each ultrasonic wave. The refraction signal and the reflected signal from the sensors 110-1 to 110-4 can be distinguished.

이와 같이 상술한 주파수 분할 방식, 위상 제어 방식 및 펄스 지속 시간 조정 방식을 본 발명의 초음파 방사 주기에 대한 타임 쉬프트 방식과 적절히 혼합하여 반사 신호와 굴절 신호의 구별 확률을 높일 수 있다.As described above, the frequency division method, the phase control method, and the pulse duration adjustment method are appropriately mixed with the time shift method for the ultrasonic emission period of the present invention to increase the probability of discriminating between the reflected signal and the refracted signal.

도 10에 도시된 바와 같이, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에서의 초음파 방사 시점을 제1 초음파 센서(110-1)와 다르게 조정하여, 각 초음파 센서(110-1, 110-2)에서 수신되는 반사 신호와 굴절 신호를 구별할 수 다. 특히 이에 더하여, 프로세서(120)는 제1 초음파 센서(110-1)에서 방사되는 초음파와 제2 초음파 센서(110-2)에서 방사되는 초음파의 펄스 지속 시간을 서로 다르게 제어하여, 반사 신호와 굴절 신호의 구별 확률을 높일 수 있다.As shown in FIG. 10, the processor 120 adjusts the timing of ultrasonic radiation in the second detection section of the second ultrasonic sensor 110-2 differently from the first ultrasonic sensor 110-1, so that each ultrasonic sensor The reflected signal and the refraction signal received at (110-1, 110-2) can be distinguished. In particular, in addition to this, the processor 120 differently controls the pulse duration of the ultrasonic waves emitted from the first ultrasonic sensor 110-1 and the ultrasonic waves emitted from the second ultrasonic sensor 110-2, so that the reflected signal and the refraction are different. The probability of discriminating signals can be increased.

도 11은 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 상세히 도시한 블록도이다. 도 11에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 터치 인식 장치(100'')는 제1 내지 n 초음파 센서(110-1 ~ 110-n), 프로세서(120), 디스플레이(130), 저장부(140), 사용자 인터페이스(150)를 포함한다. 이하에서는 도 1과 중복되는 구성에 대한 설명은 생략하기로 한다.11 is a block diagram showing in detail a configuration of a touch recognition device according to another embodiment of the present invention. As shown in FIG. 11, a touch recognition device 100 ″ according to another embodiment of the present invention includes first to n ultrasonic sensors 110-1 to 110-n, a processor 120, and a display 130 , A storage unit 140, and a user interface 150. Hereinafter, a description of the configuration overlapping with that of FIG. 1 will be omitted.

프로세서(120)는 터치 인식 장치(100'')의 전반적인 동작을 제어하는 구성이다. 구체적으로, 프로세서(120)는 ROM(121), RAM(122), CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 및 버스(125)를 포함한다. 여기서, ROM(121), RAM(122), CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 등은 버스(125)를 통해 서로 연결될 수 있다.The processor 120 is a component that controls the overall operation of the touch recognition device 100 ″. Specifically, the processor 120 includes a ROM 121, a RAM 122, a CPU 123, first to n interfaces 124-1 to 124-n, and a bus 125. Here, the ROM 121, the RAM 122, the CPU 123, the first to n interfaces 124-1 to 124-n, and the like may be connected to each other through the bus 125.

CPU(123)는 저장부(140)에 액세스하여, 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(123)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.The CPU 123 accesses the storage unit 140 and performs booting using the stored O/S. In addition, the CPU 123 may perform various operations using various programs, contents, and data stored in the storage unit 140.

ROM(121)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(121)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(122)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 저장부(140)에 저장된 각종 애플리케이션 프로그램을 RAM(122)에 복사하고, RAM(122)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.The ROM 121 stores an instruction set for booting a system, and the like. When the turn-on command is input and power is supplied, the CPU 123 copies the O/S stored in the storage unit 140 to the RAM 122 according to the instruction stored in the ROM 121, and executes the O/S. Boot. When booting is complete, the CPU 123 copies various application programs stored in the storage unit 140 to the RAM 122 and executes the application programs copied to the RAM 122 to perform various operations.

제1 내지 n 인터페이스(124-1 ~ 124-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to nth interfaces 124-1 to 124-n are connected to the above-described various components. One of the interfaces may be a network interface that is connected to an external device through a network.

한편, 상술한 프로세서(120)의 동작은 저장부(140)에 저장된 프로그램에 의해 수행될 수 있다.Meanwhile, the above-described operation of the processor 120 may be performed by a program stored in the storage unit 140.

저장부(140)는 터치 인식 장치(100'')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티 미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.The storage unit 140 may store various data such as an O/S (Operating System) software module for driving the touch recognition device 100 ″ and various multimedia contents.

구체적으로, 저장부(140)는 터치 인식 장치(100'')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈, 보안 모듈 등을 저장할 수 있다. 특히, 저장부(140)는 본 발명의 일 실시 예에 따른 초음파 신호의 ToF를 검출하는데 필요한 ToF 계산 모듈, 오브젝트에 의한 터치 포인트를 검출하기 위한 터치 좌표 판단 모듈 등의 프로그램이 저장되어 있을 수 있다.Specifically, the storage unit 140 generates a base module that processes signals transmitted from hardware included in the touch recognition device 100 ″, a storage module that manages a database (DB) or registry, and a layout screen. It is possible to store a graphic processing module, a security module, etc. In particular, the storage unit 140 may store programs such as a ToF calculation module required to detect ToF of an ultrasonic signal according to an embodiment of the present invention, and a touch coordinate determination module to detect a touch point by an object. .

사용자 인터페이스(150)는, 터치 인식 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소로서, 카메라(미도시), 마이크(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.The user interface 150 is a component for detecting user interaction for controlling the overall operation of the touch recognition device 100 ″, and includes various interaction detection devices such as a camera (not shown) and a microphone (not shown). Can include.

도 12는 본 발명의 일 실시 예에 따른, 터치 인식 장치의 제어 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a method of controlling a touch recognition device according to an embodiment of the present invention.

먼저, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어한다(S1210). 이때, 제1 검출 구간에서는 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어할 수 있고, 제2 검출 구간에서는 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어할 수 있다. 또한, 제2 검출 구간에서 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다. 여기서, 딜레이는, 기 설정된 검출 구간에 있어서, 오브젝트의 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.First, the plurality of ultrasonic sensors are controlled so that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals (S1210). In this case, in the first detection section, a plurality of ultrasonic sensors can be controlled to emit a first ultrasonic signal at the same time, and in the second detection section, a plurality of ultrasonic sensors are controlled to emit a second ultrasonic signal at different times. can do. In addition, in the second detection period, the plurality of ultrasonic sensors may be controlled to sequentially emit second ultrasonic signals at preset delay intervals. Here, the delay may be determined to be greater than a difference in reception time of an ultrasound signal according to a maximum movement distance that can be recognized by the touch recognition apparatus of an object in a preset detection period.

이 후, 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출한다(S1220). 이때, 서로 다른 시간 간격에 따라 발생하는 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 ToF를 산출할 수 있다.Thereafter, the touch point of the object is detected based on the time of flight (ToF) of the received ultrasonic signal by reflecting the emitted ultrasonic signal by the object (S1220). In this case, based on different reception time intervals of the plurality of ultrasonic signals generated according to different time intervals, each ultrasonic sensor that emits the received ultrasonic signal may be determined to calculate the ToF.

또한, 제1 검출 구간에서 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장할 수 있다. 이때, 제2 검출 구간에서 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 저장된 정보를 이용하여 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, in the first detection period, information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal and a time point at which each ultrasonic signal is received by reflection by an object may be stored. At this time, in the second detection period, the plurality of ultrasonic sensors radiate the received ultrasonic signal using information on the time point at which each ultrasonic signal is emitted, the time point at which each ultrasonic signal is received by reflection by the object, and the stored information. Each of the ultrasonic sensors can be determined.

한편, 복수의 초음파 센서는, 방사하는 초음파 시호의 주파수를 서로 달리할 수 있다. 또한, 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수도 있으며, 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간을 서로 다르게 제어할 수도 있다.Meanwhile, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic waves. In addition, the phases of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently, and the pulse duration of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently.

또한, 제3 검출 구간에 있어서, 제1 검출 구간의 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, in the third detection section, a control may be performed to emit a plurality of ultrasonic signals at a time point corresponding to a time point at which the plurality of ultrasonic signals in the first detection section are respectively emitted.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 각 초음파 센서마다 순차적으로 초음파를 방사 및 수신하는 시분할 방식의 식별 방식에 비해, 식별 시간을 단축할 수 있으므로 터치 스크린의 터치 인식 성능을 높일 수 있게 된다.As described above, according to various embodiments of the present invention, since the identification time can be shortened compared to the time-division type identification method in which ultrasonic waves are sequentially emitted and received for each ultrasonic sensor, the touch recognition performance of the touch screen can be improved. .

상술한 다양한 실시 예에 따른 터치 인식 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.The control method of the touch recognition device according to the various embodiments described above may be implemented as a program and stored in various recording media. That is, a computer program that is processed by various processors and capable of executing the various control methods described above may be used in a state stored in a recording medium.

일 예로, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어하는 단계 및 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.As an example, controlling the plurality of ultrasonic sensors so that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals, and the radiated ultrasonic signals are reflected by the object and received. A non-transitory computer readable medium in which a program for performing the step of detecting a touch point of an object based on the time of flight (ToF) of the ultrasonic signal may be stored.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, or memory. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, and ROM.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is generally used in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Various modifications are possible by those skilled in the art of course, and these modifications should not be individually understood from the technical idea or perspective of the present invention.

100, 100', 100'': 터치 인식 장치 110-1 ~ 110-n: 초음파 센서
120: 프로세서 130: 저장부
140: 디스플레이
100, 100', 100'': touch recognition device 110-1 to 110-n: ultrasonic sensor
120: processor 130: storage
140: display

Claims (21)

터치 인식 장치에 있어서,
복수의 초음파 센서; 및
서로 다른 방사 시간 간격에 따라 초음파 신호를 주기적으로 방사하도록 상기 복수의 초음파 센서를 제어하고,
상기 복수의 초음파 센서 각각에 주기적으로 수신되는 초음파 신호의 수신 시간 간격 및 상기 복수의 초음파 센서 각각에서 주기적으로 방사되는 초음파 신호의 방사 시간 간격을 기초로, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하고,
상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호의 ToF(Time of Flight)에 기초하여, 오브젝트의 터치 포인트를 검출하는 프로세서;를 포함하며,
상기 프로세서는,
제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 상기 복수의 초음파 센서를 제어하고,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 상기 복수의 초음파 센서를 제어하는, 터치 인식 장치.
In the touch recognition device,
A plurality of ultrasonic sensors; And
Controlling the plurality of ultrasonic sensors to periodically emit ultrasonic signals according to different radiation time intervals,
Based on a reception time interval of the ultrasonic signals periodically received by each of the plurality of ultrasonic sensors and a radiation time interval of the ultrasonic signals periodically radiated from each of the plurality of ultrasonic sensors, among ultrasonic signals received by the plurality of ultrasonic sensors To determine the received ultrasonic signals radiated by each of the plurality of ultrasonic sensors,
Includes; a processor for detecting a touch point of an object based on a Time of Flight (ToF) of the ultrasonic signal emitted and received by each of the plurality of ultrasonic sensors,
The processor,
Controlling the plurality of ultrasonic sensors so that the plurality of ultrasonic sensors simultaneously emit first ultrasonic signals, respectively, in a first detection period,
The touch recognition apparatus, wherein the plurality of ultrasonic sensors control the plurality of ultrasonic sensors so that each of the plurality of ultrasonic sensors emit second ultrasonic signals at different time points in a second detection period.
삭제delete 제1항에 있어서,
상기 프로세서는,
상기 복수의 초음파 센서 중 제1 초음파 센서는 제1 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제1 초음파 센서를 제어하고,
상기 복수의 초음파 센서 중 제2 초음파 센서는 상기 제1 방사 시간 간격을 기설정된 시간으로 지연시킨 제2 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제2 초음파 센서를 제어하는, 터치 인식 장치.
The method of claim 1,
The processor,
A first ultrasonic sensor among the plurality of ultrasonic sensors controls the first ultrasonic sensor to emit ultrasonic signals according to a first radiation time interval,
The second ultrasonic sensor of the plurality of ultrasonic sensors controls the second ultrasonic sensor to emit ultrasonic signals according to a second radiation time interval in which the first radiation time interval is delayed by a preset time.
삭제delete 제1항에 있어서,
제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 저장부;를 더 포함하고,
상기 프로세서는,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 제1 검출 구간에 대해 상기 저장된 정보를 이용하여, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는, 터치 인식 장치.
The method of claim 1,
A storage unit for storing information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in a first detection period and a time point at which each ultrasonic signal is received by being reflected by the object; and
The processor,
In the second detection period, the plurality of ultrasound sensors emit each ultrasound signal, information on the time when each ultrasound signal is received by the object reflected, and the stored information for the first detection period In this way, among the ultrasonic signals received by the plurality of ultrasonic sensors, the ultrasonic signals radiated by each of the plurality of ultrasonic sensors and received are determined.
제3항에 있어서,
상기 기설정된 시간은,
상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정되는, 터치 인식 장치.
The method of claim 3,
The preset time is,
In the preset detection period, the touch recognition apparatus is determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize.
제1항에 있어서,
상기 복수의 초음파 센서는,
방사하는 초음파 신호의 주파수를 서로 달리하는, 터치 인식 장치.
The method of claim 1,
The plurality of ultrasonic sensors,
A touch recognition device that has different frequencies of radiated ultrasonic signals.
제1항에 있어서,
상기 프로세서는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어하는, 터치 인식 장치.
The method of claim 1,
The processor,
The touch recognition device for controlling the phases of the ultrasonic signals emitted from the plurality of ultrasonic sensors to be different from each other.
제1항에 있어서,
상기 프로세서는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하는 터치 인식 장치.
The method of claim 1,
The processor,
A touch recognition device for controlling pulse durations of ultrasonic signals radiated from the plurality of ultrasonic sensors, respectively.
제1항에 있어서,
상기 프로세서는,
제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어하는, 터치 인식 장치.
The method of claim 1,
The processor,
In a third detection period, the touch recognition apparatus is configured to control the emission of a plurality of ultrasound signals at a time corresponding to a time point at which the plurality of ultrasound signals are respectively radiated in the first detection period.
제1항에 있어서,
디스플레이부;를 더 포함하고,
상기 오브젝트는, 상기 디스플레이부에 터치되는 오브젝트인, 터치 인식 장치.
The method of claim 1,
It further includes a display unit,
The object is an object touched on the display unit, the touch recognition device.
복수의 초음파 센서를 포함하는 터치 인식 장치의 제어 방법에 있어서,
서로 다른 방사 시간 간격에 따라 초음파 신호를 주기적으로 방사하도록 상기 복수의 초음파 센서를 제어하는 단계;
상기 복수의 초음파 센서 각각에 주기적으로 수신되는 초음파 신호의 수신 시간 간격 및 상기 복수의 초음파 센서 각각에서 주기적으로 방사되는 초음파 신호의 방사 시간 간격을 기초로, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는 단계; 및
상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 단계;를 포함하며,
상기 복수의 초음파 센서를 제어하는 단계는,
제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어하고, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어하는, 제어 방법.
In the control method of a touch recognition device including a plurality of ultrasonic sensors,
Controlling the plurality of ultrasonic sensors to periodically emit ultrasonic signals according to different radiation time intervals;
Based on a reception time interval of the ultrasonic signals periodically received by each of the plurality of ultrasonic sensors and a radiation time interval of the ultrasonic signals periodically radiated from each of the plurality of ultrasonic sensors, among ultrasonic signals received by the plurality of ultrasonic sensors Determining an ultrasonic signal received by being radiated by each of the plurality of ultrasonic sensors; And
Including; detecting a touch point of the object based on the time of flight (ToF) of the ultrasonic signal received by being emitted by each of the plurality of ultrasonic sensors; and
The step of controlling the plurality of ultrasonic sensors,
Controlling the plurality of ultrasonic sensors to emit a first ultrasonic signal at the same time in a first detection section, and controlling the plurality of ultrasonic sensors to emit a second ultrasonic signal respectively at different times in a second detection section, Control method.
삭제delete 제12항에 있어서,
상기 제2 초음파 신호를 각각 방사하도록 제어하는 단계는,
상기 복수의 초음파 센서 중 제1 초음파 센서는 제1 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제1 초음파 센서를 제어하고,
상기 복수의 초음파 센서 중 제2 초음파 센서는 상기 제1 방사 시간 간격을 기설정된 시간으로 지연시킨 제2 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제2 초음파 센서를 제어하는, 제어 방법.
The method of claim 12,
Controlling to emit each of the second ultrasonic signals,
A first ultrasonic sensor among the plurality of ultrasonic sensors controls the first ultrasonic sensor to emit ultrasonic signals according to a first radiation time interval,
The second ultrasonic sensor of the plurality of ultrasonic sensors controls the second ultrasonic sensor to emit ultrasonic signals according to a second radiation time interval in which the first radiation time interval is delayed by a preset time.
삭제delete 제12항에 있어서,
제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 단계;를 더 포함하고,
상기 오브젝트의 터치 포인트를 검출하는 단계는,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 제1 검출 구간에 대해 상기 저장된 정보를 이용하여, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는, 제어 방법.
The method of claim 12,
Storing information about a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in a first detection period and a time point at which each ultrasonic signal is received by reflection by the object; further comprising,
The step of detecting the touch point of the object,
In the second detection period, the plurality of ultrasound sensors emit each ultrasound signal, information on the time when each ultrasound signal is received by the object reflected, and the stored information for the first detection period In this way, among the ultrasonic signals received by the plurality of ultrasonic sensors, the ultrasonic signals radiated by each of the plurality of ultrasonic sensors and received are determined.
제14항에 있어서,
상기 기설정된 시간은,
상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정되는, 제어 방법.
The method of claim 14,
The preset time is,
In the preset detection period, the control method is determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize.
제12항에 있어서,
상기 복수의 초음파 센서는,
방사하는 초음파 신호의 주파수를 서로 달리하는, 제어 방법.
The method of claim 12,
The plurality of ultrasonic sensors,
Control method of different frequencies of radiated ultrasonic signals.
제12항에 있어서,
상기 복수의 초음파 센서를 제어하는 단계는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어하는, 제어 방법.
The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
The control method of controlling the phases of the ultrasonic signals radiated from the plurality of ultrasonic sensors to be different from each other.
제12항에 있어서,
상기 복수의 초음파 센서를 제어하는 단계는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하는, 제어 방법.
The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
The control method of controlling the pulse duration of the ultrasonic signals radiated from the plurality of ultrasonic sensors, respectively.
제12항에 있어서,
상기 복수의 초음파 센서를 제어하는 단계는,
제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어하는, 제어 방법.
The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
In a third detection period, a control method for controlling the plurality of ultrasound signals to be radiated respectively at a point in time corresponding to a point in time at which the plurality of ultrasound signals are respectively radiated in the first detection period.
KR1020150173323A 2015-05-27 2015-12-07 Touch recognition apparatus and control methods thereof KR102210377B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16800273.1A EP3274796A4 (en) 2015-05-27 2016-05-23 Touch recognition apparatus and control method thereof
CN201680030761.9A CN107690611B (en) 2015-05-27 2016-05-23 Touch recognition apparatus and control method thereof
PCT/KR2016/005422 WO2016190634A1 (en) 2015-05-27 2016-05-23 Touch recognition apparatus and control method thereof
US15/167,087 US10067608B2 (en) 2015-05-27 2016-05-27 Touch recognition apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562166882P 2015-05-27 2015-05-27
US62/166,882 2015-05-27

Publications (2)

Publication Number Publication Date
KR20160140324A KR20160140324A (en) 2016-12-07
KR102210377B1 true KR102210377B1 (en) 2021-02-01

Family

ID=57573807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150173323A KR102210377B1 (en) 2015-05-27 2015-12-07 Touch recognition apparatus and control methods thereof

Country Status (3)

Country Link
EP (1) EP3274796A4 (en)
KR (1) KR102210377B1 (en)
CN (1) CN107690611B (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966242B (en) * 2020-08-17 2024-03-12 京东方科技集团股份有限公司 Touch display panel and display device
CN112650414B (en) * 2020-12-30 2024-03-22 安徽鸿程光电有限公司 Touch device, touch point positioning method, module, equipment and medium
CN112882594B (en) * 2020-12-31 2023-12-22 安徽鸿程光电有限公司 Touch device, positioning method, device and medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299820A1 (en) * 2009-10-23 2012-11-29 Elliptic Laboratories As Touchless interfaces
US20130127783A1 (en) * 2011-11-18 2013-05-23 Au Optronics Corporation Apparatus and method for controlling information display

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741237B1 (en) * 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
WO2008103919A2 (en) * 2007-02-23 2008-08-28 Gesturetek, Inc. Enhanced single-sensor position detection
WO2013140130A1 (en) * 2012-03-21 2013-09-26 Elliptic Laboratories As Signal processing for acoustic user input
US9189108B2 (en) * 2013-08-21 2015-11-17 Qualcomm Incorporated Ultrasound multi-zone hovering system
US9880671B2 (en) * 2013-10-08 2018-01-30 Sentons Inc. Damping vibrational wave reflections
US20150117153A1 (en) * 2013-10-25 2015-04-30 Symbol Technologies, Inc. Adaptive transmitter cluster area for ultrasonic locationing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299820A1 (en) * 2009-10-23 2012-11-29 Elliptic Laboratories As Touchless interfaces
US20130127783A1 (en) * 2011-11-18 2013-05-23 Au Optronics Corporation Apparatus and method for controlling information display

Also Published As

Publication number Publication date
KR20160140324A (en) 2016-12-07
EP3274796A4 (en) 2018-04-25
EP3274796A1 (en) 2018-01-31
CN107690611A (en) 2018-02-13
CN107690611B (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US10067608B2 (en) Touch recognition apparatus and control method thereof
US9785288B2 (en) Touch screen apparatus and control method thereof
KR102510402B1 (en) Radar based sensing system for touch and in-the-air interactions
EP2452258B1 (en) Control using movements
US20130194208A1 (en) Information terminal device, method of controlling information terminal device, and program
CN109937397B (en) Stylus hover and location communication protocol
EP4080347A1 (en) Method and apparatus for displaying application
US20140237408A1 (en) Interpretation of pressure based gesture
US20110109577A1 (en) Method and apparatus with proximity touch detection
US20120249461A1 (en) Dedicated user interface controller for feedback responses
US9189108B2 (en) Ultrasound multi-zone hovering system
US20120062905A1 (en) Optical detection system and program
KR102210377B1 (en) Touch recognition apparatus and control methods thereof
US20140085266A1 (en) Touch system including optical touch panel and touch pen, and method of controlling interference optical signal in touch system
US8809665B2 (en) Electronic percussion gestures for touchscreens
US20130088427A1 (en) Multiple input areas for pen-based computing
CN101855609A (en) The system and method for touch face and senses touch input
EP3350677B1 (en) Coordinate measuring apparatus and method of controlling the same
US20220043517A1 (en) Multi-modal touchpad
US9152275B2 (en) Optical touch system, method of touch detection and non-transitory computer readable medium recording program instructions
EP3295286B1 (en) Touch screen apparatus and control method thereof
CN106200888B (en) Non-contact electronic product and control method thereof
US20130169559A1 (en) Electronic device and touch sensing method of the electronic device
US9971457B2 (en) Audio augmentation of touch detection for surfaces
JP2023532794A (en) Visual feedback from user equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant