KR102210377B1 - Touch recognition apparatus and control methods thereof - Google Patents
Touch recognition apparatus and control methods thereof Download PDFInfo
- Publication number
- KR102210377B1 KR102210377B1 KR1020150173323A KR20150173323A KR102210377B1 KR 102210377 B1 KR102210377 B1 KR 102210377B1 KR 1020150173323 A KR1020150173323 A KR 1020150173323A KR 20150173323 A KR20150173323 A KR 20150173323A KR 102210377 B1 KR102210377 B1 KR 102210377B1
- Authority
- KR
- South Korea
- Prior art keywords
- ultrasonic
- signal
- ultrasonic sensors
- sensors
- signals
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
초음파 기반의 터치 인식 장치가 개시된다. 본 발명의 터치 인식 장치는, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 및 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어하고, 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 프로세서를 포함한다.An ultrasound-based touch recognition device is disclosed. The touch recognition apparatus of the present invention controls a plurality of ultrasonic sensors to emit ultrasonic signals at different time intervals, each of a plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period, and the emitted ultrasonic waves. And a processor that detects a touch point of an object based on a time of flight (ToF) of an ultrasonic signal received by the signal being reflected by the object.
Description
본 발명은 터치 인식 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 초음파 방식의 터치 인식 장치 및 그 제어 방법에 대한 것이다.The present invention relates to a touch recognition apparatus and a control method thereof, and more particularly, to an ultrasonic touch recognition apparatus and a control method thereof.
터치 스크린, 터치 패드 등과 같은 접촉 감지 장치는 디스플레이 장치에 부착되어 사용자에게 직관적인 입력 방법을 제공할 수 있는 입력 장치로서, 최근 휴대폰, PDA(Personal Digital Assistant), 네비게이션 등과 같은 다양한 전자 기기에 널리 적용되고 있다. 특히, 최근 스마트 폰에 대한 수요가 증가하면서, 제한된 폼 팩터에서 다양한 입력 방법을 제공할 수 있는 접촉 감지 장치로 터치 스크린의 채용 비율이 날로 증가하고 있다.A touch sensing device such as a touch screen and a touch pad is an input device that can be attached to a display device to provide an intuitive input method to a user, and is widely applied to various electronic devices such as mobile phones, PDA (Personal Digital Assistant), and navigation. Has become. In particular, as the demand for smart phones is increasing in recent years, the rate of adoption of touch screens as touch sensing devices capable of providing various input methods in a limited form factor is increasing day by day.
또한, 홀로그램 영상을 터치하여 마치 허공의 물체를 조작하는 효과를 나타내는 3차원 공간 터치 기술이 적용된 VR(Visual Reality) 기기가 대중화되면서 터치 기술이 빠르게 발전하고 있다.In addition, with the popularization of VR (Visual Reality) devices to which a 3D spatial touch technology that shows the effect of manipulating an object in the air by touching a holographic image, touch technology is rapidly developing.
한편, 휴대용 기기에 적용되는 터치 스크린은, 터치 입력을 감지하는 방법에 따라 크게 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(IR) 방식 및 표면 초음파(Surface Acoustic Wave; SAW) 방식 등으로 구현될 수 있다.On the other hand, touch screens applied to portable devices are largely a resistive method, a capacitive method, an infrared (IR) method, and a surface acoustic wave (SAW) method according to a method of sensing a touch input. It can be implemented as such.
한편, SAW 방식의 터치 스크린은 저항막 방식, 정전용량 방식 등과 달리 방사된 초음파가 장애물을 만나 파동의 크기가 줄어든 것을 감지하는 방식으로, 빛 투과성이 높고, 정확성과 선명도가 뛰어나 무인 정보 단말기 등에 주로 적용되어 널리 사용되고 있다.On the other hand, the SAW type touch screen is a method that detects that the size of the wave is reduced due to the encounter of an obstacle, unlike the resistive type and the capacitive type. It has been applied and is widely used.
그러나, 기존의 SAW 방식의 터치 스크린은, 복수의 음파 반향기를 구비하여야 하고, 그에 따른 제반 비용이 많이 발생한다는 문제점이 있었다. 이에 따라, 좀 더 편리하고 저비용으로 터치의 인식 성능을 높이기 위한 방안이 요구되고 있다.However, the conventional SAW type touch screen has a problem in that a plurality of sound wave reflectors must be provided, and overall costs are high. Accordingly, there is a need for a method for improving touch recognition performance at a more convenient and low cost.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 초음파의 ToF를 이용하여, 터치 포인트를 좀 더 정확하게 측정할 수 있는 터치 인식 장치 및 그 제어 방법을 제공함에 있다.The present invention has been conceived to solve the above-described problem, and an object of the present invention is to provide a touch recognition device capable of more accurately measuring a touch point and a control method thereof using ToF of ultrasonic waves.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 터치 인식 장치는, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 및 상기 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 상기 복수의 초음파 센서를 제어하고, 상기 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 검출하는 프로세서를 포함한다.In the touch recognition apparatus according to an embodiment of the present invention for achieving the above object, a plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period, and each of the plurality of ultrasonic sensors emitting ultrasonic signals at different time intervals And a processor configured to control the plurality of ultrasonic sensors so as to detect the touch point of the object based on the time of flight (ToF) of the ultrasonic signal received by reflecting the radiated ultrasonic signal by the object.
또한, 상기 프로세서는, 제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하고, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어할 수 있다.In addition, in the processor, the plurality of ultrasonic sensors simultaneously emit a first ultrasonic signal in a first detection section, and each of the plurality of ultrasonic sensors emit a second ultrasonic signal at different time points in a second detection section. Can be controlled to do.
또한, 상기 프로세서는, 상기 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 상기 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다.In addition, the processor may control the plurality of ultrasonic sensors to sequentially emit the second ultrasonic signal at a preset delay interval in the second detection period.
또한, 상기 프로세서는, 상기 서로 다른 시간 간격에 따라 발생하는 상기 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 상기 ToF를 산출할 수 있다.In addition, the processor may calculate the ToF by determining each ultrasonic sensor that emits the received ultrasonic signal based on different reception time intervals of the plurality of ultrasonic signals generated according to the different time intervals. have.
또한, 제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 저장부를 더 포함하고, 상기 프로세서는, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 저장된 정보를 이용하여 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, the plurality of ultrasonic sensors in the first detection section further comprises a storage unit for storing information on a time point when each ultrasonic signal is emitted and the time point when each ultrasonic signal is received by the object reflected, the processor Is, in a second detection period, information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal, information on a time point at which each ultrasonic signal is received by reflection by the object, and the received ultrasonic wave using the stored information Each of the ultrasonic sensors that emitted the signal can be determined.
또한, 상기 딜레이는, 상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.In addition, the delay may be determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize in the preset detection period.
또한, 상기 복수의 초음파 센서는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다.In addition, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic signals.
또한, 상기 프로세서는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다.In addition, the processor may differently control phases of ultrasonic signals radiated from the plurality of ultrasonic sensors.
또한, 상기 프로세서는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어할 수 있다.In addition, the processor may differently control pulse durations of ultrasonic signals radiated from the plurality of ultrasonic sensors.
또한, 상기 프로세서는, 제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, in a third detection period, the processor may control to emit a plurality of ultrasound signals at a time point corresponding to a time point at which the plurality of ultrasound signals are respectively radiated in the first detection period.
또한, 디스플레이부를 더 포함하고, 상기 오브젝트는, 상기 디스플레이부에 터치되는 오브젝트일 수 있다.In addition, a display unit may be further included, and the object may be an object that is touched on the display unit.
한편, 본 발명의 일 실시 예에 따른 터치 인식 장치의 제어 방법은, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 상기 복수의 초음파 센서를 제어하는 단계 및 상기 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 상기 오브젝트의 터치 포인트를 검출하는 단계를 포함할 수 있다.On the other hand, in the control method of the touch recognition apparatus according to an embodiment of the present invention, the plurality of ultrasonic sensors are configured such that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals. Controlling and detecting a touch point of the object based on a time of flight (ToF) of the ultrasonic signal received by reflecting the radiated ultrasonic signal by the object.
여기서, 상기 복수의 초음파 센서를 제어하는 단계는, 제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어하는 단계 및 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어하는 단계를 포함할 수 있다.Here, the controlling of the plurality of ultrasonic sensors may include controlling the plurality of ultrasonic sensors to emit a first ultrasonic signal at the same time in a first detection section, and each of the plurality of ultrasonic sensors in a second detection section. It may include controlling to emit each of the second ultrasonic signals at different times.
또한, 상기 제2 초음파 신호를 각각 방사하도록 제어하는 단계는, 상기 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 상기 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다.In addition, the controlling to emit each of the second ultrasonic signals may include controlling the plurality of ultrasonic sensors to sequentially emit the second ultrasonic signals at a preset delay interval in the second detection period.
또한, 상기 오브젝트의 터치 포인트를 검출하는 단계는, 상기 서로 다른 시간 간격에 따라 발생하는 상기 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 상기 ToF를 산출할 수 있다.In addition, the detecting of the touch point of the object may include determining an ultrasonic sensor that emits the received ultrasonic signal based on different reception time intervals of the plurality of ultrasonic signals generated according to the different time intervals. Thus, the ToF can be calculated.
또한, 제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 단계를 더 포함하고, 상기 오브젝트의 터치 포인트를 검출하는 단계는, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 저장된 정보를 이용하여 상기 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, the method further comprises storing information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in the first detection section and a time point at which each ultrasonic signal is received by the object, the object The detecting of the touch point of may include information on a time when the plurality of ultrasonic sensors emit each ultrasonic signal in a second detection period, information on a time when each ultrasonic signal is received by reflection by the object, and the stored information Each of the ultrasonic sensors that radiated the received ultrasonic signal may be determined by using.
또한, 상기 딜레이는, 상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.In addition, the delay may be determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize in the preset detection period.
또한, 상기 복수의 초음파 센서는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다.In addition, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic signals.
또한, 상기 복수의 초음파 센서를 제어하는 단계는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다.In addition, in the controlling of the plurality of ultrasonic sensors, phases of ultrasonic signals radiated from the plurality of ultrasonic sensors may be differently controlled.
또한, 상기 복수의 초음파 센서를 제어하는 단계는, 상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어할 수 있다.In addition, in controlling the plurality of ultrasonic sensors, pulse durations of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently.
또한, 상기 복수의 초음파 센서를 제어하는 단계는, 제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, the controlling of the plurality of ultrasonic sensors may include controlling a plurality of ultrasonic signals to be emitted at a time corresponding to a time point at which the plurality of ultrasonic signals are respectively radiated in the first detection section in a third detection section. can do.
상술한 본 발명의 다양한 실시 예에 따르면, 저비용으로 터치 스크린의 터치 인식 성능을 높일 수 있으므로, 사용자의 편의성이 향상된다.According to various embodiments of the present disclosure described above, since the touch recognition performance of the touch screen can be improved at low cost, user convenience is improved.
도 1은 본 발명의 일 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따른 문제를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따라, 각 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면,
도 6 및 도 7은 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른, 각 초음파 신호의 타임 쉬프트 값을 결정하기 위한 조건을 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 지속적으로 구별하기 위한 방법을 설명하기 위한 도면,
도 10은 본 발명의 일 실시 예에 따른, 신호 패턴의 차이를 이용하여 복합적으로 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면,
도 11은 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 상세히 도시한 블록도,
도 12는 본 발명의 일 실시 예에 따른, 터치 인식 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a block diagram schematically showing a configuration of a touch recognition device according to an embodiment of the present invention;
2 is a block diagram schematically illustrating a configuration of a touch recognition device according to another embodiment of the present invention;
3 is a view for explaining a method of determining a touch point of an object according to an embodiment of the present invention;
4 is a view for explaining a problem due to refraction of an ultrasonic signal according to an embodiment of the present invention;
5 is a view showing a waveform of an ultrasonic signal received by each ultrasonic sensor according to the refraction of the ultrasonic signal according to an embodiment of the present invention;
6 and 7 are diagrams for explaining a method for distinguishing an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention;
8 is a diagram for explaining a condition for determining a time shift value of each ultrasound signal according to an embodiment of the present invention;
9 is a view for explaining a method for continuously distinguishing an ultrasonic signal radiated from each ultrasonic sensor according to an embodiment of the present invention;
10 is a view for explaining a method for discriminating an ultrasonic signal radiated from each ultrasonic sensor complex using a difference in signal pattern according to an embodiment of the present invention;
11 is a block diagram showing in detail a configuration of a touch recognition device according to another embodiment of the present invention;
12 is a flowchart illustrating a method of controlling a touch recognition device according to an embodiment of the present invention.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.Before describing the present invention in detail, a method of describing the present specification and drawings will be described.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.First, general terms used in the specification and claims are selected in consideration of functions in various embodiments of the present invention. However, these terms may vary depending on the intention of a technician in the field, legal or technical interpretation, and the emergence of new technologies. In addition, some terms may be terms arbitrarily selected by the applicant. These terms may be interpreted as the meanings defined in the present specification, and if there is no specific term definition, they may be interpreted based on the general contents of the present specification and common technical knowledge in the art.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.In addition, the same reference numbers or numerals in each drawing attached to the present specification indicate parts or components that perform substantially the same function. For convenience of description and understanding, different embodiments will be described using the same reference numbers or symbols. That is, even if all the components having the same reference numerals are shown in a plurality of drawings, the plurality of drawings do not mean one embodiment.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 “제1”, “제2” 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.In addition, terms including ordinal numbers such as “first” and “second” may be used in the specification and claims to distinguish between components. These ordinal numbers are used to distinguish the same or similar constituent elements from each other, and the meaning of the term should not be limitedly interpreted due to the use of such ordinal numbers. For example, components combined with these ordinal numbers should not be interpreted as limiting the order of use or arrangement by the number. If necessary, each of the ordinal numbers may be used interchangeably.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “구성하다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present specification, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "comprise" are intended to designate the existence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other It is to be understood that it does not preclude the presence or addition of features, numbers, steps, actions, components, parts, or combinations thereof.
본 발명의 실시 예에서 “모듈”, “유닛”, “부(Part)” 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 “모듈”, “유닛”, “부(part)” 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In an embodiment of the present invention, terms such as “module”, “unit”, “part” are terms used to refer to components that perform at least one function or operation, and these components are hardware or software. It may be implemented or may be implemented as a combination of hardware and software. In addition, a plurality of “modules”, “units”, and “parts” are integrated into at least one module or chip, and at least one processor, except when each needs to be implemented as individual specific hardware. It can be implemented as (not shown).
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.In addition, in an embodiment of the present invention, when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 따른, 터치 인식 장치의 구성을 간략히 도시한 블록도이다.1 is a block diagram schematically illustrating a configuration of a touch recognition apparatus according to an embodiment of the present invention.
본 발명에 있어서 터치 인식 장치(100)는 디스플레이를 통한 터치 또는 3차원 공간상의 터치를 통해 사용자 명령을 입력받을 수 있는 전자 장치를 의미하는 것으로, 예컨대 스마트 폰, 카메라, 태블릿 PC, 노트북, 데스크톱, 미디어 플레이어(MP3 플레이어 등), PDA(Personal Digital Assistant) 게임용 단말, VR(Visual Reality) 기기 및 웨어러블(wearable) 기기 등을 포함할 수 있다. 또한, 본 발명에 따른 터치 인식 장치는 디스플레이를 탑재한 가전 기기(냉장고, 세탁기 등)에도 적용될 수 있다.In the present invention, the
도 1에 따르면 본 발명의 일 실시 예에 따른 터치 인식 장치(100)는 복수의 초음파 센서(110) 및 프로세서(120)를 포함한다.Referring to FIG. 1, a
복수의 초음파 센서(110)는 제1 내지 n 초음파 센서(110-1 ~ 110-n)를 포함한다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하거나 수신하는 구성이다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하고, 오브젝트에 의해 반사되거나 굴절된 초음파를 수신하여 각 초음파 센서로부터 오브젝트까지의 거리 및 오브젝트의 방향을 검지할 수 있다. 여기서, 오브젝트는 사용자의 손가락 또는 펜 등을 포함할 수 있다.The plurality of
프로세서(120)는 터치 인식 장치(100)의 전반적인 동작을 제어하는 구성이다.The
프로세서(120)는 복수의 초음파 센서(110)로부터 방사된 초음파 신호가 오브젝트에 의해 반사되어 복수의 초음파 센서(110)에 의해 각각 수신되면, 수신된 각각의 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.When the ultrasonic signals radiated from the plurality of
예를 들어, 프로세서(120)는 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)에서 각각 방사된 초음파 신호가 오브젝트에 의해 반사되어 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각에 의해 수신되면, 각각 수신된 초음파 신호의 ToF에 기초하여 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)로부터 오브젝트의 터치 포인트까지의 각각의 거리를 산출하고, 산출된 각각의 거리에 기초하여 오브젝트의 터치 포인트를 판단할 수 있다.For example, the
구체적으로, 프로세서(120)는 제1 초음파 센서(110-1)의 발신부(미도시)로부터 방사된 초음파가 오브젝트에 의해 반사되어 제1 초음파 센서(110-1)의 수신부(미도시)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 이때, 초음파의 속력은 340m/s로 항상 일정하므로 프로세서(120)는, 검출된 ToF에 기초하여 제1 초음파 센서(110-1)로부터 오브젝트까지의 거리를 계산할 수 있다.Specifically, the
또한, 프로세서(120)는 제2 초음파 센서(110-2)의 발신부(미도시)로부터 방사된 초음파가 오브젝트에 의해 반사되어 제2 초음파 센서(110-2)의 수신부(미도시)로 되돌아오는데 걸리는 시간(ToF)을 검출할 수 있다. 프로세서(120)는 마찬가지로 검출된 ToF에 기초하여 제2 초음파 센서(110-2)로부터 오브젝트까지의 거리를 계산할 수 있다.In addition, the
제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각으로부터 오브젝트까지의 거리가 계산되면, 오브젝트의 위치는 삼각 측정법에 의해 계산될 수 있다. 즉, 터치 인식 장치(100)에서 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 사이의 거리는 기지의 정보라고 가정했을 때, 제1 초음파 센서(110-1)로부터 오브젝트까지의 거리와 제2 초음파 센서(110-2)로부터 오브젝트까지의 거리가 계산되면, 삼각형의 3 요소(세변의 길이)가 결정되며, 프로세서(120)는 삼각 측정법에 의해 2차원 좌표 상에서의 오브젝트의 위치를 판단할 수 있다. 또한, 이와 같은 방법에 따라, 서로 다른 위치에 구비된 3개 이상의 초음파 센서로부터 오브젝트까지의 거리를 고려하여 오브젝트의 3차원 좌표 상에서의 오브젝트의 위치 또한 판단될 수 있음은 자명할 것이다.When the distance to the object from each of the first and second ultrasonic sensors 110-1 and 110-2 is calculated, the position of the object may be calculated by a triangulation method. That is, assuming that the distance between the first ultrasonic sensor 110-1 and the second ultrasonic sensor 110-2 in the
한편, 도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 터치 인식 장치(100')는 디스플레이부(130)를 더 포함할 수 있다.Meanwhile, as shown in FIG. 2, the
디스플레이부(130)는 사용자에 의해 터치가 이루어지는 구성이다. 구체적으로, 사용자는 손가락 또는 전자펜을 이용하여 디스플레이부(130)에 표시된 다양한 컨텐츠를 터치함으로써, 원하는 정보를 입력할 수 있다. 즉, 디스플레이부(130)는 컨텐츠를 디스플레이하면서 동시에 터치 패드의 역할을 하는 터치 스크린(touch screen)으로 구현될 수 있다.The
한편, 디스플레이부(130)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이부(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.Meanwhile, the
여기서, 터치가 이루어지는 디스플레이부(130)의 전면에는 디스플레이부(130)를 보호하기 위해 강화 처리된 유리 기판 및 보호 필름 등이 제공될 수 있다.Here, a glass substrate, a protective film, and the like that have been tempered to protect the
복수의 초음파 센서(110)는 제1 내지 n 초음파 센서(110-1 ~ 110-n)를 포함하며, 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 초음파 신호를 방사하거나 수신하는 구성이다. 제1 내지 n 초음파 센서(110-1 ~ 110-n)는 디스플레이부(130)의 외곽에 각각 구비되어, 초음파 신호를 방사하고, 오브젝트에 의해 반사되거나 굴절된 초음파를 수신하여 각 초음파 센서로부터 오브젝트까지의 거리 및 오브젝트의 방향을 검지할 수 있다.The plurality of
도 3은 본 발명의 일 실시 예에 따른, 오브젝트의 터치 포인트를 판단하는 방법을 설명하기 위한 도면이다. 3 is a diagram illustrating a method of determining a touch point of an object according to an embodiment of the present invention.
이하에서는, 제1 내지 4 초음파 센서(110-1 ~ 110-4)가 디스플레이(130)의 각 코너 부근에 각각 한 개씩 구비되는 실시 예에 대하여 설명하도록 한다. 다만, 본 발명의 실시가 이러한 실시 예에 한정되는 것은 아니며, 본 발명의 터치 인식 장치(100)가 디스플레이(130)의 외곽의 다양한 위치에 2개 또는 3개의 초음파 센서를 구비하거나, 5개 이상의 초음파 센서를 구비하여 실시되는 것 또한 본 발명의 기술적 사상에 포함될 수 있음을 자명하다.Hereinafter, an exemplary embodiment in which the first to fourth ultrasonic sensors 110-1 to 110-4 are provided in the vicinity of each corner of the
도 3에 도시된 바와 같이, 오브젝트(o1)가 디스플레이(130) 상에 터치된 경우를 상정할 수 있다. 이때, 프로세서(120)는 제2 초음파 센서(110-2)의 발신부(Tx B)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제2 초음파 센서(110-2)의 수신부(Rx B)로 되돌아오는데 걸리는 시간(ToF1)을 검출할 수 있다. 이때, 초음파의 속력은 일정하므로 프로세서(120)는, 검출된 ToF1에 기초하여 제2 초음파 센서(110-2)로부터 오브젝트(o1)까지의 거리 b1을 계산할 수 있다.As shown in FIG. 3, it may be assumed that the object o 1 is touched on the
또한, 프로세서(120)는 제3 초음파 센서(110-3)의 발신부(Tx C)로부터 방사된 초음파가 오브젝트(o1)에 의해 반사되어 제3 초음파 센서(110-3)의 수신부(Rx C)로 되돌아오는데 걸리는 시간(ToF2)을 검출할 수 있다. 프로세서(120)는, 마찬가지로 검출된 ToF2에 기초하여 제3 초음파 센서(110-3)로부터 오브젝트(o1)까지의 거리 c1을 계산할 수 있다.In addition, the
거리 b1 및 c1이 계산되면, 디스플레이(130) 상에서의 오브젝트(o1)의 위치는 삼각 측정법에 의해 계산될 수 있다. 즉, 터치 인식 장치(100)에서 제2 초음파 센서(110-2) 및 제3 초음파 센서(110-3) 사이의 거리 l1은 기지의 정보라고 가정했을 때, 제2 초음파 센서(110-2)로부터 오브젝트(o1)까지의 거리 b1과 제3 초음파 센서(110-3)로부터 오브젝트(o1)까지의 거리 c1이 계산되면, 삼각형의 3 요소(세 변의 길이)가 결정되며, 프로세서(120)는 도 3에 도시된 바와 같은 삼각 측정법에 의해 디스플레이(130)의 2차원 좌표 상에서의 오브젝트(o1)의 위치를 판단할 수 있다.When the distances b 1 and c 1 are calculated, the position of the object o 1 on the
결과적으로, 프로세서(120)는 오브젝트(o1)가 제2 초음파 센서(110-2) 및 제3 초음파 센서(110-3)로부터 떨어진 거리에 기초하여 오브젝트(o1)의 터치 포인트를 판단할 수 있다.As a result, the
이와 같이, 오브젝트(o1)의 터치 포인트를 판단하기 위해서는 최소 2개의 초음파 센서로부터의 거리를 계산하여야 한다. 이때, 거리 계산에 이용되는 초음파 센서는 다양하게 선택될 수 있으나, 가장 빠른 ToF를 검출하는 초음파 센서, 즉, 오브젝트(o1)와 가장 최단 거리에 있는 초음파 센서 및 이와 가장 가까이에 인접한 초음파 센서가 포함되도록 선택되는 것이 바람직하다.In this way, in order to determine the touch point of the object o 1 , distances from at least two ultrasonic sensors must be calculated. At this time, the ultrasonic sensor used for distance calculation may be selected in various ways, but the ultrasonic sensor that detects the fastest ToF, that is, the ultrasonic sensor that is the shortest distance from the object o 1 and the ultrasonic sensor that is closest thereto It is preferably selected to be included.
한편, 도 4는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따른 문제를 설명하기 위한 도면이다. 도 4에서는 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)와 수신부(Rx A ~ Rx D )를 따로 도시하지 않고 간략히 통합하여 도시하였다.Meanwhile, FIG. 4 is a diagram for explaining a problem caused by refraction of an ultrasonic signal according to an embodiment of the present invention. In FIG. 4, the transmitters (T x A to T x D ) and the receivers (R x A to R x D ) of each of the ultrasonic sensors 110-1 to 110-4 are not separately shown, but briefly integrated.
도 4에 도시된 바와 같이, 복수의 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)로부터 방사된 초음파 신호는 오브젝트(o1)에 의해 반사되어 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ Rx D )로 수신되게 된다. 예를 들어, 도 4에 도시된 바와 같이, 제1 초음파 센서 내지 제4 초음파 센서(110-1 ~ 110-4)로부터 터치된 오브젝트(o1)까지의 직선 거리는 각각 459mm, 760mm, 814mm 및 576mm일 수 있으며, 이때, 프로세서(120)는 방사된 후 오브젝트(o1)에 의해 반사되어 되돌아오는 각 초음파 신호의 ToF를 계산할 수 있고, 이에 따라 디스플레이 상에서, 각 초음파 센서(110-1 ~ 110-4)로부터 오브젝트(o1)까지의 거리를 산출할 수 있다.As shown in FIG. 4, the ultrasonic signals emitted from the transmitters (T x A to T x D ) of the plurality of ultrasonic sensors (110-1 to 110-4) are reflected by the object (o 1 ) to each ultrasonic wave. It is received by the receiver (R x A ~ R x D ) of the sensors (110-1 ~ 110-4). For example, as shown in FIG. 4, the linear distances from the first to fourth ultrasonic sensors 110-1 to 110-4 to the touched object o 1 are 459 mm, 760 mm, 814 mm and 576 mm, respectively. In this case, the
그러나, 이때 각 초음파 센서(110-1 ~ 110-4)는 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절되는 초음파 신호 또한 수신하게 되므로, 프로세서(120)는 수신된 각 신호가 반사 신호인지 또는 다른 초음파 센서로부터의 굴절 신호인지를 구별하기가 어렵다.However, at this time, since each of the ultrasonic sensors 110-1 to 110-4 also receives an ultrasonic signal that is radiated from another ultrasonic sensor and refracted by the object o 1 , the
예를 들어, 도 4에 도시된 바와 같이, 제4 초음파 센서(110-4)의 발신부(Tx D)로부터 초음파 신호가 방사되면, 오브젝트(o1)에 의해 반사되어 제4 초음파 센서(110-4)의 수신부(Rx D)에 의해 수신되는 신호 외에, 오브젝트(o1)에 의해 굴절되어 제1, 제2 및 제3 초음파 센서(110-1 ~ 110-3)의 수신부(Rx A ~ Rx C)에 의해 수신되는 신호가 발생한다. 즉, 각 초음파 센서(110-1 ~ 110-4)는 다른 초음파 센서로부터 방사되어 굴절되는 초음파 신호를 수신하게 되므로, 반사 신호 외에도 3개의 굴절 신호를 추가적으로 수신하게 된다.For example, as shown in FIG. 4, when an ultrasonic signal is radiated from the transmitter (T x D ) of the fourth ultrasonic sensor 110-4, it is reflected by the object o 1 and is reflected by the fourth ultrasonic sensor ( In addition to the signal received by the receiving unit (R x D ) of 110-4), it is refracted by the object (o 1 ) and the receiving unit (R) of the first, second, and third ultrasonic sensors 110-1 to 110-3 A signal received by x A ~ R x C ) occurs. That is, since each of the ultrasonic sensors 110-1 to 110-4 receives an ultrasonic signal that is radiated and refracted from another ultrasonic sensor, it additionally receives three refraction signals in addition to the reflected signal.
도 5는 본 발명의 일 실시 예에 따른, 초음파 신호의 굴절에 따라, 각 초음파 센서에 의해 수신된 초음파 신호의 파형을 나타낸 도면이다.5 is a diagram illustrating a waveform of an ultrasonic signal received by each ultrasonic sensor according to the refraction of the ultrasonic signal according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ Tx D)에서 초음파 신호(51 ~ 54)가 일정한 주기(5.83ms)마다 각 구간대에서 동시에 방사될 수 있다. 여기서, 초음파 신호(51 ~ 54)가 방사되는 주기는, 디스플레이의 크기에 기초하여 결정될 수 있다. 초음파 신호(51 ~ 54)의 방사 주기는 오브젝트에 의해 터치될 수 있는 디스플레이 영역 중 일 초음파 센서에서 가장 멀리 떨어진 지점에 있는 오브젝트에 의해 반사되어 되돌아오는 시간 이상인 것이 바람직하다. 여기서, 초음파 센서가 주기적으로 초음파 신호를 방사하는 각 구간은 기 설정된 검출 구간으로 명명할 수 있다.As shown in Fig. 5, the
한편, 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ Rx D)는 자신으로부터 방사된 후 오브젝트에 의해 반사되어 되돌아오는 반사 신호 외에 다른 초음파 센서에 의한 굴절 신호를 수신할 수 있다. 도 5에 도시된 바와 같이, 오브젝트(o1)가 복수의 초음파 센서(110-1 ~ 110-4) 중 제1 초음파 센서(110-1)에 가장 가까이 있는 경우, 제1 초음파 센서(110-1)의 수신부(Rx A)는 오브젝트(o1)에 의해 반사된 신호를 가장 먼저 수신하고, 이후 타 초음파 센서(110-2 ~ 110-4)에 의해 굴절된 신호를 오브젝트(o1)에 가까운 초음파 센서 순으로 수신한다.On the other hand, the receiving unit (R x A ~ R x D ) of each ultrasonic sensor (110-1 to 110-4) receives a refraction signal from another ultrasonic sensor in addition to the reflected signal reflected by the object after being radiated from itself can do. As shown in FIG. 5, when the object o 1 is closest to the first ultrasonic sensor 110-1 among the plurality of ultrasonic sensors 110-1 to 110-4, the first ultrasonic sensor 110- The receiving unit (R x A ) of 1 ) first receives the signal reflected by the object (o 1 ), and then receives the signal refracted by other ultrasonic sensors (110-2 to 110-4) as the object (o 1 ) The ultrasonic sensors close to are received in order.
따라서, 프로세서(120)는 ToF를 계산하기 위하여, 수신된 4개의 신호 중 반사 신호를 나머지 3개의 굴절 신호와 구별하여야 할 필요가 있으나, 반사 신호와 굴절 신호의 파형이 구분할 수 있을 정도의 차이가 있는 것이 아니므로 구별이 쉽지 않다는 문제가 있다. 따라서, 이러한 반사 신호와 굴절 신호의 구별이 되지 않는 경우, 터치 인식 오류가 발생하게 될 확률이 크다.Therefore, in order to calculate the ToF, the
이러한 문제점을 해결하기 위해, 종래에는 시분할 방식으로 각 초음파 센서(110-1 ~ 110-4)가 하나의 검출 구간마다 하나씩 순차적으로 초음파를 방사하도록 하는 방법을 이용하였다. 그러나, 이러한 방법은 초음파 센서가 많을 때에는 터치 인식에 걸리는 시간이 그만큼 증가하여 실효적인 방안이 되지 못했다. 예를 들어, 하나의 검출 구간이 5.8ms 일때, 초음파 센서가 4개인 경우에는, 5.8x4ms만큼의 시간이 걸리므로, 터치 인식 성능이 저하되는 문제가 있었다. 따라서, 본 발명은 시분할 방식을 쓰지 않고도, 반사 신호와 굴절 신호가 좀 더 빠르게 구별될 수 있도록 하기 위한 것이다. 도 6 및 도 7은 이러한 본 발명의 아이디어를 도시한 것이다.In order to solve this problem, conventionally, a method in which each of the ultrasonic sensors 110-1 to 110-4 sequentially emit ultrasonic waves one by one for each detection period is used in a time division method. However, this method has not been an effective method because the time required for touch recognition increases as much as there are many ultrasonic sensors. For example, when one detection period is 5.8 ms and there are 4 ultrasonic sensors, it takes 5.8 x 4 ms time, so there is a problem that touch recognition performance is deteriorated. Accordingly, the present invention is to allow the reflected signal and the refracted signal to be distinguished more quickly without using a time division method. 6 and 7 illustrate the idea of this invention.
도 6 및 도 7은 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면이다.6 and 7 are diagrams for explaining a method for discriminating an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention.
도 6은 반사 신호와 굴절 신호를 구별하기 위한 아이디어를 간략히 도시한 것이다. 각 초음파 센서(110-1 ~ 110-4)는 초음파 신호를 방사하는 각 검출 구간마다 초음파 신호를 방사할 수 있다. 도 6은 복수의 초음파 센서(110-1 ~ 110-4) 중 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2)에서 방사되는 초음파 신호의 파형 및 방사된 초음파 신호에 의해 각각의 초음파 센서(110-1, 110-2)에서 수신되는 반사 및 굴절 신호의 파형만을 도시한 것이다.6 schematically shows an idea for distinguishing a reflected signal from a refracted signal. Each of the ultrasonic sensors 110-1 to 110-4 may emit an ultrasonic signal in each detection section that emits an ultrasonic signal. 6 shows a waveform of an ultrasonic signal emitted from a first ultrasonic sensor 110-1 and a second ultrasonic sensor 110-2 among a plurality of ultrasonic sensors 110-1 to 110-4 and the emitted ultrasonic signal. It shows only the waveforms of reflection and refraction signals received from each of the ultrasonic sensors 110-1 and 110-2.
프로세서(120)는 복수의 초음파 센서(110-1 ~ 110-4) 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서(110-1 ~ 110-4)를 제어하고, 방사된 초음파 신호가 오브젝트(o1)에 의해 반사되어 수신되는 초음파 신호의 ToF에 기초하여 오브젝트(o1)의 터치 포인트를 검출할 수 있다.The
구체적으로, 도 6에 도시된 바와 같이 제1 검출 구간에서 제1 및 제2 초음파 센서(110-1, 110-2)의 발신부(Tx A, Tx B)에서 동시에 초음파 신호가 방사된다. 각 초음파 센서(110-1, 110-2)의 수신부(Rx A, Rx B)에서는 오브젝트(o1)에 의해 반사되거나 굴절된 신호를 수신하게 된다. 제1 초음파 센서(110-1)는 반사 신호 및 제2 초음파 센서(110-2)로부터의 굴절 신호를 순차적으로 수신하며, 제2 초음파 센서(110-2)는 제1 초음파 센서(110-1)로부터의 굴절 신호를 먼저 수신하고, 이후, 반사 신호를 수신한다. 제1 검출 구간에서는 각각의 초음파 센서(110-1, 110-2)에서 수신된 신호 중 어떤 신호가 반사 신호인지 굴절 신호인지를 알 수 없으나, 제1 검출 구간에서 반사 신호 및 굴절 신호가 수신된 시점에 대한 정보를 이용하여 제2 검출 구간에서 반사 신호와 굴절 신호를 판단할 수 있다.Specifically, as shown in FIG. 6, ultrasonic signals are simultaneously emitted from the transmitters (T x A and T x B ) of the first and second ultrasonic sensors 110-1 and 110-2 in the first detection section. . The receiving units R x A and R x B of each of the ultrasonic sensors 110-1 and 110-2 receive a signal reflected or refracted by the object o 1 . The first ultrasonic sensor 110-1 sequentially receives a reflection signal and a refraction signal from the second ultrasonic sensor 110-2, and the second ultrasonic sensor 110-2 is a first ultrasonic sensor 110-1 The refraction signal from) is first received, and then, the reflected signal is received. In the first detection section, it is not possible to know which of the signals received from each of the ultrasonic sensors 110-1 and 110-2 is a reflection signal or a refraction signal, but the reflection signal and the refraction signal are received in the first detection section. A reflection signal and a refraction signal may be determined in the second detection section by using information on the viewpoint.
구체적으로, 프로세서(120)는 1 및 제2 초음파 센서(110-1, 110-2) 각각에 대하여, 제1 검출 구간의 시작시점으로부터 초음파 신호가 방사된 시간(0ms, 0ms), 반사 신호 및 굴절 신호가 수신될 때까지 걸리는 시간(제1 초음파 센서의 2.5ms, 3.1ms, 제2 초음파 센서의 3.08ms, 3.8ms)에 대한 정보를 각각 저장한다. 이때, 본 발명의 일 실시 예에 따른 터치 인식 장치(100)는 제1 검출 구간에서 각각의 초음파 센서가 반사 신호 및 굴절 신호를 수신하는 시점에 대한 정보를 저장하는 저장부(140)를 더 포함할 수 있다.Specifically, the
이후, 프로세서(120)는 제2 검출 구간에서, 제1 및 제2 초음파 센서(110-1, 110-2)가 각각 서로 다른 시점에 초음파 신호를 각각 방사하도록 제어할 수 있다. 구체적으로, 프로세서(120)는 제1 및 제2 초음파 센서(110-1, 110-2)가 제2 검출 구간에서 서로 다른 시점에 초음파 신호를 방사하도록, 제1 및 제2 초음파 센서(110-1, 110-2) 중 적어도 하나의 센서에 대하여, 초음파 신호의 방사 시점을 딜레이(delay)시킬 수 있다.Thereafter, the
즉, 프로세서(120)는 제2 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에서 초음파가 방사되는 시점이 제1 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에서 초음파가 방사되는 시점과 대응하도록 제어할 수 있다. 이때, 제2 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에 의해 반사 신호가 수신되는 시점 또한, 제1 검출 구간의 시작시점으로부터 제1 초음파 센서(110-1)에 의해 반사 신호가 수신되는 시점과 대응되게 된다.That is, the
한편, 프로세서(120)는 도 6에 도시된 바와 같이, 제2 검출 구간의 시작시점으로부터 제2 초음파 센서(110-2)에서 초음파가 방사되는 시점과 제1 검출 구간의 시작시점으로부터 제2 초음파 센서(110-2)에서 초음파가 방사되는 시점간에 △ms 만큼 타임 쉬프트(Time shift)가 발생하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에 있어서, 제1 검출 구간으로부터 초음파가 방사되는 시점과 대응되는 시점보다 △ms만큼 타임 쉬프트 된 시점(0+△ms)에 초음파가 방사되도록 제어할 수 있다.On the other hand, as shown in FIG. 6, the
이때, 제2 초음파 센서(110-2)에서 제2 검출 구간의 시작 시점으로부터 △ms만큼 타임 쉬프트되어 방사되는 초음파 신호에 의한 반사 신호 또한 마찬가지로 △ms만큼 타임 쉬프트(3.8+△ms)되는 반면, 제1 초음파 센서(110-1)에 의해 제2 초음파 센서(110-2)에서 수신되는 굴절 신호는 타임 쉬프트가 발생하지 않는다(3.08ms).At this time, the reflected signal of the ultrasonic signal emitted by being time-shifted by △ms from the start of the second detection period in the second ultrasonic sensor 110-2 is also time-shifted (3.8+△ms) by △ms, The refraction signal received from the second ultrasonic sensor 110-2 by the first ultrasonic sensor 110-1 does not cause a time shift (3.08 ms).
한편, 제1 초음파 센서(110-1)의 제2 검출 구간에서, 제2 초음파 센서(120)에 의한 굴절 신호는 제1 검출 구간에서 수신된 굴절 신호가 수신된 시점 에 대응되는 시점보다 △ms만큼 타임 쉬프트(3.1+△ms)되어 나타날 수 있다. 그러나, 제1 초음파 센서(110-1)에 의해 방사되어 제1 초음파 센서(110-1)에서 수신되는 반사 신호는 타임 쉬프트(2.5ms)가 발생하기 않는다.Meanwhile, in the second detection section of the first ultrasonic sensor 110-1, the refraction signal by the second
위와 같은 과정에 의해, 프로세서(120)는 제1 검출 구간 및 제2 검출 구간에 있어서, 제1 초음파 센서(110-1)에 의해 수신된 신호 파형을 분석하여 타임 쉬프트가 발생하지 않은 신호를 반사 신호로, 타임 쉬프트가 발생한 신호를 굴절 신호로 판단할 수 있다. 프로세서(120)는 굴절 신호를 제외한 반사 신호가 수신된 시간만을 고려하여 제2 검출 구간에서의 제1 초음파 센서(110-1)와 오브젝트(o1) 간의 ToF를 산출할 수 있으며, 산출된 ToF를 이용하여 제1 초음파 센서(110-1)와 오브젝트(o1) 간의 거리를 도출할 수 있다.Through the above process, the
또한, 프로세서(120)는 제1 검출 구간 및 제2 검출 구간에 있어서, 제2 초음파 센서(110-2)에 의해 수신된 신호 파형을 분석하여 타임 쉬프트가 발생한 신호를 반사 신호로, 타임 쉬프트가 발생하지 않은 신호를 굴절 신호로 판단할 수 있다. 프로세서(120)는 굴절 신호를 제외한 반사 신호가 수신된 시간만을 고려하여 제2 검출 구간에서의 제2 초음파 센서(110-2)와 오브젝트(o1) 간의 ToF를 산출할 수 있으며, 산출된 ToF를 이용하여 제2 초음파 센서(110-2)와 오브젝트(o1) 간의 거리를 도출할 수 있다. 즉, 프로세서(120)는 제1 초음파 센서(110-1) 및 제2 초음파 센서(110-2) 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 각 초음파 센서(110-1, 110-2)를 제어하여 각 초음파 신호의 ToF를 산출할 수 있다.In addition, the
한편, 여기서 타임 쉬프트는 기 설정된 검출 구간에 있어서, 일 초음파 센서가 다른 초음파 센서에서 방사되는 초음파 신호보다 기 설정된 시간(△ms)만큼 늦거나 빠른 시점에 초음파 신호를 방사하는 경우의 시간차(△ms)를 의미한다. 이하, 일 초음파 센서가 기 설정된 검출 구간의 시작 시점을 기준으로 △ms만큼 늦게 초음파 신호를 방사하는 경우에, 일 초음파 센서의 초음파 신호가 △ms만큼 딜레이(delay)되었다고 한다. 또한, 일 초음파 센서가 기준이 되는 타 초음파 센서에서 방사되는 초음파 신호보다 △ms만큼 늦게 초음파 신호를 방사하는 경우에, 일 초음파 센서의 초음파 신호가 타 초음파 센서의 초음파 신호보다 △ms만큼 딜레이(delay)되었다고 한다.Meanwhile, the time shift is the time difference (△ms) when one ultrasonic sensor emits an ultrasonic signal at a time later or earlier than the ultrasonic signal emitted from another ultrasonic sensor by a preset time (△ms) in a preset detection period. Means ). Hereinafter, when one ultrasonic sensor emits an ultrasonic signal as late as Δms based on the start time of a preset detection period, it is assumed that the ultrasonic signal of one ultrasonic sensor is delayed as much as Δms. In addition, when one ultrasonic sensor emits an ultrasonic signal △ms later than an ultrasonic signal radiated from another ultrasonic sensor as a reference, the ultrasonic signal of one ultrasonic sensor is delayed by △ms compared to the ultrasonic signal of the other ultrasonic sensor. ).
도 7은 본 발명의 일 실시 예에 따른, 전체 초음파 센서에 의한 초음파 신호의 수신 파형을 구별하는 방법을 설명하기 위한 도형이다. 도 7에 도시된 바와 같이, 제1 검출 구간에 있어서 각 초음파 센서(110-1 ~ 110-4)는 동시에 초음파 신호를 방사할 수 있다. ① 내지 ④는 제1 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 발신부(Tx A ~ TX D)에서 방사되는 초음파 신호를 나타낸 것이다.7 is a diagram illustrating a method of distinguishing a reception waveform of an ultrasonic signal by all ultrasonic sensors according to an embodiment of the present invention. As illustrated in FIG. 7, in the first detection period, each of the ultrasonic sensors 110-1 to 110-4 may simultaneously emit ultrasonic signals. ① to ④ represent ultrasonic signals radiated from the transmitters (T x A to T X D ) of each of the ultrasonic sensors 110-1 to 110-4 in the first and second detection intervals.
도 7에 도시된 바와 같이, 프로세서(120)는 제1 초음파 센서(110-1)의 제2 검출 구간에 있어서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점에 초음파 신호를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 △ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제3 초음파 센서(110-3)의 제2 검출 구간에서는, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 2△ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 또한, 프로세서(120)는 제4 초음파 센서(110-4)의 제2 검출 구간에서, 제1 검출 구간에서의 초음파 방사 시점과 대응되는 시점보다 3△ms만큼 딜레이된 시점에 초음파를 방사하도록 제어할 수 있다. 즉, 프로세서(120)는 제2 검출 구간에서, 각 초음파 센서(110-1 ~ 110-4)가 각각 기 설정된 딜레이(△)만큼 방사 시점이 차이가 나도록 제어할 수 있다.As shown in FIG. 7, the
한편, ⑤ 내지 ⑧은 제1 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 수신부(Rx A ~ RX D)에서 방사되는 초음파 신호를 나타낸 것이다. 도 7에 도시된 바와 같이, 제1 검출 구간에서는, 제1 내지 제4 초음파 센서(110-1 ~ 110-4)에서 동시에 방사된 초음파 신호에 의한 반사 및 굴절 신호가 검출될 수 있다. 이때, 각 초음파 센서(110-1 ~ 110-4)에 수신되는 신호는 오브젝트(o1)에 가장 가까운 초음파 센서 순으로 검출될 수 있다.Meanwhile, ⑤ to ⑧ represent ultrasonic signals radiated from the receiving units (R x A to R X D ) of each of the ultrasonic sensors 110-1 to 110-4 in the first and second detection intervals. As shown in FIG. 7, in the first detection period, reflection and refraction signals by ultrasonic signals simultaneously radiated from the first to fourth ultrasonic sensors 110-1 to 110-4 may be detected. In this case, the signals received by each of the ultrasonic sensors 110-1 to 110-4 may be detected in the order of ultrasonic sensors closest to the object o 1 .
예를 들어, 오브젝트(o1)에 가장 가까운 초음파 센서가 순서대로, 제1 초음파 센서, 제4 초음파 센서, 제2 초음파 센서, 제3 초음파 센서라고 할 때, 도 7에 도시된 바와 같이, 제1 초음파 센서(110-1)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 반사 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.For example, when the ultrasonic sensors closest to the object o 1 are in order, the first ultrasonic sensor, the fourth ultrasonic sensor, the second ultrasonic sensor, and the third ultrasonic sensor, as shown in FIG. 1 The reflection and refraction signals received from the ultrasonic sensor 110-1 are reflected signals from the first ultrasonic sensor 110-1, the refraction signals from the fourth ultrasonic sensor 110-4, and the second
또한, 제2 초음파 센서(110-2)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 반사 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the second ultrasonic sensor 110-2 are a refraction signal from the first ultrasonic sensor 110-1, a refraction signal from the fourth ultrasonic sensor 110-4, and a second ultrasonic wave. The reflected signal from the sensor 110-2 may be detected in the order of the refraction signal from the third ultrasonic sensor 110-3.
또한, 제3 초음파 센서(110-3)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 굴절 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 반사 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the third ultrasonic sensor 110-3 are a refraction signal from the first ultrasonic sensor 110-1, a refraction signal from the fourth ultrasonic sensor 110-4, and the second ultrasonic wave. The refraction signal from the sensor 110-2 may be detected in the order of the reflection signal from the third ultrasonic sensor 110-3.
또한, 제4 초음파 센서(110-4)에서 수신된 반사 및 굴절 신호는 제1 초음파 센서(110-1)로부터의 굴절 신호, 제4 초음파 센서(110-4)로부터의 반사 신호, 제2 초음파 센서(110-2)로부터의 굴절 신호, 제3 초음파 센서(110-3)로부터의 굴절 신호 순으로 검출될 수 있다.In addition, the reflection and refraction signals received from the fourth ultrasonic sensor 110-4 are a refraction signal from the first ultrasonic sensor 110-1, a reflection signal from the fourth ultrasonic sensor 110-4, and the second ultrasonic wave. The refraction signal from the sensor 110-2 and the refraction signal from the third ultrasonic sensor 110-3 may be detected in this order.
한편, 도 7에 도시된 바와 같이 제2 검출 구간에 있어서, 제1 초음파 센서(110-1)에 수신되는 제1 초음파 센서(110-1)의 반사 신호는 딜레이가 일어나지 않으나, 제2 초음파 센서(110-2)의 굴절 신호는 △ms 만큼, 제3 초음파 센서(110-3)의 굴절 신호는 2△ms만큼, 제4 초음파 센서의 굴절 신호는 3△ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 반사 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 2△ms만큼 일어난 신호를 제3 초음파 센서(110-3)의 굴절 신호로, 3△ms만큼 일어난 신호를 제4 초음파 센서(110-4)의 굴절 신호로 판단할 수 있다. 이와 같이, 프로세서(120)는 딜레이가 일어난 정도에 따라 각 반사 및 굴절 신호가 어느 초음파 센서로부터 반사 또는 굴절되어 수신된 신호인지 판단할 수 있다.Meanwhile, as shown in FIG. 7, in the second detection period, the reflected signal of the first ultrasonic sensor 110-1 received by the first ultrasonic sensor 110-1 does not cause a delay, but the second ultrasonic sensor The refraction signal of (110-2) is delayed by Δms, the refraction signal of the third ultrasonic sensor 110-3 is delayed by 2 Δms, and the refraction signal of the fourth ultrasonic sensor is delayed by 3 Δms. Accordingly, the
마찬가지로, 제2 검출 구간에 있어서, 제2 초음파 센서(110-2)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제2 초음파 센서(110-2)에 수신되는 제2 초음파 센서(110-2)의 반사 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 반사 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 굴절 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 굴절 신호로 판단할 수 있다.Likewise, in the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the second ultrasonic sensor 110-2 does not cause a delay, but is received by the second ultrasonic sensor 110-2. The reflected signal of the second ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the
제2 검출 구간에 있어서, 제3 초음파 센서(110-3)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제3 초음파 센서(110-3)에 수신되는 제2 초음파 센서(110-2)의 굴절 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 반사 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 굴절 신호로 판단할 수 있다.In the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the third ultrasonic sensor 110-3 does not cause a delay, but the third ultrasonic sensor 110-3 2 The refraction signal of the ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the
제2 검출 구간에 있어서, 제4 초음파 센서(110-4)에 수신되는 제1 초음파 센서(110-1)의 굴절 신호는 딜레이가 일어나지 않으나, 제4 초음파 센서(110-4)에 수신되는 제2 초음파 센서(110-2)의 굴절 신호는 △ms만큼 딜레이가 일어나게 된다. 따라서, 프로세서(120)는 딜레이가 일어나지 않은 신호를 제1 초음파 센서(110-1)의 굴절 신호로 판단할 수 있다. 또한, 프로세서(120)는 딜레이가 △ms만큼 일어난 신호를 제2 초음파 센서(110-2)의 굴절 신호로, 딜레이가 2△ms만큼 일어난 신호를 제3 초음파 센서(110-2)의 굴절 신호로, 딜레이가 3△ms만큼 일어난 신호를 제4 초음파 센서(110-2)의 반사 신호로 판단할 수 있다.In the second detection period, the refraction signal of the first ultrasonic sensor 110-1 received by the fourth ultrasonic sensor 110-4 does not cause a delay, but the first ultrasonic sensor 110-4 does not cause a delay. 2 The refraction signal of the ultrasonic sensor 110-2 is delayed by Δms. Accordingly, the
한편, 도 8은 본 발명의 일 실시 예에 따른, 각 초음파 신호의 타임 쉬프트 값을 결정하기 위한 조건을 설명하기 위한 도면이다.Meanwhile, FIG. 8 is a diagram for explaining a condition for determining a time shift value of each ultrasound signal according to an embodiment of the present invention.
본 발명에 있어서, 타임 쉬프트는, 기 설정된 검출 구간에 있어서, 오브젝트의 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다. 구체적으로, 사용자가 손가락을 이용하여 1초 동안 터치 앤 드래그를 수행할 수 있는 거리가 최대 1m라고 가정하는 경우, 기 설정된 검출 구간(5.8ms) 동안 오브젝트가 이동할 수 있는 거리 또한 최대 5.8mm가 된다. 이때, 오브젝트의 움직임으로 인하여 두 검출 구간에서 발생하는 초음파의 최대 위상차는 오브젝트의 최대 이동 거리를 초음파의 속력으로 나눈 값(5.8mm/343ms=16.9 μs)이 된다. 따라서, 두 검출 구간에서 위상차 동기화를 위한 최소 위상차, 즉, 타임 쉬프트의 최소값은 16.9 μs 의 두 배인 33.8 μs로 결정될 수 있다.In the present invention, the time shift may be determined to be greater than a difference in reception time of an ultrasound signal according to a maximum movement distance that can be recognized by the touch recognition apparatus of an object in a preset detection period. Specifically, assuming that the distance at which the user can touch and drag for 1 second using a finger is at most 1m, the distance at which the object can move during the preset detection period (5.8ms) is also at most 5.8mm. . At this time, the maximum phase difference of the ultrasound generated in the two detection sections due to the movement of the object is a value obtained by dividing the maximum movement distance of the object by the speed of the ultrasound (5.8mm/343ms=16.9 μs). Therefore, the minimum phase difference for phase difference synchronization in the two detection intervals, that is, the minimum value of the time shift may be determined to be 33.8 μs, which is twice the 16.9 μs.
도 9는 본 발명의 일 실시 예에 따른, 각 초음파 센서에서 방사되는 초음파 신호를 지속적으로 구별하기 위한 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method for continuously discriminating an ultrasonic signal emitted from each ultrasonic sensor according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 제1 검출 구간 및 제2 검출 구간에 있어서, 각 초음파 센서(110-1 ~ 110-4)의 초음파 신호의 방사 패턴이 반복될 수 있다. 즉, 제2 검출 구간 이후의 제3 검출 구간에 있어서, 프로세서(120)는 제1 검출 구간의 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.As shown in FIG. 9, in the first detection section and the second detection section, a radiation pattern of the ultrasonic signals of each of the ultrasonic sensors 110-1 to 110-4 may be repeated. That is, in the third detection period after the second detection period, the
이 경우, 프로세서(120)는 제2 검출 구간과 제3 검출 구간에서 각각의 초음파 센서(110-1 ~ 110-4)마다 서로 다른 시간 간격으로 방사되는 복수의 초음파 신호에 따라 발생하는 서로 다른 수신 시간 간격을 기초로, 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 ToF를 산출할 수 있다. 구체적으로, 프로세서(120)는 제2 검출 구간에서 복수의 초음파 센서(110-1 ~ 110-4)가 각각의 초음파 신호를 방사한 시점 및 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장부(140)에 저장할 수 있다.In this case, the
이후, 프로세서(140)는 제3 검출 구간에서 복수의 초음파 센서(110-1 ~ 110-4)가 각각의 초음파 신호를 방사한 시점, 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 저장부(140)에 저장된 정보를 이용하여 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.Thereafter, the
도 10은 본 발명의 일 실시 예에 따른, 신호 패턴의 차이를 이용하여 복합적으로 각 초음파 센서에서 방사되는 초음파 신호를 구별하기 위한 방법을 설명하기 위한 도면이다.10 is a diagram for describing a method for distinguishing ultrasonic signals radiated from each ultrasonic sensor complex by using a difference in signal pattern according to an embodiment of the present invention.
본 발명의 일 실시 예에 따르면, 터치 인식 장치(100)에서 방사되는 복수의 초음파 센서(110-1 ~ 110-4)는, 방사하는 초음파 신호의 주파수를 서로 달리할 수 있다. 구체적으로, 각 초음파 센서(110-1 ~ 110-4)에서 방사되는 초음파 신호를 서로 다른 주파수의 신호로 구현함으로써, 각 초음파 센서에서 수신되는 초음파 신호로부터 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호의 분리 효과를 개선할 수 있다.According to an embodiment of the present invention, the plurality of ultrasonic sensors 110-1 to 110-4 radiated from the
또한, 본 발명의 다른 실시 예에 따르면, 프로세서(120)는 복수의 초음파 센서(110-1 ~ 110-4)로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수 있다. 구체적으로, 프로세서(120)는 각 초음파 센서에서 방사되는 초음파 신호에 대하여, ADC 시간 해상도에 따라 부분적으로 위상을 제어할 수 있다. 예를 들어, 프로세서(120)는 제1 초음파 센서(110-1)에서 방사되는 초음파 신호의 위상은 0°, 제2 초음파 센서(110-2)에서 방사되는 초음파 신호의 위상은 90°, 제3 초음파 센서(110-3)에서 방사되는 초음파 신호의 위상은 180°, 제4 초음파 센서(110-4)에서 방사되는 초음파 신호의 위상은 270°으로, 서로 다른 위상을 가지는 초음파 신호를 방사하도록 제어할 수 있다. 이에 따라, 각 초음파 센서에서 수신되는 초음파 신호로부터 다른 초음파 센서로부터 방사되어 오브젝트(o1)에 의해 굴절된 초음파 신호의 분리 효과를 개선할 수 있다.In addition, according to another embodiment of the present invention, the
또한, 본 발명의 다른 실시 예에 따르면, 프로세서(120)는 각 복수의 초음파 센서(110-1 ~ 110-4)에서 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하여 각 초음파 센서(110-1 ~ 110-4)로부터의 굴절 신호와 반사 신호를 구별할 수 있다.In addition, according to another embodiment of the present invention, the
이와 같이 상술한 주파수 분할 방식, 위상 제어 방식 및 펄스 지속 시간 조정 방식을 본 발명의 초음파 방사 주기에 대한 타임 쉬프트 방식과 적절히 혼합하여 반사 신호와 굴절 신호의 구별 확률을 높일 수 있다.As described above, the frequency division method, the phase control method, and the pulse duration adjustment method are appropriately mixed with the time shift method for the ultrasonic emission period of the present invention to increase the probability of discriminating between the reflected signal and the refracted signal.
도 10에 도시된 바와 같이, 프로세서(120)는 제2 초음파 센서(110-2)의 제2 검출 구간에서의 초음파 방사 시점을 제1 초음파 센서(110-1)와 다르게 조정하여, 각 초음파 센서(110-1, 110-2)에서 수신되는 반사 신호와 굴절 신호를 구별할 수 다. 특히 이에 더하여, 프로세서(120)는 제1 초음파 센서(110-1)에서 방사되는 초음파와 제2 초음파 센서(110-2)에서 방사되는 초음파의 펄스 지속 시간을 서로 다르게 제어하여, 반사 신호와 굴절 신호의 구별 확률을 높일 수 있다.As shown in FIG. 10, the
도 11은 본 발명의 다른 실시 예에 따른, 터치 인식 장치의 구성을 상세히 도시한 블록도이다. 도 11에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 터치 인식 장치(100'')는 제1 내지 n 초음파 센서(110-1 ~ 110-n), 프로세서(120), 디스플레이(130), 저장부(140), 사용자 인터페이스(150)를 포함한다. 이하에서는 도 1과 중복되는 구성에 대한 설명은 생략하기로 한다.11 is a block diagram showing in detail a configuration of a touch recognition device according to another embodiment of the present invention. As shown in FIG. 11, a
프로세서(120)는 터치 인식 장치(100'')의 전반적인 동작을 제어하는 구성이다. 구체적으로, 프로세서(120)는 ROM(121), RAM(122), CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 및 버스(125)를 포함한다. 여기서, ROM(121), RAM(122), CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 등은 버스(125)를 통해 서로 연결될 수 있다.The
CPU(123)는 저장부(140)에 액세스하여, 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(123)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.The
ROM(121)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(123)는 ROM(121)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(122)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(123)는 저장부(140)에 저장된 각종 애플리케이션 프로그램을 RAM(122)에 복사하고, RAM(122)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.The
제1 내지 n 인터페이스(124-1 ~ 124-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to nth interfaces 124-1 to 124-n are connected to the above-described various components. One of the interfaces may be a network interface that is connected to an external device through a network.
한편, 상술한 프로세서(120)의 동작은 저장부(140)에 저장된 프로그램에 의해 수행될 수 있다.Meanwhile, the above-described operation of the
저장부(140)는 터치 인식 장치(100'')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티 미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.The
구체적으로, 저장부(140)는 터치 인식 장치(100'')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈, 보안 모듈 등을 저장할 수 있다. 특히, 저장부(140)는 본 발명의 일 실시 예에 따른 초음파 신호의 ToF를 검출하는데 필요한 ToF 계산 모듈, 오브젝트에 의한 터치 포인트를 검출하기 위한 터치 좌표 판단 모듈 등의 프로그램이 저장되어 있을 수 있다.Specifically, the
사용자 인터페이스(150)는, 터치 인식 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소로서, 카메라(미도시), 마이크(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.The
도 12는 본 발명의 일 실시 예에 따른, 터치 인식 장치의 제어 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a method of controlling a touch recognition device according to an embodiment of the present invention.
먼저, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어한다(S1210). 이때, 제1 검출 구간에서는 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어할 수 있고, 제2 검출 구간에서는 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어할 수 있다. 또한, 제2 검출 구간에서 복수의 초음파 센서가 각각 기 설정된 딜레이 간격으로 제2 초음파 신호를 순차적으로 방사하도록 제어할 수 있다. 여기서, 딜레이는, 기 설정된 검출 구간에 있어서, 오브젝트의 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 초음파 신호의 수신 시간 차이보다 크도록 결정될 수 있다.First, the plurality of ultrasonic sensors are controlled so that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals (S1210). In this case, in the first detection section, a plurality of ultrasonic sensors can be controlled to emit a first ultrasonic signal at the same time, and in the second detection section, a plurality of ultrasonic sensors are controlled to emit a second ultrasonic signal at different times. can do. In addition, in the second detection period, the plurality of ultrasonic sensors may be controlled to sequentially emit second ultrasonic signals at preset delay intervals. Here, the delay may be determined to be greater than a difference in reception time of an ultrasound signal according to a maximum movement distance that can be recognized by the touch recognition apparatus of an object in a preset detection period.
이 후, 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출한다(S1220). 이때, 서로 다른 시간 간격에 따라 발생하는 복수의 초음파 신호의 서로 다른 수신 시간 간격을 기초로, 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단하여 ToF를 산출할 수 있다.Thereafter, the touch point of the object is detected based on the time of flight (ToF) of the received ultrasonic signal by reflecting the emitted ultrasonic signal by the object (S1220). In this case, based on different reception time intervals of the plurality of ultrasonic signals generated according to different time intervals, each ultrasonic sensor that emits the received ultrasonic signal may be determined to calculate the ToF.
또한, 제1 검출 구간에서 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장할 수 있다. 이때, 제2 검출 구간에서 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 저장된 정보를 이용하여 수신되는 초음파 신호를 방사한 초음파 센서를 각각 판단할 수 있다.In addition, in the first detection period, information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal and a time point at which each ultrasonic signal is received by reflection by an object may be stored. At this time, in the second detection period, the plurality of ultrasonic sensors radiate the received ultrasonic signal using information on the time point at which each ultrasonic signal is emitted, the time point at which each ultrasonic signal is received by reflection by the object, and the stored information. Each of the ultrasonic sensors can be determined.
한편, 복수의 초음파 센서는, 방사하는 초음파 시호의 주파수를 서로 달리할 수 있다. 또한, 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어할 수도 있으며, 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간을 서로 다르게 제어할 수도 있다.Meanwhile, the plurality of ultrasonic sensors may have different frequencies of radiated ultrasonic waves. In addition, the phases of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently, and the pulse duration of the ultrasonic signals radiated from the plurality of ultrasonic sensors may be controlled differently.
또한, 제3 검출 구간에 있어서, 제1 검출 구간의 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어할 수 있다.In addition, in the third detection section, a control may be performed to emit a plurality of ultrasonic signals at a time point corresponding to a time point at which the plurality of ultrasonic signals in the first detection section are respectively emitted.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 각 초음파 센서마다 순차적으로 초음파를 방사 및 수신하는 시분할 방식의 식별 방식에 비해, 식별 시간을 단축할 수 있으므로 터치 스크린의 터치 인식 성능을 높일 수 있게 된다.As described above, according to various embodiments of the present invention, since the identification time can be shortened compared to the time-division type identification method in which ultrasonic waves are sequentially emitted and received for each ultrasonic sensor, the touch recognition performance of the touch screen can be improved. .
상술한 다양한 실시 예에 따른 터치 인식 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.The control method of the touch recognition device according to the various embodiments described above may be implemented as a program and stored in various recording media. That is, a computer program that is processed by various processors and capable of executing the various control methods described above may be used in a state stored in a recording medium.
일 예로, 기 설정된 검출 구간마다 초음파 신호를 방사하는 복수의 초음파 센서 각각이 서로 다른 시간 간격으로 초음파 신호를 방사하도록 복수의 초음파 센서를 제어하는 단계 및 방사된 초음파 신호가 오브젝트에 의해 반사되어 수신되는 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.As an example, controlling the plurality of ultrasonic sensors so that each of the plurality of ultrasonic sensors emitting ultrasonic signals for each preset detection period emit ultrasonic signals at different time intervals, and the radiated ultrasonic signals are reflected by the object and received. A non-transitory computer readable medium in which a program for performing the step of detecting a touch point of an object based on the time of flight (ToF) of the ultrasonic signal may be stored.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, or memory. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, and ROM.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is generally used in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Various modifications are possible by those skilled in the art of course, and these modifications should not be individually understood from the technical idea or perspective of the present invention.
100, 100', 100'': 터치 인식 장치 110-1 ~ 110-n: 초음파 센서
120: 프로세서 130: 저장부
140: 디스플레이100, 100', 100'': touch recognition device 110-1 to 110-n: ultrasonic sensor
120: processor 130: storage
140: display
Claims (21)
복수의 초음파 센서; 및
서로 다른 방사 시간 간격에 따라 초음파 신호를 주기적으로 방사하도록 상기 복수의 초음파 센서를 제어하고,
상기 복수의 초음파 센서 각각에 주기적으로 수신되는 초음파 신호의 수신 시간 간격 및 상기 복수의 초음파 센서 각각에서 주기적으로 방사되는 초음파 신호의 방사 시간 간격을 기초로, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하고,
상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호의 ToF(Time of Flight)에 기초하여, 오브젝트의 터치 포인트를 검출하는 프로세서;를 포함하며,
상기 프로세서는,
제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 상기 복수의 초음파 센서를 제어하고,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 상기 복수의 초음파 센서를 제어하는, 터치 인식 장치.In the touch recognition device,
A plurality of ultrasonic sensors; And
Controlling the plurality of ultrasonic sensors to periodically emit ultrasonic signals according to different radiation time intervals,
Based on a reception time interval of the ultrasonic signals periodically received by each of the plurality of ultrasonic sensors and a radiation time interval of the ultrasonic signals periodically radiated from each of the plurality of ultrasonic sensors, among ultrasonic signals received by the plurality of ultrasonic sensors To determine the received ultrasonic signals radiated by each of the plurality of ultrasonic sensors,
Includes; a processor for detecting a touch point of an object based on a Time of Flight (ToF) of the ultrasonic signal emitted and received by each of the plurality of ultrasonic sensors,
The processor,
Controlling the plurality of ultrasonic sensors so that the plurality of ultrasonic sensors simultaneously emit first ultrasonic signals, respectively, in a first detection period,
The touch recognition apparatus, wherein the plurality of ultrasonic sensors control the plurality of ultrasonic sensors so that each of the plurality of ultrasonic sensors emit second ultrasonic signals at different time points in a second detection period.
상기 프로세서는,
상기 복수의 초음파 센서 중 제1 초음파 센서는 제1 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제1 초음파 센서를 제어하고,
상기 복수의 초음파 센서 중 제2 초음파 센서는 상기 제1 방사 시간 간격을 기설정된 시간으로 지연시킨 제2 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제2 초음파 센서를 제어하는, 터치 인식 장치.The method of claim 1,
The processor,
A first ultrasonic sensor among the plurality of ultrasonic sensors controls the first ultrasonic sensor to emit ultrasonic signals according to a first radiation time interval,
The second ultrasonic sensor of the plurality of ultrasonic sensors controls the second ultrasonic sensor to emit ultrasonic signals according to a second radiation time interval in which the first radiation time interval is delayed by a preset time.
제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 저장부;를 더 포함하고,
상기 프로세서는,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 제1 검출 구간에 대해 상기 저장된 정보를 이용하여, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는, 터치 인식 장치.The method of claim 1,
A storage unit for storing information on a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in a first detection period and a time point at which each ultrasonic signal is received by being reflected by the object; and
The processor,
In the second detection period, the plurality of ultrasound sensors emit each ultrasound signal, information on the time when each ultrasound signal is received by the object reflected, and the stored information for the first detection period In this way, among the ultrasonic signals received by the plurality of ultrasonic sensors, the ultrasonic signals radiated by each of the plurality of ultrasonic sensors and received are determined.
상기 기설정된 시간은,
상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정되는, 터치 인식 장치.The method of claim 3,
The preset time is,
In the preset detection period, the touch recognition apparatus is determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize.
상기 복수의 초음파 센서는,
방사하는 초음파 신호의 주파수를 서로 달리하는, 터치 인식 장치.The method of claim 1,
The plurality of ultrasonic sensors,
A touch recognition device that has different frequencies of radiated ultrasonic signals.
상기 프로세서는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어하는, 터치 인식 장치.The method of claim 1,
The processor,
The touch recognition device for controlling the phases of the ultrasonic signals emitted from the plurality of ultrasonic sensors to be different from each other.
상기 프로세서는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하는 터치 인식 장치.The method of claim 1,
The processor,
A touch recognition device for controlling pulse durations of ultrasonic signals radiated from the plurality of ultrasonic sensors, respectively.
상기 프로세서는,
제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어하는, 터치 인식 장치.The method of claim 1,
The processor,
In a third detection period, the touch recognition apparatus is configured to control the emission of a plurality of ultrasound signals at a time corresponding to a time point at which the plurality of ultrasound signals are respectively radiated in the first detection period.
디스플레이부;를 더 포함하고,
상기 오브젝트는, 상기 디스플레이부에 터치되는 오브젝트인, 터치 인식 장치.The method of claim 1,
It further includes a display unit,
The object is an object touched on the display unit, the touch recognition device.
서로 다른 방사 시간 간격에 따라 초음파 신호를 주기적으로 방사하도록 상기 복수의 초음파 센서를 제어하는 단계;
상기 복수의 초음파 센서 각각에 주기적으로 수신되는 초음파 신호의 수신 시간 간격 및 상기 복수의 초음파 센서 각각에서 주기적으로 방사되는 초음파 신호의 방사 시간 간격을 기초로, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는 단계; 및
상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호의 ToF(Time of Flight)에 기초하여 오브젝트의 터치 포인트를 검출하는 단계;를 포함하며,
상기 복수의 초음파 센서를 제어하는 단계는,
제1 검출 구간에서 상기 복수의 초음파 센서가 동시에 제1 초음파 신호를 각각 방사하도록 제어하고, 제2 검출 구간에서 상기 복수의 초음파 센서가 각각 서로 다른 시점에 제2 초음파 신호를 각각 방사하도록 제어하는, 제어 방법.In the control method of a touch recognition device including a plurality of ultrasonic sensors,
Controlling the plurality of ultrasonic sensors to periodically emit ultrasonic signals according to different radiation time intervals;
Based on a reception time interval of the ultrasonic signals periodically received by each of the plurality of ultrasonic sensors and a radiation time interval of the ultrasonic signals periodically radiated from each of the plurality of ultrasonic sensors, among ultrasonic signals received by the plurality of ultrasonic sensors Determining an ultrasonic signal received by being radiated by each of the plurality of ultrasonic sensors; And
Including; detecting a touch point of the object based on the time of flight (ToF) of the ultrasonic signal received by being emitted by each of the plurality of ultrasonic sensors; and
The step of controlling the plurality of ultrasonic sensors,
Controlling the plurality of ultrasonic sensors to emit a first ultrasonic signal at the same time in a first detection section, and controlling the plurality of ultrasonic sensors to emit a second ultrasonic signal respectively at different times in a second detection section, Control method.
상기 제2 초음파 신호를 각각 방사하도록 제어하는 단계는,
상기 복수의 초음파 센서 중 제1 초음파 센서는 제1 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제1 초음파 센서를 제어하고,
상기 복수의 초음파 센서 중 제2 초음파 센서는 상기 제1 방사 시간 간격을 기설정된 시간으로 지연시킨 제2 방사 시간 간격에 따라 초음파 신호를 방사하도록 상기 제2 초음파 센서를 제어하는, 제어 방법.The method of claim 12,
Controlling to emit each of the second ultrasonic signals,
A first ultrasonic sensor among the plurality of ultrasonic sensors controls the first ultrasonic sensor to emit ultrasonic signals according to a first radiation time interval,
The second ultrasonic sensor of the plurality of ultrasonic sensors controls the second ultrasonic sensor to emit ultrasonic signals according to a second radiation time interval in which the first radiation time interval is delayed by a preset time.
제1 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점 및 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보를 저장하는 단계;를 더 포함하고,
상기 오브젝트의 터치 포인트를 검출하는 단계는,
제2 검출 구간에서 상기 복수의 초음파 센서가 각각의 초음파 신호를 방사한 시점, 상기 오브젝트에 의해 반사되어 각각의 초음파 신호가 수신된 시점에 대한 정보 및 상기 제1 검출 구간에 대해 상기 저장된 정보를 이용하여, 상기 복수의 초음파 센서에 수신된 초음파 신호 중에서 상기 복수의 초음파 센서 각각에 의해 방사되어 수신된 초음파 신호를 판단하는, 제어 방법.The method of claim 12,
Storing information about a time point at which the plurality of ultrasonic sensors emit each ultrasonic signal in a first detection period and a time point at which each ultrasonic signal is received by reflection by the object; further comprising,
The step of detecting the touch point of the object,
In the second detection period, the plurality of ultrasound sensors emit each ultrasound signal, information on the time when each ultrasound signal is received by the object reflected, and the stored information for the first detection period In this way, among the ultrasonic signals received by the plurality of ultrasonic sensors, the ultrasonic signals radiated by each of the plurality of ultrasonic sensors and received are determined.
상기 기설정된 시간은,
상기 기 설정된 검출 구간에 있어서, 상기 오브젝트의 상기 터치 인식 장치가 인식할 수 있는 최대 이동 거리에 따른 상기 초음파 신호의 수신 시간 차이보다 크도록 결정되는, 제어 방법.The method of claim 14,
The preset time is,
In the preset detection period, the control method is determined to be greater than a difference in reception time of the ultrasound signal according to a maximum movement distance that the touch recognition apparatus of the object can recognize.
상기 복수의 초음파 센서는,
방사하는 초음파 신호의 주파수를 서로 달리하는, 제어 방법.The method of claim 12,
The plurality of ultrasonic sensors,
Control method of different frequencies of radiated ultrasonic signals.
상기 복수의 초음파 센서를 제어하는 단계는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 위상을 서로 다르게 제어하는, 제어 방법.The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
The control method of controlling the phases of the ultrasonic signals radiated from the plurality of ultrasonic sensors to be different from each other.
상기 복수의 초음파 센서를 제어하는 단계는,
상기 복수의 초음파 센서로부터 각각 방사되는 초음파 신호의 펄스 지속 시간(pulse duration)을 서로 다르게 제어하는, 제어 방법.The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
The control method of controlling the pulse duration of the ultrasonic signals radiated from the plurality of ultrasonic sensors, respectively.
상기 복수의 초음파 센서를 제어하는 단계는,
제3 검출 구간에 있어서, 상기 제1 검출 구간의 상기 복수의 초음파 신호가 각각 방사되는 시점과 대응되는 시점에 복수의 초음파 신호가 각각 방사되도록 제어하는, 제어 방법.The method of claim 12,
The step of controlling the plurality of ultrasonic sensors,
In a third detection period, a control method for controlling the plurality of ultrasound signals to be radiated respectively at a point in time corresponding to a point in time at which the plurality of ultrasound signals are respectively radiated in the first detection period.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16800273.1A EP3274796A4 (en) | 2015-05-27 | 2016-05-23 | Touch recognition apparatus and control method thereof |
CN201680030761.9A CN107690611B (en) | 2015-05-27 | 2016-05-23 | Touch recognition apparatus and control method thereof |
PCT/KR2016/005422 WO2016190634A1 (en) | 2015-05-27 | 2016-05-23 | Touch recognition apparatus and control method thereof |
US15/167,087 US10067608B2 (en) | 2015-05-27 | 2016-05-27 | Touch recognition apparatus and control method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562166882P | 2015-05-27 | 2015-05-27 | |
US62/166,882 | 2015-05-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160140324A KR20160140324A (en) | 2016-12-07 |
KR102210377B1 true KR102210377B1 (en) | 2021-02-01 |
Family
ID=57573807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150173323A KR102210377B1 (en) | 2015-05-27 | 2015-12-07 | Touch recognition apparatus and control methods thereof |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3274796A4 (en) |
KR (1) | KR102210377B1 (en) |
CN (1) | CN107690611B (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111966242B (en) * | 2020-08-17 | 2024-03-12 | 京东方科技集团股份有限公司 | Touch display panel and display device |
CN112650414B (en) * | 2020-12-30 | 2024-03-22 | 安徽鸿程光电有限公司 | Touch device, touch point positioning method, module, equipment and medium |
CN112882594B (en) * | 2020-12-31 | 2023-12-22 | 安徽鸿程光电有限公司 | Touch device, positioning method, device and medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120299820A1 (en) * | 2009-10-23 | 2012-11-29 | Elliptic Laboratories As | Touchless interfaces |
US20130127783A1 (en) * | 2011-11-18 | 2013-05-23 | Au Optronics Corporation | Apparatus and method for controlling information display |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6741237B1 (en) * | 2001-08-23 | 2004-05-25 | Rockwell Automation Technologies, Inc. | Touch screen |
WO2008103919A2 (en) * | 2007-02-23 | 2008-08-28 | Gesturetek, Inc. | Enhanced single-sensor position detection |
WO2013140130A1 (en) * | 2012-03-21 | 2013-09-26 | Elliptic Laboratories As | Signal processing for acoustic user input |
US9189108B2 (en) * | 2013-08-21 | 2015-11-17 | Qualcomm Incorporated | Ultrasound multi-zone hovering system |
US9880671B2 (en) * | 2013-10-08 | 2018-01-30 | Sentons Inc. | Damping vibrational wave reflections |
US20150117153A1 (en) * | 2013-10-25 | 2015-04-30 | Symbol Technologies, Inc. | Adaptive transmitter cluster area for ultrasonic locationing system |
-
2015
- 2015-12-07 KR KR1020150173323A patent/KR102210377B1/en active IP Right Grant
-
2016
- 2016-05-23 EP EP16800273.1A patent/EP3274796A4/en not_active Ceased
- 2016-05-23 CN CN201680030761.9A patent/CN107690611B/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120299820A1 (en) * | 2009-10-23 | 2012-11-29 | Elliptic Laboratories As | Touchless interfaces |
US20130127783A1 (en) * | 2011-11-18 | 2013-05-23 | Au Optronics Corporation | Apparatus and method for controlling information display |
Also Published As
Publication number | Publication date |
---|---|
KR20160140324A (en) | 2016-12-07 |
EP3274796A4 (en) | 2018-04-25 |
EP3274796A1 (en) | 2018-01-31 |
CN107690611A (en) | 2018-02-13 |
CN107690611B (en) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10067608B2 (en) | Touch recognition apparatus and control method thereof | |
US9785288B2 (en) | Touch screen apparatus and control method thereof | |
KR102510402B1 (en) | Radar based sensing system for touch and in-the-air interactions | |
EP2452258B1 (en) | Control using movements | |
US20130194208A1 (en) | Information terminal device, method of controlling information terminal device, and program | |
CN109937397B (en) | Stylus hover and location communication protocol | |
EP4080347A1 (en) | Method and apparatus for displaying application | |
US20140237408A1 (en) | Interpretation of pressure based gesture | |
US20110109577A1 (en) | Method and apparatus with proximity touch detection | |
US20120249461A1 (en) | Dedicated user interface controller for feedback responses | |
US9189108B2 (en) | Ultrasound multi-zone hovering system | |
US20120062905A1 (en) | Optical detection system and program | |
KR102210377B1 (en) | Touch recognition apparatus and control methods thereof | |
US20140085266A1 (en) | Touch system including optical touch panel and touch pen, and method of controlling interference optical signal in touch system | |
US8809665B2 (en) | Electronic percussion gestures for touchscreens | |
US20130088427A1 (en) | Multiple input areas for pen-based computing | |
CN101855609A (en) | The system and method for touch face and senses touch input | |
EP3350677B1 (en) | Coordinate measuring apparatus and method of controlling the same | |
US20220043517A1 (en) | Multi-modal touchpad | |
US9152275B2 (en) | Optical touch system, method of touch detection and non-transitory computer readable medium recording program instructions | |
EP3295286B1 (en) | Touch screen apparatus and control method thereof | |
CN106200888B (en) | Non-contact electronic product and control method thereof | |
US20130169559A1 (en) | Electronic device and touch sensing method of the electronic device | |
US9971457B2 (en) | Audio augmentation of touch detection for surfaces | |
JP2023532794A (en) | Visual feedback from user equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |