KR102357724B1 - Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor - Google Patents

Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor Download PDF

Info

Publication number
KR102357724B1
KR102357724B1 KR1020200186830A KR20200186830A KR102357724B1 KR 102357724 B1 KR102357724 B1 KR 102357724B1 KR 1020200186830 A KR1020200186830 A KR 1020200186830A KR 20200186830 A KR20200186830 A KR 20200186830A KR 102357724 B1 KR102357724 B1 KR 102357724B1
Authority
KR
South Korea
Prior art keywords
user
conductor
sensing electrode
electrical signal
sensing
Prior art date
Application number
KR1020200186830A
Other languages
Korean (ko)
Inventor
정후민
Original Assignee
주식회사 다모아텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다모아텍 filed Critical 주식회사 다모아텍
Priority to KR1020200186830A priority Critical patent/KR102357724B1/en
Priority to KR1020210080845A priority patent/KR20220095084A/en
Application granted granted Critical
Publication of KR102357724B1 publication Critical patent/KR102357724B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are a hybrid gesture sensor and an operating method thereof. The sensor according to an embodiment of the present invention comprises: a sensing electrode; an intermediate component placed outside the sensing electrode and capable of being deformed; a first resonance circuit connected electrically to the sensing electrode; a second resonance circuit having the same electrical characteristics with the first resonance circuit; and a detection circuit for receiving a first electrical signal formed on top of the first resonance circuit and the sensing electrode and receiving a second electrical signal formed on the second resonance circuit. The detection circuit detects a difference between a first resonance frequency of the first electrical signal and a second resonance frequency of the second electrical signal to generate detection information. The detection information includes a distance from an external conductor to the intermediate component, which is approached by the external conductor owing to the motion of a user, and information for determining whether the conductor is in contact with the outer contact surface of the intermediate component. Therefore, provided is a technique for detecting the motion input of a user on a device accurately.

Description

단일 채널 센싱에 기반하여 제스쳐, 터치, 및 터치 포스를 감지할 수 있는 하이브리드 제스쳐 센서 및 그 동작 방법 {HYBRRID GESTURE SENSOR CAPABLE OF SENSING GESTURE, TOUCH, AND TOUCH FORCE BASED ON SINGLE CHANNEL SENSING AND METHOD OF OPERATION THEREFOR}A hybrid gesture sensor capable of detecting gesture, touch, and touch force based on single-channel sensing and an operation method thereof

본 발명은 근접에 기반한 사용자 인터페이스 디바이스, 디바이스를 위한 센서, 및 그 동작 방법에 관한 것이다. 구체적으로는 근접에 기반한 제스쳐 센서, 터치 센서, 및 터치 포스 센서의 감도를 개선하고 효과적으로 구현하는 기술 및 그 동작 방법에 관한 기술이다.The present invention relates to a proximity-based user interface device, a sensor for the device, and a method of operating the same. Specifically, the present invention relates to a technique for improving and effectively implementing the sensitivity of a proximity-based gesture sensor, a touch sensor, and a touch force sensor, and a technique for operating the same.

최근의 터치 인식 기술은 급속한 발전을 이루었으며, 많은 현대의 디바이스들은 사용자에 의해 디바이스와 상호작용하기 위하여 다양한 터치 감지형 입력 디바이스를 포함한다. 터치 감지 기술은 직접적인 터치 외에도 센서에 인체가 근접하였는지 여부를 검출할 수 있다. In recent years, touch recognition technology has made rapid development, and many modern devices include various touch-sensitive input devices for interacting with the device by a user. In addition to direct touch, the touch sensing technology can detect whether a human body is close to the sensor.

터치 또는 근접 감지(Touch or Proximity Sensing) 기술에 기반한 사용자 피드백을 제공하는 기술의 일 예로서, 한국공개특허 KR 10-2018-0068303 "근접도-기반 햅틱 피드백을 위한 시스템들 및 방법들"이 개시된다. 상기 선행문헌은 비접촉 근접 센서 및 터치 센서를 이용하여 접촉 또는 비접촉 근접 상호작용을 검출하여 햅틱 출력 디바이스로 전송한다. As an example of a technology for providing user feedback based on Touch or Proximity Sensing technology, Korean Patent Laid-Open Publication KR 10-2018-0068303 “Systems and methods for proximity-based haptic feedback” is disclosed. do. The prior document uses a non-contact proximity sensor and a touch sensor to detect a contact or non-contact proximity interaction and transmit it to a haptic output device.

미국등록특허 US 9,250,734 "Proximity and multi-touch sensor detection and demodulation" 에서는 정전용량식 터치 센서와 함께 적외선 방식의 근접 센서를 이용하여 호버링 제스쳐(hovering gesture) 및 터치 제스쳐를 인식할 수 있는 기술이 개시된다. U.S. Patent No. 9,250,734 "Proximity and multi-touch sensor detection and demodulation" discloses a technology capable of recognizing a hovering gesture and a touch gesture using an infrared-type proximity sensor together with a capacitive touch sensor. .

한국공개특허 KR 10-2015-0121949 "제스처를 인식하는 방법 및 장치"에서는 호버링 제스쳐 및 z축 방향의 거리를 인식하기 위하여 적외선 센서를 이용하고, 터치 제스쳐 및 2차원 평면 상의 위치를 인식하기 위해서는 통상의 터치 센서를 이용하는 기술이 개시된다. Korean Patent Application Laid-Open No. KR 10-2015-0121949 "Method and Apparatus for Recognizing Gestures" uses an infrared sensor to recognize a hovering gesture and a distance in the z-axis direction, and to recognize a touch gesture and a position on a two-dimensional plane. Disclosed is a technology using a touch sensor of

한국등록특허 KR 10-2140791 "터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법" 에서는 터치 스크린 패널 위의 공간에서 수직 방향으로 이격하여 발생하는 근접을 검출하는 싱글-터치 모드, 및 근접 터치가 발생한 경우 다수의 터치 영역을 검출하는 멀티-터치 모드에 의하여 비접촉 근접과 멀티-터치를 각각 검출하는 기술을 개시한다. 그러나 이 방식은 멀티-터치 동작이 가능한 전극 구조를 싱글-터치를 위한 별도의 모드로 동작시켜야 하고, 이 과정에서 전력 소비가 증가하며 신속한 응답이 어려운 문제점이 있다.Korean Patent No. KR 10-2140791 "A touch controller, a display device and an electronic device including the touch controller, and a touch sensing method" discloses a single-touch mode for detecting proximity that is vertically spaced apart in a space above a touch screen panel , and a technology for respectively detecting non-contact proximity and multi-touch by a multi-touch mode for detecting a plurality of touch areas when a proximity touch occurs. However, in this method, the electrode structure capable of multi-touch operation must be operated in a separate mode for single-touch operation, and in this process, power consumption increases and a quick response is difficult.

선행문헌들은 주로 적외선 센서, 또는 정전용량 기반 센서를 이용하여 사용자의 인체의 일부, 또는 전도체가 디바이스에 접근하거나 접촉하거나, 접근/접촉된 위치의 이동을 검출하여 사용자 제스쳐를 인식한다.Prior documents mainly use an infrared sensor or a capacitive-based sensor to recognize a user gesture by detecting a movement of a part of a user's body or a conductor approaches or touches a device, or approaches/contacts a device using an infrared sensor or a capacitance-based sensor.

일반적으로 터치 또는 근접의 위치를 검출하거나, 다수의 위치에 대한 사용자 제스쳐를 인식하기 위하여 각 위치 또는 영역에 대하여 별도의 센서를 사용하거나, 개별 영역에 대하여 개별적인 채널을 할당한다. 분할된 영역의 수가 증가할수록 센서 또는 채널의 수가 증가하므로 비용이 증가한다. In general, in order to detect a location of a touch or proximity, or to recognize a user gesture for a plurality of locations, a separate sensor is used for each location or area, or an individual channel is allocated to each location. As the number of partitioned regions increases, the number of sensors or channels increases, thus increasing the cost.

한편 선행문헌들은 구분하고자 하는 대상(비접촉 근접 여부, 터치되는 위치, 터치 힘, 터치되는 대상의 크기)마다 개별적인 채널을 할당하는 것 외에도 개별적인 동작 모드를 할당하여 동작하기 때문에 전력 소비가 증가하고 신속한 응답이 어려운 문제점이 있다.Meanwhile, in the prior literature, in addition to allocating an individual channel for each object to be distinguished (non-contact proximity, touched position, touch force, and size of the touched object), power consumption increases and quick response because it operates by allocating an individual operation mode. There is this difficult problem.

한국공개특허 KR 10-2018-0068303 "근접도-기반 햅틱 피드백을 위한 시스템들 및 방법들" (2018년 6월 21일)Korean Patent Laid-Open Patent KR 10-2018-0068303 "Systems and Methods for Proximity-Based Haptic Feedback" (June 21, 2018) 미국등록특허 US 9,250,734 "Proximity and multi-touch sensor detection and demodulation" (2016년 2월 2일)US registered patent US 9,250,734 "Proximity and multi-touch sensor detection and demodulation" (February 2, 2016) 한국공개특허 KR 10-2015-0121949 "제스처를 인식하는 방법 및 장치" (2015년 10월 30일)Korean Patent Laid-Open Patent KR 10-2015-0121949 "Method and Apparatus for Recognizing Gestures" (October 30, 2015) 한국등록특허 KR 10-2140791 "터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법" (2020년 7월 28일)Korean Patent Registration KR 10-2140791 "Touch controller, display device and electronic device including touch controller, and touch sensing method" (July 28, 2020)

상기 선행기술들은 다양한 어플리케이션을 대상으로 터치/근접 감지 기반 사용자 제스쳐를 검출하는 기술을 제공하나, 구분하고자 하는 대상(비접촉 근접 여부, 터치/근접의 위치, 터치 힘, 터치/근접의 크기 또는 종류)마다 개별적인 동작 모드를 할당하여 동작하기 때문에 전력 소비가 증가하고 신속한 응답이 어려운 문제점이 있다. The prior art provides a technology for detecting a touch/proximity sensing-based user gesture for various applications, but an object to be distinguished (non-contact proximity, touch/proximity location, touch force, size or type of touch/proximity) Since each operation mode is allocated and operated, power consumption increases and it is difficult to respond quickly.

본 발명은 단일 채널 및 단일 동작 모드에 의한 하이브리드 제스쳐 센서 구성을 통하여, 사용자의 호버링 제스쳐, 터치 여부, 터치 힘을 검출하고, 시간의 경과에 따른 제스쳐, 터치, 및 터치 힘의 변화를 추적할 수 있으며, 이로 인하여 단일 채널 센서의 단일 동작 모드에 의하여 디바이스에 대한 사용자의 모션 입력을 정확히 검출할 수 있는 기술을 제공하는 것을 목적으로 한다. The present invention detects a user's hovering gesture, touch presence, and touch force through a hybrid gesture sensor configuration by a single channel and a single operation mode, and tracks changes in the gesture, touch, and touch force over time. Accordingly, an object of the present invention is to provide a technology capable of accurately detecting a user's motion input to a device by a single operation mode of a single channel sensor.

본 발명은 주파수 성분의 스캔 없이 단일 측정으로 개별 영역에 대한 근접 모션, 터치 동작, 및/또는 터치 힘을 감지함으로써 소비 전력을 절감하고 센싱 시간을 단축하는 것을 목적으로 한다. An object of the present invention is to reduce power consumption and shorten a sensing time by sensing proximity motion, touch action, and/or touch force on an individual area with a single measurement without scanning frequency components.

본 발명은 단일 채널 및 단일 동작 모드의 하이브리드 제스쳐 센서를 이용하여 시간 및 주파수 도메인에서의 변화를 검출하고 제스쳐를 인식하는 사용자 인터페이스를 제공하는 것을 목적으로 한다. 본 발명은 가변 주파수 스캔을 필요로 하지 않고도 시간 및 주파수 도메인에서의 변화를 용이하게 검출할 수 있을 뿐 아니라, 검출하고자 하는 대상에 따라서 동작 모드를 변경할 필요도 없어 센싱 회로의 설정을 단일 설정으로 유지하면서 실시간으로 연속되는 센싱 정보를 얻을 수 있는 제스쳐 센서를 제공하는 것을 목적으로 한다. An object of the present invention is to provide a user interface for detecting a change in time and frequency domain and recognizing a gesture using a hybrid gesture sensor of a single channel and a single operation mode. According to the present invention, changes in time and frequency domains can be easily detected without requiring a variable frequency scan, and there is no need to change the operation mode according to the target to be detected, so that the setting of the sensing circuit is maintained as a single setting. An object of the present invention is to provide a gesture sensor that can obtain continuous sensing information in real time.

본 발명은 실시간으로 연속되는 센싱에 의하여 개별 영역에 대한 사용자의 모션의 디테일(접근 여부, 터치 여부, 터치 힘)을 신속하게 검출함으로써 사용자의 모션이 나타내는 제스쳐 및 사용자의 의도에 의한 입력을 해석할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다. The present invention can interpret the user's gesture and user's intention input by quickly detecting the details of the user's motion (approach, touch, and touch force) for individual areas by continuous sensing in real time. It aims to provide a user interface that can be

본 발명은 단일 설정에 의한 센싱에 의하여 사용자의 모션의 다양한 양상을 신속하게 검출함으로써 사용자의 모션이 나타내는 제스쳐 및 사용자의 의도에 의한 입력을 해석할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a user interface capable of interpreting a gesture indicated by a user's motion and an input made by the user's intention by rapidly detecting various aspects of the user's motion by sensing by a single setting.

본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서는 센싱 전극; 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품; 센싱 전극과 전기적으로 연결되는 제1 공진 회로; 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로; 및 제1 공진 회로 및 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함한다. The present invention is a configuration derived to achieve the above object, a hybrid gesture sensor according to an embodiment of the present invention is a sensing electrode; a deformable intermediate part located outside the sensing electrode; a first resonance circuit electrically connected to the sensing electrode; a second resonant circuit having the same electrical characteristics as the first resonant circuit; and a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed on the second resonance circuit.

검출 회로는 제1 전기 신호의 제1 공진 주파수 및 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성한다. The detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal.

감지 정보는 사용자의 모션에 의하여 외부의 전도체가 중간 부품에 접근하는 거리, 및 전도체가 중간 부품의 외부 접촉면에 접촉하는 지 여부를 식별할 수 있는 정보를 포함한다. The sensing information includes information capable of identifying a distance at which an external conductor approaches the intermediate part by a user's motion, and whether the conductor is in contact with an external contact surface of the intermediate part.

검출 회로는 감지 정보의 크기에 비례하는 출력 신호를 출력할 수 있고, 출력 신호는 감지 정보의 극성에 기반하여 변화하는 값을 가질 수 있다. The detection circuit may output an output signal proportional to the magnitude of the detection information, and the output signal may have a value that changes based on the polarity of the detection information.

본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서는 출력 신호에 기반하여 전도체가 센싱 전극 및 중간 부품에 접근하는 지 여부, 전도체가 중간 부품에 접근하는 거리, 전도체가 중간 부품의 외부 접촉면에 접촉하는 지 여부, 및 전도체가 외부 접촉면에 입력하는 터치 힘의 세기(intensity)를 인식하는 컨트롤러를 더 포함할 수 있다. In the hybrid gesture sensor according to an embodiment of the present invention, based on the output signal, whether the conductor approaches the sensing electrode and the intermediate part, the distance that the conductor approaches the intermediate part, and whether the conductor contacts the external contact surface of the intermediate part It may further include a controller for recognizing whether or not, and the intensity of a touch force that the conductor inputs to the external contact surface.

컨트롤러는 시간의 경과에 따른 출력 신호의 변화에 기반하여 사용자의 모션에 의하여 전도체가 센싱 전극 및 중간 부품에 근접하는 거리, 전도체가 외부 접촉면을 터치하는 지 여부, 및 전도체가 외부 접촉면에 입력하는 터치 힘의 세기의 변화를 추적하고, 추적 결과에 기반하여 사용자의 모션이 나타내는 제스쳐를 인식할 수 있다. Based on the change of the output signal over time, the controller determines the distance that the conductor approaches the sensing electrode and intermediate part by the user's motion, whether the conductor touches the external contact surface, and the touch that the conductor enters into the external contact surface. A change in force strength may be tracked, and a gesture indicated by the user's motion may be recognized based on the tracking result.

검출 회로는 제1 공진 회로 및 제2 공진 회로의 전기적 특성을 제1 단일 설정으로 유지하면서 시간의 경과에 따른 감지 정보의 크기 및 극성을 검출할 수 있다. The detection circuit may detect the magnitude and polarity of the sensing information over time while maintaining the electrical characteristics of the first resonant circuit and the second resonant circuit at the first single setting.

검출 회로는 제1 공진 주파수와 제2 공진 주파수의 차이를 구하는 연산기(operator); 연산기의 출력단에 연결되어 고주파 성분을 제거하는 저역통과필터(Low pass filter); 및 저역통과필터의 출력단에 연결되어 감지 정보의 극성에 따른 크기에 비례하는 전기적 신호를 생성하는 출력신호 생성기를 포함할 수 있다. The detection circuit includes: an operator for calculating a difference between the first resonant frequency and the second resonant frequency; a low-pass filter connected to the output terminal of the calculator to remove high-frequency components; and an output signal generator connected to the output terminal of the low-pass filter to generate an electrical signal proportional to the magnitude according to the polarity of the sensing information.

본 발명의 사용자 인터페이스 장치는 하이브리드 제스쳐 센서; 및 컨트롤러;를 포함하고, 하이브리드 제스쳐 센서는 제1 공진 회로; 제1 공진 회로와 전기적으로 연결되는 센싱 전극; 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로; 제2 공진 회로; 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품; 및 제1 공진 회로 및 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함한다. The user interface device of the present invention includes a hybrid gesture sensor; and a controller, wherein the hybrid gesture sensor includes: a first resonance circuit; a sensing electrode electrically connected to the first resonance circuit; a second resonant circuit having the same electrical characteristics as the first resonant circuit; a second resonant circuit; a deformable intermediate part located outside the sensing electrode; and a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed on the second resonance circuit.

검출 회로는 제1 전기 신호의 제1 공진 주파수 및 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성한다. The detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal.

컨트롤러는 감지 정보에 기반하여 전도체가 센싱 전극 및 중간 부품에 접근하는 지 여부, 전도체가 중간 부품에 접근하는 거리, 전도체가 중간 부품의 외부 접촉면에 접촉하는 지 여부, 및 전도체가 외부 접촉면에 입력하는 터치 힘의 세기(intensity)를 인식한다. Based on the sensing information, the controller determines whether the conductor approaches the sensing electrode and the intermediate component, the distance the conductor approaches the intermediate component, whether the conductor is in contact with the outer contact surface of the intermediate component, and whether the conductor enters the outer contact surface. Recognizes the intensity of the touch force.

검출 회로는 감지 정보의 극성에 기반하여 변화하는 값을 가지고 감지 정보의 크기에 비례하는 출력 신호를 출력할 수 있다. The detection circuit may have a value that changes based on the polarity of the detection information and output an output signal proportional to the size of the detection information.

컨트롤러는 시간의 경과에 따른 출력 신호의 변화에 기반하여 사용자의 모션에 의하여 전도체가 센싱 전극 및 중간 부품에 근접하는 거리, 전도체가 외부 접촉면을 터치하는 지 여부, 및 전도체가 외부 접촉면에 입력하는 터치 힘의 세기의 변화를 추적하고, 추적 결과에 기반하여 사용자의 모션이 나타내는 제스쳐를 인식하고, 제스쳐를 사용자 모션이 의도하는 사용자 입력으로 해석할(translate) 수 있다. Based on the change of the output signal over time, the controller determines the distance that the conductor approaches the sensing electrode and intermediate part by the user's motion, whether the conductor touches the external contact surface, and the touch that the conductor enters into the external contact surface. A change in force strength may be tracked, a gesture indicated by the user's motion may be recognized based on the tracking result, and the gesture may be translated into a user input intended by the user's motion.

본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 동작 방법은 검출 회로가 제1 공진 회로, 및 제1 공진 회로와 전기적으로 연결되는 센싱 전극 상에 형성되는 제1 전기 신호를 수신하는 단계; 검출 회로가 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 단계; 및 검출 회로가 제1 전기 신호의 제1 공진 주파수 및 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하는 단계를 포함한다.A method of operating a hybrid gesture sensor according to an embodiment of the present invention includes: receiving, by a detection circuit, a first resonant circuit and a first electrical signal formed on a sensing electrode electrically connected to the first resonant circuit; receiving, by the detection circuit, a second electrical signal formed in the second resonant circuit; and detecting, by the detection circuit, a difference between the first resonant frequency of the first electrical signal and the second resonant frequency of the second electrical signal to generate sensing information.

본 발명에 따르면 단일 채널 및 단일 동작 모드에 의한 하이브리드 제스쳐 센서 구성을 통하여, 사용자의 호버링 제스쳐, 터치 여부, 터치 힘을 검출하고, 시간의 경과에 따른 제스쳐, 터치, 및 터치 힘의 변화를 추적할 수 있으며, 이로 인하여 단일 채널 센서의 단일 동작 모드에 의하여 디바이스에 대한 사용자의 모션 입력을 정확히 검출할 수 있다. According to the present invention, a user's hovering gesture, touch presence, and touch force are detected through a hybrid gesture sensor configuration by a single channel and a single operation mode, and changes in the gesture, touch, and touch force over time are tracked. Therefore, it is possible to accurately detect the user's motion input to the device by the single operation mode of the single channel sensor.

본 발명에 따르면 주파수 성분의 스캔 없이 단일 측정으로 개별 영역에 대한 근접 모션, 터치 동작, 및/또는 터치 힘을 감지함으로써 소비 전력을 절감하고 센싱 시간을 단축할 수 있다. According to the present invention, power consumption and sensing time can be reduced by detecting a proximity motion, a touch action, and/or a touch force for an individual area with a single measurement without scanning a frequency component.

본 발명에 따르면 단일 채널 및 단일 동작 모드의 하이브리드 제스쳐 센서를 이용하여 시간 및 주파수 도메인에서의 변화를 검출하고 제스쳐를 인식하는 사용자 인터페이스를 제공할 수 있다. 본 발명의 일 실시예에 따르면 가변 주파수 스캔을 필요로 하지 않고도 시간 및 주파수 도메인에서의 변화를 용이하게 검출할 수 있을 뿐 아니라, 검출하고자 하는 대상에 따라서 동작 모드를 변경할 필요도 없어 센싱 회로의 설정을 단일 설정으로 유지하면서 실시간으로 연속되는 센싱 정보를 얻을 수 있다. According to the present invention, it is possible to provide a user interface for detecting a change in time and frequency domains and recognizing a gesture using a hybrid gesture sensor of a single channel and a single operation mode. According to an embodiment of the present invention, it is possible to easily detect a change in time and frequency domain without requiring a variable frequency scan, and there is no need to change an operation mode according to an object to be detected, so setting of a sensing circuit It is possible to obtain continuous sensing information in real time while maintaining a single setting.

본 발명의 일 실시예에 따르면 실시간으로 연속되는 센싱에 의하여 개별 영역에 대한 사용자의 모션의 디테일(접근 여부, 터치 여부, 터치 힘)을 신속하게 검출할 수 있다. 본 발명의 일 실시예에 따른 사용자 인터페이스는 사용자의 모션이 나타내는 제스쳐 및 사용자의 의도에 의한 입력을 신속하게 감지하고 해석할 수 있다. According to an embodiment of the present invention, it is possible to quickly detect the details (approach or touch, touch force) of a user's motion for an individual area by continuous sensing in real time. The user interface according to an embodiment of the present invention may quickly detect and interpret a gesture indicated by a user's motion and an input made by the user's intention.

본 발명의 일 실시예에 따른 사용자 인터페이스는 단일 설정에 의한 센싱에 의하여 사용자의 모션의 다양한 양상을 신속하게 검출할 수 있고, 이로 인하여 사용자의 모션이 나타내는 제스쳐 및 사용자의 의도에 의한 입력을 신속하게 감지하고 해석할 수 있다. The user interface according to an embodiment of the present invention can quickly detect various aspects of a user's motion by sensing by a single setting, and thereby quickly respond to a gesture indicated by the user's motion and an input by the user's intention. can detect and interpret.

본 발명의 일 실시예에 따르면 단일 채널 및 단일 동작 모드의 하이브리드 제스쳐 센서를 이용하여 검출된 정보를 정량화된 값으로 출력하므로, 미리 정해진 측정값 구간과 비교하여 센싱 결과에 오류가 없는지 여부를 검증할 수 있다. 본 발명의 일 실시예에 따르면 사용자의 모션에 의하여 전도체(인체의 일부를 포함)가 근접하는 거리, 전도체가 외부 접촉면을 터치하는 지 여부, 사용자가 터치 힘을 입력하는 지 여부가 사용자의 의도에 의한 것인지 여부, 또는 오류에 의한 것인지 여부를 검증할 수 있다.According to an embodiment of the present invention, since information detected using a hybrid gesture sensor of a single channel and a single operation mode is output as a quantified value, it is possible to verify whether there is an error in the sensing result by comparing it with a predetermined measured value section. can According to an embodiment of the present invention, the proximity of the conductor (including a part of the human body) by the user's motion, whether the conductor touches the external contact surface, and whether the user inputs a touch force depend on the user's intention. It can be verified whether or not it is caused by an error.

종래 기술들은 공진 신호의 진폭을 검출하거나, 아날로그 교류 신호의 진폭을 검출하기 때문에, 검출된 결과가 소정의 임계값을 초과하는 지 여부만을 검출할 수 있다. 그러나 본 발명은 차동 신호의 공진 주파수 차이를 산출하고, 공진 주파수 차이에 비례하는 아날로그 신호 또는 디지털화된 값을 생성하므로 정량화된 감지 정보를 얻을 수 있고, 이를 이용하여 단일 채널 및 단일 동작 모드의 센서에 기반하여 시간-3차원 공간 상의 터치/근접 위치의 변화를 정밀하게 검출할 수 있다.Since the prior art detects the amplitude of the resonance signal or the amplitude of the analog AC signal, it is only possible to detect whether the detected result exceeds a predetermined threshold. However, the present invention calculates the resonance frequency difference of the differential signal and generates an analog signal or digitized value proportional to the resonance frequency difference, so that quantified sensing information can be obtained, and using this, the sensor of a single channel and a single operation mode Based on this, it is possible to precisely detect a change in a touch/proximity position in a time-three-dimensional space.

도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 개요를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 하이브리드 제스쳐 센서의 구조의 일 실시예를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 기능을 도시하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 차동 공진 회로를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 검출 회로를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 동작 시의 파형을 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 동작 방법을 도시하는 동작 흐름도이다.
1 is a diagram illustrating an outline of a user interface device according to an embodiment of the present invention.
2 is a diagram illustrating an embodiment of the structure of a hybrid gesture sensor of a user interface device according to an embodiment of the present invention.
3 is a block diagram illustrating a function of a hybrid gesture sensor according to an embodiment of the present invention.
4 is a diagram illustrating a differential resonance circuit of a hybrid gesture sensor according to an embodiment of the present invention.
5 is a diagram illustrating a detection circuit of a hybrid gesture sensor according to an embodiment of the present invention.
6 is a diagram illustrating waveforms during operation of a hybrid gesture sensor according to an embodiment of the present invention.
7 is an operation flowchart illustrating a method of operating a hybrid gesture sensor according to an embodiment of the present invention.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다. 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. In addition to the above objects, other objects and features of the present invention will become apparent through the description of the embodiments with reference to the accompanying drawings. A preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

앞서 언급한 선행문헌들인 한국공개특허 KR 10-2018-0068303 "근접도-기반 햅틱 피드백을 위한 시스템들 및 방법들", 미국등록특허 US 9,250,734 "Proximity and multi-touch sensor detection and demodulation", 한국공개특허 KR 10-2015-0121949 "제스처를 인식하는 방법 및 장치" (2015년 10월 30일), 및 한국등록특허 KR 10-2140791 "터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법" 들은 본 발명과 관련되는 종래 기술을 개시한다. 이들 선행문헌들은 본 발명이 해결하고자 하는 문제점과 부분적으로 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 종래 기술에서 차용할 수 있다. Korean Patent Application Laid-Open No. KR 10-2018-0068303 “Systems and Methods for Proximity-Based Haptic Feedback,” which are the aforementioned prior documents, US Patent No. 9,250,734 “Proximity and multi-touch sensor detection and demodulation”, Korean Publication Patent KR 10-2015-0121949 "Method and device for recognizing gesture" (October 30, 2015), and Korean Patent KR 10-2140791 "Touch controller, display device and electronic device including touch controller, and touch Sensing methods" disclose prior art related to the present invention. These prior documents are partially related to the problems to be solved by the present invention, and some of the solutions adopted by the present invention can be borrowed from the prior art.

상기 선행문헌들에 개시된 사항 가운데에서 본 발명을 구체화하기 위하여 공통적으로 포함되는 사항에 한하여 본 발명의 구성의 일부로서 간주될 것이다. 또한 본 발명을 구체화하기 위하여 필요한 사항들 중 상기 선행문헌들을 통하여 당업자에게 자명하게 알려진 사항들은 본 명세서에서는 구체적인 기재를 생략할 수 있다. Only matters commonly included in order to embody the present invention among the matters disclosed in the preceding documents will be regarded as a part of the configuration of the present invention. In addition, matters that are obvious to those skilled in the art through the preceding documents among the matters necessary for embodying the present invention may be omitted from detailed description in the present specification.

한국공개특허 KR 10-2018-0068303 "근접도-기반 햅틱 피드백을 위한 시스템들 및 방법들", 미국등록특허 US 9,250,734 "Proximity and multi-touch sensor detection and demodulation", 한국공개특허 KR 10-2015-0121949 "제스처를 인식하는 방법 및 장치" (2015년 10월 30일), 및 한국등록특허 KR 10-2140791 "터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법" 에서는 본 발명의 구성에 기반하여 얻어지는 하이브리드 제스쳐 센싱 기술을 이용한 사용자 인터페이스의 다양한 어플리케이션이 개시된다. 이러한 어플리케이션에 대해서는 본 명세서에서는 상세한 설명은 생략한다. 다만 선행문헌들이 햅틱 피드백, 또는 스마트폰을 대상으로 사용자 인터페이스를 제안하더라도 본 발명의 구성은 터치 또는 근접 기반의 사용자 모션 센싱 정보를 이용한 사용자 입력 해석과, 그에 대한 응답으로 제시되는 시각적, 청각적, 후각적, 촉각적, 미각적, 또는 공감각적 피드백을 제공하는 다양한 어플리케이션에 적용될 수 있다. Korean Patent Publication KR 10-2018-0068303 "Systems and methods for proximity-based haptic feedback", US Patent No. 9,250,734 "Proximity and multi-touch sensor detection and demodulation", Korean Patent Publication KR 10-2015- 0121949 "Method and Apparatus for Recognizing Gesture" (October 30, 2015), and Korean Patent KR 10-2140791 "A touch controller, a display device and an electronic device including a touch controller, and a touch sensing method" in the present invention Various applications of a user interface using a hybrid gesture sensing technology obtained based on the configuration of A detailed description of these applications will be omitted in this specification. However, even if the prior documents suggest haptic feedback or a user interface for a smartphone, the configuration of the present invention provides an interpretation of user input using touch or proximity-based user motion sensing information, and visual, auditory, It can be applied to various applications that provide olfactory, tactile, gustatory, or synesthetic feedback.

이하에서는, 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서, 사용자 인터페이스 장치, 및 그 동작 방법을 첨부된 도 1 내지 도 7을 참조하여 상세히 설명한다.Hereinafter, a hybrid gesture sensor, a user interface device, and an operating method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying FIGS. 1 to 7 .

도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(100)의 개요를 도시하는 도면이다. 1 is a diagram illustrating an outline of a user interface device 100 according to an embodiment of the present invention.

도 1을 참조하면, 사용자 인터페이스 장치(100)의 내부는 적어도 하나 이상의 개별 영역으로 구분될 수 있다. 적어도 하나 이상의 채널 전극이 각 개별 영역에 대응하여 배치될 수 있다.Referring to FIG. 1 , the inside of the user interface device 100 may be divided into at least one individual area. At least one or more channel electrodes may be disposed to correspond to each individual region.

실시예에 따라서는 사용자 인터페이스 장치(100)의 내부는 단일 영역으로 구분되고, 단일 채널이 설정되며, 하나의 전극이 단일 채널에 할당될 수 있다.According to an embodiment, the inside of the user interface device 100 may be divided into a single area, a single channel may be set, and one electrode may be allocated to a single channel.

도 1에서는 버튼 형태의 사용자 인터페이스 장치(100)가 도시된다. 사용자 인터페이스 장치(100)는 사용자의 입력을 받을 수 있도록 외부를 향하여 위치하는 외부 접촉면(112), 외부 접촉면(112)과 센싱 전극(도 1에서는 도시되지 않음) 사이에 위치하며 변형 가능한 중간 부품(170)가 도시된다. 1 illustrates a user interface device 100 in the form of a button. The user interface device 100 includes an external contact surface 112 positioned toward the outside to receive a user's input, a deformable intermediate part positioned between the external contact surface 112 and the sensing electrode (not shown in FIG. 1) ( 170) is shown.

도 1에서는 하나의 버튼이 도시되었지만, 발명의 실시예에 따라서는 복수의 버튼들이 포함될 수 있다. 이때에는 각 버튼이 개별 영역으로 구분되며, 적어도 하나 이상의 채널 전극이 개별 영역 각각에 대응하여 배치된다.Although one button is illustrated in FIG. 1 , a plurality of buttons may be included according to an embodiment of the present invention. In this case, each button is divided into individual regions, and at least one channel electrode is disposed corresponding to each of the individual regions.

사용자의 근접 모션에 의하여 외부 전도체(사용자의 인체 일부 또는 스타일러스 등 부가적인 인터페이스 장치)(180)가 사용자 인터페이스 장치(100)로 접근할 수 있다. 개별 영역 각각에 대응하는 채널 센싱 전극들은 중간 부품(170)을 사이에 두고 외부 전도체(180)가 접근하는 지 여부, 외부 전도체(180)가 접근한 거리, 외부 전도체(180)가 외부 접촉면(112)을 터치하였는지 여부, 외부 전도체(180)가 접근하거나 외부 접촉면(112)에 터치 힘을 입력하였는 지에 대응하는 감지 정보를 생성하여 사용자 인터페이스 장치(100) 내의 회로로 전달한다.An external conductor (a part of the user's body or an additional interface device such as a stylus) 180 may approach the user interface device 100 by the user's proximity motion. The channel sensing electrodes corresponding to each of the individual regions determine whether the external conductor 180 approaches with the intermediate part 170 interposed therebetween, the distance the external conductor 180 approaches, and the external conductor 180 on the external contact surface 112 . ), sensing information corresponding to whether the external conductor 180 approaches or a touch force is input to the external contact surface 112 is generated and transmitted to the circuit in the user interface device 100 .

사용자 인터페이스 장치(100)는 외부 전도체(180)가 외부 접촉면(112)에 접근하는 호버링(hovering) 제스쳐, 외부 접촉면(112)을 터치하는 터치 제스쳐, 및/또는 외부 접촉면(112)에 터치 힘을 입력하는 제스쳐를 검출하고 사용자의 의도에 따른 사용자 입력으로 해석할(translate) 수 있다.The user interface device 100 may provide a hovering gesture in which the external conductor 180 approaches the external contact surface 112 , a touch gesture touching the external contact surface 112 , and/or a touch force on the external contact surface 112 . An input gesture may be detected and interpreted as a user input according to the user's intention.

도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(200)의 하이브리드 제스쳐 센서의 구조의 일 실시예를 도시하는 도면이다. 2 is a diagram illustrating an embodiment of the structure of a hybrid gesture sensor of the user interface device 200 according to an embodiment of the present invention.

도 2를 참조하면, 사용자 인터페이스 장치(200)의 센싱 전극(210) 및 외부 접촉면(212)이 도시된다. 중간 부품(270)이 센싱 전극(210) 및 외부 접촉면(212)의 사이에 배치된다. 중간 부품(270)은 외부의 힘에 의하여 변형 가능한 소재로 구성될 수 있다. Referring to FIG. 2 , the sensing electrode 210 and the external contact surface 212 of the user interface device 200 are shown. An intermediate component 270 is disposed between the sensing electrode 210 and the external contact surface 212 . The intermediate part 270 may be made of a material that is deformable by an external force.

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제1 범위(218)에 위치하는 경우 사용자 입력이 없는 것으로 간주할 수 있다. The hybrid gesture sensor may consider that there is no user input when the conductor 280 according to the user's motion is located in the first range 218 .

사용자의 모션에 따른 전도체(280)의 위치는 제1 범위(218) 및 제2 범위(216)에서는 장애물이 없으므로 매우 빠르게 변화할 수 있다. 따라서 하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)의 위치에 의하여 센싱 전극(210)에 유도되는 신호의 변화가 제1 임계치를 넘어서는 경우 제1 범위(218)에서 제2 범위(216)로 진입하였다고 인식할 수 있다.The position of the conductor 280 according to the user's motion may be changed very quickly in the first range 218 and the second range 216 because there is no obstacle. Therefore, in the hybrid gesture sensor, when the change in the signal induced to the sensing electrode 210 by the position of the conductor 280 according to the user's motion exceeds the first threshold, the first range 218 to the second range 216 can be recognized as entering.

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제2 범위(216)에 위치하는 경우 사용자의 모션을 호버링 제스쳐로 인식할 수 있다. 또한 하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제2 범위(216)에 머무르는 시간이 제1 임계 시간을 넘어서는 경우 유의미한 호버링 제스쳐로 인식할 수 있다. The hybrid gesture sensor may recognize the user's motion as a hovering gesture when the conductor 280 according to the user's motion is located in the second range 216 . In addition, the hybrid gesture sensor may recognize as a meaningful hovering gesture when the length of time the conductor 280 stays in the second range 216 according to the user's motion exceeds the first threshold time.

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제3 범위(214)에 위치하는 경우 사용자가 터치 힘을 입력하고 있는 것으로 인식할 수 있다. 하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제3 범위(214)에 위치하는 경우 중간 부품(270)의 탄성에 기반하여 전도체(280)의 Z축 방향의 위치를 인지하고 Z축 방향의 위치로부터 터치 힘의 세기(intensity)를 산출할 수 있다. The hybrid gesture sensor may recognize that the user is inputting a touch force when the conductor 280 according to the user's motion is located in the third range 214 . The hybrid gesture sensor recognizes the position of the conductor 280 in the Z-axis direction based on the elasticity of the intermediate part 270 when the conductor 280 according to the user's motion is located in the third range 214, and recognizes the position in the Z-axis direction. The intensity of the touch force may be calculated from the position of .

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제2 범위(216) 및 제3 범위(214)의 경계 범위에 위치하는 경우, 사용자가 외부 접촉면(212)을 터치하였지만 터치 힘을 입력하지는 않고 있는 것으로 인식할 수 있다. In the hybrid gesture sensor, when the conductor 280 according to the user's motion is located in the boundary range of the second range 216 and the third range 214, the user touches the external contact surface 212 but does not input a touch force. It can be recognized that it is not.

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)의 위치에 의하여 센싱 전극(210)에 유도되는 신호의 변화가 제2 임계치 및 제3 임계치 사이의 터치 구간에 대응할 때 센서는 사용자의 모션에 따른 전도체(280)의 위치가 제2 범위(216) 및 제3 범위(214)의 경계 범위 내에 진입한 것으로 인식할 수 있다. In the hybrid gesture sensor, when a change in a signal induced to the sensing electrode 210 by the position of the conductor 280 according to the user's motion corresponds to a touch section between the second threshold and the third threshold, the sensor responds to the user's motion. It may be recognized that the position of the conductor 280 is within the boundary range of the second range 216 and the third range 214 .

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제2 범위(216) 및 제3 범위(214)의 경계 범위에 위치하는 시간이 제2 임계 시간을 넘어서는 경우 유의미한 터치 입력으로 인식할 수 있다.The hybrid gesture sensor may recognize a meaningful touch input when the time for the conductor 280 according to the user's motion to be located in the boundary range of the second range 216 and the third range 214 exceeds the second threshold time. .

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 제3 범위(214)에 위치하는 경우 중간 부품(270)의 탄성에 기반하여 전도체(280)의 Z축 방향의 위치가 전도체(280)가 경계 범위로부터 제4 임계치를 벗어나 제3 범위(214) 내로 진입한 경우에 유의미하게 사용자가 터치 힘을 입력하고 있는 것으로 인식할 수 있다. In the hybrid gesture sensor, when the conductor 280 according to the user's motion is located in the third range 214, the position of the conductor 280 in the Z-axis direction is determined based on the elasticity of the intermediate part 270. When the user enters the third range 214 outside the fourth threshold from the boundary range, it may be recognized that the user is significantly inputting a touch force.

사용자의 모션에 따른 전도체(280)가 제3 범위(214)에 위치하는 경우 전도체(280)의 Z축 방향의 위치는 중간 부품(270)의 탄성 및 사용자의 누름 입력에 기반하여 결정되고, 그에 따라 전도체(280)가 센싱 전극(210)로부터 이격되는 거리가 결정된다. When the conductor 280 according to the user's motion is located in the third range 214, the position in the Z-axis direction of the conductor 280 is determined based on the elasticity of the intermediate part 270 and the user's pressing input, Accordingly, the distance at which the conductor 280 is separated from the sensing electrode 210 is determined.

하이브리드 제스쳐 센서는 사용자의 모션에 따른 전도체(280)가 실제로 외부 접촉면(212)을 터치하였는지를 검출한다기보다는 전도체(280)의 위치가 외부 접촉면(212)의 Z축 방향의 위치에 머물러 있는 지를 검출하므로, 외부 접촉면(212)이 도체일 필요는 없다. 이때 중간 부품(270) 및/또는 외부 접촉면(212)은 전도체(280)와 명백히 구분되는 전기적 특성을 가지는 경우가 바람직하며, 비전도체인 경우 다양한 재료가 활용될 수 있다. The hybrid gesture sensor detects whether the position of the conductor 280 stays in the Z-axis direction of the external contact surface 212 rather than detecting whether the conductor 280 has actually touched the external contact surface 212 according to the user's motion. Therefore, the outer contact surface 212 need not be a conductor. In this case, it is preferable that the intermediate part 270 and/or the external contact surface 212 have electrical characteristics clearly distinguished from the conductor 280 , and in the case of a non-conductor, various materials may be used.

도 3은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서(350)의 기능을 도시하는 블록도이다. 3 is a block diagram illustrating a function of a hybrid gesture sensor 350 according to an embodiment of the present invention.

사용자 인터페이스 장치(300)는 하이브리드 제스쳐 센서(350) 및 컨트롤러(360)를 포함한다. 하이브리드 제스쳐 센서(350)는 제1 공진 회로(320), 제1 공진 회로(320)와 전기적으로 연결되는 적어도 하나 이상의 센싱 전극(310); 제2 공진 회로(330); 제2 공진 회로(330)와 전기적으로 연결되는 적어도 하나 이상의 더미 전극(330d); 및 제1 공진 회로(320) 및 적어도 하나 이상의 센싱 전극(310) 상에 형성되는 제1 전기 신호를 수신하고, 제2 공진 회로(330)에 형성되는 제2 전기 신호를 수신하는 검출 회로(340)를 포함한다. The user interface device 300 includes a hybrid gesture sensor 350 and a controller 360 . The hybrid gesture sensor 350 includes a first resonance circuit 320 , at least one sensing electrode 310 electrically connected to the first resonance circuit 320 ; a second resonant circuit 330; at least one dummy electrode 330d electrically connected to the second resonance circuit 330; and a detection circuit 340 for receiving a first electrical signal formed on the first resonance circuit 320 and at least one sensing electrode 310 , and receiving a second electrical signal formed on the second resonance circuit 330 . ) is included.

하이브리드 제스쳐 센서(350)는 제1 공진 회로(320)와 동일한 전기적 특성을 가지는 제2 공진 회로(330)를 포함한다. 이때 동일한 전기적 특성이라 함은 동일한 임피던스 또는 동일한 R-L-C 구성을 의미할 수 있다. The hybrid gesture sensor 350 includes a second resonance circuit 330 having the same electrical characteristics as the first resonance circuit 320 . In this case, the same electrical characteristics may mean the same impedance or the same R-L-C configuration.

검출 회로(340)는 제1 전기 신호의 제1 공진 주파수(ω1) 및 제2 전기 신호의 제2 공진 주파수 간의 차이를 검출하여 감지 정보를 생성한다. The detection circuit 340 generates sensing information by detecting a difference between the first resonant frequency ω1 of the first electrical signal and the second resonant frequency of the second electrical signal.

이때 감지 정보는 센싱 전극(310) 및 외부 접촉면(212) 중 적어도 하나 이상에 근접하는 사용자의 모션이 나타내는 제스쳐 정보를 포함한다. 제스쳐 정보는 사용자가 중간 부품(170,. 270) 및/또는 외부 접촉면(112, 212)에 근접하는 지 여부, 사용자가 중간 부품(170,. 270) 및/또는 외부 접촉면(112, 212)에 근접하는 거리, 사용자가 외부 접촉면(212)를 터치하였는지 여부, 사용자가 외부 접촉면(212)에 터치 힘을 입력하였는 지 여부, 사용자가 외부 접촉면(212)에 입력하는 터치 힘의 세기(intensity) 및 시간의 경과에 따른 사용자의 모션에 의한 전도체(180, 280)과 센싱 전극(310) 간의 거리의 변화를 포함하며 사용자의 모션이 의도하는 사용자 명령으로 해석될 수 있는 정보를 포함한다. In this case, the sensing information includes gesture information indicated by a motion of a user in proximity to at least one of the sensing electrode 310 and the external contact surface 212 . Gesture information may include whether the user is proximate to the intermediate part 170 , .270 and/or the outer contact surfaces 112 , 212 , and whether the user is in proximity to the intermediate part 170 , .270 and/or the outer contact surfaces 112 , 212 . The proximity distance, whether the user touched the external contact surface 212 , whether the user inputted a touch force to the external contact surface 212 , the intensity of the touch force input by the user to the external contact surface 212 , and It includes a change in the distance between the conductors 180 and 280 and the sensing electrode 310 due to the user's motion over time, and includes information that the user's motion can be interpreted as an intended user command.

최근 모바일 디바이스, 스마트 디바이스, 가상 현실, 증강 현실 등과 결합하여 사용자 인터페이스는 정밀한 터치/근접 기반 사용자 모션 및 제스쳐를 정확히 인식하고, 사용자의 의도를 파악할 것을 목표로 하고 있다. 본 발명의 실시예는 종래 기술의 정전용량식 센싱을 이용하여 사용자 인터페이스 장치(300) 주변의 사용자의 모션을 감지하되, 단일 채널 및 단일 설정에 의한 단일 동작 모드에 기반하여 연속적인 실시간의 감지 신호를 수신하고, 이를 기반으로 사용자의 모션을 정밀하게 측정하고 정량화하여, 사용자의 의도를 파악하고 사용자 제스쳐를 정확히 인식하는 기술을 제안한다. 이때 단일 설정은 단일 전기적 특성, 즉, 공진 회로들의 공진 주파수가 변화하지 않도록 기본 임피던스가 단일 설정으로 유지되고 공진 회로들 및 검출 회로(340)의 바이어스가 단일 설정으로 변경되지 않는 경우를 의미할 수 있다. Recently, in combination with mobile devices, smart devices, virtual reality, and augmented reality, the user interface aims to accurately recognize precise touch/proximity-based user motions and gestures, and to understand the user's intentions. The embodiment of the present invention detects the motion of the user around the user interface device 300 using the capacitive sensing of the prior art, and a continuous real-time detection signal based on a single operation mode by a single channel and a single setting We propose a technology that receives and accurately measures and quantifies the user's motion based on it, identifies the user's intention and accurately recognizes the user's gesture. In this case, the single setting may mean a case in which the basic impedance is maintained at a single setting so that the resonant frequency of the resonant circuits does not change and the bias of the resonant circuits and the detection circuit 340 is not changed to a single setting. have.

검출 회로(340)는 감지 정보의 크기 및 극성에 기반한 출력 신호를 출력할 수 있고, 이때 검출 회로(340)는 출력 신호를 아날로그 신호 또는 디지털화된 값으로 출력할 수 있다. The detection circuit 340 may output an output signal based on the magnitude and polarity of the detection information, and in this case, the detection circuit 340 may output the output signal as an analog signal or a digitized value.

컨트롤러(360)는 출력 신호에 기반하여 전도체(180, 280)가 센싱 전극(310) 및 중간 부품(170, 270)에 접근하는 지 여부, 전도체(180, 280)가 중간 부품(170, 270)에 접근하는 거리, 전도체(180, 280)가 중간 부품(170, 270)의 외부 접촉면(112, 212)에 접촉하는 지 여부, 및 전도체가 외부 접촉면(112, 212)에 입력하는 터치 힘의 세기(intensity)를 인식할 수 있다. The controller 360 determines whether the conductors 180 and 280 approach the sensing electrode 310 and the intermediate parts 170 and 270 based on the output signal, and the conductors 180 and 280 are the intermediate parts 170 and 270. the distance to which it is approached, whether the conductors 180 , 280 are in contact with the outer contact surfaces 112 , 212 of the intermediate parts 170 , 270 , and the intensity of the touch force the conductors enter into the outer contact surfaces 112 , 212 . (intensity) can be recognized.

도 3에서는 컨트롤러(360)가 하이브리드 제스쳐 센서(350)의 외부에 배치되는 실시예가 도시되었으나, 본 발명의 다른 실시예에 따르면 컨트롤러(360)가 하이브리드 제스쳐 센서(350)의 일부로서 포함될 수도 있다. 3 shows an embodiment in which the controller 360 is disposed outside the hybrid gesture sensor 350 , but according to another embodiment of the present invention, the controller 360 may be included as a part of the hybrid gesture sensor 350 .

컨트롤러(360)는 시간의 경과에 따른 출력 신호의 변화에 기반하여 사용자의 모션에 의하여 전도체(180, 280)가 센싱 전극(310) 및 중간 부품(170, 270)에 근접하는 거리, 전도체(180, 280)가 외부 접촉면(112, 212)을 터치하는 지 여부, 및 전도체(180, 280)가 외부 접촉면(112, 212)에 입력하는 터치 힘의 세기(intensity)의 변화를 추적하고, 추적 결과에 기반하여 사용자의 모션이 나타내는 제스쳐를 인식할 수 있다. 컨트롤러(360)는 제스쳐를 사용자 모션이 의도하는 사용자 입력으로 해석할(translate) 수 있다. The controller 360 determines the distance at which the conductors 180 and 280 approach the sensing electrodes 310 and the intermediate parts 170 and 270 and the conductors 180 by the user's motion based on the change of the output signal over time. , 280) track whether or not the external contact surfaces 112 and 212 are touched, and the change in intensity of the touch force that the conductors 180 and 280 input to the external contact surfaces 112 and 212 are tracked, and the tracking result A gesture indicated by the user's motion may be recognized based on the . The controller 360 may translate the gesture into a user input intended by the user motion.

검출 회로(340)는 제1 공진 회로(320) 및 제2 공진 회로(330)의 전기적 특성을 단일 설정으로 유지하면서 시간의 경과에 따른 감지 정보의 크기 및 극성을 검출할 수 있다. The detection circuit 340 may detect the magnitude and polarity of the sensing information over time while maintaining the electrical characteristics of the first resonance circuit 320 and the second resonance circuit 330 as a single setting.

도 4는 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서(450)의 차동 공진 회로를 도시하는 도면이다. 4 is a diagram illustrating a differential resonance circuit of the hybrid gesture sensor 450 according to an embodiment of the present invention.

도 4를 참조하면, 제1 공진 회로(420) 및 센싱 전극(410)에 형성되는 제1 전기 신호를 센싱 포트(420a)를 경유하여 검출 회로(440)가 수신한다. 마찬가지로 제2 공진 회로(430)에 형성되는 제2 전기 신호(레퍼런스 전기 신호)를 레퍼런스 포트(430a)를 경유하여 검출 회로(440)가 수신한다. 레퍼런스 포트(430a)는 더미 전극과 연결되거나 전극과 연결되지 않을 수 있다. Referring to FIG. 4 , the detection circuit 440 receives the first electrical signal formed in the first resonance circuit 420 and the sensing electrode 410 via the sensing port 420a. Similarly, the detection circuit 440 receives the second electrical signal (reference electrical signal) formed in the second resonance circuit 430 via the reference port 430a. The reference port 430a may be connected to the dummy electrode or not connected to the electrode.

외부의 입력이 없는 상태에서는 제1 공진 주파수 및 제2 공진 주파수(레퍼런스 공진 주파수)가 동일한 상태가 유지되도록 제1 공진 회로(420) 및 제2 공진 회로(430)가 설계될 수 있다. 또는 외부의 입력이 없는 상태에서 제1 공진 주파수 및 제2 공진 주파수의 차이는 오프셋(offset)으로 미리 측정되어 사용자 입력을 센싱하는 경우의 측정값에 오프셋이 보상될 수 있다. The first resonant circuit 420 and the second resonant circuit 430 may be designed so that the first resonant frequency and the second resonant frequency (reference resonant frequency) are maintained in the same state when there is no external input. Alternatively, the difference between the first resonant frequency and the second resonant frequency in the absence of an external input may be pre-measured as an offset, and the offset may be compensated for a measured value when a user input is sensed.

사용자의 손가락, 사용자가 이용하는 스타일러스 등의 전도체(180, 280)가 센싱 전극(410)에 근접하거나 제1 전극(410)을 터치하면, 이로 인하여 제1 공진 주파수와 제2 공진 주파수의 차이가 변화할 수 있다. 예를 들어, 사용자의 전도체가 센싱 전극(410)에 근접한 경우, 센싱 전극(410)이 전도체(180, 280)와 형성하는 정전용량이 제1 공진 회로(420)의 L과 C값에 영향을 주어 제1 공진 회로(420) 상에 형성되는 제1 전기 신호의 제1 공진 주파수가 변화한다. 전도체(180, 280)의 근접은 제1 공진 주파수의 상승 또는 하강 중 어느 하나를 유도할 것이므로, 감지 정보는 전도체(180)의 근접에 응답하여 일정한 극성을 가지는 유의미한 크기를 가질 것이다. When the conductors 180 and 280 such as the user's finger or the user's stylus come close to the sensing electrode 410 or touch the first electrode 410 , the difference between the first resonant frequency and the second resonant frequency is changed. can do. For example, when a user's conductor is close to the sensing electrode 410 , the capacitance formed by the sensing electrode 410 with the conductors 180 and 280 affects the L and C values of the first resonant circuit 420 . The first resonant frequency of the first electrical signal formed on the first resonant circuit 420 is changed. Since the proximity of the conductors 180 and 280 will induce either a rise or a fall of the first resonant frequency, the sensing information will have a significant size with a constant polarity in response to the proximity of the conductor 180 .

검출 회로(440)는 이러한 차이를 검출하고, 최소한의 임계치를 넘어선 감지 정보가 검출되면, 유의미한 사용자 입력이 입력된 것으로 판정할 수 있다. The detection circuit 440 may detect such a difference, and when detection information exceeding a minimum threshold is detected, it may be determined that a meaningful user input has been input.

다시 도 3과 도 4를 함께 참조하면, 검출 회로(340, 440)는 두 개의 공진 주파수 차이 정보를 검출하여 사용자의 전도체(180, 280)가 센싱 전극(310, 410) 및/또는 중간 부재(170, 270)에 근접하였는지를 검출할 수 있다. Referring back to FIGS. 3 and 4 together, the detection circuits 340 and 440 detect two resonant frequency difference information so that the user's conductors 180 and 280 are the sensing electrodes 310 and 410 and/or the intermediate member ( 170, 270) may be detected.

사용자 인터페이스 장치(300, 400)가 예를 들어 사용자가 제1 버튼 또는 제2 버튼 중 어느 하나를 선택하도록 구현된 실시예에서는, 제1 버튼이 센싱 전극(310, 410)에 대응하고 제2 버튼이 또 다른 제2 채널 전극(도시되지 않음)에 대응하도록 구현되어 사용자가 제1 버튼 또는 제2 버튼 중 어느 하나를 선택하도록 의도한 것인지를 식별할 수 있다. 또한 사용자가 제1 버튼 또는 제2 버튼 중 어느 하나를 선택하는 경우의 유효한 공진 주파수 변화 구간, 즉, 공진 주파수 차이의 측정값의 유효한 구간을 설정함으로써, 해당 구간 내에 속하는 측정값이 나타난 경우 유효한 사용자 입력으로 간주하고, 해당 구간 외의 측정값이 나타난 경우 사용자가 의도하지 않은 모션에 기인한 공진 주파수 변화로 간주할 수 있다. 예를 들어 통상의 사용자의 제스쳐에 의하면 채널 별 공진 주파수 차이 정보가 가져야 하는 극성과 반대의 극성이 나타난 경우에는 노이즈 또는 다른 종류의 간섭이 있는 것으로 간주할 수 있다. In an embodiment in which the user interface device 300 , 400 is implemented such that the user selects either the first button or the second button, for example, the first button corresponds to the sensing electrode 310 , 410 and the second button It may be implemented to correspond to another second channel electrode (not shown) to identify whether the user intends to select either the first button or the second button. In addition, by setting a valid resonant frequency change section when the user selects either the first button or the second button, that is, a valid section of the measured value of the resonance frequency difference, a valid user when a measured value belonging to the corresponding section appears It can be regarded as an input, and when a measurement value outside the corresponding section appears, it can be regarded as a change in resonance frequency due to motion unintended by the user. For example, when a polarity opposite to the polarity that the resonant frequency difference information for each channel should have appears according to a normal user's gesture, it may be considered that there is noise or other types of interference.

검출 회로(340, 440)는 제1 공진 회로(320, 420) 및 제2 공진 회로(330, 430)의 전기적 특성(RLC 임피던스를 포함)을 단일 설정으로 유지하면서 시간의 경과에 따른 감지 정보의 크기 및 극성을 검출할 수 있다. The detection circuits 340 and 440 maintain the electrical characteristics (including the RLC impedance) of the first resonant circuits 320 and 420 and the second resonant circuits 330 and 430 in a single setting while maintaining the detection information over time. Size and polarity can be detected.

즉, 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(300, 400) 및 하이브리드 제스쳐 센서(350, 450)는 센싱 모드의 변화가 필요 없고 샘플링 시마다 가변 주파수 스캔도 필요 없이 채널 별 공진 주파수 차이 정보의 크기 및 극성을 검출할 수 있다: 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(300, 400) 및 하이브리드 제스쳐 센서(350, 450)는 동작 모드의 변경 없이 실시간으로 연속되는 센싱 정보를 얻을 수 있으며 출력 시에는 센싱 정보를 연속적인 아날로그 신호 값으로 제공할 수도 있고, 샘플링 시간마다 이산되는 디지털 값으로 제공할 수도 있다. That is, the user interface devices 300 and 400 and the hybrid gesture sensors 350 and 450 according to an embodiment of the present invention do not require a change in sensing mode and no variable frequency scan for each sampling. Size and polarity can be detected: The user interface devices 300 and 400 and the hybrid gesture sensors 350 and 450 according to an embodiment of the present invention can obtain continuous sensing information in real time without changing the operation mode, At the time of output, the sensing information may be provided as a continuous analog signal value or as a digital value discrete for each sampling time.

도 5는 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서(550)의 검출 회로(540)를 도시하는 도면이다.5 is a diagram illustrating a detection circuit 540 of a hybrid gesture sensor 550 according to an embodiment of the present invention.

도 5를 참조하면, 제1 오실레이터(520b)와 제2 오실레이터(530b)가 배치된다. 제1 오실레이터(520b)와 제2 오실레이터(530b)는 동일한 특성을 가지는 것이 추천되지만, 차이가 있더라도 사용자 입력이 없는 상태에서 측정되는 공진 주파수 차이는 오프셋으로 보상 처리될 수 있다. Referring to FIG. 5 , a first oscillator 520b and a second oscillator 530b are disposed. Although it is recommended that the first oscillator 520b and the second oscillator 530b have the same characteristics, even if there is a difference, a difference in resonance frequency measured in the absence of a user input may be compensated for with an offset.

제1 공진 회로(520)는 센싱 포트(520a)를 경유하여 센싱 전극(510)에 연결되고, 검출 회로(540)에 제1 전기 신호를 전달한다. 제2 공진 회로(530)는 검출 회로(540)에 제2 전기 신호를 전달한다. 제2 공진 회로(530)는 레퍼런스 포트(530a)와 연결될 수는 있지만 레퍼런스 포트(530a)는 전극과 연결될 필요는 없다. 본 발명의 다른 실시예에서는 제2 공진 회로(530)는 레퍼런스 포트(530a)를 경유하여 센싱 전극(510)과 동일한 전기적 특성과 형태를 가지는 더미 전극(도시되지 않음)에 연결될 수도 있다.The first resonance circuit 520 is connected to the sensing electrode 510 via the sensing port 520a and transmits a first electrical signal to the detection circuit 540 . The second resonance circuit 530 transmits a second electrical signal to the detection circuit 540 . The second resonance circuit 530 may be connected to the reference port 530a, but the reference port 530a does not need to be connected to the electrode. In another embodiment of the present invention, the second resonance circuit 530 may be connected to a dummy electrode (not shown) having the same electrical characteristics and shape as the sensing electrode 510 via the reference port 530a.

도 5에 도시된 제1 공진 회로(520) 및 제2 공진 회로(530)는 등가 회로를 나타낸 것이며, 반드시 lumped RLC 요소를 포함해야 하는 것은 아니다. 예를 들어 커패시턴스, 인덕턴스, 저항은 독립적인 소자일 수도 있고, 기생 성분을 나타낸 것일 수도 있다. 또한 독립적인 소자를 이용하여 제1 공진 회로(520) 및 제2 공진 회로(530)를 구현한 경우에도, 소자의 배치가 반드시 도 5를 따를 필요는 없으며 등가적으로 도 5의 회로에 대응할 수 있으면 충분하다. 또한 제1 공진 회로(520) 및 제2 공진 회로(530)는 전기적으로 동일한 특성을 가지는 것이 추천되지만, 차이가 있더라도 사용자 입력이 없는 상태에서 측정되는 공진 주파수 차이는 오프셋으로 보상 처리될 수 있다. The first resonant circuit 520 and the second resonant circuit 530 illustrated in FIG. 5 are equivalent circuits, and do not necessarily include a lumped RLC element. For example, capacitance, inductance, and resistance may be independent elements or may represent parasitic components. In addition, even when the first resonant circuit 520 and the second resonant circuit 530 are implemented using independent elements, the arrangement of the elements does not necessarily follow FIG. 5 and can equivalently correspond to the circuit of FIG. 5 . it is enough to have In addition, although it is recommended that the first resonant circuit 520 and the second resonant circuit 530 have the same electrical characteristics, even if there is a difference, the difference in resonant frequency measured in the absence of a user input may be compensated with an offset.

검출 회로(540)는 제1 공진 주파수 및 제2 공진 주파수의 오프셋을 제거한 측정값이 제1 측정 임계값 이상이면 제1 공진 주파수 또는 제2 공진 주파수 중 어느 하나가 유의미한 변화를 일으킨 것으로 간주하여 센싱 전극(510)에 사용자 모션에 기인한 전도체(180, 280)가 근접한 것으로 판정할 수 있다. 즉, 노이즈, 의도하지 않은 움직임, 의도하지 않은 접촉, 의도하지 않은 진동에 의하여 공진 주파수의 차이의 변화가 감지되었으나 제1 측정 임계값 미만인 경우에는 제1 공진 주파수가 유의미한 변화를 일으키지 않은 것으로 간주할 수 있다.The detection circuit 540 considers that any one of the first resonant frequency and the second resonant frequency has caused a significant change if the measured value obtained by removing the offset of the first resonant frequency and the second resonant frequency is equal to or greater than the first measurement threshold. It may be determined that the conductors 180 and 280 due to the user's motion are close to the electrode 510 . That is, if a change in the difference in the resonance frequency is detected due to noise, unintentional movement, unintentional contact, or unintentional vibration, but it is less than the first measurement threshold, the first resonance frequency is not considered to have caused a significant change. can

사용자 입력이 인가되지 않은 상태에서 측정되는 공진 주파수 값의 차이가 0이 아닌 경우, 캘리브레이션 과정이 수행될 수 있다. 예를 들어, 캘리브레이션 과정은 도시되지 않은 가변 저항 R'의 부가 또는 조정에 기반하여 이루어질 수 있다. When the difference between the resonant frequency values measured in a state where no user input is applied is not 0, a calibration process may be performed. For example, the calibration process may be performed based on the addition or adjustment of the variable resistor R' (not shown).

본 발명과 대비되는 종래 기술은 가변 주파수 스캔을 통하여 복수의 주파수 신호를 순차적으로 입력한 이후 임피던스의 변화를 측정하는 것이었는데, 이 같은 방법은 신호의 크기를 정확히 검출하고 비교해야 하는 전제 조건이 있었다. 따라서 측정하는 데에 시간이 소요되고 소비 전력이 큰 문제점이 있었다. 또한 이러한 종래 기술은 매 샘플링마다 주파수를 가변하여 여러 번 측정해야 하므로 실시간으로 변화하는 사용자 모션의 전체를 인식하는 데에 어려움이 있었다. In contrast to the present invention, the prior art measures the change in impedance after sequentially inputting a plurality of frequency signals through a variable frequency scan. This method has a prerequisite for accurately detecting and comparing the magnitude of the signal. . Therefore, there is a problem in that it takes time to measure and power consumption is large. In addition, the prior art has difficulty in recognizing the whole of the user's motion changing in real time because the frequency must be varied and measured several times for every sampling.

본 발명은 신호들의 진폭을 주된 검출 대상으로 삼는 대신 공진 주파수의 변화를 주된 검출 대상으로 삼았으며, 또한 가변 주파수 스캔과 같은 방식을 채택하지 않고 동일 주파수의 교류 신호를 인가하는 수단만으로도 충분히 소기의 목적을 달성할 수 있다. 따라서 이러한 방식을 이용하여 본 발명은 사용자 응답이 채널 전극 중 적어도 하나 이상에 유의미하게 근접한 시점부터 즉각적으로 인식이 가능하며, 별도의 센싱 모드 수정 없이도 실시간으로 변화하는 사용자의 모션을 인식할 수 있다. The present invention takes the change of the resonance frequency as the main detection object instead of the amplitude of the signals as the main detection object, and the means for applying the AC signal of the same frequency without adopting a method such as variable frequency scan is sufficient enough for the desired purpose can be achieved Therefore, according to the present invention, using this method, the user's response can be recognized immediately from a point in time when the user's response is significantly closer to at least one of the channel electrodes, and the user's motion changing in real time can be recognized without a separate sensing mode modification.

또한 공진 주파수의 변화가 간접적인 방법으로 검출되는 것이 아니라 주파수의 값이 직접적으로 검출되므로, 이를 이용하여 정확한 출력신호를 생성하기 용이하다. 측정된 공진 주파수의 변화에 비례하는 아날로그 신호 또는 디지털 값을 생성할 수 있고, 따라서 측정된 정보를 정확하게 손실 없이 어플리케이션 인터페이스인 컨트롤러(360)에 전달할 수 있는 장점이 있다. In addition, since the change in the resonant frequency is not detected in an indirect way, but the value of the frequency is directly detected, it is easy to generate an accurate output signal using this. It is possible to generate an analog signal or a digital value proportional to the change in the measured resonant frequency, and thus, there is an advantage in that the measured information can be accurately transmitted to the controller 360, which is an application interface, without loss.

본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서(550)의 검출 회로(540)는 제1 공진 주파수(ω1)와 제2 공진 주파수 간의 차이를 구하는 연산기(operator)(542), 연산기(542)의 출력단에 연결되어 고주파 성분을 제거하는 저역통과필터(Low pass filter)(544), 및 상기 저역통과필터(544)의 출력단에 연결되어 제1 공진 주파수(ω1)와 제2 공진 주파수 간의 차이에 해당하는 정량적 정보에 비례하는 전기적 신호를 생성하는 출력신호 생성기(546)를 포함할 수 있다. The detection circuit 540 of the hybrid gesture sensor 550 according to an embodiment of the present invention includes an operator 542 for calculating the difference between the first resonant frequency ω1 and the second resonant frequency, and the operator 542. A low-pass filter 544 connected to an output terminal to remove a high-frequency component, and a first resonant frequency ω1 connected to an output terminal of the low-pass filter 544 and corresponding to the difference between the second resonance frequency It may include an output signal generator 546 that generates an electrical signal proportional to the quantitative information.

본 발명의 실시예 중 하나에 따르는 출력신호 생성기(546)는 차동 주파수 성분 신호의 주파수에 비례하는 디지털화된 값을 생성하는 타임-투-디지털 변환기(Time-to-Digital Converter)일 수도 있고, 본 발명의 다른 실시예에 따라서는 측정된 주파수 차이에 비례하는 아날로그 신호를 생성하는 아날로그 전압 생성기일 수도 있다. 본 발명의 또 다른 실시예에 따라서는 측정된 주파수 차이에 비례하는 아날로그 전류 생성기일 수도 있다. The output signal generator 546 according to one of the embodiments of the present invention may be a time-to-digital converter that generates a digitized value proportional to the frequency of the differential frequency component signal. According to another embodiment of the invention, it may be an analog voltage generator that generates an analog signal proportional to the measured frequency difference. According to another embodiment of the present invention, it may be an analog current generator proportional to the measured frequency difference.

검출 회로(540)의 실시예에 따라서는 차동 주파수 성분 신호에 대한 샘플러 및 비교기(comparator)를 포함할 수 있는데, 이때 검출 회로(540)의 원활한 동작을 위하여 샘플러 및 비교기는 앞서 설명한 제1 측정 임계값보다 충분히 크고, 감지 대상 변위에 대응하는 공진 주파수 성분의 동작 범위보다 충분히 큰 동작 주파수를 선택하여 설계될 수 있다. Depending on the embodiment of the detection circuit 540, it may include a sampler and a comparator for the differential frequency component signal. In this case, for the smooth operation of the detection circuit 540, the sampler and the comparator are the first measurement thresholds described above. It can be designed by selecting an operating frequency that is sufficiently larger than the value and sufficiently larger than the operating range of the resonance frequency component corresponding to the displacement to be sensed.

본 발명의 실시예들에서는 검출 회로(340, 440, 540)에서 채널의 전기 신호의 진폭과 독립적으로(진폭의 검출 없이) 채널의 공진 주파수 정보를 검출할 수 있다. 이때 본 발명의 다른 실시예에 따라서는 공진 주파수와 독립적으로 진폭을 검출하는 종래의 기술을 병행적으로 적용하고, 서로 독립적으로 얻어진 두 개의 감지 정보(진폭의 검출에 기반한 제1 감지 정보, 진폭과 독립적으로 공진 주파수의 검출에 기반한 제1 레퍼런스 감지 정보)를 상호 교차 검증할 수도 있다. In embodiments of the present invention, the detection circuits 340 , 440 , and 540 may detect the resonance frequency information of the channel independently from the amplitude of the electric signal of the channel (without detection of the amplitude). At this time, according to another embodiment of the present invention, the conventional technique of detecting amplitude independently of the resonance frequency is applied in parallel, and two pieces of detection information (first detection information based on detection of amplitude, amplitude and Independently, the first reference detection information based on the detection of the resonance frequency) may be cross-verified.

도 1 내지 도 5의 실시예를 참고하면, 검출 회로(340, 440, 540)는 시간의 경과에 기반하여 채널 별 센싱 공진 주파수 및 채널 별 레퍼런스 공진 주파수의 차이의 값의 극성 및 크기를 검출하여 시간의 경과에 기반한 센싱값을 생성할 수 있다. 검출 회로(340, 440. 540)는 시간의 경과에 기반한 센싱값에 기반하여 사용자 모션에 기반한 전도체(180, 280)의 근접, 전도체(180, 280)의 터치, 전도체(180, 280)의 근접한 거리의 변화, 터치/근접의 위치의 이동을 추적할 수 있다. 컨트롤러(360)는 사용자 모션에 기반한 전도체(180, 280)의 3차원적인 위치의 이동을 사용자 모션이 의도하는 사용자 입력으로 해석할(translate) 수 있다. 한편 실시예에 따라서는 컨트롤러(360) 및 검출 회로(340, 440, 540)는 구분되지 않고 하나의 집적 회로로 통합될 수도 있다. 1 to 5, the detection circuits 340, 440, 540 detect the polarity and magnitude of the difference between the sensing resonance frequency for each channel and the reference resonance frequency for each channel based on the lapse of time. It is possible to generate a sensed value based on the passage of time. The detection circuits 340 , 440 , 540 detect the proximity of the conductors 180 and 280, the touch of the conductors 180 and 280, the proximity of the conductors 180 and 280 based on user motion based on the sensed value based on the lapse of time. Changes in distance and movement of touch/proximity locations can be tracked. The controller 360 may translate the movement of the three-dimensional position of the conductors 180 and 280 based on the user's motion as a user input intended by the user's motion. Meanwhile, according to an embodiment, the controller 360 and the detection circuits 340 , 440 , and 540 are not separated and may be integrated into one integrated circuit.

도 6은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 동작 시의 파형을 도시하는 도면이다. 6 is a diagram illustrating waveforms during operation of a hybrid gesture sensor according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 사용자 인터페이스 장치(300, 400) 및 하이브리드 제스쳐 센서(350, 450)는 센싱 모드의 변화가 필요 없고 샘플링 시마다 가변 주파수 스캔도 필요 없이 채널 별 공진 주파수 차이 정보의 크기 및 극성을 검출할 수 있다: 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(300, 400) 및 하이브리드 제스쳐 센서(350, 450)는 동작 모드의 변경 없이 실시간으로 연속되는 센싱 정보를 얻을 수 있으며 출력 시에는 센싱 정보를 도 6과 같은 연속적인 아날로그 신호 값으로 제공할 수도 있다. 본 발명의 다른 실시예에서는 센싱 정보를 샘플링 시간마다 이산되는 디지털 값으로 제공할 수도 있다. The user interface devices 300 and 400 and the hybrid gesture sensors 350 and 450 according to an embodiment of the present invention do not require a change in a sensing mode or a variable frequency scan every sampling time, and the size of the resonance frequency difference information for each channel and Polarity can be detected: The user interface devices 300 and 400 and the hybrid gesture sensors 350 and 450 according to an embodiment of the present invention can obtain continuous sensing information in real time without changing the operation mode, and when output , the sensing information may be provided as a continuous analog signal value as shown in FIG. 6 . In another embodiment of the present invention, the sensing information may be provided as a digital value that is discrete for each sampling time.

도 6에서 인식되는 신호의 크기는 인체(human body) 및 센싱 전극(210, 310, 410, 510)이 마주보는 면적에도 관련되고, 인체가 센싱 전극(210, 310, 410, 510)에 접근하는 거리에도 관련될 수 있다. 따라서 인체의 부분, 예를 들어 손가락, 또는 손바닥이 센싱 전극(210, 310, 410, 510)에 접근하는 경우에는 신호의 세기가 다소 차이가 있을 수 있어 이러한 점을 고려하여 제1 임계치 내지 제4 임계치가 설정될 수 있다. The magnitude of the signal recognized in FIG. 6 is also related to the area where the human body and the sensing electrodes 210 , 310 , 410 , and 510 face each other, and the human body approaches the sensing electrodes 210 , 310 , 410 and 510 . It can also be related to distance. Therefore, when a part of the human body, for example, a finger or a palm approaches the sensing electrodes 210, 310, 410, and 510, the signal strength may be slightly different. Considering this, the first to fourth thresholds A threshold may be set.

도 6의 제1 이벤트(610a)는 센싱 전극(210, 310, 410, 510) 영역 위에 사용자의 손가락 또는 손바닥이 위치한 이벤트를 의미한다. 이때 제1 이벤트(610a)의 공진 주파수의 차이의 크기에 기반하여 추정되는 전도체(180, 280)의 위치가 제1 임계치를 넘어섰지만 제2 임계치를 넘지는 않은 것으로 해석되므로 중간 부품(170, 270)에 터치하지 않은 호버링(hovering) 제스쳐로 인식될 수 있다. The first event 610a of FIG. 6 refers to an event in which the user's finger or palm is positioned on the sensing electrodes 210 , 310 , 410 , and 510 . At this time, since the positions of the conductors 180 and 280 estimated based on the magnitude of the difference in the resonant frequency of the first event 610a are interpreted as exceeding the first threshold but not exceeding the second threshold, the intermediate parts 170, 270 may be recognized as a hovering gesture that is not touched.

도 6의 파형을 참고하면, 중간 부품(170, 270)에 터치한 경우, 중간 부품(170, 270)에 터치하지 않은 호버링(hovering) 제스쳐의 경우, 및/또는 중간 부품(170, 270)에 가까이 접근하지 않아 호버링 제스쳐로 인정되지 않는 경우가 충분히 구분될 수 있을 정도로 신호의 변화 시 그 크기가 명확히 드러난다. Referring to the waveform of FIG. 6 , in the case of touching the intermediate parts 170 and 270 , in the case of a hovering gesture that does not touch the intermediate parts 170 and 270 , and/or in the intermediate parts 170 and 270 , When the signal changes, the magnitude is clearly revealed so that cases that are not recognized as a hovering gesture due to not approaching close can be sufficiently distinguished.

도 6에 나타나는 다음의 제2 이벤트(612a)는 사용자의 손가락 또는 손바닥이 호버링 제스쳐를 넘어 중간 부품(170, 270)의 외부 접촉면(112, 212)에 터치된 경우를 의미한다. The next second event 612a shown in FIG. 6 means a case in which the user's finger or palm touches the external contact surfaces 112 and 212 of the intermediate parts 170 and 270 beyond the hovering gesture.

도 6에 나타나는 다음의 제3 이벤트(612b)는 사용자의 손가락 또는 손바닥이 외부 접촉면(112, 212)에 터치 힘을 약하게 입력하는 경우를 의미한다. The next third event 612b shown in FIG. 6 refers to a case in which a user's finger or palm weakly inputs a touch force to the external contact surfaces 112 and 212 .

터치 제스쳐와 호버링 제스쳐를 구분하는 기준(제2 임계치 및/또는 제3 임계치)은 예를 들어 제1 이벤트(610a), 및 제2 이벤트(610b)를 구분할 수 있도록 미리 설정될 수 있다. 즉, 채널 별 신호의 변화의 크기가 일정한 기준값 미만이면 호버링 제스쳐로, 기준값 이상이면 터치 제스쳐로 인식될 수 있다. A criterion (a second threshold value and/or a third threshold value) for distinguishing the touch gesture and the hovering gesture may be preset to distinguish the first event 610a and the second event 610b, for example. That is, if the magnitude of the signal change for each channel is less than a certain reference value, it may be recognized as a hovering gesture, and if the magnitude of the change of the signal for each channel is greater than or equal to the reference value, it may be recognized as a touch gesture.

센싱 전극(210, 310, 410, 510)의 면적 또는 형태에 따라서 사용자 모션에 기인한 전도체(180, 280)가 근접한 경우에 형성되는 정전용량의 패턴이 다르게 나타날 수 있다. 이때 전도체(180, 280)의 크기/면적, 및/또는 센싱 전극(210, 310, 410, 510)과 전도체(180, 280)의 거리의 영향을 정규화하기 위하여 센싱 전극(210, 310, 410, 510)의 형태가 직사각형이 아닌 다른 형태를 취할 수도 있다. Depending on the area or shape of the sensing electrodes 210 , 310 , 410 , and 510 , a pattern of capacitance formed when the conductors 180 and 280 due to a user motion are close to each other may appear differently. At this time, in order to normalize the effect of the size/area of the conductors 180 and 280 and/or the distance between the sensing electrodes 210, 310, 410, 510 and the conductors 180, 280, the sensing electrodes 210, 310, 410, 510) may have a shape other than a rectangular shape.

이때 미리 설정된 개별 위치 영역 별 검출값 구간에 의하여 개별 센싱 전극(210, 310, 410, 510)에 전도체(180, 280)가 일정 거리 이내로 근접하는 현상을 모두 검출할 수 있으므로 사용자가 장치(100, 200)에 비접촉 근접하였는지 접촉하였는지 무관하게 근접 자체를 검출할 수 있다. At this time, all the phenomena of the conductors 180 and 280 approaching the individual sensing electrodes 210 , 310 , 410 and 510 within a predetermined distance can be detected by the preset detection value section for each individual location area, so that the user can use the device 100, 200), the proximity itself can be detected irrespective of whether it is in contact or non-contact proximity.

한편 실시예에 따라서는 개별 센싱 전극(210, 310, 410, 510)들에 전도체(180, 280)가 근접하는 정도, 및/또는 근접하는 거리에 따라서 검출값이 달라지므로 이를 이용하여 사용자의 모션에 기인하여 전도체(180, 280)가 얼마나 개별 센싱 전극(210, 310, 410, 510)에 근접하였는지를 식별할 수도 있다. On the other hand, according to the embodiment, the detection value varies depending on the degree and/or the proximity distance of the conductors 180 and 280 to the individual sensing electrodes 210 , 310 , 410 and 510 . It is also possible to identify how close the conductors 180 and 280 are to the individual sensing electrodes 210 , 310 , 410 and 510 due to .

또한 사용자가 사용하는 전도체(180, 280)가 인체의 일부인지, 스타일러스 등의 다른 전도성 물체인지에 따라서 정전용량의 변화 및 공진 주파수의 변화량이 달라질 수 있으므로, 개별 위치 영역 별 검출값 구간은 개별 센싱 전극(210, 310, 410, 510)들마다 하나의 구간만이 설정되는 것이 아니고 복수의 전도체(180, 280) 타입에 대응하여 복수의 검출값 구간이 설정될 수도 있다.Also, since the amount of change in capacitance and resonance frequency may vary depending on whether the conductors 180 and 280 used by the user are part of the human body or other conductive objects such as a stylus, the detection value section for each individual location area is individually sensed. Not only one section is set for each of the electrodes 210 , 310 , 410 , and 510 , but a plurality of detection value sections may be set corresponding to the types of the plurality of conductors 180 and 280 .

본 발명은 종래 기술들과 달리 주파수 스캔 없이 매 시점 단일 측정만으로 사용자 모션을 추적할 수 있으므로 빠른 응답 속도를 가지며, 이로 인하여 실시간으로 사용자 모션을 추적할 수 있다. The present invention has a fast response speed because a user motion can be tracked only by a single measurement at every point in time without a frequency scan, unlike the prior art, and thus the user motion can be tracked in real time.

본 발명은 단일 채널의 센서를 이용하여 장치(100, 200) 주변의 넓은 위치 영역을 커버할 수 있으므로 집적회로의 원가를 절감할 수 있을 뿐 아니라, 센서 동작 시의 전력을 절감할 수 있으므로 모바일 디바이스 또는 배터리를 이용하는 경우에도 더욱 유효하게 이용될 수 있다. In the present invention, since a wide location area around the devices 100 and 200 can be covered by using a single-channel sensor, the cost of the integrated circuit can be reduced, and power when the sensor is operated can be reduced, so that the mobile device Alternatively, it can be used more effectively even when using a battery.

다수의 개별 영역이 주어지고, 개별 영역마다 채널이 형성되는 실시예에서는 채널 간 간섭이 발생할 수 있으므로, 본 발명의 실시예에서는 채널 간 간섭을 방지하기 위하여 채널 레퍼런스 공진 주파수 간 스페이싱을 설정할 수 있다. 채널 별로 레퍼런스 공진 회로와 센싱 공진 회로는 동일한 전기적 특성을 가지도록 설정되므로 채널 주파수 스페이싱은 센싱 공진 회로에도 동일하게 적용된다. Since inter-channel interference may occur in an embodiment in which a plurality of individual regions are provided and a channel is formed for each individual region, in the embodiment of the present invention, spacing between channel reference resonant frequencies may be set to prevent inter-channel interference. Since the reference resonance circuit and the sensing resonance circuit for each channel are set to have the same electrical characteristics, the channel frequency spacing is equally applied to the sensing resonance circuit.

또한 캘리브레이션을 통하여 각 채널이 대응하는 채널 영역에 대하여 인체 부분이 접근한 거리에 기반하여 신호의 크기가 정규화될 수 있도록 조정될 수 있다. Also, through calibration, the signal amplitude may be normalized based on the distance that the human body part approaches with respect to the channel region corresponding to each channel.

센싱 신호의 변화의 크기는 인체 부분이 센싱 전극에 가깝게 접근할수록 커질 수 있다. The magnitude of the change in the sensing signal may increase as the human body part approaches the sensing electrode.

도 7은 본 발명의 일 실시예에 따른 하이브리드 제스쳐 센서의 동작 방법을 도시하는 동작 흐름도이다.7 is an operation flowchart illustrating a method of operating a hybrid gesture sensor according to an embodiment of the present invention.

도 7의 동작 방법은 도 1 내지 도 6의 실시예에서 실행될 수 있으며 프로세서 또는 컨트롤러에 의하여 로드되고 실행되는 프로그램 인스트럭션에 의하여 실행될 수 있다. The method of FIG. 7 may be executed in the embodiments of FIGS. 1 to 6 , and may be executed by program instructions loaded and executed by a processor or a controller.

도 7의 동작 방법은 검출 회로가 제1 공진 회로, 및 제1 공진 회로와 전기적으로 연결되는 적어도 하나 이상의 센싱 전극 상에 형성되는 제1 전기 신호를 수신하는 단계(S710); 검출 회로가 제2 공진 회로(레퍼런스), 및 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 단계(S720); 및 검출 회로가 제1 전기 신호의 제1 공진 주파수 및 제2 전기 신호의 제2 공진 주파수 간의 차이를 검출하는 단계(S730)를 포함한다. The operation method of FIG. 7 may include: receiving, by the detection circuit, a first resonant circuit and a first electrical signal formed on at least one sensing electrode electrically connected to the first resonant circuit (S710); receiving, by the detection circuit, a second resonant circuit (reference) and a second electrical signal formed in the second resonant circuit (S720); and detecting, by the detection circuit, a difference between the first resonant frequency of the first electrical signal and the second resonant frequency of the second electrical signal ( S730 ).

이때 검출 회로 및/또는 컨트롤러가 감지 정보에 기반하여 시간의 경과에 따른 사용자의 모션이 장치(100, 200)에 근접하는 지, 장치(100, 200)를 터치하는 지, 및 장치(100, 200)에 입력한 터치 힘의 변화를 검출하고 검출 결과를 추적하며, 추적 결과에 기반하여 장치(100, 200)에 근접하는 사용자의 모션이 나타내는 제스쳐 정보를 인식하는 단계(S750)가 더 포함될 수 있다. At this time, the detection circuit and/or the controller determines whether the user's motion over time approaches the device 100 , 200 , touches the device 100 , 200 , and the device 100 , 200 based on the sensing information. ) may further include a step (S750) of detecting a change in the input touch force, tracking the detection result, and recognizing gesture information indicated by a motion of a user proximate to the devices 100 and 200 based on the tracking result (S750). .

이때 검출 회로 및/또는 컨트롤러는 단계(S730)의 결과가 제1 측정 임계값을 초과하는지 여부를 판정하여 유의미한 변화가 검출되었는지 판정하는 단계(S740)를 수행할 수 있다.In this case, the detection circuit and/or the controller may determine whether the result of step S730 exceeds the first measurement threshold to determine whether a significant change is detected ( S740 ).

본 발명의 동작 방법은 상기 검출 회로 또는 상기 컨트롤러가 상기 사용자 모션에 기반한 전도체의 근접 또는 터치의 위치의 이동을 상기 사용자 모션이 의도하는 사용자 입력으로 해석하는(translate) 단계(도시되지 않음)를 더 포함할 수 있다. 사용자 모션을 사용자 입력으로 해석하는 과정의 구체적인 예시는 앞서 인용한 선행문헌들의 구성을 참고로 당업자가 용이하게 도출할 수 있으므로 구체적인 기재는 생략한다. The method of operation of the present invention further includes a step (not shown) of the detecting circuit or the controller translating a movement of a position of a touch or proximity of a conductor based on the user motion into a user input intended by the user motion. may include A detailed example of a process of interpreting a user motion as a user input can be easily derived by those skilled in the art with reference to the configuration of the preceding documents cited above, so a detailed description will be omitted.

본 발명의 도 1 내지 도 7의 실시예는 다양한 어플리케이션에 적용될 수 있다. 예를 들어, 본 발명의 일 실시예로서 단일 인클로저(enclosure)로 둘러싸여서 하나의 버튼만으로 입력이 가능하고 별도의 사용자 입력이 없는 경우를 가정할 수 있다. 이런 경우, 높은 방수성, 밀폐성, 안전성을 제공하지만 종래 기술로는 기능의 편의성까지 제공하기는 어려웠다. 본 발명은 예를 들어, 단일 버튼으로 복수의 기능을 구현할 수 있고, 예를 들어 POWER-ON부터 기타 구체적인 동작까지 단일 채널의 단일 모드에 기반하여 구현할 수 있다.1 to 7 of the present invention may be applied to various applications. For example, as an embodiment of the present invention, it may be assumed that an input is possible with only one button and there is no separate user input as it is surrounded by a single enclosure. In this case, it provides high waterproofness, airtightness, and safety, but it is difficult to provide convenience of functions with the prior art. The present invention may, for example, implement a plurality of functions with a single button, for example, may be implemented based on a single mode of a single channel from POWER-ON to other specific operations.

본 발명의 일 실시예로서 최근 covid-19 등 감염병의 창궐로 인하여 엘리베이터 층 간 이동 명령을 입력하는 버튼을 비접촉으로 구현하고자 하는 실시예를 들 수 있다. 이때 사용자가 엘리베이터 버튼을 접촉하지 않고 권장 거리 범위 내로 손가락을 진입시키는 것이 바람직하지만, 사용자의 실수 또는 정보 부족으로 버튼에 접촉하거나, 버튼에 누름 힘을 입력하여 버튼을 변형시키는 경우에도 사용자가 의도한 입력으로 인정하고 엘리베이터의 이동을 제어해야 한다. 종래 기술에서는 이러한 경우에 대응하기 위해서는 근접 센서(호버링 제스쳐), 터치 센서, 터치 힘 센서 각각을 개별 센서로 구현하거나, 적어도 개별 채널로 구현하거나, 또는 호버링 제스쳐를 인식하기 위한 동작 모드, 터치 동작을 인식하기 위한 동작 모드를 개별적으로 필요로 하였다. As an embodiment of the present invention, due to the recent outbreak of infectious diseases such as covid-19, there is an embodiment in which a button for inputting a movement command between elevator floors is implemented in a non-contact manner. At this time, it is desirable for the user to put his or her finger within the recommended distance range without touching the elevator button, but even if the button is deformed by touching the button due to the user's mistake or lack of information, or by inputting a pressing force to the button, the user It should be accepted as input and control the movement of the elevator. In the prior art, in order to respond to this case, each of a proximity sensor (hovering gesture), a touch sensor, and a touch force sensor is implemented as an individual sensor, or at least a separate channel, or an operation mode for recognizing a hovering gesture, a touch operation An operation mode for recognition was required individually.

본 발명에서는 이러한 다양한 동작을 단일 채널의 단일 동작 모드로 구현할 수 있으며, 동작 모드의 설정을 변경할 필요가 없어 실시간으로 수신되는 센싱 신호의 패턴을 인식하는 것만으로 사용자의 호버링 제스쳐, 터치 제스쳐, 터치 힘의 세기(intensity)를 검출할 수 있다. In the present invention, these various operations can be implemented as a single operation mode of a single channel, and there is no need to change the operation mode setting, so the user's hovering gesture, touch gesture, and touch force only by recognizing the pattern of the sensing signal received in real time can detect the intensity of

본 발명의 엘리베이터 버튼의 실시예에서는 버튼의 표면에 추가적인 외장재가 배치되어도 동작에 영향을 주지 않을 수 있다. 현재는 엘리베이터 버튼에 항균 필름을 설치하지만 항균 필름에 전도성이 부가되어야 하므로 구리 등 금속성의 재료로 항균 필름의 재료가 한정된다. 반면 본 발명의 실시예에서는 전도체(180, 280)가 실제로 외부 접촉면(112, 212)과 전기적 접촉을 가지는 지 여부가 검출되지 않더라도 전도체(180)의 근접에 기반한 Z축 방향의 위치를 인식할 수 있어 전도체(180, 280)가 외부 접촉면(112, 212)의 Z축 방향의 위치에 머물러 있는 지를 검출하므로, 외부 접촉면(112, 212)이 전도체일 필요는 없다. 외부 접촉면(112, 212)은 전도체(180, 280)와 명백히 구분되는 전기적 특성을 가지는 경우가 바람직하며, 비전도체인 경우 다양한 재료가 활용될 수 있다. In an embodiment of the elevator button of the present invention, even if an additional exterior material is disposed on the surface of the button, the operation may not be affected. Currently, an antibacterial film is installed on elevator buttons, but since conductivity must be added to the antibacterial film, the material of the antibacterial film is limited to metallic materials such as copper. On the other hand, in the embodiment of the present invention, the position in the Z-axis direction based on the proximity of the conductor 180 can be recognized even if it is not detected whether the conductors 180 and 280 actually have electrical contact with the external contact surfaces 112 and 212. to detect whether the conductors 180 and 280 remain at the positions of the outer contact surfaces 112 and 212 in the Z-axis direction, the outer contact surfaces 112 and 212 do not need to be conductors. It is preferable that the external contact surfaces 112 and 212 have electrical characteristics clearly distinguished from the conductors 180 and 280, and in the case of a non-conductor, various materials may be utilized.

본 발명의 일 실시예에 따른 엘리베이터 버튼 인터페이스는 사용자가 비접촉 또는 접촉으로 가까운 거리까지 접근한 경우에 전원을 활성화하고, 사용자가 임계 시간 이상으로 임계 거리 내에서 전도체(180, 280)의 위치를 유지하는 경우 호버링 제스쳐(hovering gesture)로 인지하며 사용자의 의도된 입력으로 판정할 수 있다. 또한 사용자가 전도체(180, 280)의 위치를 터치 경계에 임계 시간 이상 유지하거나, 전도체(180, 280)의 위치로부터 터치 힘이 산출되었을 경우에도 사용자의 의도된 입력으로 판정할 수 있다. The elevator button interface according to an embodiment of the present invention activates the power when the user approaches to a close distance through non-contact or contact, and the user maintains the position of the conductors 180 and 280 within the critical distance for more than a threshold time In this case, it is recognized as a hovering gesture and can be determined as the user's intended input. Also, when the user maintains the position of the conductors 180 and 280 at the touch boundary for a threshold time or longer, or when the touch force is calculated from the position of the conductors 180 and 280, it may be determined as the user's intended input.

본 발명의 일 실시예로서 모션 컨트롤러 인터페이스를 예로 들 수 있다. 이와 관련한 종래의 인터페이스로는 모션 컨트롤러에 기반한 게임 인터페이스 등이 포함될 수 있고, 본 발명의 실시예는 종래의 모션 컨트롤러 인터페이스를 개량하기 위하여 적용될 수 있다. As an embodiment of the present invention, a motion controller interface may be used as an example. In this regard, the conventional interface may include a game interface based on a motion controller, and the embodiment of the present invention may be applied to improve the conventional motion controller interface.

본 발명의 일 실시예에 따른 모션 컨트롤러 인터페이스는 버튼 근처에 인체 부분의 접근이 감지되지 않는 경우 전원을 비활성화하고 sleep 상태로 대기할 수 있다. 본 발명의 일 실시예에 따른 모션 컨트롤러 인터페이스는 중간 부품(170, 270)의 변형이 일어나지 않을 정도로 살짝 버튼 위에 손 또는 손가락을 올려 놓은 경우 이를 검출하여 전원을 활성화하고 stand-by 상태로 대기할 수 있다. The motion controller interface according to an embodiment of the present invention may deactivate power and wait in a sleep state when an approach of a body part near the button is not detected. The motion controller interface according to an embodiment of the present invention detects when a hand or a finger is lightly placed on the button to the extent that deformation of the intermediate parts 170 and 270 does not occur, activates the power and waits in a stand-by state. have.

본 발명의 일 실시예에 따른 모션 컨트롤러 인터페이스는 중간 부품(170, 270)의 변형이 일어날 정도로 사용자가 누름 힘을 입력한 경우 이를 사용자의 의도된 입력으로 판정하고, 사용자의 의도된 입력에 응답하여 피드백을 제공할 수 있다. 이때 본 발명의 일 실시예에 따른 모션 컨트롤러 인터페이스는 사용자의 의도된 누름 힘의 입력 여부, 및 사용자의 의도된 입력이 가지는 누름 힘의 세기 (intensity)를 측정할 수 있다. The motion controller interface according to an embodiment of the present invention determines that when a user inputs a pressing force enough to cause deformation of the intermediate parts 170 and 270, it is determined as the user's intended input, and in response to the user's intended input You can provide feedback. In this case, the motion controller interface according to an embodiment of the present invention may measure whether the user's intended pressing force is input, and the intensity of the user's intended pressing force input.

한편 본 발명의 일 실시예에 따른 모션 컨트롤러 인터페이스에서 전원을 활성화하고 stand-by 상태로 대기하는 조건은 버튼의 임계 거리 내에 사용자의 접근이 감지된 이후 소정의 시간 동안 접근이 유지되는 경우로 설정될 수 있다. On the other hand, the condition of activating the power in the motion controller interface according to an embodiment of the present invention and waiting in a stand-by state is set to a case in which the approach is maintained for a predetermined time after the user's approach is detected within the threshold distance of the button. can

본 발명의 일 실시예로서 차량의 핸들 또는 차량의 운전자 정보 시스템(DIS, Driver Information System) 등 차량용 모션 컨트롤러 인터페이스로 적용되는 예시를 들 수 있다. As an embodiment of the present invention, an example applied to a vehicle motion controller interface such as a steering wheel of a vehicle or a driver information system (DIS) of a vehicle may be given.

본 발명의 차량용 모션 컨트롤러 인터페이스는 게임기 등의 모션 컨트롤러 인터페이스와 유사하게 동작할 수 있으며, 사용자의 인체 부분의 접근, 사용자의 인체 부분의 터치, 사용자의 의도된 누름 힘의 입력 여부, 사용자의 의도된 입력이 가지는 누름 힘의 세기(intensity)에 대한 정보를 어플리케이션 계층에 제공할 수 있다. The motion controller interface for a vehicle of the present invention may operate similarly to a motion controller interface such as a game machine, and the user's approach to the user's body part, the user's body part touch, whether the user's intended pressing force is input, and the user's intended Information on the intensity of the pressing force of the input may be provided to the application layer.

본 발명의 일 실시예로서 자동차 내의 조명, 또는 실내 조명의 ON/OFF 스위치 인터페이스를 들 수 있다. 본 발명의 일 실시예에 따른 조명 스위치 인터페이스는 손이 닿는 위치에서 점멸 가능하도록 배치될 수 있다. As an embodiment of the present invention, an ON/OFF switch interface for lighting in a vehicle or indoor lighting may be used. The light switch interface according to an embodiment of the present invention may be arranged to be flickering at a position touched by a hand.

본 발명의 일 실시예에 따른 조명 스위치 인터페이스는 기본적으로 버튼을 사용자가 눌렀을 때 조명을 활성화하는 것이 원칙이나, 사용자의 손이 오염되었거나, 사용자의 움직임이 불편한 상황 또는 긴급한 상황이어서 사용자가 손으로 직접 버튼을 누를 수 없을 때 사용자의 인체 부분의 근접을 검출하는 경우 조명을 활성화하는 실시예로서 적용될 수 있다. 어둠 속에서 물건을 찾는 경우 등 조명을 켜야 하는 경우에 조명 스위치까지 도달하는 것이 쉽지 않을 수 있다. 차량용 조명 스위치의 경우에는 안전벨트를 착용하고 있는 등 손이 닿는 범위가 제한될 수도 있다. In principle, the light switch interface according to an embodiment of the present invention activates the light when the user presses the button, but the user's hand is contaminated, the user's movement is inconvenient, or an urgent situation. It may be applied as an embodiment of activating lighting when the proximity of the user's body part is detected when the button cannot be pressed. Reaching the light switch can be tricky if you need to turn on a light, such as when you are looking for something in the dark. In the case of a vehicle light switch, the reach of the hand may be limited, such as wearing a seat belt.

사용자가 조명을 활성화하고자 하는 경우는 긴급성 또는 상황의 특수성이 인정되나, 조명을 비활성화하고자 하는 경우는 해당 상황의 특수성이 해소된 이후의 경우가 일반적이므로, 사용자가 버튼을 눌러서 조명을 비활성화하고자 하는 의도를 명확히 표현했을 때 비로소 조명을 비활성화할 수 있다. When the user wants to activate the lighting, the urgency or the specificity of the situation is recognized, but when the user wants to deactivate the lighting, it is usually after the specificity of the situation is resolved. You can only disable lighting when you have clearly articulated your intentions.

본 발명의 실시예에 따라서는 사용자의 제스쳐가 미리 등록되거나 약속되어, 한 번의 접근으로 조명을 활성화, 두 번의 연속적인 접근으로 조명을 비활성화하는 등의 변형된 실시예도 적용될 수 있다. According to an embodiment of the present invention, a user's gesture is registered or promised in advance, and a modified embodiment such as activating the lighting by one approach and deactivating the lighting by two consecutive approaches may also be applied.

사용자가 버튼을 직접 누를 때에는 다른 제스쳐(예를 들어 호버링 제스쳐)를 고려하지 않고 버튼 누름 입력을 가장 우선적으로 적용하여 사용자의 의도된 입력으로 간주할 수 있다. When the user directly presses the button, the button press input may be most preferentially applied without considering other gestures (eg, a hovering gesture) to be regarded as the user's intended input.

본 발명의 실시예는 신호의 진폭의 변화를 검출하는 대신 공진 주파수의 변화를 검출하므로, 외부 전도체와 센싱 전극 간의 거리에 대응하여 종래 기술의 센서가 진폭의 변화를 검출할 수 있는 다이나믹 레인지보다 외부 전도체와 센싱 전극 간의 거리에 대응하여 공진 주파수의 차이를 검출할 수 있는 다이나믹 레인지가 더 커서 넓은 범위의 검출 가능 거리를 가진다Since the embodiment of the present invention detects a change in the resonant frequency instead of detecting a change in the amplitude of the signal, in response to the distance between the external conductor and the sensing electrode, the sensor of the prior art is outside the dynamic range in which the change in amplitude can be detected. In response to the distance between the conductor and the sensing electrode, the dynamic range capable of detecting the difference in resonant frequency is larger, so it has a wide range of detectable distances

또한 종래 기술들 중에서 커패시티브 근접 센서의 다이나믹 레인지를 의도적으로 크게 변형한 개시가 있을 수 있으나, 이 경우 측정의 정밀도 및 정확도가 현저하게 저하되는 문제가 있다 .In addition, there may be a disclosure in which the dynamic range of the capacitive proximity sensor is intentionally significantly modified among the prior art, but in this case, there is a problem in that the precision and accuracy of the measurement are remarkably deteriorated.

본 발명은 단일 채널 센서를 이용하여 외부 전도체가 중간 부재의 외부 접촉면에 접근하는 거리, 외부 전도체가 중간 부재의 외부 접촉면에 접촉하는지 여부, 외부 전도체가 중간 부재의 외부 접촉면에 입력하는 터치 힘을 식별할 수 있는 정보, 및 외부 전도체가 중간 부재의 외부 접촉면에 터치 힘을 입력하는 지 여부, 및 외부 전도체가 중간 부재의 외부 접촉면에 입력한 터치 힘의 세기(intensity)에 대한 정보를 제공할 수 있다. The present invention uses a single channel sensor to identify the distance at which the outer conductor approaches the outer contact surface of the intermediate member, whether the outer conductor contacts the outer contact surface of the intermediate member, and the touch force that the outer conductor enters into the outer contact surface of the intermediate member and whether the outer conductor is inputting a touch force to the outer contact surface of the intermediate member, and information about the intensity of the touch force input by the outer conductor to the outer contact surface of the intermediate member. .

이는 본 발명의 공진 주파수 차이 검출 기법이 종래 기술들의 진폭 변화를 검출하는 기술보다 외부 전도체와 센싱 전극 간의 거리를 검출할 수 있는 다이나믹 레인지가 훨씬 크며, 또한 넓은 다이나믹 레인지를 제공하면서도 측정의 정밀도 및 정확도가 저하되지 않기 때문이다.This is because the resonance frequency difference detection technique of the present invention has a much larger dynamic range for detecting the distance between the external conductor and the sensing electrode than the techniques for detecting amplitude changes of the prior art, and also provides a wide dynamic range while providing measurement precision and accuracy is not degraded.

따라서 본 발명은 외부 전도체가 중간 부재의 외부 접촉면에 접근하는 동안에 높은 측정 정밀도를 제공한다. 뿐만 아니라 외부 전도체가 중간 부재의 외부 접촉면과 접촉한 후, 중간 부재의 외부 접촉면을 변형시키면서 외부 전도체와 센싱 전극 간의 거리가 더욱 가까워지는 경우에도 매우 높은 측정 정밀도를 제공할 수 있다. 본 발명은 높은 정밀도, 및 정확도를 유지하면서 넓은 다이나믹 레인지를 제공한다. 이러한 특성에 기반하여 본 발명은 단일 채널 센서에 의하여 외부 전도체의 접근, 외부 전도체의 터치, 외부 전도체의 터치 힘, 터치 힘의 세기에 대한 정보를 제공할 수 있으며, 이러한 본 발명의 특징은 종래 기술들과 크게 차별화된다.The present invention thus provides high measurement precision while the outer conductor approaches the outer contact surface of the intermediate member. In addition, even when the distance between the outer conductor and the sensing electrode becomes closer while the outer contact surface of the intermediate member is deformed after the outer conductor comes into contact with the outer contact surface of the intermediate member, very high measurement accuracy can be provided. The present invention provides high precision and a wide dynamic range while maintaining accuracy. Based on these characteristics, the present invention can provide information on the approach of the external conductor, the touch of the external conductor, the touch force of the external conductor, and the intensity of the touch force by a single channel sensor. are greatly differentiated from

본 발명은 중간 부재 또는 외장재의 변형으로 인한 임피던스의 변화를 인식할 수 있을 뿐 아니라 외장재의 외부에서 사용자 인체 부분이 접근하는 양상까지도 단일 채널에 의하여 식별할 수 있다. 또한 단순히 기계식/정전용량식 버튼을 대체하는 것에 그치지 않고, 정전용량식 근접 센서와 기계식 누름 감지 버튼을 단일 채널에 의하여 구현된 하나의 실시예로 결합할 수 있다. According to the present invention, it is possible to recognize changes in impedance due to deformation of the intermediate member or the exterior material, and even the aspect of the user's body approaching from the outside of the exterior material can be identified through a single channel. In addition, rather than simply replacing the mechanical/capacitive button, the capacitive proximity sensor and the mechanical push detection button may be combined into one embodiment implemented by a single channel.

종래 기술들의 문제를 해결하고, 단일 채널에 의하여 인체 부분 전도체의 접근, 접근된 거리의 검출, 터치 이벤트, 누름 이벤트, 및 누름 힘의 intensity를 검출하기 위해서는 높은 민감도, 정밀도, 및 정확도를 유지하면서 넓은 다이나믹 레인지를 제공할 수 있어야 하는데, 본 발명은 다이나믹 레인지가 쉽게 제한되는 진폭 검출 대신 주파수의 차이를 검출함으로써 높은 해상도를 유지하면서 매우 넓은 다이나믹 레인지에 대응할 수 있다. In order to solve the problems of the prior art and detect the approach of the body part conductor, the detection of the approached distance, the intensity of the touch event, the pressing event, and the pressing force by a single channel, a wide range while maintaining high sensitivity, precision, and accuracy It should be possible to provide a dynamic range, and the present invention can respond to a very wide dynamic range while maintaining a high resolution by detecting a difference in frequency instead of amplitude detection where the dynamic range is easily limited.

공진 주파수 차이를 검출하는 본 발명은 넓은 주파수 대역을 사용할 수 있기 때문에 검출하고자 하는 물리량의 넓은 다이나믹 레인지에 쉽게 대응할 수 있다. 또한 이 과정에서 회로의 검출 해상도, 정밀도, 정확도, 및 또는 민감도를 저하시키지 않고도 검출 회로가 용이하게 최적화될 수 있다. Since the present invention for detecting the resonance frequency difference can use a wide frequency band, it can easily respond to a wide dynamic range of a physical quantity to be detected. In addition, in this process, the detection circuit can be easily optimized without degrading the detection resolution, precision, accuracy, and/or sensitivity of the circuit.

본 발명의 일 실시예에 따른 회로, 센서, 및/또는 사용자 인터페이스 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The circuit, sensor, and/or method of operating a user interface device according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.However, the present invention is not limited or limited by the examples. Like reference numerals in each figure indicate like elements. Length, height, size, width, etc. introduced in the embodiments and drawings of the present invention may be exaggerated to help understanding.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .

100, 200, 300: 사용자 인터페이스 장치
210, 310, 410, 510: 센싱 전극
112, 212: 외부 접촉면
320, 420, 520: 제1 공진 회로
330, 430, 530: 제2 공진 회로
340, 440, 540: 검출 회로
350, 450, 550: 하이브리드 제스쳐 센서
360: 컨트롤러
170, 270: 중간 부품
180, 280: 외부 전도체(사용자의 인체 일부)
100, 200, 300: user interface device
210, 310, 410, 510: sensing electrode
112, 212: external contact surface
320, 420, 520: a first resonant circuit
330, 430, 530: a second resonant circuit
340, 440, 540: detection circuit
350, 450, 550: hybrid gesture sensor
360: controller
170, 270: middle part
180, 280: external conductor (part of the user's body)

Claims (10)

센싱 전극;
상기 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품;
상기 센싱 전극과 전기적으로 연결되는 제1 공진 회로;
상기 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로; 및
상기 제1 공진 회로 및 상기 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 상기 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함하고,
상기 검출 회로는 상기 제1 전기 신호의 제1 공진 주파수 및 상기 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하고,
상기 검출 회로는 상기 감지 정보의 극성에 기반하여 변화하는 값을 가지면서 상기 감지 정보의 크기에 비례하는 출력 신호를 출력하고,
상기 감지 정보는 사용자의 모션에 의하여 외부의 전도체가 상기 중간 부품에 접근하는 거리, 및 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부를 식별할 수 있는 정보를 포함하는 하이브리드 제스쳐 센서.
sensing electrode;
a deformable intermediate part positioned outside the sensing electrode;
a first resonance circuit electrically connected to the sensing electrode;
a second resonant circuit having the same electrical characteristics as the first resonant circuit; and
a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed in the second resonance circuit; and
the detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal;
The detection circuit outputs an output signal proportional to the size of the detection information while having a value that changes based on the polarity of the detection information,
The sensing information is a hybrid gesture sensor including information capable of identifying a distance by which an external conductor approaches the intermediate part by a user's motion, and whether the conductor is in contact with an external contact surface of the intermediate part.
삭제delete 제1항에 있어서,
상기 출력 신호에 기반하여 상기 전도체가 상기 센싱 전극 및 상기 중간 부품에 접근하는 지 여부, 상기 전도체가 상기 중간 부품에 접근하는 거리, 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부, 및 상기 전도체가 상기 외부 접촉면에 입력하는 터치 힘의 세기(intensity)를 인식하는 컨트롤러;
를 더 포함하는 하이브리드 제스쳐 센서.
According to claim 1,
based on the output signal whether the conductor approaches the sensing electrode and the intermediate part, the distance that the conductor approaches the intermediate part, whether the conductor contacts the outer contact surface of the intermediate part, and the a controller for recognizing an intensity of a touch force input by a conductor to the external contact surface;
A hybrid gesture sensor further comprising a.
제3항에 있어서,
상기 컨트롤러는
시간의 경과에 따른 상기 출력 신호의 변화에 기반하여 상기 사용자의 모션에 의하여 상기 전도체가 상기 센싱 전극 및 상기 중간 부품에 근접하는 거리, 상기 전도체가 상기 외부 접촉면을 터치하는 지 여부, 및 상기 전도체가 상기 외부 접촉면에 입력하는 터치 힘의 세기의 변화를 추적하고, 상기 추적 결과에 기반하여 상기 사용자의 모션이 나타내는 제스쳐를 인식하는 하이브리드 제스쳐 센서.
4. The method of claim 3,
the controller is
The distance at which the conductor approaches the sensing electrode and the intermediate part by the user's motion based on the change of the output signal over time, whether the conductor touches the external contact surface, and whether the conductor A hybrid gesture sensor that tracks a change in the intensity of a touch force input to the external contact surface and recognizes a gesture indicated by the user's motion based on the tracking result.
센싱 전극;
상기 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품;
상기 센싱 전극과 전기적으로 연결되는 제1 공진 회로;
상기 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로; 및
상기 제1 공진 회로 및 상기 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 상기 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함하고,
상기 검출 회로는 상기 제1 전기 신호의 제1 공진 주파수 및 상기 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하고,
상기 감지 정보는 사용자의 모션에 의하여 외부의 전도체가 상기 중간 부품에 접근하는 거리, 및 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부를 식별할 수 있는 정보를 포함하고,
상기 검출 회로는 상기 제1 공진 회로 및 상기 제2 공진 회로의 전기적 특성을 제1 단일 설정으로 유지하면서 시간의 경과에 따른 상기 감지 정보의 크기 및 극성을 검출하는 하이브리드 제스쳐 센서.
sensing electrode;
a deformable intermediate part positioned outside the sensing electrode;
a first resonance circuit electrically connected to the sensing electrode;
a second resonant circuit having the same electrical characteristics as the first resonant circuit; and
a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed in the second resonance circuit; and
the detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal;
The sensing information includes information that can identify a distance that an external conductor approaches the intermediate part by a user's motion, and whether the conductor is in contact with an external contact surface of the intermediate part,
The detection circuit is a hybrid gesture sensor configured to detect the magnitude and polarity of the sensing information over time while maintaining the electrical characteristics of the first resonance circuit and the second resonance circuit in a first single setting.
센싱 전극;
상기 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품;
상기 센싱 전극과 전기적으로 연결되는 제1 공진 회로;
상기 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로; 및
상기 제1 공진 회로 및 상기 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 상기 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함하고,
상기 검출 회로는 상기 제1 전기 신호의 제1 공진 주파수 및 상기 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하고,
상기 감지 정보는 사용자의 모션에 의하여 외부의 전도체가 상기 중간 부품에 접근하는 거리, 및 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부를 식별할 수 있는 정보를 포함하고,
상기 검출 회로는
상기 제1 공진 주파수와 상기 제2 공진 주파수의 차이를 구하는 연산기(operator);
상기 연산기의 출력단에 연결되어 고주파 성분을 제거하는 저역통과필터(Low pass filter); 및
상기 저역통과필터의 출력단에 연결되어 상기 감지 정보의 극성에 따른 크기에 비례하는 전기적 신호를 생성하는 출력신호 생성기;
를 포함하는 하이브리드 제스쳐 센서.
sensing electrode;
a deformable intermediate part positioned outside the sensing electrode;
a first resonance circuit electrically connected to the sensing electrode;
a second resonant circuit having the same electrical characteristics as the first resonant circuit; and
a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed in the second resonance circuit; and
the detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal;
The sensing information includes information that can identify a distance that an external conductor approaches the intermediate part by a user's motion, and whether the conductor is in contact with an external contact surface of the intermediate part,
The detection circuit is
an operator for calculating a difference between the first resonant frequency and the second resonant frequency;
a low pass filter connected to the output terminal of the calculator to remove a high frequency component; and
an output signal generator connected to an output terminal of the low-pass filter to generate an electrical signal proportional to a magnitude according to the polarity of the sensing information;
A hybrid gesture sensor comprising a.
하이브리드 제스쳐 센서; 및
컨트롤러;를 포함하고,
상기 하이브리드 제스쳐 센서는
제1 공진 회로;
상기 제1 공진 회로와 전기적으로 연결되는 센싱 전극;
상기 제1 공진 회로와 동일한 전기적 특성을 가지는 제2 공진 회로;
상기 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품; 및
상기 제1 공진 회로 및 상기 센싱 전극 상에 형성되는 제1 전기 신호를 수신하고, 상기 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 검출 회로;를 포함하고,
상기 검출 회로는 상기 제1 전기 신호의 제1 공진 주파수 및 상기 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하고,
상기 검출 회로는 상기 감지 정보의 극성에 기반하여 변화하는 값을 가지면서 상기 감지 정보의 크기에 비례하는 출력 신호를 출력하고,
상기 컨트롤러는 상기 감지 정보에 기반하여 외부의 전도체가 상기 센싱 전극 및 상기 중간 부품에 접근하는 지 여부, 상기 전도체가 상기 중간 부품에 접근하는 거리, 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부, 및 상기 전도체가 상기 외부 접촉면에 입력하는 터치 힘의 세기(intensity)를 인식하는 사용자 인터페이스 장치.
hybrid gesture sensor; and
controller; including;
The hybrid gesture sensor
a first resonant circuit;
a sensing electrode electrically connected to the first resonance circuit;
a second resonant circuit having the same electrical characteristics as the first resonant circuit;
a deformable intermediate part positioned outside the sensing electrode; and
a detection circuit configured to receive a first electrical signal formed on the first resonance circuit and the sensing electrode, and a second electrical signal formed in the second resonance circuit; and
the detection circuit generates sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of the second electrical signal;
The detection circuit outputs an output signal proportional to the size of the detection information while having a value that changes based on the polarity of the detection information,
The controller determines whether an external conductor approaches the sensing electrode and the intermediate part based on the sensing information, the distance at which the conductor approaches the intermediate part, and whether the conductor contacts the external contact surface of the intermediate part A user interface device for recognizing whether or not, and an intensity of a touch force input by the conductor to the external contact surface.
제7항에 있어서,
상기 컨트롤러는
시간의 경과에 따른 상기 출력 신호의 변화에 기반하여 상기 사용자의 모션에 의하여 상기 전도체가 상기 센싱 전극 및 상기 중간 부품에 근접하는 거리, 상기 전도체가 상기 외부 접촉면을 터치하는 지 여부, 및 상기 전도체가 상기 외부 접촉면에 입력하는 터치 힘의 세기의 변화를 추적하고, 상기 추적 결과에 기반하여 상기 사용자의 모션이 나타내는 제스쳐를 인식하고, 상기 제스쳐를 상기 사용자의 모션이 의도하는 사용자 입력으로 해석하는(translate) 사용자 인터페이스 장치.
8. The method of claim 7,
the controller is
The distance at which the conductor approaches the sensing electrode and the intermediate part by the user's motion based on the change of the output signal over time, whether the conductor touches the external contact surface, and whether the conductor Track a change in the intensity of a touch force input to the external contact surface, recognize a gesture indicated by the user's motion based on the tracking result, and translate the gesture into a user input intended by the user's motion ) user interface device.
검출 회로가 제1 공진 회로, 및 상기 제1 공진 회로와 전기적으로 연결되는 센싱 전극 상에 형성되는 제1 전기 신호를 수신하는 단계;
상기 검출 회로가 제2 공진 회로에 형성되는 제2 전기 신호를 수신하는 단계;
상기 검출 회로가 상기 제1 전기 신호의 제1 공진 주파수 및 제2 전기 신호의 제2 공진 주파수의 차이를 검출하여 감지 정보를 생성하는 단계; 및
상기 검출 회로가 상기 감지 정보의 극성에 기반하여 변화하는 값을 가지고 상기 감지 정보의 크기에 비례하는 출력 신호를 출력하는 단계;
를 포함하고,
상기 감지 정보는 사용자의 모션에 의하여 외부의 전도체가 상기 센싱 전극의 외부에 위치하며 변형 가능한 중간 부품에 접근하는 거리, 및 상기 전도체가 상기 중간 부품의 외부 접촉면에 접촉하는 지 여부를 식별할 수 있는 정보를 포함하는 하이브리드 제스쳐 센서의 동작 방법.
receiving, by a detection circuit, a first resonant circuit and a first electrical signal formed on a sensing electrode electrically connected to the first resonant circuit;
receiving, by the detection circuit, a second electrical signal formed in a second resonant circuit;
generating, by the detection circuit, sensing information by detecting a difference between a first resonant frequency of the first electrical signal and a second resonant frequency of a second electrical signal; and
outputting, by the detection circuit, an output signal proportional to the magnitude of the detection information with a value that changes based on the polarity of the detection information;
including,
The sensing information may identify the distance at which an external conductor is located outside the sensing electrode and approaches the deformable intermediate part by the user's motion, and whether the conductor is in contact with the external contact surface of the intermediate part. A method of operating a hybrid gesture sensor including information.
제9항에 있어서,
컨트롤러가 시간의 경과에 따른 상기 출력 신호의 변화에 기반하여 상기 사용자의 모션에 의하여 상기 전도체가 상기 센싱 전극 및 상기 중간 부품에 근접하는 거리, 상기 전도체가 상기 외부 접촉면을 터치하는 지 여부, 및 상기 전도체가 상기 외부 접촉면에 입력하는 터치 힘의 세기의 변화를 추적하는 단계;
상기 컨트롤러가 상기 추적 결과에 기반하여 상기 사용자의 모션이 나타내는 제스쳐를 인식하는 단계; 및
상기 컨트롤러가 상기 제스쳐를 상기 사용자의 모션이 의도하는 사용자 입력으로 해석하는(translate) 단계;
를 더 포함하는 하이브리드 제스쳐 센서의 동작 방법.
10. The method of claim 9,
The distance at which the controller approaches the sensing electrode and the intermediate part by the motion of the user based on the change of the output signal over time, whether the conductor touches the external contact surface, and the tracking a change in intensity of a touch force input by a conductor to the external contact surface;
recognizing, by the controller, a gesture indicated by the user's motion based on the tracking result; and
translating, by the controller, the gesture into a user input intended by the user's motion;
An operating method of a hybrid gesture sensor further comprising a.
KR1020200186830A 2020-12-29 2020-12-29 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor KR102357724B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200186830A KR102357724B1 (en) 2020-12-29 2020-12-29 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor
KR1020210080845A KR20220095084A (en) 2020-12-29 2021-06-22 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186830A KR102357724B1 (en) 2020-12-29 2020-12-29 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080845A Division KR20220095084A (en) 2020-12-29 2021-06-22 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor

Publications (1)

Publication Number Publication Date
KR102357724B1 true KR102357724B1 (en) 2022-02-08

Family

ID=80252039

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200186830A KR102357724B1 (en) 2020-12-29 2020-12-29 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor
KR1020210080845A KR20220095084A (en) 2020-12-29 2021-06-22 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210080845A KR20220095084A (en) 2020-12-29 2021-06-22 Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor

Country Status (1)

Country Link
KR (2) KR102357724B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213114A (en) * 2002-12-27 2004-07-29 Pentel Corp Electrostatic capacity type digital type touch panel
KR20120036984A (en) * 2009-06-24 2012-04-18 아이덴트 테크놀로지 에이지 Electrode arrangement for display device
KR20150121949A (en) 2014-04-22 2015-10-30 삼성전자주식회사 Method and apparatus for recognizing gestures
US9250734B2 (en) 2007-01-03 2016-02-02 Apple Inc. Proximity and multi-touch sensor detection and demodulation
KR20180068303A (en) 2016-12-13 2018-06-21 임머숀 코퍼레이션 Systems and methods for proximity-based haptic feedback
KR20190087339A (en) * 2018-01-16 2019-07-24 주식회사 다모아텍 Apparatus and method for recognizing fake finger, apparatus for sensing fingerprint
KR20190094989A (en) * 2018-02-06 2019-08-14 (주)파트론 Touch sensor module and touch panel having the same
KR102140791B1 (en) 2013-10-11 2020-08-03 삼성전자주식회사 Touch Controller, Electronic Device and Display Device including Touch Controller, and Method for Touch Sensing
KR102149385B1 (en) * 2019-09-20 2020-08-31 삼성전기주식회사 Force sensing device with slide detecting and electrical device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213114A (en) * 2002-12-27 2004-07-29 Pentel Corp Electrostatic capacity type digital type touch panel
US9250734B2 (en) 2007-01-03 2016-02-02 Apple Inc. Proximity and multi-touch sensor detection and demodulation
KR20120036984A (en) * 2009-06-24 2012-04-18 아이덴트 테크놀로지 에이지 Electrode arrangement for display device
KR102140791B1 (en) 2013-10-11 2020-08-03 삼성전자주식회사 Touch Controller, Electronic Device and Display Device including Touch Controller, and Method for Touch Sensing
KR20150121949A (en) 2014-04-22 2015-10-30 삼성전자주식회사 Method and apparatus for recognizing gestures
KR20180068303A (en) 2016-12-13 2018-06-21 임머숀 코퍼레이션 Systems and methods for proximity-based haptic feedback
KR20190087339A (en) * 2018-01-16 2019-07-24 주식회사 다모아텍 Apparatus and method for recognizing fake finger, apparatus for sensing fingerprint
KR20190094989A (en) * 2018-02-06 2019-08-14 (주)파트론 Touch sensor module and touch panel having the same
KR102149385B1 (en) * 2019-09-20 2020-08-31 삼성전기주식회사 Force sensing device with slide detecting and electrical device

Also Published As

Publication number Publication date
KR20220095084A (en) 2022-07-06

Similar Documents

Publication Publication Date Title
JP6388989B2 (en) Device and method for control interface for sensing body or object movement, and control equipment incorporating said device
JP5324440B2 (en) Hovering and touch detection for digitizers
US11392236B2 (en) Touch force sensor using inductive sensing and capacitive sensing and method of operating same
EP3049898B1 (en) Pressure-sensitive trackpad
KR102125404B1 (en) Touch sensing system and diplay device
CN104620196B (en) System and method for switching sensing mechanisms for gloved and ungloved user input
TW201541314A (en) System and method for gesture control
TW201510804A (en) Control method for touch panel
US20160054831A1 (en) Capacitive touch device and method identifying touch object on the same
US11460357B2 (en) Electronic device including power-on button and inductive touch force sensor
KR102297040B1 (en) Electronic device including narrow bezel and proximity sensing method thereof
CN105468214B (en) Location-based object classification
KR102357724B1 (en) Hybrrid gesture sensor capable of sensing gesture, touch, and touch force based on single channel sensing and method of operation therefor
CN106020578B (en) Single receiver super inactive mode
KR102364056B1 (en) Hybrrid sensor capable of sensing touch and touch force and method of operation therefor
KR102357722B1 (en) Proximity sensor with reduced interference between channels by channel spacing for motion feedback interface and method of operation therefor
EP3644167A1 (en) Electronic devices and methods of operating electronic devices
KR102340385B1 (en) Electronic device including power-on button and inductive touch force sensor
KR102378616B1 (en) Multi region motion sensor for motion feedback interface and method of operation therefor
KR20230010734A (en) Operating unit with touch-sensitive operating surface
JP3167328U (en) Touch device
US20050110771A1 (en) Three dimensional position sensing apparatus and method for a display device
JP2013242742A (en) Portable terminal apparatus, input method for portable terminal apparatus, and computer program
KR20210125964A (en) Inductive force sensor and mathod of operation thereof
CN110618762A (en) Conductive guide for proximity sensing device

Legal Events

Date Code Title Description
GRNT Written decision to grant