KR20230026352A - 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스 - Google Patents

접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스 Download PDF

Info

Publication number
KR20230026352A
KR20230026352A KR1020227045151A KR20227045151A KR20230026352A KR 20230026352 A KR20230026352 A KR 20230026352A KR 1020227045151 A KR1020227045151 A KR 1020227045151A KR 20227045151 A KR20227045151 A KR 20227045151A KR 20230026352 A KR20230026352 A KR 20230026352A
Authority
KR
South Korea
Prior art keywords
user
display
controller
input
target device
Prior art date
Application number
KR1020227045151A
Other languages
English (en)
Inventor
니마 지락네자드
프라나브 삭세나
요단 카리안토
나심 자한기리
데이비드 펑
Original Assignee
엔제트 테크놀러지스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔제트 테크놀러지스 인크. filed Critical 엔제트 테크놀러지스 인크.
Publication of KR20230026352A publication Critical patent/KR20230026352A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/461—Adaptations of switches or switchgear characterised by their shape or profile
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/468—Call registering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/945—Proximity switches
    • H03K17/955—Proximity switches using a capacitive detector
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/463—Wherein the call is registered through physical contact with the elevator system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K2217/00—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00
    • H03K2217/94—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated
    • H03K2217/96—Touch switches
    • H03K2217/9607—Capacitive touch switches
    • H03K2217/960755—Constructional details of capacitive touch and proximity switches
    • H03K2217/960775—Emitter-receiver or "fringe" type detection, i.e. one or more field emitting electrodes and corresponding one or more receiving electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개조 인터페이스 장치는 대상 장치에 비접촉식 사용자 입력을 제공하기 위해 상기 대상 장치와 인터페이싱하기 한다. 상기 장치는, 인간 사용자에 의한 비접촉식 입력에 응답하고 하나 이상의 대응하는 센서 입력 신호를 생성하기 위한 하나 이상의 센서를 포함하는 비접촉식 감지 시스템; 및 상기 비접촉식 감지 시스템으로부터 하나 이상의 센서 입력 신호를 수신하도록 연결되고, 상기 하나 이상의 센서 입력 신호에 기초하여 대응하는 제어 신호를 생성하도록 구성되는 컨트롤러를 포함하고, 상기 컨트롤러는 상기 대상 장치에 연결 가능하며, 상기 대상 장치의 터치 기반 입력을 바이패스하고, 상기 제어 신호를 상기 대상 장치의 현재 사용되는 제어 시스템에 대한 입력으로 제공하여, 상기 대상 장치의 제어 시스템이 상기 제어 신호에 기초하여 상기 대상 장치를 작동하게 한다.

Description

접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스
본 출원은 2020년 5월 25일에 출원된 미국 출원 제63/029,708호, 2020년 10월 23일에 출원된 제63/105,161호 및 2021년 3월 18일에 출원된 제63/163,000호와 관련하여 35 USC 119에 따른 이익을 미국의 목적을 위해 우선권으로 주장한다. 이 단락에 명시된 모든 출원은 모든 목적을 위해 여기에 참조로 포함된다.
본 기술은 기계 등과의 비접촉식(touchless) 상호작용에 관한 것이다. 특정 실시예는 접촉 기반 HMI(Human-Machine Interface) 및/또는 그러한 대상 장치에 대한 접촉 기반 입력 대신, 비접촉식 기능을 제공하기 위해 기존 대상 장치와 함께 사용하기 위한 것 및 그 설치 및/또는 작동 방법의 사용을 위한 개조 비접촉식 인터페이스 및/또는 입력을 제공한다. 다른 실시예는 인간과 기계 또는 다른 대상 장치의 상호작용을 용이하게 하기 위한 주문형 및/또는 모듈식 비접촉식 인터페이스 및/또는 입력 및 그 설치 및/또는 작동 방법을 제공한다.
세계는 터치 스크린, 키패드, 전등 스위치, 엘리베이터 버튼 등을 포함하는 터치 기반 인터페이스로 가득 차 있다. 이러한 인터페이스는 생산 비용이 저렴하고 사용하기에 기본적으로 직관적이다. 비접촉식 HMI(Human-Machine Interfaces)는 현재 주로 게임, 엔터테인먼트, 자동차 패널, 홈 자동화 및 임상 무균 상호 작용과 같은 산업별 틈새 애플리케이션으로 제한되어 있다.
이 패러다임은 COVID-19 팬데믹과 예를 들어 다수의 개인에게 일반적으로 노출되는 교통량이 많은 터치 표면을 포함하여 감염 전파에 대한 일반적인 경로를 피하기 위해 증가하는 인식에 비추어 변경되었다. HMI 시스템을 위한 비접촉식 및/또는 비접촉식 솔루션에 대한 요구가 증가하고 있다. 특정한 예로서, 일반적인 필요성의 일반성을 제한하지 않고, 병원, 진료소, 수술 환경 등에 사용되는 HMI 시스템을 위한 비접촉식 및/또는 비접촉식 솔루션에 대한 특별한 필요성이 있다. 그러나 현재의 비접촉식 HMI 시스템은 많은 애플리케이션에서 터치 기반 시스템보다 열등하다. 현재의 터치 기반 HMI 시스템은 종종 촉각 피드백이 있고, 비접촉식 솔루션보다 빠를 수 있으며, 비접촉식 솔루션보다 사용하기 쉽고, 더 직관적일 수 있다.
따라서, 직관적이고 실용적인 사용자 경험, 촉각 피드백 등을 제공하는 개선된 비접촉식 HMI에 대한 수요가 있다. 오늘날 우리 사회에 존재하는 가장 일반적인 터치 기반 HMI 및 입력 인터페이스에 비접촉식 상호 작용을 제공하려는 수요가 있다(예: 터치 기반 HMI 및 대상 장치의 입력 인터페이스를 비접촉식 솔루션으로 개조).
본 발명의 양태는 대상 장치에 비접촉식 사용자 입력을 제공하기 위해 터치 기반 사용자 입력 장치가 장착된 기존 대상 장치에 개조하기 위한 방법 및 장치를 제공한다.
본 발명의 양태는 대상 장치에 비접촉식 사용자 입력을 제공하기 위해 터치 기반 사용자 입력 장치가 장착된 기존 대상 장치에 개조하기 위한 방법 및 장치를 제공한다. 일부 실시예에 따른 개조 방법 및 장치는 비접촉식 감지를 위한 정전식 센서 및 대상 장치의 터치 기반 입력(예를 들어, 버튼, 래치, 도어 핸들 등)을 누르거나, 슬라이드 하거나, 회전하거나, 그렇지 않으면 상호 작용하는 터치 작동 부품(TAC)을 포함한다. 개조 방법 및 장치는 비제한적 예로서 비접촉식 햅틱 피드백(THF)(즉, 촉각)을 위한 음파 전송(SWT)을 사용하여 구현될 수 있는 사용자 피드백을 포함할 수 있으며, 디스플레이 스크린(예: LCD 또는 시각적 피드백을 위한 LED), 청각 피드백 및/또는 이와 유사한 사운드 큐를 사용한다. 배우기 쉽고 사용하기 쉬운 직관적인 사용자 경험을 제공하기 위해 사용자 피드백이 바람직할 수 있다. 개조 방법 및 장치의 사용 타이밍이 대상 터치 기반 시스템과 동일한(또는 비슷한) 시간 척도이거나 대상 터치 기반 시스템보다 상당히 길지 않은 것이 바람직할 수 있다.
본 발명의 다른 양태는 대상 장치의 제어 시스템과 인터페이스하기 위한 개조 인터페이스 장치를 제공한다. 장치는 인간 사용자에 의해 행해진 제스처에 대응하는 비접촉식 입력을 검출하고, 하나 이상의 대응하는 입력 신호를 생성하기 위한 비접촉식 감지 시스템을 포함한다. 장치는 또한 비접촉식 감지 시스템으로부터 입력 신호를 수신하고 입력 신호에 기초하여 대응하는 제어 신호 및 대응하는 디스플레이 신호를 생성하도록 연결된 컨트롤러를 포함한다. 컨트롤러는 대상 장치의 제어 시스템 및/또는 대상 장치의 디스플레이에 디스플레이 신호를 제공하도록 연결된다. 디스플레이 신호는 디스플레이가 디스플레이 신호에 기초하여 대응하는 시각적 표시를 디스플레이하게 할 수 있다. 컨트롤러는 대상 장치의 제어 시스템에 제어 신호를 제공하도록 연결되어 대상 장치의 제어 시스템이 제어 신호에 기초하여 대상 장치를 작동하게 한다.
추가적인 양태 및 예시적인 실시예는 첨부된 도면에 예시되고 및/또는 하기 설명에서 서술된다.
첨부된 도면은 본 발명의 비제한적인 예시적 실시예를 도시한다.
도 1은 예시적인 실시예에 따른 개조 인터페이스 장치를 도시한다. 도 1a는 다른 예시적인 실시예에 따른 개조 인터페이스 장치를 도시한다. 도 1b는 다른 예시적인 실시예에 따른 개조 인터페이스 장치를 도시한다. 도 1c는 다른 예시적인 실시예에 따른 개조 인터페이스 장치를 도시한다.
도 2는 예시적인 실시예에 따라 본 명세서에 기술된 개조 인터페이스 장치 중 임의의 비접촉식 감지 시스템에 사용될 수 있는 정전식 센서 어레이를 개략적으로 도시한다.
도 3a 내지 도 3c는 특정 예시적 실시예에 따라 본 명세서에 기술된 개조 인터페이스 장치 중 임의의 것과 함께 사용될 수 있는 복수(예를 들어, 2개)의 광학 센서를 포함하는 광학 감지 시스템 및 하나 이상의 정전식 센서를 포함하는 비접촉식 감지 시스템을 개략적으로 도시한다.
도 4a는 대상 장치의 터치스크린을 개략적으로 도시한다. 도 4b는 특정 예시적 실시예에 따라 도 1b의 개조 인터페이스 장치와 함께 사용될 수 있는 터치 에뮬레이터를 개략적으로 도시한다.
도 5a, 도 5b는 예시적인 실시예에 따른 가상 버튼을 디스플레이하는 도 1의 개조 사용자 인터페이스 장치(또는 본 명세서에 기술된 임의의 다른 개조 사용자 인터페이스 장치)의 패널의 정면도 및 측면도를 도시한다.
도 6은 특정한 예시적 실시예에 따라 본 명세서에 기술된 개조 인터페이스 장치 중 임의의 것을 사용하여 비접촉식 입력 선택을 결정하기 위한 방법의 개략도이다. 도 6a는 다른 예시적인 실시예에 따라 본 명세서에 기술된 임의의 개조 장치를 사용하여 비접촉식 입력 선택을 결정하기 위한 방법의 개략도이다.
도 7a 및 도 7b는 특정 실시예에 따라 본 명세서에 기술된 임의의 개조 인터페이스 장치와 함께 사용될 수 있는 음파 전송 피드백 메커니즘 및 비접촉식 감지 메커니즘을 개략적으로 도시한다.
도 8은 특정 실시예에 따라 본 명세서에 기술된 임의의 개조 인터페이스 장치의 피드백 메커니즘의 일부로서 사용될 수 있는 디스플레이 주위의 링(ring)에 배열된 하나 이상의 광학 센서 및 선택적으로 배열된 하나 이상의 광학 센서를 포함하는 비접촉식 감지 시스템의 분해도를 개략적으로 도시한다. 도 8a는 특정 실시예에 따라 개구 주위의 링에 배열된 하나 이상의 수신 전극 및 하나 이상의 전송 전극을 포함하는 정전식 센서의 개략도를 도시한다. 도 8b는 엘리베이터 패널을 포함하는 대상 장치에 적용되는 도 8의 개조 인터페이스 장치의 개략도이다.
도 9는 특정 실시예에 따른 복수의 선형 액추에이터를 포함하는 개조 인터페이스 장치의 도 1a의 개략 분해도이다.
이하의 설명 전반에 걸쳐, 본 발명의 보다 완전한 이해를 제공하기 위해 특정 세부사항이 제시된다. 그러나, 본 발명은 이러한 세부사항 없이 실시될 수 있다. 다른 경우에, 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 요소는 상세하게 나타내거나 설명하지 않았다. 따라서 본 명세서 및 도면은 한정적인 의미가 아닌 예시적인 관점에서 기술되어야 한다.
본 발명의 양태는 대상 터치 기반 사용자 입력 장치(예를 들어, 터치 기반 HMI)가 장착된 기존 대상 장치를 개조하여, 그러한 대상 장치에 비접촉 사용자 입력을 제공하기 위한 방법 및 장치를 제공한다.
대상 장치에 비접촉 사용자 입력 기능을 제공하기 위해 대상 터치 기반 인터페이스(또는 다른 대상 터치 기반 사용자 입력)가 장착된 기존 대상 장치에 개조하기 위한 방법 및 장치가 제공된다. 이러한 대상 입력은 일반적으로 장비(대상 장치)의 주어진 부분에 통합되므로, 일부 실시예에 따라 개조 인터페이스 장치는 기존(대상) 터치 기반 입력에 인접하게 배치되거나 그렇지 않으면 상대적으로 위치함으로써, 사용자가 비접촉 제스처(예를 들어, 호버, 포인트/탭, 웨이브 등)를 함으로써 대상 장치에 입력을 제공할 때 개조 인터페이스 장치가 대상 터치 기반 입력(예를 들어, 버튼, 노브, 핸들, 슬라이더 등)의 적어도 일부와 상호 작용할 수 있게 한다. 일부 실시예에서, 개조 인터페이스 장치는 대상 장치의 기존 대상 터치 기반 입력을 바이패스(bypass)하고, 대상 장치의 제어 시스템과 직접 통신하도록 연결된다. 일부 실시예에서, 개조 인터페이스 장치는 대상 장치의 기존 대상 터치 스크린 인터페이스를 에뮬레이트(emulate)하도록 구성된다.
일반적으로, 특정 실시예에 따른 개조 인터페이스 장치는 임의의 적합한 대상 장치에 개조되어 비접촉 사용자 입력 기능을 대상 장치에 제공할 수 있다. 대상 장치 및 해당 대상 터치 기반 입력의 예시로는 가로등 신호용 보행자 컨트롤러, 조명 스위치 및 패널, 인터콤 시스템 키패드, 결제(판매 시점) 단말기, ATM(개인 및 은행 내 장치), 엘리베이터 패널, 주차 미터/터미널, 키패드 잠금 장치, 터치스크린이 있는 키오스크(예: 공항 체크인 키오스크, 소매점 셀프 체크아웃 키오스크, 광고 키오스크, 병원 체크인 키오스크 등), 컴퓨터, 수도꼭지, 정수기, 식당 가전제품, 자판기, 게임 콘솔, 게임 컨트롤러, 카지노 슬롯 및 기타 도박 장비, 문 손잡이, 걸쇠, 손잡이, 산업 장비, 의료 장비 등이 포함되며 이에 국한되지는 않는다.
도 1은 본 발명의 예시적인 실시예에 따른 개조 인터페이스 장치(10)를 개략적으로 도시한다. 개조 인터페이스 장치(10)는 터치 기반 입력(50A)을 갖는 대상 장치(50)에 개조되어 사용자가 사용할 수 있는 비접촉식 입력 기능을 대상 장치(50)에 제공한다. 도시된 도 1 실시예의 경우에, 개조 인터페이스 장치(10)는 제어 신호(16)를 사용하여 대상 장치(50)의 제어 시스템(51)과, 선택적으로 디스플레이 신호를 사용하여 대상 장치(50)의 디스플레이(22)와 인터페이스한다. 개조 인터페이스 장치(10)는 비접촉식 입력(예를 들어, 인간 사용자에 의한 제스처에 대응하는 입력)을 검출하기 위한 비접촉식 감지 시스템(12); 및 비접촉식 감지 시스템(12)에 의해 생성된 입력 신호(14)를 수신하도록 연결된 컨트롤러(20)를 포함한다. 일부 실시예에서, 입력 신호(14)는 비접촉식 감지 시스템(12)이 사용자로부터의 비접촉식 입력을 검출하거나, 그렇지 않으면 사용자가 비접촉식 입력을 했다고 결정할 때 생성될 수 있다. 즉, 비접촉식 감지 시스템(12)은 감지 시스템(12)의 센서로부터의 신호를 해석하고, 특정 사용자 입력을 나타내는 입력 신호(14)를 컨트롤러(20)에 제공하는 자체 컨트롤러 또는 내부 논리 회로(미도시)를 포함할 수 있다. 도시된 도 1 실시예의 경우에, 입력 신호(14)는 컨트롤러(20)에 의해 수신될 수 있고, 컨트롤러(20)는 입력 신호(14)가 특정 비접촉식 사용자 입력에 대응하는지 여부를 결정할 수 있다. 증폭기, 필터, MUX 등과 같은 당업자에게 공지된 적절한 신호 조정 회로(미도시)가 감지 시스템(12)의 비접촉식 센서와 컨트롤러(20) 사이에 제공될 수 있다.
컨트롤러(20)는 비접촉식 감지 시스템(12)으로부터 입력 신호(14)를 수신하도록 연결된다. 컨트롤러(20)는 비접촉식 감지 시스템(12)으로부터 수신된 입력 신호(14)에 기초하여 대상 장치(50)에 대한 제어 신호(16) 및/또는 디스플레이 신호(18)를 생성하도록 구성(예를 들어, 적절하게 프로그래밍)될 수 있다. 컨트롤러(20)는 제어 시스템(51)에 제어 신호(16)를 제공하여 제어 시스템(51)이 제어 신호(16)에 기초하여 대상 장치(50)를 작동시키도록 대상 장치(50)의 제어 시스템(51)에 동작 가능하게 연결될 수 있다. 예를 들어, 컨트롤러(20)는 제어 시스템(51)에 연결되어 제어 신호(16)를 제어 시스템(51)에 전달할 수 있다. 이에 의하여 제어 시스템(51)이 사용자의 손 부분(예를 들어, 손가락)의 움직임 또는 추정된 위치와 같은 비접촉식 감지 시스템(12)에 의해 검출된 비접촉식 사용자 입력에 기초하여 대상 장치(50)를 작동하게 한다. 대상 장치(50)의 제어 시스템(51)은 대상 장치(50)의 동작을 제어하기 위해 자신의 터치 기반 인터페이스(50A)로부터의 제어 신호(19)에 추가로 또는 그 대안으로 인터페이스 장치(10)의 컨트롤러(20)로부터의 제어 신호(16)를 사용할 수 있다.
개조 인터페이스 장치(10)는 선택적으로 디스플레이(60)를 포함할 수 있다. 디스플레이(60)는 피드백 메커니즘(55)의 일부일 수 있다(아래에서 더 설명됨). 컨트롤러(20)는 비디오 신호(61)를 디스플레이(60)에 제공하여 디스플레이(60)가 대응하는 이미지, 비디오, 시각적 표시 등을 디스플레이하게 할 수 있다. 이러한 방식으로, 디스플레이(60)는 사용자에게 개조 인터페이스 장치(10)의 상태(예를 들어, 개조 인터페이스 장치(10)가 비접촉식 입력을 감지했는지 여부) 및/또는 대상 장치(50)의 상태에 대한 일부 피드백을 제공할 수 있다. 일부 실시예에서, 대상 장치(50)는 대상 장치(50)의 상태에 대한 피드백이 사용자에게 제공될 수 있는 자체 디스플레이 또는 일부 다른 형태의 출력 장치(22)를 포함할 수 있다. 예를 들어, 엘리베이터 제어 패널인 대상 장치(50)는 평면 스크린 디스플레이(예를 들어, 엘리베이터 카(car)가 멈출 다음 레이어를 보여주기 위해)인 출력 장치(22)를 가질 수 있거나 단순히 누르면 조명이 켜지는 해당 플로어 버튼(또는 버튼의 일부) 인 출력 장치(22)를 가질 수 있다. 간결성을 위해, 대상 장치(50)의 출력 장치(22)는 본 명세서에서 디스플레이(22)로 지칭될 수 있고, 문맥이 달리 지시하지 않는 한, 그러한 참조는 임의의 적절한 형태의 출력 장치(22)를 포함하는 것으로 이해되어야 한다.
대상 장치(50)의 제어 시스템(51)은 적절한 디스플레이 신호(21)를 통해 대상 장치 디스플레이(22)를 제어할 수 있다. 일부 실시예에서, 개조 인터페이스 장치(10)의 컨트롤러(20)는 출력 신호(18)를 디스플레이(22)에 제공하기 위해 대상 장치(50)의 디스플레이(22)에 선택적으로 추가 또는 대안적으로 연결될 수 있다. 따라서, 디스플레이(22)가 디스플레이 신호(18)에 기초하여 대응하는 이미지, 비디오, 시각적 표식(indicia) 등을 디스플레이하게 한다. 일부 실시예에서, 개조 인터페이스 장치(10)의 컨트롤러(20)는 대상 장치(50)의 제어 시스템(51)에 제어 신호(16)를 제공할 수 있다. 이는 제어 시스템(51)이 디스플레이(22)로 하여금 상응하는 이미지, 비디오, 시각적 표식 등(예를 들어, 디스플레이 신호(21)을 통해)을 디스플레이하게 할 수 있다.
비접촉식 감지 시스템(12)은 비접촉식 사용자 입력의 검출을 위한 하나 이상의 센서를 포함한다. 일부 실시예에서, 개조 인터페이스 장치(10)의 비접촉식 감지 시스템(12) 및/또는 여기에 설명된 다른 개조 인터페이스 방법 및 장치는 센서 부근의 전기장에 민감한(즉, 그에 따라 변하는 커패시턴스를 갖는) 하나 이상의 정전식 센서(30)를 포함한다. 예를 들어, 사용자에 의해 이루어진 제스처(예를 들어, 탭, 손가락의 움직임 등)는 정전식 센서(30)에 근접한 전기장의 대응하는 변화를 야기할 수 있고, 이에 따라 센서(30)의 커패시턴스에서 검출 가능한 변화를 야기할 수 있다. 간결성을 위해, 단일 정전식 센서(30)가 도 1에 도시되어 있지만, 비접촉식 감지 시스템(12)은 적절하게 배열된 복수의 정전식 센서(30)를 포함할 수 있음을 이해할 것이다. 유리하게는, 정전식 센서(30)는 비접촉식 사용자 상호작용 이벤트(예를 들어, 손 제스처, 손가락 제스처 등)의 정확한 단거리 검출을 용이하게 할 수 있다.
일부 실시예에서, 정전식 센서(30)는 인쇄 회로 기판(PCB)(미도시) 상에 제조되거나 지지된다. PCB는 다레이어 PCB를 포함할 수 있다. 이러한 일부 실시예에서, PCB의 하나의 표면 또는 레이어(수신 표면 또는 수신 전극으로 알려짐)은 감지될 물체(예를 들어, 사용자의 손가락 또는 손)에 노출될 수 있다. 그러한 일부 실시예에서, 이 PCB 수용 표면 또는 수용 레이어는 직접 노출되지 않고, 오히려 비전도성 재료의 보호 레이어에 의해 덮힌다. 각각의 정전식 센서(30)는 한 쌍의 전극(송수신 전극)을 포함할 수 있으며, 그 사이에 전기장이 형성된다. 일부 실시예에서, 복수의 정전식 센서(30)는 단일 송신 전극 및 복수의 수신 전극(또는 그 반대)에 의해 제공될 수 있다. 송신 전극은 수신 전극보다 사용자로부터 상대적으로 더 멀리 위치될 수 있다(예를 들어, PCB의 제1 레이어보다 사용자로부터 상대적으로 더 먼 레이어). 비전도성 재료의 레이어는 송신 전극(들)과 수신 전극(들) 사이에 위치하여 송신 전극과 수신 전극을 전기적으로 절연시킬 수 있다.
동작 중에, 비접촉식 감지 시스템(12)에 의해 감지되기를 원하는 물체(예를 들어, 신체의 일부)는, 물체가 정전식 센서(30)에 위치하거나 근접할 때, 정전식 센서(30)의 송신 전극과 수신 전극 사이의 전기장에 교란을 야기하여 센서(30)의 커패시턴스를 변경한다. 각각의 정전식 센서(30)는 센서(30)가 신호 m(예를 들어, 입력 신호(14))을 출력하게 하는 적절한 회로(명시적으로 도시되지 않음)를 포함할 수 있다. 신호 m은 수신 전극과 송신 전극 사이의 커패시턴스에 따라 달라지며 사용자 신체 부위(예: 손 또는 손가락)의 위치에 따라 달라진다. 이는 비접촉식 감지 시스템(12)의 정전식 센서(30)가 사용자의 신체 부분(예를 들어, 손 또는 손가락)의 움직임을 검출하고 추적하는 데 사용될 수 있게 한다(예를 들어, 개조 인터페이스 장치(10)의 컨트롤러(20), 정전식 센서(30) 또는 비접촉식 감지 시스템(12)의 내부 컨트롤러(미도시) 등과 같은 적절하게 구성된 컨트롤러에 의해). 적절하게 배치된 정전식 센서(30)의 어레이(복수) 및 대응하는 복수의 출력 신호로, 기계 학습 알고리즘은 사용자의 신체 부분에 대한 위치 특성을 추론하도록 학습될 수 있다. 센서(정전식 센서(30) 포함)로부터의 출력 신호는 하나 이상의 컨트롤러의 임의의 적절한 조합에 의해 해석될 수 있음을 이해할 것이다. 이는 개조 인터페이스 장치(10)의 컨트롤러(20), 정전식 센서(30) 또는 비접촉식 감지 시스템(12)의 내부 컨트롤러(미도시) 등을 포함할 수 있다.
일부 HMI 애플리케이션의 경우, 정전식 센서(30)는 비접촉식 입력 감지를 용이하게 하기 위해 다른 유형의 센서(예: 3D 카메라 센서)에 비해 다음과 같은 비제한적 이점을 제공할 수 있다: 정전식 센서(30)의 감지 범위는 수 센티미터 정도의 범위에 집중되어 있다; 펌웨어 수준 알고리즘은 단일 관심 지점(예: 사용자의 손가락과 같은 전도성 물체의 질량 중심)을 감지하도록 조정 가능하다; 주변 요소(예: 조명, 배경 동작 등)는 기능에 제한적인 영향을 미친다; 정전식 센서(30)는 카메라 기반 센서와 같은 방식으로 프라이버시 문제를 일으키지 않는다.
이러한 이점은 다른 유형의 센서와 비교하여, 정전식 센서(30)가 개조 인터페이스 장치(10)와 비접촉식으로 상호 작용하는데 일반적으로 사용되는 사용자 제스처 유형의 더 일관되고 및/또는 더 정확한 추정을 제공하는데 (예를 들어 개조 인터페이스 장치(10)의 컨트롤러(20), 정전식 센서(30) 또는 비접촉식 감지 시스템(12)의 내부 컨트롤러(미도시) 등과 같은 적절하게 구성된 컨트롤러에 의해))사용될 수 있게 한다.
정전식 센서(30)의 수신 전극 및/또는 송신 전극의 레이아웃 배열, 크기 및/또는 형상은 맞춤화될 수 있다(예를 들어, PCB 상에서). 일부 실시예에서, 정전식 센서(30)의 수신 전극은 이격된 어레이로 배열되며, 각각의 수신 전극의 신호는 인체 부분(예를 들어, 손가락)의 근접성을 기반으로 한다. 정전식 센서(30) 및/또는 감지 시스템(12)은 사용자 신체의 전도성 부분(예를 들어, 손가락 끝)의 일부 위치(예를 들어, 3차원 x, y, z 좌표; 사용자 신체의 전도성 부분(예를 들어, 손가락 끝)의 일부의 이들 좌표 등의 적절한 서브셋 또는 표현 등)를 결정하기 위해 (각 수신 전극으로부터의) 이들 신호를 이용하는 적절하게 구성된 (예를 들면 프로그래밍 된) 신호 처리 알고리즘을 내부 컨트롤러로 포함할 수 있다. 일부 실시예에서, 컨트롤러(20)는 사용자 신체의 전도성 부분의 위치를 결정하기 위해 이러한 신호 처리 알고리즘으로 적절하게 구성(예를 들어 프로그래밍)된다. 정전식 센서(30)의 각각의 수신 전극의 형상 및/또는 크기 및/또는 위치는 예를 들어 비접촉식 감지 시스템(12)이 유선인지 또는 배터리 전원인지 여부, 원하는 감지 범위, 원하는 감지 정확도 및/또는 기계적 제약에 기초하여 설계될 수 있다. 일부 실시예에서, 전송 전극(들)을 지지하는 PCB의 레이어는 확장된 구리 레이어(예: "십자형" 구리 트레이스) 및/또는 수신 전극의 대응하는 x- 및 y- 치수보다 약간 더 큰 치수(예: PCB 평면의 x 및 y 치수)를 갖는 빗금친 구리 레이어를 포함한다. 일부 실시예에서, 정전식 센서(30)의 수신 전극 및 송신 전극은 동심 구성의 직사각형 셀에 배열(예를 들어, 쌍을 이룬다)되며, 그 개략도가 도 2에 도시되어 있다. 도 2의 실시예에서, 정전식 센서(30)는 각각 수신 전극(36) 및 송신 전극(34)을 포함하는 개별 정전식 센서(30A)의 어레이를 포함한다. 각각의 개별 센서(30A)에 대해, 수신 전극(36)은 송신 전극(34)을 둘러싸거나, 대안적인 배열에서 송신 전극(34)은 수신 전극(36)을 둘러싼다. 이러한 실시예에서, 각각의 셀(30A)(즉, 각각의 개별 정전식 센서(30A))은 고유한 정전식 검출 신호(예를 들어, 각각의 수신 전극(36)으로부터의 신호)를 출력하기 위해 적절한 신호 컨디셔닝 회로(예: 증폭기, 필터, 디지털-아날로그 변환기, 멀티플렉서 등)를 통해 컨트롤러(예를 들어, 용량성 센서(30) 또는 비접촉 감지 시스템(12)(미도시)의 내부 컨트롤러, 개조 인터페이스 시스템(10)의 컨트롤러(20) 등)에 연결된다. 그러한 실시예에서, 각각의 셀(30A)에 인가된(예를 들어 송신 전극에) 전압은 셀(30A)에 대응하는 전계 출력을 제어하도록 구성될 수 있다. 개별 셀(30A)의 전기장의 이러한 독립적인 제어는 정전식 센서(30)의 전체 센서 전기장의 형상 및 경계가 정밀하게 제어될 수 있게 한다. 예를 들어, 정전식 센서(30)의 각각의 셀(30A)의 각각의 수신 전극(36)은 일련의 정확한 측정값을 얻기 위해 개별적으로 스캔될 수 있다. 유리하게는, 그러한 모듈식 디자인(각 셀(30A)의 독립적인 제어를 가짐)은 그것의 모듈식 셀 디자인으로 인해 우수한 확장성을 제공하고(즉, 그러한 디자인은 큰 크기로 확장될 수 있고(예를 들어, 셀(30A)의 수를 증가시킴으로써), 형상화될 수 있다(예를 들어, 셀(30A)의 적절한 위치에 의해) 허용 가능한 검출/감도 체적을 유지하면서).
일부 실시예에서, 정전식 센서(30)는 사용자 또는 다른 전도성 물체의 신체 일부(일반적으로 신체 부위 또는 기타 전도성 물체의 중심 또는 질량 또는 중심)의 하나 이상의 위치 특성 및/또는 움직임 특성(예: 속도, 가속도 및/또는 이러한 속도 및/또는 가속도와 관련된 방향) 을 검출하기 위해 위치 및/또는 배향된다. 위치 특성으로부터 움직임 특성을 얻기 위해 적절한 디지털 또는 아날로그 신호 처리(예를 들어, 도함수(derivatives) 얻기)가 사용될 수 있음을 이해할 것이다. 따라서, 신체 부분 또는 다른 전도성 물체의 중심의 위치 특성 및/또는 움직임 특성은 개조 인터페이스 장치(10)의 컨트롤러(20), 정전식 센서(30)의 내부 컨트롤러(미도시) 또는 비접촉 감지 시스템(12) 등과 같은 적절하게 구성된 컨트롤러 및/또는 신호 처리 하드웨어와 협력하여 정전식 센서(30)에 의해 결정될 수 있다. 간결함을 위해, 본 개시내용의 나머지 부분은 위치 특성을 언급하며, 문맥이 달리 지시하지 않는 한, 이러한 위치 특성은 위치 특성으로부터 유도되거나 독립적으로 검출될 수 있는 움직임 특성을 포함하는 것으로 이해될 수 있다. 간결함을 위해, 본 개시는 비접촉식 감지 시스템(12) 및/또는 특정 동작(예를 들어, 특성 결정, 특성 검출, 특성 감지, 신호 및/또는 정보 생성 등)을 수행하는 그 센서(예를 들어, 용량성 센서(30) 또는 임의의 다른 센서)를 언급할 수 있다. 문맥상 달리 명시되지 않는 한, 이러한 센서는 개조 인터페이스 장치(10)의 컨트롤러(20), 센서 또는 비접촉 감지 시스템(12)의 내부 컨트롤러(도시되지 않음)와 같은 하나 이상의 적절하게 구성된 컨트롤러 및/또는 신호 처리 하드웨어와 이와 유사한 행위를 수행하기 위하여 협력할 수 있음을 이해하여야 한다.
위치 특성은 제스처에 대응할 수 있다. 예를 들어, 위치 특성은 사용자가 신체 부위로 제스처를 할 때 사용자의 신체 부위(예를 들어, 손가락, 손, 주먹, 손목, 팔뚝 등의 중심)의 위치를 포함할 수 있다. 문맥에서 달리 지시하지 않는 한, 용어 "제스처"(본 명세서에서 사용됨)는 사용자의 신체 부분에 의해 이루어진 위치, 움직임 및/또는 구성을 지칭하며 손 제스처에 제한되는 것으로 해석되어서는 안 될 것이다. 비제한적인 예로서, 정전식 센서(30)는 손 제스처, 손가락 제스처, 센서(30)에 대한 신체 부위의 이동 각도(예를 들어, 접근), 신체 부위의 위치 등을 검출하도록 구성될 수 있다. 이러한 위치 특성은 대상 장치(50)에 대한 특정 비접촉식 입력을 결정하기 위해 (예를 들어, 컨트롤러(20)에 의해) 사용될 수 있다. 예를 들어, 터치 기반 인터페이스(50A)가 (예를 들어, 엘리베이터 제어 패널과 같은) 일련의 입력 버튼을 포함하는 경우, 이러한 위치 특성은 이러한 버튼 중 하나의 선택(예를 들어, 누르기)을 나타내는 비접촉식 입력을 결정하는 데 사용될 수 있다.
일부 실시예에서, 컨트롤러(20)는 입력 신호(14)에 기초하여 사용자 손의 일부로 이루어진 링 움직임을 포함하는 위치 특성을 검출하고 제어 신호(예를 들어, 제어 신호(16), 제어 신호(39) (아래에서 더 설명됨) 또는 제어 신호(43)(아래에서 더 설명됨))는 검출된 링 움직임에 기초하여 대상 장치(50)의 작동에 영향을 미친다. 일부 실시예에서, 컨트롤러(20)는 입력 신호(14)에 기초하여 임계 시간 기간 동안 움직임이 없는(임계값 내로) 사용자 손의 일부를 포함하는 위치 특성을 검출하고 제어 신호(예를 들어, 제어 신호(16), 제어 신호(39)(아래에서 더 설명됨) 또는 제어 신호(43)(아래에서 더 설명됨)는 검출된 움직임 부재에 기초하여 대상 장치(50)의 동작에 영향을 미친다. 일부 실시예에서, 컨트롤러(20)는 입력 신호(14)에 기초하여 디스플레이(60) 또는 디스플레이(22)의 일부에 대한 사용자 손의 일부 근접성을 포함하는 위치 특성을 검출하고(예를 들어, 적절한 시간 동안), 디스플레이(60) 또는 디스플레이(22)의 부분에 대한 사용자의 손 부분의 근접성에 기초하여 대상 장치(50)의 동작에 영향을 미치는 제어 신호(예를 들어, 제어 신호(16), 제어 신호(39)(아래에서 더 설명됨) 또는 제어 신호(43)(아래에서 더 설명됨))를 생성한다. 일부 실시예에서, 컨트롤러(20)는 입력 신호(14)에 기초하여 아이콘, 가상 버튼 등을 보여주는 패널의 표면과 같은 일반적으로 평면인 다른 표면의 일부에 대한 사용자 손의 일부 근접성을 포함하는 위치 특성을 검출하도록 구성된다(예: 적절한 기간 동안). 또한, 다른 평면의 부분에 대한 사용자 손의 부분의 근접성에 기초하여 대상 장치(50)의 동작에 영향을 미치는 제어 신호(예를 들어, 제어 신호(16), 제어 신호(39)(아래에서 더 설명됨) 또는 제어 신호(43)(아래에서 더 설명됨))를 생성한다. 비접촉식 감지 시스템(12)은 위치 및/또는 위치 및/또는 하나 이상의 이차 특성을 감지하기 위한 것이다. 이러한 보조 특성은 정전식 센서(30)에 의해 검출된 위치 특성과 상이할 수 있지만(즉, 추가적이거나 대안적일 수 있음), 반드시 필요한 것은 아니다. 그러한 보조 특성은 사용자 신체 일부의 보조 위치 특성(및/또는 보조 움직임 특성)을 포함할 수 있다. 이러한 신체 부위는 필수는 아니지만 기본 위치 특성과 관련된 신체 부위와 다를 수 있다. 보조 위치 특성은 신체 부위의 보조 제스처에 해당할 수 있다. 이러한 추가 센서(33)는 사용자 신체의 보조 위치 특성을 검출하면 보조 위치 센서 신호(들)를 생성할 수 있다.
보조 특성의 예는 제스처를 하는 사용자 신체 일부의 체적, 모양, 위치 및/또는 이동 각도(예: 접근)를 포함하지만 이에 제한되지 않는다. 이는 대상 장치(50)의 제어를 달성하기 위해 차례로 사용될 수 있는 개조 인터페이스 장치(10)에 대한 비접촉식 입력을 포함할 수 있다.
추가 센서(33)는 제1 정전식 센서(30)에 인접하여 위치할 수 있다. 제1 정전식 센서(30)와 추가 센서(33)는 서로 다른 감지 범위를 가질 수 있거나 서로 다른 다른 감지 특성을 가질 수 있다. 예를 들어, 추가 센서(33)는 제1 정전식 센서(30)의 감지 범위보다 더 넓고(예를 들어, 용량성 센서(30)가 구현되는 PCB에 대응하는 x-y 평면에서) 및/또는 더 멀리 도달하는 감지 범위(예를 들어, x-y 평면에 직교하는 z 방향에서)를 가질 수 있다. 일부 실시예에서, 제1 정전식 센서(30)의 검출 범위의 상당 부분(예를 들어, 75%, 90% 또는 100%)은 추가 센서(33)의 검출 범위 내에 위치한다. 다른 실시예에서, 제1 정전식 센서(30)의 검출 범위는 추가 센서(33)의 감지 범위와 겹치지 않는다.
일부 실시예에서, (비접촉식 감지 시스템(12)에서 컨트롤러(20)로의) 입력 신호(14)는 제1 정전식 센서(30)에 의해 생성된 위치 센서 신호 및 추가 센서(33)에 의해 생성된 보조 센서 신호 모두를 포함한다. 일부 실시예에서, 컨트롤러(20)는 제1 정전식 센서(30) 및 추가 센서(33)로부터 입력 신호(14)를 수신하고 컨트롤러(20)는 위치 특성 및/또는 이차 위치 특성을 결정하도록 구성된다. 컨트롤러(20)는 정전식 센서(30)로부터의 위치 센서 신호 및 추가 센서(33)로부터의 보조 센서 신호 중 하나 또는 모두에 기초하여 제어 신호(16) 및/또는 디스플레이 신호(18)를 생성하도록 구성될 수 있다.
일부 실시예에서, 컨트롤러(20)는 정전식 센서(30) 및 추가 센서(33) 모두로부터의 신호(14)에 기초하여 사용자의 신체 부분의 위치 특성을 결정하도록 구성된다. 예를 들어, 컨트롤러(20)는 추가 센서(33)로부터의 정보에 기초하여 정전식 센서(30)로부터의 정보를 처리(예를 들어, 스케일링, 필터링, 가중치, 그렇지 않으면 수정, 해석, 보정 등)하도록 구성될 수 있다. 일부 실시예에서, 컨트롤러(20)는 (추가 센서(33)로부터의) 보조 센서 신호에 기초하여 대상 장치(50) 부근에 사용자의 존재를 결정하도록 구성된다. 컨트롤러(20)는 대상 장치(50) 근처에 사용자의 존재 또는 부재의 결정에 기초하여 정전식 센서(30)로부터의 위치 센서 신호(14)를 보정하도록 구성될 수 있다. 컨트롤러(20)는 추가 센서(33)에 의해 검출된 위치 특성에 기초하여 및/또는 그러한 추가 센서(33)에 의해 생성된 출력 신호에 기초하여 정전식 센서(30)로부터의 위치 센서 신호(14)를 보정하도록 구성될 수 있다.
개조 인터페이스 장치(10) 및/또는 여기에 설명된 다른 개조 인터페이스 방법 및 장치는 일부 실시예에 따라 음성 검출 기술(마이크(예: 추가 센서(33)) 및 적절한 음성 감지 알고리즘(컨트롤러(20) 및/또는 별도의 컨트롤러에 프로그래밍 될 수 있음)을 포함하는 (예: AlexaTM, GoogleTM 및/또는 이와 유사한 것) - 예를 들어 적합한 기계 학습을 교육함으로써 또는 인공 지능 소프트웨어))을 포함할 수 있다. 이러한 음성 검출 기술은 비접촉식 정전식 센서(30)에 추가로 또는 이에 대한 대안으로 사용될 수 있다. 그러한 음성 검출 기술은 비접촉식 감지 시스템(12)의 일부로서(예를 들어, 추가 센서(33)로서) 및/또는 개조 인터페이스 장치(10)의 일부로서 일반적으로 포함될 수 있다. 이러한 음성 감지는 예를 들어 부저(buzzer) 번호, 이름, 번호판, 엘리베이터 레이어 번호, 도어 잠금 코드 등을 입력하는 데 사용될 수 있다.
일부 실시예에서, 개조 인터페이스 장치(10) 및/또는 본 명세서에 기술된 다른 개조 인터페이스 방법 및 장치는 광학 감지 시스템(40)을 포함할 수 있다. 광학 감지 시스템(40)은 도 1에 도시된 바와 같이 비접촉식 감지 시스템(12)의 일부(예를 들어 추가 센서(33))로 구현될 수 있다. 비록 이것이 필수적인 것은 아니며 광학 감지 시스템(40)은 개조 인터페이스 장치(10)의 독립형 구성요소일 수 있다. 광학 감지 시스템(40)은 하나 이상의 광학 센서(예를 들어, 열 카메라, 적외선 카메라, RBG 카메라, 비행 시간 카메라, 입체 카메라, 구조광 카메라, 3D 카메라 등)를 포함할 수 있다. 이러한 광학 센서는 사용자의 신체 부분에서 반사되는 전자기 복사의 변화(예: 사용자의 몸짓으로 인한 변화)에 민감할 수 있다.
유리하게는, 광학 감지 시스템(40)은 컨트롤러(20)가 보정할 수 있게 하여 정전식 센서(30)만을 사용하는 것과 비교할 때 사용자 신체 부위(예를 들어, 손가락)가 더 정확한 위치 특성을 얻을 수 있도록 구성될 수 있다. 광학 감지 시스템(40)은 (예를 들어, 컨트롤러(20)에 의해) 사용될 수 있는 신체 부분의 다양한 특성(예를 들어, 크기 및 모양, 왼쪽/오른손, 주먹/팔뚝 위치, 손의 각도 등) 중 임의의 것을 검출하여, 정전식 센서(30)로부터의 정보를 보정하거나 보상할 수 있다. 비제한적인 예로서, 광학 센서(40)는 다음을 확인하는 데 사용될 수 있다: 사용자가 특히 키가 큰 경우(따라서 정전식 센서(30)와 상호 작용할 때 손가락을 아래쪽으로 기울일 수 있음); 사용자의 팔뚝이 정전식 센서(30)에 상대적으로 가까움(따라서 특정 정전식 센서(30)로부터 수신된 신호의 진폭에 영향을 미치거나 감지 볼륨에서 물체의 질량 중심 추정이 손가락 끝이 아닌 사용자의 팔뚝 쪽으로 편향되어, 보상받을 수 있거나 보상받아야 함); 사용자가 자신의 왼손 또는 오른손으로 정전식 센서(30)의 감지 볼륨에 접근하거나 상호 작용하고 있음(컨트롤러(20)가 사용자 손가락의 위치 특성을 예측하기 위해 다른 왼손/오른손 기계 학습 추론 엔진을 사용하게 할 수 있음); 및/또는 기타.
일부 실시예에서, 컨트롤러(20)(및/또는 비접촉식 감지 시스템(12)과 연관된 추가 컨트롤러(미도시))는 위치 센서 신호(예를 들어, 정전식 센서(30)에 의해 생성된 신호) 및 보조 센서 신호(예를 들어, 광학 감지 시스템(40) 및/또는 제2 정전식 센서(35) 및/또는 일부 다른 추가 센서(33)에 의해 생성된 신호)를 포함하여 사용자 신체 부위의 위치 특성을 결정한다. 그러한 위치 센서 신호 및 보조 센서 신호는 입력 신호(14)의 일부일 수 있다. 컨트롤러(20)는 위치 센서 신호 및/또는 보조 센서 신호로부터 결정된 위치 특성에 기초하여 제어 신호(16) 및/또는 디스플레이 신호(18)를 생성하도록 구성될 수 있다. 예를 들어, 컨트롤러(20)는 이러한 위치 센서 신호 및/또는 보조 센서 신호로부터 결정된 위치 특성에 기초하여 복수의 잠재적인 제어 신호 중에서 제어 신호(16)를 선택하도록 구성될 수 있다.
일부 실시예에서, 광학 감지 시스템(40)은 개조 인터페이스 시스템(10) 및/또는 대상 장치(50) 부근에서 사용자의 존재(또는 존재의 부족)를 검출하거나 그렇지 않으면 확인하도록 구성된다. 이러한 실시예에서, 사용자의 존재를 검출한 후, 정전식 센서(30)는 소음 레벨 측정치를 기록하도록 구성될 수 있고 컨트롤러(20)는 측정된 배경 소음에 기초하여 시스템 교정(예를 들어, 일반적으로 정전식 센서(30) 및/또는 비접촉식 감지 시스템(12)의 다른 센서)을 수행할 수 있다.
광학 감지 시스템(40)은 선택적으로 레이저 방사선(예: 적외선 레이저 광, 근적외선 레이저 또는 기타 가시광선)을 방출하는 하나 이상의 레이저 및 방출된 레이저 방사선을 감지하기 위한 하나 이상의 검출기(예: 광 검출기)를 포함할 수 있다. 예를 들어, 광학 감지 시스템(40)은 사용자의 신체 부분(예를 들어, 몸짓을 하는 신체 부분)으로부터 반사된 레이저 방사선을 수신하도록 위치된 검출기를 포함할 수 있다. 광학 감지 시스템(40)은 방출된(예를 들어, 반사된) 레이저 방사선을 수신하도록 위치된 적절한 광학 장치를 포함할 수 있다. 일부 실시예에서, 광학 감지 시스템(40)의 하나 이상의 레이저는 개조 인터페이스 장치(10)의 1차 센서로서 사용하도록 적응될 수 있다. 광학 감지 시스템(40)은 본 명세서에 기술된 정전식 센서(30) 대신에 사용될 수 있다.
일부 실시예에서, 광학 감지 시스템(40)은 본 명세서에서 검출 평면으로 지칭될 수 있는 레이저 방사선의 2차원 평면을 생성하도록 구성된다. 2차원 검출 평면은 다음의 법선 벡터에 실질적으로 평행한(예를 들어, 10° 또는 15° 이내로) 법선 벡터를 가질 수 있다: (개조 인터페이스 장치(10)의) 디스플레이(60) 또는 디스플레이(22)(또는 대상 장치(50))의 평면; 디스플레이(60) 또는 디스플레이(22)의 외부 표면에 접하는 평면; 및/또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 일부 다른 표면에 접하는 평면(예를 들어, 아이콘, 가상 버튼 등이 표시되는 평면). 이 2차원 감지 평면은 다음에 인접해 있을 수 있다(하지만 이격되어 있음): 디스플레이(60, 22)의 평면, 디스플레이(60, 22)에 접하는 평면 및/또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 표면에 접하는 평면. 일부 실시예에서, 이 2차원 검출 평면은 일반적으로 평면인 다른 표면(예를 들어, 아이콘 등의 이미지로 장식된 패널)에 인접하게(그러나 이격되어) 위치할 수 있다. 이 2차원 검출 평면 상의 위치는 한 쌍의 적절한 좌표(예: 직교 x 및 y 좌표의 데카르트 집합)로 특징지어질 수 있다. 컨트롤러(20)는 신체 부위가 2차원 검출면과 교차한 위치를 나타내는 보조 센서 신호(예를 들어 광학 감지 시스템에 의해 생성된 신호 40)에 기초하여 사용자 신체 부위의 x 좌표 및 y 좌표를 추정하도록 구성될 수 있다.
광학 감지 시스템(40)은 정전식 센서(30)에 인접하게(또는 그에 대한 어떤 다른 적절한 위치에) 위치될 수 있다. 광학 감지 시스템(40)은 정전식 센서(30), 디스플레이(60), 디스플레이(22) 및/또는 일부 다른 일반적으로 평평한 표면으로부터 구성 가능한 거리에 위치한 위치에서 사용자 신체 부분(예: 손가락)의 교차점을 감지하도록 구성될 수 있다. 광학 감지 시스템(40)은 정전식 센서(30), 디스플레이(60), 디스플레이(22) 및/또는 일부 다른 일반적으로 평평한 표면으로부터 구성 가능한 거리(즉, x-y 방향에 직교하는 z-방향)에 위치한 위치(예: 감지 평면의 x 및 y 위치)에서 사용자의 신체 부분(예를 들어, 손가락)의 교차점을 감지하도록 구성될 수 있다. 정전식 센서(30)는 손가락이 검출 평면을 향해 접근하는 동안 손가락의 직교 z-좌표를 검출할 수 있다. 정전식 센서(30)는 또한 손가락(또는 다른 신체 부위)의 가로(x-y) 좌표를 감지할 수 있지만, 정전식 센서(30)에 의해 측정된 가로 좌표는 광학 감지 시스템(40)에 의해 감지된 가로 좌표에 비해 상대적으로 거칠(coarse) 수 있다. 광학 감지 시스템(40)에 의해 검출된 y-좌표는 디스플레이(60), 디스플레이(22) 및/또는 일부 다른 일반적으로 평면인 표면 상의 특정 x- 및 y-좌표에 디스플레이될 수 있는 특정 입력(예를 들어, 가상 버튼)의 선택과 연관될 수 있다 . z-좌표의 검출은 비접촉식 감지 시스템(12)이 사용자의 다음 선택을 예측하는 데 도움이 될 수 있다. 비제한적인 예로서, z-좌표는 "가상 클릭" 검출 알고리즘의 일부로서 컨트롤러(20)에 의해 사용될 수 있다(예를 들어, 사용자가 가상 버튼을 비접촉식으로 누르거나 클릭하려고 하는지 또는 사용자의 신체 일부가 감지 시스템(12)의 감지 볼륨 내에서 단순히 머뭇거리는지 여부를 확인하기 위해). 이러한 가상 버튼과의 사용자 상호 작용 감지는 아래에서 더 자세히 설명된다. 다른 예로서, z-좌표는 사용자의 신체 부분이 검출되고 있음을 나타내기 위해 (예를 들어, 적절한 피드백 메커니즘(55)을 통해) 사용자에게 피드백을 제공하는 데 사용될 수 있다. 정전식 센서(30) 및 x, y 및 z 좌표를 검출하는 이들의 능력은 검출 평면에 대한 접근 각도를 결정하는 데 사용될 수 있다. 이러한 접근 각도는 "가상 클릭" 검출 알고리즘의 일부로서 광학 감지 시스템(40)으로부터의 보다 정확한 횡단(x-y) 정보와 함께 사용될 수 있다. 이러한 가상 버튼과의 사용자 상호 작용 감지는 아래에서 더 자세히 설명된다.
광학 감지 시스템(40)은 2차원 검출 평면의 공간적 위치 및/또는 방향을 제어하는 데 사용될 수 있는 다수의 선택적 특징을 포함할 수 있다. 예를 들어, 광학 감지 시스템(40)은 디스플레이(22)의 평면(또는 평면에 접하는 평면) 또는 터치 기반 입력(50A) 또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 일부 다른 적절한 표면 옆에 위치할 수 있는 하나 이상의 레이저 이미터를 포함할 수 있으며, 이러한 평면의 법선과 평행한 방향으로 직접 복사한다. 이러한 구현에서, 광학 감지 시스템(40)은 선택적으로 하나 이상의 거울(방출된 방사선의 반사를 위해 최적화 됨)을 포함할 수 있다. 미러는 디스플레이(22)의 평면 또는 터치 기반 입력(50A) 또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 어떤 다른 적절한 표면에 평행한 검출 평면을 형성하기 위해 방사선 방출 방향에 대해 약 90º 각도인 방향으로 레이저 방사선을 반사하도록 방출된 레이저 방사선 방향에 대해 약 45º 각도로 배향된다. 광학 감지 시스템(40)은 원하는 위치 및/또는 방향에서 원하는 검출 평면을 제공하기 위해 거울 모양/크기 및/또는 다른 배치 각도의 다른 조합 및/또는 다른 광학 요소(예: 렌즈, 도파관 등) 의 다른 조합을 포함할 수 있다. 광학 감지 시스템(40)은 NeonodeTM zForce sensorTM와 같은 상업적으로 이용 가능한 레이저 기반 광학 센서를 포함할 수 있다.
도 3a 내지 도 3c는 하나 이상의 정전식 센서(30)를 포함하는 비접촉식 감지 시스템(12) 및 복수(예를 들어 2개)의 광학 센서(42A, 42B)(집합적으로, 광학 센서(42))를 포함하는 광학 감지 시스템(40)을 개략적으로 도시한다. 이는 개조 인터페이스 장치(10)(도 1) 및/또는 특정한 예시적 실시예에 따라 본 명세서에 기술된 다른 개조 인터페이스 방법 및 장치와 함께 사용될 수 있다. 도 3a 내지 도 3c의 예시된 실시예에서, 광학 센서(42A, 42B)는 정전식 센서(30)의 감지 영역(32) 방향으로 (또는 교차하도록) 방사선을 향하도록 광학적으로 배향된다. 도 3a 내지 도 3c에 도시된 바와 같이, 광학 센서(42)는 각각 방사선을 방출하기 위한 방사선 소스 및 방출된 방사선의 경로에 있는 임의의 물체로부터 반사된 방사선을 수신하기 위한 방사선 수신기(예를 들어, 광검출기, 수신 다이오드 등)를 포함한다. 문맥상 달리 지시하지 않는 한, "광학적으로 지향된"(본 명세서에서 사용됨)이라는 용어는, 본 명세서에 기술된 광학 센서(42)(또는 광학 감지 시스템(40)의 다른 센서)가 임의의 수(예를 들어, 0, 1, 2, 3 등)의 방사선원으로부터의 방사선을 광학적 배향 방향으로 형성, 위치 지정 및/또는 배향시키기 위해 위치한 적절한 광학 요소(예: 렌즈, 거울, 도파관 등)를 포함하는 것으로 해석되어야 한다.
도 3a에 도시된 데카르트 축을 사용하여 도시된 바와 같이, 방사선 센서(42)는 정전식 센서(30)의 좌표계에 대해 함께 물체(예를 들어, 손가락)의 x-위치 및 y-위치를 검출하도록 배향되거나 그렇지 않으면 구성될 수 있다. 예를 들어, 도 3a에 도시된 실시예에서, 센서(42B)는 x' 위치 및 y' 위치 도 3a의(x', y', z' 축 참조)를 감지할 수 있고 센서(42A)는 x' 위치 및 y' 위치 그림 3A의(x", y", z" 축 참조)를 감지할 수 있다. 이들 검출된 위치(x', y') 및 (x", y") 중 하나 또는 둘 다에 대해, 정전식 센서(30)의 좌표 프레임에서 x-위치 및 y-위치를 결정하기 위해 적절한 기하학적 (예를 들어, 컨트롤러(20) 및/또는 광학 센서(42) 또는 비접촉 감지 시스템(12)과 관련된 컨트롤러에 의해) 계산이 사용될 수 있다( 도 3a, 3B의 x, y, z축 참조). 즉, 광학 감지 시스템(40)은 횡방향(x'-y') 및/또는 (x"-y") 위치에 기초하여, 광학 센서(42)에 의해 검출된 정전식 센서(30)에 대한 물체의 횡방향(x-y) 위치를 결정하도록 구성될 수 있다.
전술한 바와 같이, 광학 감지 시스템(40)(예를 들어, 광학 센서(42))은 정전식 센서(30)에 대한 물체(예를 들어, 손가락)의 x-위치 및 y-위치를 정확하게 결정할 수 있다. 반면 정전식 센서(30)는 정전식 센서(30)에 대한 물체의 거리(즉, 정전식 센서(30)의 좌표 프레임에서 물체의 z-위치)를 정확하게 검출할 수 있다. 이러한 방식으로, 광학 감지 시스템(40) 및 정전식 센서(30)는 서로를 보완할 수 있다. 사람의 손가락과 같은 물체가 광학 감지 시스템(40)의 감지 영역(5)에 들어갈 때(예를 들어, 도 3b에 도시된 비접촉식 감지 시스템(12)의 하나 이상의 감지 평면(6)과 교차하거나 그렇지 않으면 광학 센서(42)(도 3b 참조)에 의해 정의된 광학 센서 감지 구역 5)에 진입함), 광학 감지 시스템(40)은 방사선 방출 센서(42)로부터의 정보에 기초하여 용량성 센서(30)에 대한 물체의 x-위치 및 y-위치를 결정하도록 구성될 수 있다.
광학 센서(42)의 감지 영역(5)은 정전식 센서(30)의 감지 영역(32)과 다를 수 있으므로, 경우에 따라 물체가 정전식 센서(30)의 감지 영역(32) 내에 올 때까지 및/또는 물체가 비접촉식 감지 시스템(12)의 감지 평면(6)과 교차할 때까지 개체의 x 위치 및 y 위치가 먼저 결정되고 추적되거나 임시로 저장될 수 있다. 일부 실시예에서, 물체의 z-위치는 광학 감지 시스템(40)에 의해 물체의 x-위치 및 y-위치가 결정된 후에 정전식 센서(30)에 의해 검출된다. 다른 실시예에서, 물체의 z-위치는 물체의 x-위치 및 y-위치가 광학 감지 시스템(40)에 의해 결정되기 전에 정전식 센서(30)에 의해 검출된다. 일부 실시예에서, 비접촉식 감지 시스템(12)은 객체의 z-위치가 정전식 센서(30)로부터 및/또는 디스플레이(22)의 표면(또는 디스플레이(22)에 접하는 평면)과 같은 일부 다른 기준 표면으로부터 구성 가능한 임계 거리에 도달한 후 물체의 x-위치 및 y-위치를 등록하도록 구성된다(광학 감지 시스템(40)에 의해 검출됨). 를 들어, 비접촉식 감지 시스템(12)은 물체가 검출 평면(6)과 교차할 때 x-, y-위치를 등록하도록 구성될 수 있다. 이 임계값 z 거리(x, y 위치가 등록되는 거리)는 정전식 센서(30)에 의해 평가될 수 있다. 일부 실시예에서, 컨트롤러(20) 또는 비접촉식 감지 시스템(12)과 연관된 일부 다른 컨트롤러는 결정(예를 들어, 등록된 x-, y-위치에 기초한 제스처 또는 특정 제스처의 검출)을 하도록 구성될 수 있다.
일부 실시예에서, 작동 평면(6)은 정전식 센서(30)에 대해 및/또는 디스플레이(22)의 표면 또는 디스플레이(22)에 접하는 평면과 같은 일부 다른 기준 표면으로부터 고정된 위치에 정의된다 - 예를 들어 광학 센서(42A, 42B)에 의해 방출된 방사선(5)이 교차하는 위치에 대응하는 거리에서). 다른 실시예에서, 작동 평면(6)의 위치는 컨트롤러(20) 또는 비접촉 감지 시스템(12)과 관련된 일부 다른 컨트롤러의 적절한 프로그래밍(또는 사용자 구성)에 의해 조정될 수 있다.
도 3c는 특정 실시예에 따른 용량성 센서(30) 및 광학 감지 시스템(40)의 예시적인 배열을 개략적으로 도시한다. 도 3c에 도시된 예에서, 비접촉 감지 시스템(12)은 용량성 센서(30)와 동일한 평면에 있을 수 있는 위치로부터 방사선을 방출하도록 광학적으로 배향된 복수(예를 들어, 2개)의 광학 센서(42A, 42B)(집합적으로, 광학 센서(42))를 포함한다. 일부 실시예에서, 광학 센서(42) 및 용량성 센서(30)는 통합 모듈의 일부로서(예를 들어, 태블릿 장치와 같은 형상을 갖는 얇은 슬레이트의 일부로서) 형성된다. 일부 실시예에서, 광학 센서(42) 및 정전식 센서(30)는 광학 센서(42) 및 정전식 센서(30)의 상대 위치를 고정하기 위해 수지와 같은 매체(44)에 캡슐화된다. 매체(44)는 광학 센서(42)의 파장에서 투명할 수 있다. 일부 실시예에서, 매체(44)는 광학 센서(42)에 의해 방출된(및/또는 수신된) 방사선의 경로에 광학 요소를 제공하여 이러한 방사선을 형성, 위치 및/또는 배향할 수 있다. 매체(44)는 유리 또는 석영을 포함할 수 있다. 일부 실시예에서, 용량성 센서(30)는 ITO(Indium Tin Oxide)와 같은 투명 전도성 재료를 사용하여 형성되고 유리 매질(44)에 위치하고 광학 센서(42)는 유리 뒤에 원하는 각도로 배향된다. 유리하게는, 유리 매질(44)은 용량성 센서(30) 및 광학 감지 시스템(40)을 둘러싸서 다른 표면(예를 들어, 벽 또는 수평 표면)에 플러시(flush) 장착될 수 있는 평평한(비돌출) 디자인을 형성하는 데 사용될 수 있다. 이러한 매립형 장착은 표면(장착되는 벽 또는 수평면)에서 멀리 돌출하는 종래 기술의 광학 설계와 대조된다. 이 플러시 디자인은 예를 들어 개조 인터페이스 장치의 조작을 방지할 수 있다.
도 3a-3C를 참조하면, 일부 실시예에서 제2 정전식 센서(35)(도 3a-3C에는 도시되지 않음)는 제1 정전식 센서(30)에 인접하게 위치될 수 있다. 그리고 제1 용량성 센서(30)와 상호 작용하는 사용자의 손을 감지하도록 배향된다. 제2 정전식 센서는 제2 거리 추정치(좌표)를 검출할 수 있으며, 이는 제1 정전식 센서(30)에 대한 물체(손/손가락)에 관한 다른 정도의 정보를 제공한다. 이 정보는 보조 센서의 알려진 방향과 함께 손/손가락의 방향을 결정하는 데 도움이 될 수 있다. 이는 사용자가 상호 작용하려고 하는 특정 입력(예: 특정 가상 버튼)을 식별하는 데 유용한 추가 정보를 제공할 수 있다.
추가적인 광학 센서(도 3a 내지 도 3c에 도시되지 않음)는 기존의 광학 센서(42A, 42B) 위에 적레이어함으로써 배치되어 검출된 물체의 더 많은 커버리지 및 정확도를 제공할 수 있다. 추가 광학 센서를 활용하여 물체의 방향을 결정하고 추가 분석을 위한 추가 깊이 정보를 제공할 수 있다. 가상 버튼이나 다른 비접촉 입력을 향한 손가락 동작의 다른 지점에서 트리거되는 각도가 다른 광학 센서를 상상할 수 있다. 이를 통해 '탭 벡터' 또는 궤적을 결정할 수 있으며 이 정보를 사용하여 사용자가 선택하려고 하는 가상 버튼을 결정할 수 있다. 예를 들어 손가락이 '2'에 해당하는 가상 버튼 위에 위치하지만 오른쪽을 가리키고 있을 수 있다. 따라서 컨트롤러(20)는 탭 벡터의 각도가 충분하면 (적절한 소프트웨어에 의해) 사용자가 '3'을 클릭하려고 했다고 결정하도록 구성될 수 있다. 추가로 또는 더 많은 광학 센서를 제공하는 것에 대한 대안으로서(예를 들어, 광학 센서(42A, 42B)에 더하여), "탭-벡터"를 결정하기 위해 다른 센서 및 기술이 사용될 수 있다. 이러한 추가적인 또는 대안적인 기술은 (예를 들어, 가상 평면에서 멀어지는 제1 및 제2 임계 거리(z-좌표 거리)의 교차를 검출할 때) 용량성 센서로부터의 정보에 기초하여 제1 및 제2 3차원 위치 추정에 기초하여 탭-벡터를 결정하는 것을 제한 없이 포함할 수 있다. 이와 관련하여 용량성 센서는 가로(x, y) 좌표를 감지할 수 있지만 이러한 가로 좌표는 광학 센서(40)에 의해 감지된 것보다 덜 정확할 수 있다. 이러한 추가적인 또는 대안적인 기술은 제한 없이 가상 버튼의 평면으로부터 떨어진 용량성 센서(30)로부터의 정보에 기초한 (예를 들어, 가상 버튼의 평면으로부터 떨어진 제1 임계값(z-좌표) 거리의 교차를 감지할 때) 제1의 3차원 검출 및 광학 센서(40)로부터의 정보에 기초한 횡방향 정보(x, y) 좌표 및 용량성 센서(30)에 의해 결정된 z-좌표에 기초한 제2의 3차원 검출에 기초하여 탭-벡터를 결정하는 것을 포함할 수 있다. 이들 탭-벡터 추정 기법들 중 임의의 것에서, 적절한 시간적 임계값이 탭을 구별하는 것과 관련된 또 다른 기준으로 사용될 수 있다.
광학 센서(40)(예를 들어, 센서(42A, 42B)와 유사)는 한 번에 여러 지점을 감지할 수 있다. 여러 지점 또는 단일 지점으로 작업하려는 사용자의 의도는 광학 센서의 감지 영역에 들어가는 물체의 임계 시간 프레임 내에서 결정될 수 있다. 임계 시간 프레임 내에서 얼마나 많은 포인트가 검출되는지에 따라, 광학 센서(40)는 단일 포인트 또는 다중포인트 작동 모드에 들어갈 수 있다. 멀티포인트 정확도는 상술한 바와 같이 (즉, 도 3a-3c에 도시된 센서(42A, 42B)에 더하여) 추가 광학 센서(들)로 더 잘 수행될 수 있다. 멀티포인트 감지는 핀치 투 줌 및 핀치 투 팬과 같은 두 손가락 제스처에 사용할 수 있다.
광학 센서(40)(예를 들어, 광학 센서(42A, 42B))의 범위 및 정확도의 추가 개선은 광학 센서의 검출 평면이 각도 범위 사이에서 진동하도록 함으로써(예를 들어, 회전 액추에이터 등을 사용하여) 달성될 수 있다. 이러한 진동 검출 평면은 광학 센서 자체가 용량성 센서(30)로부터 얻은 z-방향 정보에 더하여 깊이(z 방향) 정보를 갖도록 허용한다. 이러한 진동 감지 평면은 또한 고정된 깊이가 아닌 다른 물체 깊이(즉, 다른 z 좌표)에서 가로 x-y 위치를 얻을 수 있게 한다.
일부 실시예에서, 컨트롤러(20)는 인간 사용자의 시선 벡터 및/또는 비접촉식 감지 시스템(12)으로부터의 입력 신호(14)에 기초하여 인간 사용자와 디스플레이(60) 사이의 거리를 추정하도록 구성된다. 컨트롤러(20)는 사용자의 손 부분(예를 들어, 주먹, 손목, 팔뚝 등)의 위치 추정 및/또는 사용자 손 부분의 접근 각도 추정에 기초하여 시선 벡터를 추정하도록 구성될 수 있다. 경우에 따라 시선 벡터는 사용자의 머리/몸통 위치를 기준으로 추정할 수도 있다. 그러한 시선 추정을 하기 위한 정보는 비접촉 감지 시스템(12)에 의해 제공될 수 있다.
사용자의 시선 및/또는 위치는 경우에 따라 추가 시선 센서(예: 정전식 센서, 광학 센서, 카메라 등(미도시))를 사용하여 감지할 수 있다. 비접촉식 감지 시스템(12)의 일부로 제공될 수 있다. 예를 들어, 적절한 광학 센서를 사용하여 사용자의 머리 자세, 시선, 손 사용 여부(예: 왼손 또는 오른손)를 감지할 수 있다. 일부 실시예에서, 용량성 센서(30)는 사용자의 위치 및/또는 사용자 손의 일부 접근 각도를 감지하는 데(예를 들어 기계 학습 알고리즘을 사용하여) 사용될 수 있다. 일부 실시예에서, 시선 센서는 개조 인터페이스 장치(10)(또는 그 특정 부분)의 높이를 결정하도록 구성된 높이 또는 고도 센서(예를 들어, 레이저 기반 센서)를 포함한다. 이러한 실시예에서, 사용자의 시선은 개조 인터페이스 장치(10)의 높이와 함께 인간의 평균 키에 기초하여 추정될 수 있다. 이 높이 정보는 위에서 설명한 다른 감지 값과 함께 사용하여 사용자의 시선을 추정할 수 있다.
도 1을 다시 참조하면, 개조 인터페이스 장치(10)(예를 들어, 컨트롤러(20))는 제어 신호(16)를 사용하여 대상 장치(50)의 제어 시스템(51)과 직접 통신하도록 연결될 수 있다. 이러한 방식으로, 개조 인터페이스 장치(10)는 대상 장치(50)의 기존 터치 기반 입력(50A) 및 그 입력 신호(19)의 입력 기능을 대체하거나 보완(즉, 대안을 제공하거나 추가)할 수 있다. 일부 실시예에서, 개조 인터페이스 장치(10)는 하나 이상의 적합한 통신 프로토콜(예를 들어, USB, SPI, I2C, CAN, RS-232, Serial 등)과의 배선을 포함한다. 새로 장착된 인터페이스 장치(10)의 배선은 대상 장치(50)와의 용이한 통합을 위해 연결하기 쉬운 패키지로 제공될 수 있으며, 대상 장치(50)는 하나 이상의 대응하는 통신 프로토콜과의 배선을 포함한다. 예를 들어, 대상 장치(50)의 기존 터치 기반 입력(50A)이 USB 마우스 또는 유사한 USB 입력 장치인 경우, 개조 인터페이스 장치(10)는 대상 장치(50)에 비접촉 입력 기능을 제공하기 위해 대상 장치(50)의 USB 잭에 직접 연결할 수 있다. 개조 인터페이스 장치(10)와 표적 장치(50)의 연결은 추가적으로 또는 대안적으로 표적 장치(50)의 기존 전기 노드(미도시)에 결합함으로써 달성될 수 있다. 예를 들어, 이러한 전기 노드는 터치 기반 입력(50A)이 제어 시스템(51)에 연결되는 노드와 동일한 노드를 포함할 수 있다. 일부 실시예에서, 터치 기반 입력(50A)의 연결은 그러한 전기 노드로부터 분리될 수 있어서, 개조 인터페이스 장치는 터치 기반 입력(50A)의 기능을 터치 없는 입력으로 대체하지만, 이것이 반드시 필요한 것은 아니다.
개조 인터페이스 장치(10)의 설계는 여러 확장 가능한 형태를 취할 수 있다. 개조 인터페이스 장치(10)의 일부 실시예는 제조자, OEM 제3자 또는 최종 사용자가 단일 '블록' 유닛을 더 큰 유닛에 연결하여 더 큰 터치 기반 인터페이스를 커버할 수 있게 하는 모듈식 설계를 포함한다. 단일 유닛은 가로등 신호인 대상 장치(50)(단일 버튼만 가지고 있는 반면, 대상 장치(50)가 키패드가 있는 인터콤 시스템을 포함하는 경우 3x4 그리드로 결합된 12개의 유닛이 사용될 수 있음)에 적용할 수 있다. 이 모듈식 설계는 각 모듈식 블록이 용량성 센서, 시각적 또는 촉각적 피드백을 위한 방법 및 TAC를 포함할 수 있음을 의미하지만 일부 이러한 구현은 모듈식 블록 간에 이러한 일부 구성 요소를 공유할 수 있다.
도 1a는 본 발명의 다른 예시적인 실시예에 따른 개조 인터페이스 장치(10A)의 개략도이다. 상술한 개조 인터페이스 장치(10)와 같이, 개조 인터페이스 장치(10A)는 (터치 기반 입력(50A)을 포함하는) 대상 장치(50)에 개조되어 대상 장치(50)에 비접촉 입력을 제공한다. 제어 신호(16)를 사용하여 대상 장치(50)와 인터페이싱하는 대신(또는 선택적으로 추가하여)(개조 인터페이스 장치(10)의 경우와 같이 - 도 1 참조), 개조 인터페이스 장치(10A)는 대상 장치(50)의 터치 기반 입력(50A)과 물리적으로 상호 작용한다. 개조 인터페이스 장치(10A)는 또한 선택적으로 디스플레이 신호(18)를 사용하여 대상 장치의 디스플레이(22)와 통신할 수 있다. 액추에이터(37)는 본 명세서에서 단수 또는 복수로 언급될 수 있으며, 개조 인터페이스 장치(10A)는 하나 이상의 액추에이터(37)를 포함할 수 있음을 이해해야 한다. 액추에이터(37)는 컨트롤러(20)로부터 액추에이터 제어 신호(39)를 수신하기 위해 개조 인터페이스 장치(10A)의 컨트롤러(20)에 연결될 수 있다. 액추에이터 제어 신호(39)는 액츄에이터(37)의 이동을 제어하기 위해 컨트롤러(20)에 의해 사용될 수 있다. 개조 인터페이스 장치(10A)는 또한 액추에이터 제어 신호(39)에 응답하여 액추에이터(37)를 구동하는 데 사용될 수 있는 전원, 증폭기 등과 같은 적절한 액추에이터 구동 회로(명시적으로 도시되지 않음)를 포함할 수 있다. 액추에이터(37)는 액추에이터 제어 신호(39)에 응답하여 대상 장치(50)의 터치 기반 입력(50A)과 물리적으로 상호 작용하도록 이동할 수 있으며, 이로써 대상 시스템(50)에 (사용자의 관점에서) 비접촉 입력을 제공할 수 있다.
새로 장착된 인터페이스 장치(10A)의 액추에이터(37)는 대상 장치(50)의 터치 기반 입력(50A)에 밀고, 당기고, 미끄러지고, 회전하거나 그렇지 않으면 물리적으로 상호작용하고/하거나 힘을 가할 수 있다. 대상 장치(50)의 터치 기반 입력(50A)은 많은 형태를 포함할 수 있으며, 결과적으로 액추에이터(37)는 특정 터치 기반 입력(50A)과 상호 작용하는 데 바람직한 다양한 유형의 액추에이터(37)를 포함할 수 있다. 비제한적인 예로서, 액추에이터(37)는 키패드 버튼을 누르거나, 다이얼이나 손잡이를 돌리거나 당기거나 누르거나, 문 손잡이를 돌리거나, 래치 또는 슬라이더 입력을 밀거나 터치 센서 등을 터치하는데 사용될 수 있다. 액추에이터(37)는 대상 장치(50)의 터치 기반 입력(50A)과 적절한 방식으로 상호 작용하도록 대상 장치(50)에 대해 적절하게 위치될 수 있다.
일부 실시예에서, 대상 장치(50)의 터치 기반 입력(50A)은 터치스크린 인터페이스를 포함하고 액추에이터(37)는 (예를 들어, 전도성 스타일러스, 팁 등으로) 터치스크린 인터페이스를 터치하는 데 사용될 수 있다. 이러한 일부 실시예에서, 액추에이터(37)는 입력이 제공될 수 있는 터치스크린의 일부(예를 들어, 일반적으로 터치 버튼, 키패드 또는 키보드가 나타나는 부분)와 상호작용하도록 위치, 위치 및/또는 크기로 이동됨으로써, 터치스크린 인터페이스의 다른 부분의 가시성이 액추에이터(37)에 의해 차단되지 않도록 한다.
일부 실시예에서, 액추에이터(37)는 모터, 솔레노이드, 선형 액추에이터, 유압 액추에이터, 압전 액추에이터 등과 같은 전력에 의해 구동되는 전기 기계 액추에이터를 포함할 수 있다. 개조 인터페이스 장치(10A)의 일부 실시예는 일련의 터치 기반 입력(50A)을 포함하는 대상 장치(50)에 개조하기 위한 일련의 액추에이터(37)를 포함할 수 있다. 액추에이터(37)의 일 예시적인 실시예는 솔레노이드 또는 모터의 이산 매트릭스 어레이를 포함한다 - 그리드 형태로 배열되고 터치 기반 입력(50A)의 대응하는 버튼을 누르기 위해 위치되거나 배치될 수 있음 -예를 들어 키패드 버튼, 키보드 버튼, 터치스크린 가상 버튼 등. 이러한 일부 실시예에서, 액추에이터(37)와 터치 기반 입력(50A)의 개별 입력(예를 들어, 버튼, 가상 버튼, 터치 스크린 위치 등) 사이에 일대일 대응이 있을 수 있지만, 이것이 반드시 필요한 것은 아니다. 일부 실시예에서, 하나의 액추에이터(37)는 터치 기반 입력(50A)의 하나 이상의 개별 입력(예를 들어, 버튼, 가상 버튼, 터치 스크린 위치 등)과 상호 작용하기 위해 위치 지정, 위치로 이동, 크기 지정 및/또는 다른 방식으로 사용될 수 있다. 일부 실시예에서, 액추에이터(37)는 터치 기반 입력(50A)에 대한 이동을 위해 지원된다. 예를 들어, 액추에이터(37)는 이동 가능한 갠트리(gantry) 또는 이동 가능한 헤드가 있는 프레임워크에서 지지될 수 있으므로, 액추에이터(37)는 터치 기반 입력(50A)(또는 그 일부)과의 상호 작용을 용이하게 하기 위해 터치 기반 입력(50A) 부근으로 이동될 수 있다. 예를 들어, 액추에이터(37)는 '갠트리'에 지지된 솔레노이드의 그리드 배열, 움직일 수 있는 헤드가 있는 프레임워크 등을 포함할 수 있으므로 솔레노이드의 그리드가 키패드 버튼에 인접하게 배치되어 누를 수 있다. 일부 실시예는 터치 기반 입력(50A)의 개별 입력과 상호 작용하기 위해 하나 이상의 적절한 액추에이터(37)를 배치하기 위해 자기장 및/또는 전기장의 사용을 포함하는 적절한 시스템을 사용할 수 있다.
개조 인터페이스 장치(10A)는 솔레노이드 액추에이터(37)를 포함할 수 있다. 솔레노이드 액추에이터(37)는 각각의 코일 내부에 자기장을 생성하기 위해 전류의 변화를 이용하는 하나 이상의 솔레노이드를 포함하며, 이는 다시 선형 운동을 생성한다. 작동 시 솔레노이드 내부에 있는 금속 막대가 코일 밖으로 밀려나거나 코일 안으로 당겨질 수 있다. 개조 인터페이스 장치(10A)는 일부 실시예에서 이산(예를 들어, 독립적으로 제어 가능한) 솔레노이드 액추에이터(37)의 매트릭스를 포함할 수 있다. 비제한적인 예로서, 대상 장치(50)의 터치 기반 입력(50A)의 버튼(또는 가상 버튼)에 인접하게 배치된 솔레노이드 액추에이터(37)의 그리드 배열은 주어진 버튼을 누를 수 있을 것이다. 솔레노이드 액추에이터(37)는 모터 기반 액추에이터(37)와 비교할 때 콤팩트한 기계적 설계를 가질 수 있다.
개조 인터페이스 장치(10A)는 추가로 또는 대안적으로 모터 기반 작동기(37)를 포함할 수 있다. 예를 들어, 모터 기반 액추에이터(37)는 대상 장치(50)의 터치 기반 입력(50A)을 밀거나, 당기거나, 선형으로 작동시키거나, 회전시키는 하나 이상의 서보, DC 또는 스테퍼 모터를 포함할 수 있다. 모터 기반 액추에이터(37)는 각각의 모터에 의해 생성된 힘의 방향, 전력, 속도 및/또는 기타 특성을 조작하기 위한 적절한 메커니즘을 포함하거나 장착할 수 있다. 이러한 메커니즘을 포함하거나 갖춘 모터 기반 액추에이터(37)는 예를 들어 터치 기반 입력(50A)의 버튼을 누르거나 기어 세트(예: 기어 트레인)를 회전시키는 선형 힘을 생성하는데 활용됨으로써, 터치 기반 입력 50A의 도어 핸들을 돌리기에 충분한 전력 및/또는 범위를 생성한다. 모터 기반 액추에이터(37)는 솔레노이드 기반 액추에이터(37)와 비교할 때 전력 효율이 더 높을 수 있다.
앞서 언급한 바와 같이, 액추에이터(37)는 솔레노이드 및/또는 모터에 제한되지 않는다. 다른 적합한 액추에이터(37)는 비제한적인 예로서, 선형 액추에이터, 유압/공압식 액추에이터, 압전 액추에이터, 열 액추에이터, 스프링 기반 액추에이터, 자기 액추에이터, 정전기 액추에이터 등을 포함할 수 있다. 도 9는 특정 실시예에 따른 복수의 선형 액추에이터(37)를 포함하는 개조 인터페이스 장치(10A)의 도 1a의 개략적인 분해도이다.
다른 측면에서 개조 인터페이스 장치(10A)는 여기에서 설명된 개조 인터페이스 장치(10)와 유사할 수 있다. 문맥에서 달리 구체적으로 지시하지 않는 한, 개조 인터페이스 장치(10)의 특징에 대한 참조는 개조 인터페이스 장치(10A)에 적용 가능한 것으로 이해되어야 한다.
도 1b는 다른 예시적인 실시예에 따른 개조 인터페이스 장치(10B)를 개략적으로 도시한다. 본 명세서에 기술된 개조 인터페이스 장치(10, 10A)와 같이, 개조 인터페이스 장치(10B)는 (터치 기반 입력(50A)을 포함하는)대상 장치(50)에 개조되어 대상 장치(50)에 비접촉 입력을 제공한다. 도 1b 실시예의 개조 인터페이스 장치(10B)의 경우, 대상 장치(50)의 터치 기반 입력(50A)은 터치스크린 입력(50B)을 포함한다. 제어 신호(16)(개조 인터페이스 장치(10)의 경우와 같이 - 도 1 참조)를 사용하거나 움직이는 액추에이터(37)(개조 장치(10A)의 경우와 같이 - 참조)를 사용하여 대상 장치와 인터페이싱하는 대신(또는 선택적으로 추가하여) 도 1a에서, 개조 장치(10B)는 하나 이상의 터치 에뮬레이터(41)를 포함하며, 이는 사용자 신체의 터치를 에뮬레이트함으로써 대상 장치(50)의 터치스크린(50B)과 전기적으로 상호 작용하도록 제어될 수 있다. 개조 인터페이스 장치(10B)는 또한 선택적으로 디스플레이 신호(18)를 사용하여 대상 장치의 디스플레이(22)와 통신할 수 있다. 일부 실시예에서, 개조 인터페이스 장치(10B)는 선택적으로 터치 기반 입력(50A)과 상호 작용하기 위한 액추에이터(개량형 인터페이스 장치(10A)의 액추에이터(37)와 같은)를 포함할 수 있다.
터치 에뮬레이터(41)는 본 명세서에서 단수 또는 복수로 언급될 수 있으며, 개조 인터페이스 장치(10B)는 하나 이상의 터치 에뮬레이터(41)를 포함할 수 있음을 이해하여야 한다. 터치 에뮬레이터(41)는 컨트롤러(20)로부터 에뮬레이터 제어 신호(43)를 수신하기 위해 개량형 인터페이스 장치(10B)의 컨트롤러(20)에 연결될 수 있다. 에뮬레이터 제어 신호(43)는 터치 에뮬레이터(41)의 전기적 특성을 제어하기 위해 컨트롤러(20)에 의해 사용될 수 있다. 터치 에뮬레이터(41)는 에뮬레이터 신호(43)에 응답하여 대상 장치(50)의 터치 기반 입력(50A)(터치스크린(50B))과 전기적으로 상호 작용함으로써, 사람의 터치를 에뮬레이션하고 그에 따라 (사용자의 관점에서) 비접촉 입력을 대상 시스템(50)에 제공할 수 있다.
도 4a는 전형적인 대상 장치(50)의 전형적인 정전식 터치스크린(50B)을 개략적으로 도시한다. 터치스크린(50B)은 전형적으로 투명한 전도성 재료(예를 들어 인듐 주석 산화물(ITO))의 레이어로 코팅된다. 터치스크린(50B)이 전도성 요소(예: 사용자의 손가락)에 의해 접촉될 때, 로컬 전기적 특성(특히 로컬 전하, 로컬 커패시턴스 및/또는 로컬 전기장)이 터치 위치에서 변경된다. 이 터치 이벤트는 터치스크린(50B) 및/또는 대상 장치(50)의 제어 시스템(51)에 의해 관찰된다 (도 1b 참조).
도 4b는 특정한 예시적 실시예에 따른 터치 에뮬레이터(41)를 개략적으로 도시한다. 도 4b 실시예의 터치 에뮬레이터(41)는 투명 전도성 필름(45)의 하나 이상의 요소(예를 들어, 셀)를 포함한다. 투명 전도성 필름(45)의 하나 이상의 요소는 인듐 주석 산화물(ITO), 전도성 탄소 나노튜브, 그래핀, 폴리머 재료, 얇은 금속(예를 들어 은) 나노와이어 등을 차례로 포함할 수 있다. 투명 전도성 필름(45)은 터치스크린(50B)의 하나 이상의 영역에 인접하게(예를 들어, 적절한 상호작용 근접성 내에) 위치될 수 있다. 예를 들어, 투명 전도성 필름(45)은 터치스크린(50B)을 직접 덮을 수 있다(그리고 접촉할 수 있다). 투명 전도성 필름(45)은 제어 가능하고 선택적으로 접지(즉, 터치스크린(50B)의 접지 또는 터치스크린(50B)의 접지 전위에 충분히 가까운 접지)에 연결되어 로컬 전하, 로컬 커패시턴스 및/또는 로컬 전기장을 변경하고 따라서 터치스크린(50B)의 해당 영역에서 "터치"를 에뮬레이션한다. 예를 들어, 도 4b의 예시적인 예시 실시예에서, 투명 전도성 필름(45)은 복수의 셀(52)로 분할된다. 각각의 셀(52)은 터치스크린(50B)의 대응하는 영역과 직접적인 물리적 접촉(예를 들어, 전도성 접착제 또는 인가된 압력을 통해)에 있을 수 있다. 도 4b에 도시된 셀(52)의 수 및 터치스크린(50B)의 대응하는 영역의 수는 단지 예시를 위한 것이며 셀(52)의 수 및/또는 레이아웃은 상이한 실시예에서 상이할 수 있음을 이해할 것이다.
각각의 전지(52)는 전기 전도체(53)(예를 들어, 와이어, PCB 트레이스 등) 및 적합한 스위치(도 4b에서 스위치(54A-54L)(집합적으로, 스위치(54))로 도시됨)를 통해 제어 가능하고 선택적으로 접지에 연결될 수 있다. 투명 전도성 필름(45)의 각각의 셀(52)은 다른 셀(52)로부터 전기적으로 절연될 수 있다. 각각의 전기 전도체(53)는 다른 전기 전도체(53)로부터 전기적으로 절연될 수 있다. 셀(52)은 적절한 그리드 배열 또는 임의의 다른 적절한 배열(터치스크린(50B) 상의 가상 버튼의 위치에 따라 달라질 수 있음)로 배치될 수 있다. 셀(52)의 수, 크기 및/또는 배열은 에뮬레이터(41) 및 개조 인터페이스 장치(10B)의 터치 에뮬레이션 해상도를 결정할 수 있다. 일부 실시예에서, 전기 전도체(53)는 투명하거나(예를 들어, 하나 이상의 투명 전도성 재료로 제조됨) 또는 사용자에게 투명하게 보이는 전도성 재료(예를 들어, 금속 나노와이어)의 얇은 가닥으로 제조된다. 전기 전도체(53)는 투명 전도성 접착제 또는 땜납으로 전지(52)에 전기적으로 연결될 수 있다. 전기 전도체(53)는 터치스크린(50B)과 사용자 사이에 위치한 배선의 양을 최소화하도록 배열될 수 있다.
스위치(54)(예를 들어, MOSFET 트랜지스터, 스위칭 릴레이 등)는 각각의 셀(52)과 전기 접지 사이에 전기적으로 연결된다. 개조 인터페이스 장치(10B)의 컨트롤러(20)는 에뮬레이터 신호(43)(도 1b 참조)를 사용하여 스위치(54)를 제어할 수 있다. 구체적으로, 컨트롤러(20)는 특정 전기 스위치(54)를 스위치(54)가 전도하고 대응하는 셀(52)을 접지에 연결하는 ON 구성과 스위치(54)가 전도하지 않는 OFF 구성 사이에서 스위칭하도록 구성될 수 있다. 스위치(54)가 ON 구성에 있고 전도할 때, 대상 장치(50)의 터치스크린(50B)은 이를 대응하는 셀(52)의 위치에서의 터치 이벤트로 해석할 수 있다. 비접촉 감지 시스템(12)이 사용자로부터의 비접촉 입력(예를 들어, 손가락 두드리기 제스처)을 검출하면, 컨트롤러(20)는 에뮬레이터 신호(43)를 사용하여 하나 이상의 전기 스위치(54)를 ON 위치로 전환할 수 있다. 컨트롤러(20)는 실시간으로 전기 스위치(54)를 제어하도록 구성될 수 있다(즉, 비접촉 감지 시스템(12)에 의해 검출된 비접촉 탭과 터치 에뮬레이트 탭 사이의 시간 지연이 거의 없거나 전혀 없음).
일부 실시예에서, 개조 인터페이스 장치(10B)는 비접촉 감지 시스템(12)과 터치 에뮬레이터(41)의 셀(52) 사이의 공간적 대응 관계를 설정하도록 구성된다. 유리하게는, 공간적 대응은 사용자가 셀(52)에 바로 인접한 비접촉 입력(예를 들어, 손가락 태핑 제스처)을 입력함으로써 터치 에뮬레이터(41)의 셀(52)을 작동시키는 것을 허용할 수 있다(예를 들어, 비접촉 탭은 비접촉 감지 시스템(12)에 의해 검출될 수 있고 컨트롤러(20)는 에뮬레이터 신호(43)를 사용하여 사용자의 비접촉 탭 위치에 인접한 셀(52)에 대응하는 스위치(54)를 켤 수 있다). 바람직하게는, 전기 스위치(54)는 스위치 온일 때 접지에 대한 강력한 연결을 확립하기 위해 낮은 부유/기생 커패시턴스를 갖는다. 컨트롤러(20)는 터치스크린(50B)에 인접하거나 그 뒤에 위치할 수 있다. 일부 실시예에서, 컨트롤러(20)는 비접촉 감지 시스템(12)과 통합될 수 있다.
개조 인터페이스 장치(10B)(비접촉 감지 시스템(12)를 통해)는 매우 다양한 비접촉 입력을 검출하도록 구성될 수 있고 다양한 방식으로 터치스크린(50B)을 작동시킬 수 있다. 예를 들어, 비접촉 감지 시스템(12)에 의해 검출된 비접촉 입력 제스처는 일시적일 수 있다(예를 들어 탭 또는 더블 탭 제스처의 경우). 개조 인터페이스 장치(10B)는 셀(52)을 일시적으로 접지하여 터치스크린(50B) 상에 대응하는 제스처를 시뮬레이트하도록 구성될 수 있다. 다른 예로서, 비접촉 감지 시스템(12)에 의해 검출된 비접촉 입력은 일정 시간 동안 유지될 수 있다. 개조 인터페이스 장치(10B)는 터치스크린(50B)에서 더 긴 "터치-홀드"를 시뮬레이트하기 위해 대응하는 기간 동안 셀(52)을 접지하도록 구성될 수 있다. 다른 예로서, 비접촉 감지 시스템(12)에 의해 검출된 비접촉 입력은 호버, 드래그, 스와이프, 핀치 등을 포함할 수 있다. 개조 인터페이스 장치(10B)는 하나 이상의 셀(52)을 동시에, 시간 주기에 걸쳐, 또는 순차적으로 터치스크린(50B)의 전기 전도성 표면을 가로지르는 그러한 움직임을 에뮬레이트하도록 구성될 수 있다.일부 실시예에서, 터치 에뮬레이터(41)의 투명 전도성 필름(45) 및 비접촉 감지 시스템(12)의 용량성 센서(30)는 동일한 인쇄 회로 기판 상에 제공되지만, 이는 필수는 아니다. 이러한 일부 실시예에서, 투명 전도성 필름(45) 및 용량성 센서(30)는 서로 전기적으로 절연될 수 있다. 예를 들어, PCB(예를 들어, 투명 PCB)는 대상 장치(50)의 터치스크린(50B)으로부터 멀리 떨어져 있는 2개의 레이어에 위치된 용량성 센서(30)의 송신 및 수신 전극을 포함할 수 있다. 투명 전도성 필름(45)의 셀(52)은 터치스크린(50)과의 접촉을 위해 터치스크린(50B)에 근접한(예를 들어, 가장 근접한) 레이어 중 하나에 위치할 수 있다.
일부 실시예에서, 개조 인터페이스 장치(10B) 및/또는 터치 에뮬레이터(41)는 내수성 또는 방수성을 제공하기 위해 코팅 또는 다른 적레이어 재료를 포함할 수 있다. 일부 실시예에서, 개조 인터페이스 장치(10B) 및/또는 에뮬레이터(41)는 다양한 범위의 온도 및 습도를 견디도록(즉, 개조되고 있는 대상 장치(50)의 터치스크린(50B)과 일치하도록) 제작될 수 있다.
유리하게는, 개조 인터페이스 장치(10B)는 개조 인터페이스 장치(10B)를 대상 장치(50)의 제어 시스템(51)에 직접 연결할 필요 없이 기존의 터치스크린(50B)(즉, 공공 장소에서 일반적인 유형의 터치 기반 인터페이스)과 쉽게 통합될 수 있다. (이러한 연결은 선택 사항임). 개조 인터페이스 장치(10B)는 사용자가 대상 장치(50)의 기존 터치스크린(50B)과 터치 없이 상호 작용할 수 있도록 구성될 수 있다.
다른 측면에서 개조 인터페이스 장치(10B)는 여기에서 설명된 개조 인터페이스 장치(10)와 유사할 수 있다. 문맥에서 달리 구체적으로 지시하지 않는 한, 개조 인터페이스 장치(10)의 특징에 대한 참조는 개조 인터페이스 장치(10B)에 적용 가능한 것으로 이해되어야 한다.
도 1c는 자체 컨트롤러를 포함하지 않는 대상 기계 장치(150)에 인터페이스 장치(10C)를 개조하는 것과 관련된 본 발명의 추가적인 측면의 예시적인 실시예를 개략적으로 도시한다. 그러나 이것은 터치 기반 입력(50A)(자체 작동 물체(150A)로 설명될 수 있음)을 포함하며, 여기서 (터치 기반 컨텍스트에서) 사용자 상호 작용이 자체 작동 객체와 상호 작용하면 대상 기계 장치(150)의 대응 메커니즘(150B)의 작동에 영향을 미친다. 대상 기계 장치(150)의 비제한적 예는 다음을 포함한다: 도어 핸들/손잡이(여기서 자동 작동 물체(150A)는 핸들/손잡이의 메커니즘이고 대상 메커니즘(150B)는 텅/볼트임), 기계적 잠금 메커니즘(자동 작동 물체(150A)은 잠금 핸들이고 대상 메커니즘(150B)은 메커니즘(150B)은 잠금 샤프트임), 전등 스위치(여기서 자동 작동 물체(150A)는 전등 스위치의 레버이고 대상 메커니즘(150B)는 스위치 접점임) 등. 개조 인터페이스 장치(10C)는 그들 각각의 자체-작동 물체(150A)와 상호 작용하기 위해 특정한 액추에이터(37)를 포함할 수 있다. 다른 측면에서, 개조 인터페이스 장치(10C)는 본 명세서에 기술된 개조 장치(10A)(도 1a)와 유사할 수 있다. 문맥상 달리 지시하지 않는 한, 개조 인터페이스 장치(10C)의 특징은 본 명세서에 기술된 개조 인터페이스 장치(10A)의 특징과 유사한 것으로 간주되어야 한다.
일부 실시예에서, 개조 인터페이스 장치(10C) 및 대상 기계 장치(150)는 단일 장치로서 제조되거나 그렇지 않으면 제공될 수 있다. 여기에서 자체-작동 물체(150A)는 보통의 터치 기반 장치처럼 작동하도록 제조되지만 자체-작동 물체(150A)가 비접촉식으로 작동될 수 있도록 개조된 인터페이스 장치(10C)를 포함한다. 이러한 일부 실시예에서, 개조 인터페이스 장치(10C)는 사용자 상호작용 또는 명령을 위한 디스플레이(60)를 포함할 수 있다. 예를 들어, 표적 기계 장치(150)는 발생하는 전등 스위치의 임의의 물리적 터치 없이 호버-탭 또는 스와이프로 눌리거나 플릭되는 전등 스위치를 포함할 수 있다. 다른 예로서, 표적 기계 장치는 적절한 가상 버튼 등 위로 FOB를 호버링함으로써 회전 가능한 도어 핸들을 포함할 수 있다.
본 명세서에 기술된 임의의 개조 인터페이스 장치(예를 들어, 개조 인터페이스 장치(10, 10A, 10B, 10C))는 사용자의 스마트폰 또는 핸드헬드 컴퓨팅 장치(47)와의 상호 작용(예를 들어, 모바일 장치 신호(49)를 통한 컨트롤러(20)와 핸드헬드 장치(47) 사이의 통신)을 용이하게 할 수 있다. 비제한적인 예로서, 개조 인터페이스 장치(10)는 모바일 장치 신호(49)를 통해 컨트롤러(20)에 입력(예를 들어, 버튼 선택, 영숫자 텍스트, 슬라이딩 제스처 등)을 무선으로 제공하기 위해 사용자가 핸드헬드 컴퓨팅 장치(47)의 키보드/키패드 입력을 활용할 수 있도록 하기 위해, QR 코드, NFC/RFID 태그, WIFI/블루투스 연결 등을 포함할 수 있다. 이는 차례로 대상 시스템(50)에 대응하는 입력을 제공할 수 있다. 이는 사용자가 개조 인터페이스 장치(10)와 상호작용하기 위해 그들 자신의 핸드헬드 장치(47)를 활용할 수 있게 해준다. 이는 사용자가 대상 장치(50)와 통신(예를 들어 입력을 제공)하기 위해 자신의 핸드헬드 장치(47)에 물리적으로 접촉하기만 하면 되는 방식으로 대상 장치(50)와 상호 작용한다. 일부 실시예에서, 핸드헬드 장치(47)는 컨트롤러(20)에 입력 신호(49)를 제공하기 위해 비접촉 감지 시스템(12)에 추가로 또는 대안으로 사용자에 의해 사용될 수 있다.개조 인터페이스 장치(10)는 개조 인터페이스 장치(10)에 대한 빠른 연결을 용이하게 하고 또한 개조 인터페이스 장치(10)로부터의 신속한 자동 연결 해제를 용이하게 하는 소프트웨어 애플리케이션(예를 들어, 스마트폰 앱)으로 (예를 들어, 컨트롤러(20)의 적절한 프로그래밍에 의해) 구성될 수 있다. 개조 인터페이스 장치(10)는 핸드헬드 장치(47)에 대한 빠른 연결 및/또는 연결 해제를 용이하게 하는 소프트웨어 애플리케이션으로 (예를 들어, 컨트롤러(20)의 적절한 프로그래밍에 의해) 구성될 수 있다.
일부 실시예에서, 핸드헬드 장치(47)와 개조 인터페이스 장치(10) 사이의 연결은 특정 사용자 핸드헬드 장치(47) 또는 한 번에 하나의 특정 핸드헬드 장치로 제한된다. 대상 장치(50)가 하나 이상의 핸드헬드 장치(47)로부터 사용자 입력을 수신하거나 한 번에 하나 이상의 핸드헬드 장치(47)로부터 입력을 수신하는 것을 방지한다. 그러한 실시예는 보안 애플리케이션(예를 들어, 판매 단말기 등에서 핀 코드를 입력하기 위한 것) 및/또는 개인용 애플리케이션(예를 들어, 주차 미터기 등)에 적합할 수 있다. 이러한 실시예의 하나의 예시적인 구현은 임계 시간 기간 후에(예를 들어, 비활성 임계 시간 기간 이후) 개조 인터페이스 장치(10)로부터 각각의 핸드헬드 사용자 디바이스(47)를 분리하도록 구성된 타이머를 사용하는 것 및/또는 새로운 사용자가 접속할 수 있도록 이벤트의 검출 또는 완료 후에 개조 인터페이스 장치(10)로부터 각각의 핸드헬드 사용자 장치(47)를 분리하기 위해 이벤트 검출 알고리즘을 사용하는 것을 포함한다. 그러한 실시예의 또 다른 추가적인 또는 대안적인 예시적인 구현은 개조 인터페이스 장치(10)와 통신하기 위해 사용하는 동안 사용자 장치(47)가 핸드헬드 장치(47)의 카메라 또는 NFC 센서의 시야 내에 QR 코드 또는 NFC 태그를 유지하도록 요구하도록 인터페이스 장치(10)를 구성하는 것을 포함한다. 이러한 실시예의 또 다른 추가적 또는 대안적 구현은 핸드헬드 장치(47)의 근접성을 추정하도록 구성될 수 있는 적절한 통신 하드웨어 및/또는 소프트웨어(예를 들어, WIFI 및/또는 블루투스 안테나)를 개조 인터페이스 장치(10)에 제공하는 것을 수반한다. 휴대용 장치(47)와 개조 인터페이스 장치(10) 사이의 연결은 휴대용 장치(47)의 근접성이 개조 인터페이스 장치(10)로부터 떨어져 임계 거리에 도달하자마자 만료될 수 있다.
개조 인터페이스 장치(10)는 핸드헬드 장치(47)로부터 입력 선택의 통신을 수신하기 위한 다양한 방법을 포함할 수 있다. 예시적인 방법은 코딩된 음향 신호, LED 조명 신호, 스마트폰 화면 및/또는 이와 유사한 것(예: 종이)에 표시된 영숫자 텍스트 또는 QR 코드를 보기 위해 카메라 시스템을 활용하는 것, NFC 또는 RFID를 포함하지만 이에 제한되지는 않는다.
본 명세서에 기술된 임의의 개조 인터페이스 장치(예를 들어, 개조 인터페이스 장치(10, 10A, 10B, 10C))는 개조 인터페이스 장치(10)를 통해 대상 장치(50)와 상호작용하는 사용자에게 피드백을 제공하기 위한 하나 이상의 피드백 메커니즘(55)을 포함할 수 있다. 이러한 피드백 메커니즘(55)은 적절한 피드백 제어 신호(57)를 사용하여 컨트롤러(20)에 의해 제어될 수 있다. 본 명세서의 다른 곳에서 논의된 바와 같이, 개조 인터페이스 장치(10)의 디스플레이(60)는 피드백 메커니즘(55)의 일부를 포함할 수 있다. 특정 실시예에 따른 개조 인터페이스 장치(10)는 다음 피드백 메커니즘(55) 중 하나 이상을 포함할 수 있다.
개조 인터페이스 장치(10)는 초음파 및/또는 음파 전송(집합적으로 여기서는 음파 전송(SWT)이라고 함) 피드백 메커니즘을 포함하는 피드백 메커니즘(55)을 포함할 수 있다. SWT 피드백은 사람의 피부로 느낄 수 있는 버튼 클릭 감각(예: 기존 키보드의 표면에서 손가락이 키를 눌렀을 때 일반적으로 감지되는 느낌, 터치패드의 왼쪽/오른쪽 버튼이 마우스 또는 기타 적절한 감각)을 시뮬레이션하여 비접촉 촉각 피드백을 생성하여 입력이 이루어졌음을 사용자에게 표시할 수 있다(예: 선택이 이루어짐, 버튼이 눌림 및/또는 기타).용량성 센서(30)를 포함하는 통상적인 기성 PCB는 SWT를 지원하지 않을 것이다. 이러한 PCB 뒤에 위치한 음파 변환기는 PCB 반대편에 있는 손가락으로 느낄 수 없다. 개조 인터페이스 장치(10)(및/또는 본 명세서에 기술된 다른 개조 인터페이스 장치(10A, 10B, 10C))는 용량성 센서 및 SWT가 단일 폼 팩터에 공존할 수 있도록 하는 설계 구성을 포함할 수 있다. 비접촉 햅틱 피드백은 비접촉 감지 시스템(12)의 센서의 감지 작동을 방해하지 않는(또는 과도하게 방해하지 않는) 동안 SWT 트랜스듀서(55A)로부터의 음향 에너지가 비접촉 감지 시스템(12)의 감지 구역에 도달하도록 허용하기 위해 비접촉 감지 시스템(12)(예를 들어, 용량성 센서(들)(30)) 및 음파 변환기(55A)(예를 들어, PCB 또는 기타)를 배열함으로써 달성될 수 있다.
예를 들어, 개조 인터페이스 장치(10) 및/또는 개조 인터페이스 장치(10A)는 '주변' 배열을 포함할 수 있다. SWT 변환기의 링, 타링 또는 직사각형 모음이 용량성 센서 PCB 주변에 또는 부분적으로 배치된다 - 정전식 센서 PCB의 사용자 쪽 측면에서 감지 영역의 중앙을 향할 가능성이 높다. 정전식 센서 PCB 주변 또는 부분적으로 SWT 트랜스듀서의 이러한 배열은 음파가 버튼 클릭 감각을 느끼기 위해 사람의 손가락을 타격(strike)할 수 있는 자유로운 경로를 제공한다. SWT 트랜스듀서는 사용자 손가락의 버튼 클릭 등의 느낌을 시뮬레이트하기 위해 음파 에너지를 사용자의 손가락 위치로 보내도록 구성될 수 있다. 일부 실시예에서, 비접촉 감지 시스템(12)에 의해 검출된 손가락 위치는 적절하게 구성된 컨트롤러(예를 들어, 컨트롤러(20))에 의해 처리되어 (피드백 제어 신호(57)를 통해) 음파가 손가락의 검출된 위치를 향하도록 음파 변환기를 제어할 수 있다.
도 7a 및 도 7b는 SWT 트랜스듀서(55A)를 포함하는 음파 전송 피드백 메커니즘(55) 및 용량성 센서(들)(30)를 포함하는 비접촉 감지 메커니즘(12)을 개략적으로 도시한다. 이는 특정 실시예에 따라 본 명세서에 기술된 임의의 개조 인터페이스 장치(10, 10A, 10B, 10C)와 함께 사용될 수 있다. 도 7a, 7b에 도시된 바와 같이, SWT 피드백 메커니즘(55)은 (오목하거나 평평한 형태일 수 있는) 표면 상에 위치될 수 있는 음파 변환기(55A)의 레이아웃을 포함한다. 도 7a에 예시된 실시예에서, 음파 변환기(55A)를 지지하는 표면(38A)은 일반적으로 편평하다. 음파 변환기(55A)는 표면(38A) 상에 지지되고, 비접촉 감지 시스템(12)보다 뒤에(예를 들어, 하나 이상의 정전식 센서(들)(30) 뒤에) 위치한다. 도 7a의 실시예에서, 용량성 센서(들)(30) 또는 이들 전극의 일부(또는 일반적으로 감지 시스템(12))는 개구(31)로 천공된다. 이를 통해 SWT 트랜스듀서(55A)는 음파를 정전식 센서(30)(또는 일반적으로 감지 시스템(12))의 감지 구역으로 유도할 수 있다. 일부 실시예에서, 적은 수의 단일의 큰 개구(31)가 제공될 수 있다. 일부 실시예에서, 복수의 더 작은 개구(31)를 포함하는 매트릭스가 제공될 수 있다. 도 7b의 도시된 실시예에서, 비접촉 감지 시스템의 사용자 대면 측(예를 들어, 일반적으로 정전식 센서(들)(30) 및/또는 비접촉 감지 시스템(12)의 감지 구역에서) 음파를 생성하기 위해, 음파 변환기(55A)를 지지하는 표면(38B)은 오목부를 갖고 음파 변환기(55A)는 비접촉 감지 시스템(12)의 둘레 주위(예를 들어, 하나 이상의 정전식 센서(들)(30) 주위)에 위치되고 지향된다. 일부 실시예에서, 도 7b의 구성은 반전될 수 있다. 즉, 용량성 센서(30)(또는 그 전극의 한 세트)는 링 형태로 배열될 수 있다. 음파 변환기(55A)는 용량성 센서(30)의 링의 중앙 개구에 배열될 수 있다. 일부 실시예에서, 도 7a와 7B에 도시된 피드백 시스템(55)의 양태는 결합될 수 있다. 예를 들어, 도 7a의 실시예에서 음파 변환기를 지지하는 표면(38A)은 오목한 형상을 갖도록 만들어질 수 있다. 일부 실시예에서, 음파 변환기(55A)는 비전도성 재료로 (적어도 주로) 제조될 수 있다.
개조 인터페이스 장치(10)는 시각적 피드백 장치를 포함하는 피드백 메커니즘(55)을 포함할 수 있다. 일부 실시예에서, 시각적 피드백 장치는 디스플레이 신호(18)를 사용하여(및/또는 제어 신호(16) 및 디스플레이 신호(21)를 통해 간접적으로) 대상 장치(50)의 디스플레이(22)를 통해 구현될 수 있다. 일부 실시예에서, 개조 인터페이스 장치(10)의 피드백 메커니즘(55)의 시각적 피드백 장치는 디스플레이 신호(61)에 의해 제어되는 자체 디스플레이(60)를 포함할 수 있다. 일부 실시예에서, 대상 장치(50)는 디스플레이(22)를 갖지 않고 개조 인터페이스 장치(10)의 피드백 메커니즘(55)은 유일한 디스플레이 또는 시각적 표시기(들)를 포함한다. 일부 실시예에서, 피드백 메커니즘(55)은 LCD 스크린, e-잉크 스크린, 또는 임의의 다른 적합한 디스플레이 스크린과 같은 디스플레이 스크린을 통해 시각적 피드백을 제공한다. 디스플레이(60)는 외부 패널(예를 들어, 비접촉 감지 시스템(12)을 수용하는 PCB에 인접하게 위치한 패널)에 통합될 수 있다. 개량 장치(10)는 비접촉 감지 시스템(12)으로 대화형 터치스크린형 사용자 경험을 제공하기 위해 디스플레이(60) 및/또는 디스플레이(22)를 사용할 수 있다. 간결함을 위해, 시각적 피드백에 대한 이 설명의 나머지 부분은 일반성의 손실 없이 디스플레이 신호(61)에 의해 제어되는 개조 인터페이스 장치(10)의 일부인 디스플레이(60)를 지칭한다. 이러한 시각적 피드백은 디스플레이 신호(18)에 의해 제어되거나 제어 신호(16) 및 디스플레이 신호(21)에 의해 간접적으로 제어되는 대상 장치(50)의 일부인 디스플레이(22)에 의해 추가적으로 또는 대안적으로 제공될 수 있다.
도8은 디스플레이(60) 주위에 "링" 형상으로 배열된 하나 이상의 용량성 센서(30) 및 선택적으로 하나 이상의 광학 센서(40) 및/또는 추가 센서(33)(도 8에 명시적으로 도시되지 않음)를 포함하는 비접촉 감지 시스템(12)의 분해도를 개략적으로 도시한다. 이는 특정 실시예에 따라 본 명세서에 기술된 개조 인터페이스 장치(10, 10A, 10B, 10C) 중 임의의 것의 피드백 메커니즘(55)이 사용될 수 있다. 명료함을 위해, 컨트롤러(20)는 도 8에 도시되지 않았지만 감지 시스템(12) 및/또는 디스플레이(60)와 함께 수용될 수 있다. 도 8에 도시된 바와 같이, 비접촉 감지 시스템(12)의 정전식 센서(30)는 디스플레이(60)에 인접하게 위치될 수 있다. 또한, 정전식 센서(30)를 지원하는 PCB는 디스플레이(60) 주변 및 전방(즉, 사용자를 향하는 측면)에 감지 영역을 제공하기 위하여 정전식 센서(30)의 수신 전극(36)이 디스플레이(60)의 경계 외부(예를 들어, 주변의 일부 또는 주변 전체)에 배치되도록 크기, 형상 및/또는 위치할 수 있다. 즉, 정전정전식 센서(30)를 지원하는 PCB는 디스플레이(60) 주변에 또는 부분적으로 "링"을 형성하도록 설계될 수 있다. 정전정전식 센서(30)의 감지 구역이 디스플레이(60)의 사용자 대향측에 위치하도록 한다. 일부 실시예에서, 정전식 센서(30)를 지원하는 PCB는 디스플레이(60)에 의해 커패시터(30)의 전기장에 야기될 수 있는 간섭을 완화하기 위해 사용자 쪽으로 약간 변위될 수 있다(디스플레이(60)에 대해). 용량성 센서(30)의 링의 중심(46)은 일반적으로 디스플레이(60)의 활성 부분에 대한 크기 및 형상에 대응할 수 있다 - 즉, 콘텐츠를 실제로 표시하는 디스플레이(60)의 부분. 도 8a는 특정 실시예에 따라 하나 이상의 수신 전극(36) 및 개구(46) 주위의 링으로 배열된 하나 이상의 송신 전극(34)을 포함하는 용량성 센서(30)의 개략도를 도시한다. 일부 실시예에서, 용량성 센서(30)는 디스플레이(60) 이외의 목적을 위해 사용될 수 있는 개구(46)의 둘레 주위(또는 부분적으로 주위)에 배열될 수 있다. 예를 들어, 디스플레이(22) 또는 일부 다른 표면은 개구(46)를 통해 보일 수 있다.
일부 실시예에서, 용량성 센서(30)의 링의 중심(46)은 빈 구멍이다. 일부 실시예에서, 용량성 센서(30)의 링의 이 중심(46)은 적절한 투명 재료(예를 들어, 유리, 플렉시 유리(폴리(메틸 메타크릴레이트)) 등)를 포함할 수 있다. 일부 실시예에서, 링의 중심(46)에 있는 투명 재료는 투명 전도성 재료(예를 들어, ITO(Indium-Tin-Oxide) 또는 임의의 다른 적합한 투명 재료)를 포함할 수 있다. 이러한 일부 실시예에서, 투명 전도성 재료는 용량성 센서(30)의 전극(예를 들어, 송신 전극) 중 하나를 형성할 수 있다. 따라서 정전식 센서(30)의 전극(예: 수신 전극) 중 하나만이 디스플레이(60) 주변의 링에 배열된다. 중앙 영역(46)에 전극을 갖는 것은 센서의 전기장에 균일성을 제공하고 PCB 중앙에 더 강한 전기장을 제공함으로써 센서의 정밀도를 향상시키는 데 도움이 될 수 있다. PCB 중앙에 더 강한 전기장을 제공하면 비접촉 감지 시스템(12)이 더 멀리 위치한 더 큰 주먹/팔뚝보다 손가락을 더 잘 감지하는 데 도움이 될 수 있다. 따라서 비접촉 감지 시스템(12)의 정밀도를 향상시킨다. 이러한 일부 실시예에서, 정전정전식 센서(30)의 송신 전극 및 수신 전극은 모두 투명 전도성 재료로 제조될 수 있으며, 이 경우 정전정전식 센서(30)는 디스플레이(60)의 사용자 대면측에 직접 위치될 수 있다. 즉, 도 8에 도시된 구멍(46) 주위의 용량성 센서(30)의 링 기반 레이아웃은 송신 전극(34)과 수신 전극(36) 모두가 투명하기 때문에 "구멍"(46)을 덮는 레이아웃으로 변경될 수 있다. 도 8의 도시된 실시예에서, 용량성 센서(30)의 링은 투명 재료(예를 들어, 유리, 플렉시 유리(폴리(메틸 메타크릴레이트)) 등)의 적절한 시트(48)에 의해 부분적으로 또는 완전히 (사용자 대면 측에서) 덮일 수 있다. 투명 시트 또는 패널(48)은 용량성 센서(30)를 감싸고 장치(10)가 장착될 수 있는 벽 또는 다른 표면과 같은 높이로 놓이는 평평한 비돌출 디자인을 형성하는 데 사용될 수 있다. 이러한 매립형 디자인은 개조 인터페이스 장치(10)의 변조를 완화할 수 있고, 어떤 경우에는 예를 들어 대상 장치(50)가 엘리베이터 패널인 경우와 같이 산업 안전 요건을 충족할 수 있다. 엘리베이터 패널을 포함하는 대상 장치에 적용되는 개조 인터페이스 장치(10)의 그러한 예가 도 8b에 도시되어 있다.
유리하게는, 정전식 센서(30)의 이러한 "링" 설계는 디스플레이(60)에 의해 정전식 센서(30)의 전기장에 야기될 수 있는 간섭을 (적어도 허용 가능한 정도로) 최소화할 수 있다. 또한, 도 8(및 도 3a 내지 도 3c에 도시됨)의 비접촉 감지 시스템은 유리하게는 용량성 센서(30)의 융합을 포함한다. 또한, 디스플레이(60)로부터 멀리 위치한 광학 센서(40)는 광학 센서(40)에 의해 제공되는 정확한 가로(x-y) 감지, 정전식 센서(30)에 의해 제공되는 정확한 z-좌표 감지 및 가로 감지 트리거링 및 센싱 시스템(12)과 디스플레이(60)의 조합에 의해 제공되는 유용한 사용자 피드백을 포함한다.
일부 실시예에서, 컨트롤러(20)는 디스플레이(60)가 디스플레이(60) 상에 표시(예를 들어, 커서, 포인터 등)를 디스플레이하게 하는 디스플레이 신호(61)를 생성하도록 구성된다. 디스플레이(60) 상에 디스플레이된 표식의 위치는 사용자 손의 일부의 추정된 위치(즉, 비접촉 감지 시스템(12)로부터 수신된 입력 신호(14)에 기초하여 컨트롤러(20)에 의해 추정된 위치)에 대응하거나 이에 기초할 수 있다. 디스플레이 스크린(60) 상에 디스플레이된 표식의 위치는 디스플레이 스크린(60)에 대한 사용자 손의 일부분의 근접성에 추가적으로 또는 대안적으로 대응하거나 이에 기초할 수 있다(예를 들어, 비접촉 감지 시스템(12)으로부터 수신된 입력 신호(14)에 기초하여 컨트롤러(20)에 의해 추정된 근접도). 예를 들어, 일부 실시예에서, 컨트롤러(20)는 디스플레이(60)가 디스플레이(60)의 평면에 평행한 평면(예를 들어, x-y 평면), 디스플레이(60)의 표면에 접하는 평면 또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 어떤 다른 적절한 표면에 접하는 평면 내에서 사용자 손의 일부의 추정된 위치를 나타내는 표식을 디스플레이하게 할 수 있다. 그런 다음 디스플레이(60)가 평면에 대한 사용자 손 부분의 근접성(예를 들어, z-방향으로)을 나타내는 표식의 특징 (예를 들어, 크기, 밝기, 색상, 애니메이션 특징 등)을 디스플레이하게 할 수 있다. 일부 실시예에서, 표식은 사용자에게 사용자의 손가락 위치를 알리기 위해 항상 디스플레이(60)에 표시된다.
일부 실시예에서, 컨트롤러(20)는 사용자의 손 부분의 추정된 근접성(예를 들어, z-방향) 및/또는 사용자의 손 부분의 추정된 위치에 기초하여 스크린(60)이 디스플레이된 표식의 외양을 변경하게 하는 디스플레이 신호(61)를 생성할 수 있다(예를 들어, 디스플레이(60)의 평면, 디스플레이(60)의 표면에 접하는 평면 또는 대상 장치(50) 및/또는 개조 인터페이스 장치(10)의 일부 다른 적절한 표면에 접하는 평면에 대해). 표시된 표식의 외형 변경은 다음 중 적어도 하나를 포함할 수 있다: 표시되는 표식의 색상 변경, 표시되는 표식의 크기, 표시되는 표식의 밝기(강도), 표시되는 표식의 형태 변경, 표시되는 표식의 색상 변화도 변경, 표시되는 표식의 애니메이션 기능, 표시된 표식에 다른 표식 추가 및/또는 기타. 예를 들어, 디스플레이된 표식은 "링 커서"일 수 있고 링 커서의 크기는 사용자의 손이 디스플레이(60)로부터 멀어지는 임계 거리에 접근함에 따라 감소할 수 있다(즉, 링 커서의 직경이 감소할 수 있음).일부 실시예에서, 디스플레이(60)는 (컨트롤러(20)로부터의 디스플레이 신호(61)에 의해) 하나 이상의 가상 입력(예를 들어, 가상 버튼)을 디스플레이하도록 구성된다. 이러한 실시예에서, 디스플레이 신호(61)는 디스플레이(60)가 사용자 손의 일부의 추정된 위치 및/또는 사용자의 손의 일부의 추정된 근접성에 기초하여 가상 입력의 모양을 변경하게 할 수 있다.
일부 실시예에서, 컨트롤러(20)는 감지 시스템(12)으로부터의 입력 신호(14)에 기초하여 사용자 손의 일부로 이루어진 원형 움직임을 검출하도록 구성된다. 이러한 일부 실시예에서, 컨트롤러(20)는 디스플레이(60)가 검출된 원형 움직임에 기초하여 (예를 들어, 하나 이상의 표시된 가상 입력의 모양을 변경하기 위해) 일부 시각적 피드백을 제공하게 하는 디스플레이 신호(61)를 생성하도록 구성될 수 있다.
일부 실시예에서, 컨트롤러(20)는 입력 신호(14)에 기초하여 사용자의 손의 일부가 임계 시간 기간 동안 움직임이 없다는 것을(임계값 내로) 검출하도록 구성된다. 이들 실시예에서, 컨트롤러(20)는 디스플레이(60)가 검출된 동작 부족에 기초하여 일부 시각적 피드백을 제공하도록(예를 들어, 하나 이상의 디스플레이된 가상 입력의 외양을 변경하도록) 디스플레이 신호(61)를 생성하도록 구성될 수 있다.
일부 실시예에서, 컨트롤러(20)는 디스플레이 신호(61)를 생성하도록 구성되고, 디스플레이 신호(61)는 디스플레이(60)가 디스플레이(60)에 대한 사용자 손의 일부분의 근접성과 관련된 방식으로 디스플레이 된 표식의 크기를 변경하게 한다. 이러한 일부 실시예에서, 디스플레이된 표식의 크기가 복수의 디스플레이된 가상 입력 중 하나의 크기와 동일한(적절한 임계값 이내로) 경우, 그리고 사용자 손 부분의 위치에 임계 시간 동안 움직임이 없을 때(적절한 임계값 내에서), 컨트롤러(20)는 제어 신호(16)를 변경하여 대상 장치(50)의 동작을 실행하도록(예를 들어, 선택을 하기 위해) 구성될 수 있다. 즉, 컨트롤러(20)는 사용자가 자신의 손의 일부를 디스플레이 된 가상 입력에 근접하게(임계값 내에서) 가져간 다음 움직이지 않을 때(임계값 기간 동안) 디스플레이된 가상 입력의 선택을 확인할 수 있다. 이 선택의 근접 요소는 사용자가 손의 일부를 충분히 근접하게 가져왔을 때 가상 입력의 크기와 동일한 표시의 크기에 기초하여 사용자에게 피드백 될 수 있다.
디스플레이(60)는 선택적으로 평면 스크린 디스플레이에 추가하여 또는 그에 대한 대안으로서 하나 이상의 가시 광원을 포함할 수 있다. 컨트롤러(20)는 예를 들어, 디스플레이(60)의 평면, 디스플레이(60)의 표면에 접하는 평면 또는 대상의 어떤 다른 적절한 표면에 접하는 평면에 대응하는 평면(예를 들어, x-y 평면)에서 사용자 손의 일부의 추정된 위치 장치(50) 및/또는 개조 인터페이스 장치(10) 및/또는 평면과 같은 사용자 손의 일부분의 예상 근접도에 따라 디스플레이(60)가 가시 광원 중 적어도 하나의 조명 색상을 조명하거나 변경하게 하는 디스플레이 신호(61)를 생성하도록 구성될 수 있다.
일부 실시예에서, 컨트롤러(20)는 디스플레이(60)가 사용자의 추정된 시선 벡터에 적어도 부분적으로 기초하여 피드백을 제공(또는 그렇지 않으면 디스플레이(60)의 출력을 변경)하게 하는 디스플레이 신호(61)를 생성하도록 구성된다. 이러한 실시예에서, 디스플레이 신호(61)는 디스플레이(60)가 추정된 시선 벡터에 기초하여 사용자를 향하거나 사용자로부터 멀어지는 방향으로 왜곡된 이미지를 디스플레이하게 할 수 있다. 유리하게는, 디스플레이(60)가 "왜곡된" 이미지를 표시하게 하여 사용자가 개조 인터페이스 시스템(10)과의 부정확한 비접촉 상호작용을 피하는 것을 도울 수 있다. 그렇지 않으면 이는 예를 들어 디스플레이(60) 및/또는 그 위에 디스플레이되는 가상 입력에 대한 사용자의 시야각 및 관점에 의해 야기될 수 있다. 사용자의 추정된 시선 벡터에 기초하여 가상 입력의 위치(또는 가상 입력의 검출 구역)를 왜곡함으로써, 비접촉 감지 시스템(12)과 정확하게 상호 작용할(예를 들어, 특정 가상 입력 선택) 사용자의 확률이 증가할 것이다. 일부 실시예에서, 컨트롤러(20)는 디스플레이(60)가 사용자의 관점(사용자의 시선의 추정에 의해 결정됨)을 수용하기 위해 왜곡된 표시(예를 들어, 커서)를 표시하게 하는 디스플레이 신호(61)를 생성할 수 있다.
개조 인터페이스 장치(10)는 선택 사항, 손가락/손 존재 등을 사용자에게 알리는 데 도움이 되는 추가 시각적 표시기(피드백 메커니즘(55)의 일부로서)를 선택적으로 포함할 수 있다. 예를 들어, 새로 장착된 인터페이스 장치는 손가락/손의 성공적인 탭/파동을 나타내기 위해 켜지는 조명(예: 발광 다이오드)을 포함할 수 있다. 조명은 시각적 피드백을 함께 사용자에게 제공하기 위해 디스플레이(60)와 동기화될 수 있다. 예를 들어, 디스플레이(60)는 다양한 키패드 번호 또는 다른 가능한 선택을 위한 다양한 아이콘, 이미지 및/또는 텍스트를 표시하도록 구성될 수 있고, 조명은 손가락 존재 및/또는 성공적인 선택을 나타내도록 구성될 수 있다.
개조 인터페이스 장치(10)는 청각 피드백을 지원하는 피드백 메커니즘(55)을 추가적으로 또는 대안적으로 포함할 수 있다. 청각 피드백 메커니즘은 (예를 들어, 적절하게 프로그래밍 된 컨트롤러(20)로부터의 적절한 피드백 신호(57)로) 구성되어 성공적인 비접촉 선택 또는 사용자와 개조 인터페이스 장치(10)(예를 들어, 비접촉 감지 시스템(12)) 사이의 다른 상호 작용을 나타내는 사운드 큐를 제공할 수 있다. 예를 들어, 영숫자(alphanumeric) 텍스트에 해당하는 비접촉 입력이 사용자에 의해 입력될 때 사운드 큐가 생성될 수 있다(예를 들어, 적절한 손가락 누름 제스처는 비접촉 감지 시스템(12)에 의해 감지됨) - 단순히 버튼 누름을 나타내거나 입력된 인풋을 반복하기 위해(예: "9", "m"). 청각 피드백 메커니즘은 스피커를 포함할 수 있다. 스피커는 사용자 존재가 감지될 때, 시스템이 사용자 입력을 기다리고 있을 때, 사용자가 "주 메뉴" 또는 "하위 메뉴 X"에 도달했을 때 및/ 또는 기타의 경우, 인터페이스 장치(10) 및/또는 대상 장치(50)를 개조하기 위한 시스템 상태 및/또는 시스템 상태의 변경을 사용자에게 통지하는 데 사용될 수 있다.
본 명세서의 다른 곳에서 논의된 바와 같이, 개조 인터페이스 장치(10)는 (비접촉 감지 시스템(12)을 통해) 사용자로부터 비접촉 입력을 수신하고 이러한 비접촉 입력을 사용하여 대상 장치(50)에 대응하는 입력을 제공한다. 개조 인터페이스 장치(10)가 특정 비접촉 입력을 결정할 수 있는 방법에 대해 다수의 비제한적 예시적 실시예가 이제 설명된다. 이러한 예는 본 명세서의 다른 곳에서 설명된 것에 대한 추가 또는 대체 기술을 포함할 수 있다. 일부 예시적인 실시예에서, 정전식 센서(30), 광학 감지 시스템(40) 및/또는 비접촉 감지 시스템(12)의 일부를 형성하는 다른 센서는 사용자의 신체 부분(예를 들어, 손가락)의 움직임을 감지할 수 있다. 일부 실시예에서, 피드백 메커니즘(55)은 디스플레이(개량형 인터페이스 장치(10)의 일부인 디스플레이(60) 및/또는 대상 장치(50)의 일부인 디스플레이(22)를 포함할 수 있음)를 통해 시각적 피드백을 제공한다. 이러한 시각적 피드백은 정전식 센서(30), 광학 시스템(40) 및/또는 비접촉 감지 시스템(12)의 일부를 형성하는 다른 센서에 의해 검출 및/또는 검출 가능한 위치 특성에 대응하는 시각적 표시를 표시하는 것을 포함할 수 있다.
도 5a, 5b는 예시적인 실시예에 따라 가상 버튼(104)을 디스플레이하는 개조 사용자 인터페이스 장치(10)(또는 본 명세서에 기술된 임의의 다른 개조 사용자 인터페이스 장치(10A, 10B, 10C))의 패널(100)의 정면도 및 측면도를 도시한다. 도 5a, 5b에 도시된 바와 같이, 개조 인터페이스 장치(10)는 예를 들어 키패드 상의 버튼 또는 다른 선택가능한 버튼 또는 입력(104)을 나타내기 위해 사용될 수 있는 아이콘, 그래픽 또는 텍스트(102)로 라벨링된 패널(100)을 포함할 수 있다. 이러한 아이콘, 그래픽 또는 텍스트는 (물리적 버튼이 아닌) 터치 없이 작동하고 및/또는 패널(100)에만 존재하는 가상 버튼 또는 입력(104)으로 간주될 수 있다. 가상 버튼 또는 입력(104)을 표시하는 이러한 패널(100)은 디스플레이를 포함할 수 있다 (예를 들어, 개조 인터페이스 장치(10)의 일부인 디스플레이(60) 및/또는 대상 장치(50)의 디스플레이(22)를 포함하는 피드백 메커니즘(55)의 일부인 디스플레이). 가상 버튼 또는 입력(104)을 디스플레이하는 그러한 패널(100)은 추가적으로 또는 대안적으로 정적 가상 버튼 또는 입력(104)을 디스플레이하는 정적 패널 또는 표면을 포함할 수 있다. 아래에 설명된 예시적인 비접촉 입력 선택 실시예에 대해, 사용자가 가상 버튼(104)을 볼 수 있도록 다양한 가상 버튼(104)이 사용자에게 보이고 아이콘 및/또는 영숫자 텍스트(102)로 레이블이 지정된 패널(100)이 일반성을 잃지 않고 있다고 가정한다. 도 5a, 5b는 또한 예시적인 비접촉 입력 선택의 다음 설명에서 방향을 설명하는 데 사용되는 데카르트 축 x, y 및 z를 나타내며, x 및 y는 직교 횡방향이고 z 방향은 일반적으로 패널(100)에 대해 수직이다.
간결함을 위해, 본 명세서에 설명된 예시적인 비접촉 입력 선택 실시예는 개조 인터페이스 장치(10)의 디스플레이(60) 상에 표시되는 가상 버튼(104)을 참조한다. 디스플레이(60)와 연관된 것으로 설명된 기능이 추가로 또는 대안적으로 디스플레이(22)에 의해 제공될 수 있다는 일반성을 잃지 않고 컨트롤러(20)에 의해 제어될 수 있다(디스플레이 신호(61)를 통해). 이는 (디스플레이 신호(18)를 통해 및/또는 제어 신호(16) 및 디스플레이 신호(21)를 통해 간접적으로) 컨트롤러(20)에 의해 제어될 수 있는 대상 장치(50)의 일부이거나 그러한 가상 버튼이 정적 패널 또는 표면에 표시되는 것이다. 아래에 설명된 예시적인 비접촉 입력 선택 실시예는 개조 인터페이스 장치(10)가 특정 가상 버튼(104)이 사용자에 의해 비접촉으로 선택되었다고 결정(또는 결론을 내릴) 수 있는 기술을 제공한다. 본 명세서의 다른 곳에서 설명한 바와 같이, 개조 인터페이스 장치(10)는 그러한 가상 버튼(104)의 선택의 결정을 사용하여 대상 장치(50)의 대응하는 동작을 수행할 수 있다.
도 6은 특정 예시적 실시예에 따른 개조 인터페이스 장치(10)(또는 본 명세서에 기술된 임의의 다른 개조 인터페이스 장치(10A, 10B, 10C))를 사용하여 비접촉 입력 선택을 결정하기 위한 방법(200)의 개략도이다. 도 6의 방법(200)을 설명하기 위해, 비접촉 감지 시스템(12)은 도 3a 내지 도 3c의 실시예에 도시된 것과 유사한 광 감지 시스템(40) 및 용량성 센서(30)의 어레이의 조합을 포함한다고 가정한다. 입력의 선택은 본 명세서의 다른 곳에서 설명된 바와 같이 가상 버튼(104)과의 상호작용을 포함한다. 상기 방법(200)은 컨트롤러(20) 및 선택적으로 피드백 메커니즘(들)(55)과 조합하여 비접촉 감지 시스템(12)에 의해 구현될 수 있다.
방법(200)은 블록(202)에서 시작하며, 여기서 비접촉 감지 시스템(12)은 사용자 신체 부분(방법(200)을 손가락으로 설명하기 위해 일반성을 잃지 않고 가정함)이 그 감지 범위에 들어가기를 대기한다. 일부 실시예에서, 블록(202)은 사용자의 손가락이 용량성 센서(30)의 감지 영역(32)에 들어갔음을 검출하는 것을 수반하며, 이 감지 영역은 하나 이상의 가상 버튼(104)을 표시하는 평면으로부터 z-거리일 수 있으며, 여기서 z-좌표는 가상 버튼(104)을 디스플레이하는 평면에 수직일 수 있다. 비접촉 감지 시스템(12)이 감지 영역(32)에서 사용자의 손가락을 감지하면, 방법(200)은 블록(204)으로 진행하고, 여기서 비접촉 감지 시스템(12)(예를 들어, 용량성 센서(30))은 사용자의 손가락이 감지 영역(32)에서 이동할 때 사용자의 손가락 위치를 추적한다. 일부 실시예에서, 블록(204)은 손가락의 z-좌표만을 추적하는 것을 포함할 수 있다. 일부 실시예에서, 블록(204)은 z-좌표에 더하여 사용자 손가락의 가로(x-y) 좌표를 추적하는 것을 수반할 수 있다. 블록(204A)에서, 컨트롤러(20)는 선택적으로 사용자의 손가락이 감지 영역(32)에서 감지될 때 피드백 메커니즘(55)을 사용하여 어떤 종류의 피드백을 제공한다. 예를 들어, 컨트롤러(20)는 디스플레이(60)(또는 디스플레이(22))가 사용자 손가락의 가로(x-y) 위치를 추적하고 사용자 손가락을 나타내는 일부 표시(예를 들어, 크기, 색상 등)를 갖는 커서 등을 표시하게 할 수 있다. 사용자 손가락의 z 좌표이다.
블록(206A)에서, 방법(200)은 사용자의 손가락이 감지 영역(32) 밖으로 물러났는지 여부를 질의한다. 그렇다면 방법(200)은 블록(202)으로 돌아간다. 사용자의 손가락이 여전히 감지 영역(32)에 있으면, 방법(200)은 선택적 블록(206B)으로 진행한다. 선택적인 블록(206)은 사용자의 손가락이 검출 평면을 통과했는지 여부에 대한 문의를 수반한다. 검출 평면은 임계 z 좌표를 사용하여 구현될 수 있다. 즉, 감지 시스템(12)이 사용자 손가락의 z-좌표가 구성 가능한 임계값 위에서 구성 가능한 임계값 아래로 이동한 것을 확인하면, 검출 평면 교차가 블록(206B)에서 검출된다. 검출 평면 교차가 블록 206B에서 검출되지 않으면, 방법(200)은 블록 204로 복귀한다. 그러나 검출 평면 교차가 블록(206B)에서 검출되면, 방법(200)은 선택적 블록(208)으로 진행한다. 블록 208에서, 사용자의 손가락이 검출 평면을 가로지를 때 사용자 손가락의 가로(x-y) 위치가 결정된다. 이 블록(208) 결정은 광학 센서(40)에 의해 수행될 수 있으며, 이는 본 명세서의 다른 곳에서 설명된 바와 같이 (정전식 센서(30)와 비교할 때) 가로(x-y) 좌표의 보다 정확한 결정을 허용할 수 있다.
선택적 블록(206B 및 208)을 통해 도착하든 블록(206A)에서 직접 도착하든, 방법(200)은 블록(210)에서 특정 선택 기준이 충족되는지 여부를 확인하는 것을 포함한다. 본 명세서의 다른 곳에서 기술된 바와 같이, 블록(210)에서 선택 기준이 만족되는지 여부를 구별하기 위해 다양한 기술이 사용될 수 있다. 그러한 기술은 일반적으로 비접촉 감지 시스템(12)(예를 들어, 용량성 센서(30) 및/또는 광학 감지 시스템(40))에 의해 결정된 사용자 신체 부분(예를 들어, 사용자의 손가락)의 추적된 위치에 기초할 수 있다. 하나의 특정 실시예에서, 블록(210)은 사용자의 손가락이 다른 검출 평면(블록(206B 및 208)과 관련하여 위에서 논의된 검출 평면과 유사)을 가로지를 때 선택이 이루어진 것으로 결정하는 것을 수반한다. 다른 특정 실시예에서, 블록(210) 선택 기준은 탭-제스처, 더블-탭 제스처, 호버 제스처 등의 검출을 포함할 수 있으며, 그 일부 예는 아래에서 설명된다. 블록(210) 선택 기준이 만족되면, 방법(200)은 어떤 선택(예를 들어, 어떤 특정한 가상 버튼(104))이 만들어졌는지를 결정하는 것을 포함하는 블록(212)으로 진행한다. 블록(210)에서 만족되는 선택 기준의 특성에 따라, 블록(212) 선택 결정은 블록(210) 질의의 일부로서 이루어질 수 있다.
일부 실시예에서, 각각의 가상 버튼(104)은 대응하는 가로(x-y) 좌표의 범위를 갖고 블록(212)은 블록(210) 선택 기준이 만족되었을 때 사용자 손가락의 추적된 x-y 위치 또는 블록(208)에서 검출 평면을 교차했을 때 사용자 손가락의 결정된 x-y 위치에 대응하는 특정 가상 버튼(104)을 선택한다. 일부 실시예에서, 블록(212)은 사용자 손가락의 접근 각도를 고려할 수 있다. 이러한 접근 각도는 예를 들어 블록(204, 210) 사이에서 사용자의 손가락을 추적할 때 용량성 센서(30)에 의해 결정될 수 있다. 그러한 접근 각도는 (블록 208에서 결정된 바와 같은) 제1 검출 평면 교차의 x-y 위치와 (선택 기준이 충족될 때 블록 210에서 결정된 바와 같은) 제2 검출 평면 교차의 x-y 위치 사이에서 결정될 수 있다. (z-방향에 대한) 접근 각도가 임계 각도보다 큰 경우, 블록(212)은 사용자가 인접한 가상 버튼(104)을 선택하려고 시도했다고 결정하는 것을 수반할 수 있다(즉, 블록(210) 선택 기준이 만족되었을 때 사용자 손가락의 추적된 x-y 위치 또는 검출 평면(208)을 교차했을 때 사용자 손가락의 결정된 x-y 위치에 대응하는 가상 버튼에 인접한 가상 버튼). 일부 실시예에서, 블록(212)은 한 쌍의 (x,y,z) 검출 (x1,y1,z1), (x2,y2,z2)에 기초한 탭-벡터의 계산을 포함한다. 이 두 가지 개별 감지를 활용하여 공간에서 벡터를 얻은 다음 사용자가 선택하려고 했던 가상 버튼을 예측할 수 있다. 비제한적인 예로서, 그러한 (x,y,z) 검출 쌍은 다음을 포함할 수 있다: 각각의 감지를 위한 레이저 광학 센서 - 센서 A의 감지면이 부딪힐 때 감지가 발생하고 센서 B의 감지면이 부딪힐 때 또 다른 감지가 발생한다. z-좌표는 광학 센서(들)의 각도 지식에 의해 또는 정전정전식 센서(30)에 의해 계산될 수 있다. 일반적으로, 본 명세서에 기술된 용량성 센서(30) 및/또는 광학 센서(40)로부터의 정보의 임의의 조합은 (x,y,z) 검출 쌍 중 하나 또는 둘 모두를 만드는 데 사용될 수 있다. 일부 실시예에서, 사용자가 고의로 제스처를 하고 있었는지 여부를 구별하기 위해 (x,y,z) 쌍의 검출 사이에 적절한 시간 임계값이 사용될 수 있다.
블록(212A)에서, 컨트롤러(20)는 선택적으로 피드백 메커니즘(55)이 가상 버튼(104)이 사용자에 의해 선택되었음을 나타내는 어떤 종류의 피드백을 표시하게 할 수 있다. 예를 들어, 컨트롤러(20)는 가상 버튼과 연관된 아이콘이 색상을 변경하거나, 애니메이션 등을 표시하거나 변경하게 할 수 있다. 방법(200)은 개조 인터페이스 시스템(10)이 사용자로부터 추가 입력을 기다리고 있는지 여부에 대한 질문을 포함하는 블록(214)으로 진행한다. 예를 들어 대상 장치(50)가 엘리베이터 패널이고 사용자가 8레이어에 해당하는 가상 버튼을 눌렀다면 더 이상의 입력이 필요하지 않게 된다. 그러나 대상 장치(50)가 공항 키오스크이고 사용자가 성(last name)의 첫 번째 문자를 입력한 경우 개조 인터페이스 시스템(10)은 더 많은 입력을 요구할 수 있다. 블록(214) 조회가 부정적이면 방법(200)이 종료된다. 그렇지 않으면, 방법(200)은 선택적 블록(218 및 220)을 통해 블록(202) 또는 블록(210)으로 복귀한다. 선택적인 블록(218)에서, 컨트롤러(20)는 피드백 메커니즘이 개조 인터페이스 장치가 추가 입력을 기다리고 있음을 나타내도록 할 수 있다. 선택적인 블록(220)은 사용자의 손가락이 블록(206B 및 208)에서 평가된 검출 평면을 지나서 (가상 버튼으로부터 멀어지도록) 오므렸는지 여부를 조회하는 것을 포함한다. 블록(220) 조회가 부정이면 방법(200)은 블록(210)으로 복귀한다. 블록(220) 조회가 긍정이면 메소드(200)는 블록(202)으로 복귀한다.
블록(210)의 질의로 돌아가서, 선택 기준이 만족되지 않을 가능성이 있으며, 이 경우 방법(200)은 블록(216)으로 진행한다. 블록(216)은 재시작이 요구되는지 여부에 대한 질의를 수반할 수 있다. 재시작이 필요하지 않은 경우, 방법(200)은 블록 210으로 복귀한다. 재시작이 요구되는 경우 적절한 재시작 피드백이 표시될 수 있고(블록 216A) 방법(200)은 블록 204로 복귀할 수 있다. 블록(216)에서 평가된 재시작 기준은 예를 들어 적절한 시간 임계치, 블록(206B, 208) 검출 평면의 역방향 교차가 검출되었다는 결정 등을 포함할 수 있다.
본 명세서의 다른 곳에서 논의된 바와 같이, 비접촉 감지 시스템(12)(예를 들어, 정전식 센서(30) 및/또는 광학 감지 시스템(42))은 사용자 신체 부분(예: 사용자 손가락)의 x, y 및 z 위치(도 3a, 5a, 5b 참조)를 검출할 수 있다. 예를 들어, 방법(200)의 블록(210)에서 사용될 수 있는 비접촉 입력 선택 기준에 대한 예시적인 방법은 사용자가 자신의 손가락을 가리키는 것을 포함한다(예를 들어, 특정 가상 버튼(104)에 대해 (임계치 z-거리 내에서(도 3a, 5a, 5b 참조) 그리고 정확한 가로(x-y) 위치에) 충분한 근접, 그리고 임계값 기간(예: 0.5초 또는 1초) 동안 임계값 양(예: 0.5cm 또는 1cm) 이상으로 손가락의 x, y, z 위치를 변경하지 않는 호버링). 다른 실시예에서, 블록(210)에서 사용될 수 있는 가상 버튼 또는 아이콘(104)에 대한 선택 기준은 사용자가 임계값에 대한 가상 버튼(104)(손가락의 가로(x-y) 위치에 의해 결정됨)으로부터 임계 거리(예를 들어, z-거리) 내로 그들의 손가락을 임계 기간 동안 먼저 움직였다고 결정하는 것을 포함할 수 있다. 그런 다음 계 시 기간 내에 (예: z 방향의 1cm 이상)z-위치의 임계 변화와 함께 손가락의 z-위치의 급격한 변화(예: 0.25s 미만에서 z 방향으로 1cm 이상 변경) 및/또는 적절한 임계값보다 큰 z-위치 변경 속도(예: 4cm/s보다 큰 z-위치 변경 속도)를 검출하는 단계를 포함한다.
디스플레이(60)는 선택이 이루어졌고(예를 들어 블록 212A에서) 손가락이 새로운 위치로 이동될 수 있음을 나타내기 위해(예를 들어 블록 218에서) 피드백 메커니즘(55)에 의해 제공될 수 있는 시각적 표식 또는 애니메이션(예: 로딩 막대/원) 또는 다른 유형의 피드백(예: 본 명세서의 다른 곳에서 설명된 것을 포함)을 표시할 수 있다. 일부 실시예에서, 블록(212A)에서 사용되는 개조 인터페이스 장치(10)의 피드백 메커니즘(55)은 음파를 예를 들어 사용자의 손가락 쪽으로 향하게 하여 선택을 나타내도록(대응하는 피드백을 제공) 음파 방출기를 포함한다.
예시적인 호버 선택 비접촉 입력 선택 기술은 본 명세서에 기술된 임의의 다른 비접촉 입력 기술에 추가하여 또는 그에 대한 대안으로(예를 들어, 블록 210에서) 사용될 수 있다.
예를 들어, 가상 버튼(104)의 선택을 결정하기 위한 방법(200)의 블록(210)에서 사용될 수 있는 비접촉 입력 선택 기준의 또 다른 예시적인 방법은 사용자가 임계 시간 동안 가상 버튼 또는 아이콘(104) 위로 호버링하는 단계(예: (임계치 z-거리 내에서) 충분히 근접하고 상대적인 올바른 가로(x-y) 위치)와 그리고 이어서 그들의 손가락을 가상 버튼(104)을 향해 더(z-방향으로) 탭핑(tapping)하는 단계를 포함한다. 탭핑 모션은 사용자가 그들의 손가락을 가상 버튼(104)을 향해 더 이동(예를 들어, z-방향으로 더 가까운 임계 거리 내로)한 다음, 그들의 손가락을 가상 버튼(104)으로부터 멀리 이동시키거나 떼는 것을 포함할 수 있다. 비접촉 감지 시스템(12)(예를 들어, 정전식 센서(30) 및/또는 광학 감지 시스템(40))은 후속 탭핑 이벤트에 대한 적격 이벤트일 수 있는 특정 가상 버튼 위의 호버링을 검출할 수 있다. 그런 다음 x-y 위치가 변경되지 않고(임계값 이상) z 방향이 감소하는 것으로 감지되면(예: 호버링 감지 중 z 값과 비교하여 임계값만큼) "탭"이 식별된다.
이 예시적인 방법은 또한 초기 호버링 후에 손가락을 측면으로 탭핑 및 드래그하는 것을 포함할 수 있다. 비제한적 예로서, (예를 들어, 아이콘의) 드래그를 결합하기 위해 첫 번째 식별된 탭이 사용될 수 있고, 후속 탭까지 드래그를 구현하기 위해 손가락의 후속 x-y 이동이 사용될 수 있다. z-좌표 등의 증가는 끌기를 해제하는 데 사용된다.
예를 들어, 가상 버튼(104)의 선택을 결정하기 위한 방법(200)의 블록(210)에서 사용될 수 있는 비접촉 입력 선택 기준의 또 다른 예시적인 방법은 사용자가 가상 버튼 또는 아이콘을 더블 탭핑하는 것을 포함한다. 이 선택 방법은 개조 인터페이스 장치(10)와의 더 빠른 상호 작용을 잠재적으로 허용한다(위에서 논의된 호버링 선택과 비교할 때). 더블 탭 선택 방법은 사용자가 가상 버튼(104)(가상 버튼의 횡방향 위치)을 향하여 멀어지도록 손가락을 두 번 두드리는 것을 포함하며, 선택을 입력하는 시간까지 임계 기간 내에 있다. 비접촉 감지 시스템(12)(예를 들어, 정전식 센서(30) 및/또는 광학 감지 시스템(40))은 (위에서 설명한) 첫 번째 탭의 감지와 유사한 방식으로 이러한 이중 탭핑을 감지할 수 있다. 그리고 z-위치의 증가를 감지하고 임계 시간 기간 내에 두 번째 탭을 수행한다. 이중 탭핑은 위에서 논의된 호버 유형 선택 기준에 비해 가상 버튼의 견고성 증가 및 위양성 또는 우발적 클릭의 감소를 유리하게 허용한다. 일부 사용자는 어떤 버튼을 선택할지 결정할 때 자연스럽게 특정 가상 버튼 위로 마우스를 가져갈 수 있기 때문이다. 일부 실시예에서, 블록(210) 선택 기준은 위에서 설명한 호버링 선택 방법과 더블 탭핑 방법의 조합을 수반할 수 있다. 예를 들어, 사용자는 호버 선택 방식을 사용하여 먼저 아이콘을 미리 선택하고, 더블 탭핑 방식(또는 대안으로 싱글 탭핑 방식)을 사용하여 선택을 확인할 수 있다.
예를 들어, 블록 210에서 사용될 수 있는 비접촉 입력 선택 기준의 또 다른 예시적인 가상 버튼(104)의 선택을 결정하기 위한 방법(200)은, 사용자가 가상 버튼 또는 아이콘을 향해 자신의 손가락을 가리키고 선택하고자 하는 가상 버튼 또는 아이콘 주위에 원을 그리는 것(즉, 원을 그리는 것)을 포함한다. 그러한 일부 실시예에서, 비접촉 감지 시스템(12)은 일단 손가락이 가상 버튼에 대한 임계 z-거리 근접성에 진입하면 사용자 손가락의 가로 x-y 위치를 추적할 수 있다. 추적하는 동안, 비접촉 감지 시스템(12)은 손가락의 가로 위치가 임계치 양만큼 변하는지를 확인한 다음, 구성 가능한 시간 임계치(예를 들어, 1s) 내에서 동일한 위치의 임계치 근접성 내로 돌아오는지 확인할 수 있다. 이것이 사실이라면, 비접촉 감지 시스템(12)은 그 가로 위치를 추적하면서 만들어진 형상을 분석한다. 동작이 원인지 아니면 다른 "닫힌" 모양인지 결정하기 위한 비제한적인 한 가지 예는 동작 중에 4개의 데카르트 사분면을 순차적으로 통과하는 동작을 확인하는 것(예: 4개의 "모서리" 지점을 감지하여 특정 좌표의 극단), 그리고 이러한 코너 포인트가 4개의 개별 사분면에 있는지 확인하고 반대 코너 포인트 사이에 최소 임계 반경 또는 임계 분리가 있는지 확인하는 것이다. 사용자의 손가락이 닫힌 모양을 가로지르는지 여부를 확인하기 위해 다른 기술이 사용될 수 있음을 이해할 것이다. 비접촉 감지 시스템(12)은 특정 가상 버튼의 선택을 확인하기 전에 가상 버튼의 x-y 좌표가 검출된 원 내부에 완전히 또는 부분적으로 포함되는지 추가로 확인할 수 있다. 일부 실시예에서, 디스플레이(60)는 선택된 가상 버튼 또는 아이콘 주위에 그려지고 있는 원을 보여주는 피드백을 제공하도록 구성된다. 그러한 피드백은 예를 들어 블록(210)에서 선택 기준이 만족되었다는 YES 결론 전에 제공될 수 있다.비접촉 입력 선택의 또 다른 예시적인 방법은 사용자가 디스플레이(60)에 표시될 수 있는 "링" 표시기(또는 다른 적절한 "선택기" 표시기) 위에 손가락을 위치시킨 다음 선택기를 원하는 가상 버튼(104) 위로 선택기 표시기를 "드래그"하는 것을 포함한다. 이러한 일부 실시예에서, 비접촉 감지 시스템(12)은 먼저 링 표시자에 근접한 호버 제스처를 검출할 수 있고 - 이 동작을 손가락으로 이동하기 위해 링을 활성화하는 것으로 해석할 수 있다. 그런 다음, 비접촉 감지 시스템(12)은 손가락이 가상 버튼 위로 이동할 때 손가락의 가로 x-y 위치를 추적할 수 있다. 그런 다음, 비접촉 감지 시스템(12)은 링의 x-y 위치에 해당하는 가상 버튼을 선택하기 위해 호버 제스처, 멀어지는 제스처(z-거리가 임계 시간에서 특정 임계 양만큼 증가) 또는 일부 다른 적절한 제스처를 감지할 수 있다. 블록(210) 선택 기준은 선택기 표시기가 가상 버튼 또는 아이콘(104) 위로 드래그된 후 사용자가 임계 시간 동안 또는 가상 버튼(104)으로부터(예를 들어, z-방향으로) 손가락을 잡아당김으로써 가상 버튼 또는 아이콘(104) 위에 선택기 표시기를 유지함을 결정함으로써 가상 버튼(104)의 선택을 결정할 수 있다. 유리하게는 앞서 설명한 더블탭 방식과 같이 이 방법은 호버 기반 선택과 관련하여 오탐지 및 사용자 오류를 완화할 수 있다. 이중 탭과 마찬가지로 이 링 선택 기술에는 의도적인 사용자 작업이 필요하기 때문이다.
예를 들어, 가상 버튼(104)의 선택을 결정하기 위한 방법(200)의 블록(210)에서 사용될 수 있는 비접촉 입력 선택 기준의 또 다른 예시적인 방법은 사용자가 비접촉 감지 시스템(12)의 표면을 가로질러 그들의 손을 흔들거나 스와이프하는 것을 포함한다. 이러한 일부 실시예에서, 비접촉 감지 시스템(12)은 먼저 사용자의 신체 부분이 임계 시간(예를 들어, 1s) 동안 사용자의 신체 부분(예를 들어, 손가락, 손, 팔뚝)의 일부에 충분히 가까운 위치(z-거리 임계값 이내)임을 보장한다. 사용자 신체 부위의 횡방향 위치 변화가 임계 시간 내에서 설정 가능한 임계값보다 크거나 임계값 횡방향 이동 중 횡방향 변화율이 설정 가능한 임계값보다 높은 경우 스와이프가 감지된다. 일부 구현에서, 스와이프의 방향성은 스와이프 움직임이 왼쪽(음의 x)/오른쪽(양의 x)/위(양의 y)/아래(음의 y) 방향 중 하나에 가장 가깝다는 것을 검출함으로써 비접촉 감지 시스템(12)에 의해 확인될 수 있다. 우리는 손이 항상 센서의 감지 범위 내에 있다고 가정한다. 유효한 스와이프를 식별하려면 임계값 변경 거리가 있어야 한다. 일부 실시예에서, 스와이핑의 검출은 방법(200)의 블록(210)에서 가상 버튼의 선택을 위한 기술로서 사용되는 것에 추가하여 또는 이에 대한 대안으로서 탐색 제스처로서(예를 들어, 가상 버튼 세트 사이를 변경하기 위해) 사용될 수 있다.
예를 들어, 블록 210에서 사용될 수 있는 비접촉 입력 선택 기준의 또 다른 예시적인 가상 버튼(104)의 선택을 결정하기 위한 방법(200)은 사용자가 선택을 순환 또는 스크롤하거나, 슬라이더 위젯을 조작하거나, 숫자 값을 선택하거나, 설정(예를 들어, 온도 조절기의 온도)을 조정하기 위해 손으로 원형 운동을 하는 것을 수반한다. 이러한 일부 실시예에서, 비접촉 감지 시스템(12)은 먼저 사용자의 신체 부분이 충분히 가까이 있는지(z-거리 임계값 내에서) 확인한 다음 손가락/손의 가로 x-y 위치를 추적하여 일관된 원형 동작이 이루어지고 있는지 확인한다. 이 원형 동작은 위에서 설명한 원 선택과 유사한 방식으로 확인할 수 있다. 일부 실시예에서, 움직임의 반경 및 속도는 선택 등을 통한 순환 속도를 확인하기 위해 추적될 수 있다. 일부 실시예에서, 이들 회전을 추적하는 것은 다음을 포함할 수 있다: 운동이 원형이라는 가정; 순간 운동의 속도 벡터를 검출하고 계산하는 단계; 그런 다음 현재 및 이전 속도 벡터를 기반으로 외적 벡터를 계산하는 단계 - 이러한 외적의 방향은 방향 정보를 산출하고 이러한 외적의 크기는 속도 정보를 산출한다. 일부 실시예에서, 원형 움직임의 검출은 방법(200)의 블록(210)에서 가상 버튼의 선택을 위한 기술로서 사용되는 것에 추가하여 또는 이에 대한 대안으로서 탐색 제스처로서(예를 들어, 가상 버튼 세트 사이를 변경하기 위해) 사용될 수 있다.
가상 버튼 또는 아이콘의 선택은 슬라이더 버튼 등과 같은 대화형 가상 아이콘의 선택을 포함할 수 있다. 가상 슬라이더 버튼은 동작 범위 위로 "드래그"될 수 있는 슬라이더 아이콘을 포함할 수 있다. 가상 슬라이더 버튼을 구현하는 하나의 특정 실시예에서, 가상 슬라이더 버튼과의 상호작용은 다음을 포함할 수 있다: 비접촉 감지 시스템(12)은 슬라이더 아이콘 위에서 선택 기준(호버, 호버 탭, 더블 탭 등)을 만족하는 손가락을 감지하고, z-거리가 증가하지 않는 한(임계값 이상) 비접촉 감지 시스템은 가로 x-y 위치를 추적하여 슬라이더가 화면에서 왼쪽/오른쪽 또는 위/아래로 드래그하도록 영향을 준다. 비접촉 감지 시스템은 가로 x-y 위치를 추적하여 슬라이더에 영향을 주어 화면에서 왼쪽/오른쪽 또는 위/아래로 드래그한다. 손가락 z 거리가 임계값 이상으로 증가하는 것으로 감지되면 상호 작용이 종료된다.
일부 실시예에서, 디스플레이(60)는 키보드를 디스플레이하도록 구성된다(예를 들어, 가상 버튼(104)은 키보드의 키에 대응함). 비접촉 감지 시스템(12)은 단어를 입력하기 위해 다양한 영숫자 아이콘 사이에서 디스플레이(60)의 표면을 가로질러(그러나 이격되어) 사용자가 손가락을 스와이프하는 것을 검출하도록 구성된다. 비접촉 감지 시스템(12)은 일련의 스와이프와 같은 스와이핑을 감지할 수 있고 눌려진 키보드의 키로서 스와이핑의 끝점을 추적할 수 있다. 비활동의 임계 기간 또는 일부 다른 적절한 제스처(예를 들어, z-방향으로 이동 및/또는 이와 유사한 것)의 검출 후에, 검출된 종점은 영숫자 문자열을 형성할 수 있다. 컨트롤러(20)는 사용자 손가락 움직임의 근접성 및 끝점에 기초하여 어떤 단어가 입력되기를 원하는지 예측하기 위해 채용될 수 있는 예측 알고리즘을 지원할 수 있다.
일부 실시예에서, 비접촉 감지 시스템(12)은 사용자에 의해 이루어진 손가락의 움직임을 검출하도록 구성되고 컨트롤러(20)는 움직임을 해석하도록 구성된다. 예를 들어, 사용자는 손가락 동작을 사용하여 '2' 또는 'd' 또는 '열기' 또는 '1234'와 같은 전체 단어 또는 코드를 그릴 수 있다. 사용자의 손가락이 임계값 z 거리 내에 있으면 비접촉 감지 시스템이 사용자 손가락의 가로(x-y) 위치를 추적할 수 있다. 멀어지는 제스처(또는 다른 적절한 제스처)가 감지되면 다양한 문자 인식(CR) 또는 유사한 알고리즘 중 하나를 사용하여 어떤 영숫자 입력이 그려졌는지 식별할 수 있다. 여러 숫자/문자를 함께 감지하여 단어 또는 암호를 형성할 수 있다. 일부 실시예에서, 사용자의 손가락의 위치 및 손가락의 움직임(즉, 사용자가 쓴 것)이 화면(60)에 표시된다.
일부 실시예에서, 컨트롤러(20)는 사용자의 손(예를 들어, 손가락)의 추정된 근접성이 패널(100)에 너무 가까울 때 디스플레이(60)가 경고 메시지를 디스플레이하게 하도록 구성된다. 이는 비접촉식 감지 시스템(12)에 익숙하지 않은 사용자가 패널(100)의 표면을 만지는 것을 (접촉 기반 바이러스 전파로부터 감염 전파를 방지하기 위해) 방해할 수 있다. 이것은 또한 센서의 감지 기능의 부정확성을 줄이기 위해 손가락이 패널(100)에 너무 가깝게 접근하는 것을 방해할 수 있다. 예를 들어 컨트롤러(20)가 상대적으로 얇은 손가락을 감지하도록 조정되고 사용자의 손이나 팔뚝이 감지 범위 내에 들어오면 잠재적으로 부정확한 결과가 발생할 수 있다.비접촉 감지 시스템(12)의 센서(예: 정전식 센서(30))는 신체 부위(예: 손가락)의 위치에 대응하는 3D(x,y,z) 좌표를 결정하도록 구성될 수 있다. 그러한 3D 좌표를 사용하여, 컨트롤러(20)는 인터페이스 장치(10)를 개조하기 위한 입력으로서 상이한 맞춤형 제스처를 검출하고 해석하도록 구성될 수 있다. 사용자 지정 제스처의 예로는 숫자 8, 삼각형, 문자, 원형 루프 등과 같은 임의의 모양이 포함되지만 이에 국한되지 않는다.
도 6a는 또 다른 예시적인 실시예에 따라 여기에 기술된 개조 장치(10, 10A, 10B, 10C) 중 임의의 것을 사용하여 비접촉 입력 선택을 결정하기 위한 방법(300)의 개략도이다. 방법(300)은 비접촉 감지 시스템(12)이 도 3a 내지 도 3ㅊ와 관련하여 위에서 논의된 정전식 센서(30) 및 광학 센서(42A, 42B)를 포함하는 특정 실시예이다. 방법(300)의 흐름도는 논리적으로 두 부분, 즉 용량성 센서(30)에 의해 수행되는 부분(310)과 광학 센서(40)에 의해 수행되는 부분(320)으로 분류된다. 방법(300)은 위에서 설명한 블록(202)과 유사하고 사용자의 신체 부위(예를 들어, 손가락 또는 손)가 감지 영역(32)으로 이동하기를 기다리는 것을 포함하는 블록(302)에서 시작한다. 간결함을 위해 그리고 설명의 일반성을 제한하지 않고, 방법(300)의 나머지는 관련 신체 부분인 사용자의 손가락과 관련하여 설명된다.
사용자의 손가락이 감지 영역(32)에 들어가면, 부분(310)에서 중앙 정전식 센서(30)가 손가락의 z 좌표를 검출하고 추적한다(블록 312). 손가락이 가상 버튼(104) 또는 디스플레이(60/22)의 평면에 접근하거나 이 평면으로부터 멀어짐에 따라 선택적으로 사용자에게 표시될 수 있다(블록 312A). 사용자의 손가락이 검출 영역(32) 밖으로 이동하면(블록 314 예 분기), 방법(300)은 블록 302로 돌아간다. 사용자의 손가락이 감지 평면을 통해 이동하면(구성 가능한 z 좌표 위에서 구성 가능한 z 좌표 아래로 교차), 방법은 블록(316) 예를 통해 블록(330)으로 진행한다. 이러한 의미에서, 블록(316)은 검출 평면의 교차인 방법(300)의 선택 기준으로 선택 기준이 만족되는지 여부를 결정하는 블록(210)과 유사할 수 있다. 이와 같이, 블록(316) 검출 평면은 작동 평면으로 지칭될 수 있다. 다른 실시예에서, 블록(316)은 본 명세서에 기술된 임의의 다른 블록(210) 선택 기준을 추가로 또는 대안적으로 사용할 수 있다.
한편, 부분(320)에서, 가상 버튼(104) 또는 디스플레이(60/22)의 평면 옆에 있는 광학 센서(42A, 42B)(도 3a 참조)는 가상 버튼(104) 또는 디스플레이(60/22)의 평면에 대해 각도로 레이저 광의 2개의 검출 평면을 방출한다. 사용자의 손가락이 감지 평면을 통과하면(블록 322), 광학 센서(42A, 42B) 중 하나 또는 둘 모두의 검출 평면을 가로지르는 손가락에 의해 결정되고/되거나 정전식 센서(30)에 의해 측정된 z-좌표를 적절한 임계값과 비교함으로써 결정되는 바와 같이, 광학 센서(42A, 42B)가 트리거되고 사용자 손가락의 가로(x-y) 위치가 결정된다(블록 324, 326). 블록(322) 검출 평면은 블록(316) 작동 평면과 동일할 수 있거나 블록(316) 작동 평면과 상이할 수 있다. 예를 들어, 블록 블록(316) 작동 평면은 광 센서(42A, 42B)의 검출 평면의 교차점보다 사용자로부터 더 멀리 있을 수 있다(도 3a에 도시된 교차점(56) 참조). 이 구성으로, 방법(300)이 블록(316)에 도달하기 전에 광학적 검출(블록(322, 324, 326)에서)이 발생할 것이다. 사용자가 블록(322)의 검출 평면으로부터 그들의 손가락을 멀리 움직이면(블록 328 YES 분기), 방법(300)은 블록(322)으로 돌아간다.블록(316) 조회가 긍정적이면(즉, 사용자의 손가락이 작동 평면을 가로지르는 경우), 방법(300)은 블록(330)으로 진행한다. 블록(330)은 블록(326)에서 확인된 x-y 위치에 기초하여 입력(예를 들어, 가상 버튼) 선택을 결정할 수 있다. 이러한 의미에서, 블록(330)은 도 6의 블록(212)과 유사할 수 있다. 블록(330A)에서 피드백 메커니즘(55)에 의해 블록(330) 선택에 관한 피드백이 제공될 수 있다. 사용자가 감지 영역(32)으로부터 그들의 손을 멀리 움직이면(블록 332 예 분기), 방법(300)은 블록(302)로 돌아간다. 그렇지 않으면 z 좌표가 표시되고, 블록(334) 방법은 블록(332)로 돌아간다.
본 명세서에서 기술되고 청구된 특정 실시예는 대상 장치에 비접촉 사용자 입력을 제공하기 위해 터치 기반 입력(50A)을 갖는 대상 장치(50)에 개조하는데 사용하기 위한 개조된 비접촉 인터페이스 장치(10)를 제공한다. 이것은 필요하지 않다. 당업자는 일부 실시예가 인간과 기계 또는 다른 장치의 상호 작용을 직접 용이하게 하기 위한 맞춤형 및/또는 모듈식 비접촉 인터페이스를 제공하도록 적절하게 수정될 수 있음을 이해할 것이다. 즉, 개조 인터페이스 장치(10)와 대상 장치(50)는 새로 제조된 장치에 통합될 수 있다. 이러한 새로 제조된 일부 장치에서, 본 명세서에서 독립적인 것으로 설명된 개조 인터페이스 장치(10) 및 대상 장치(50)의 일부 측면이 병합될 수 있다. 예를 들어, 개조 인터페이스 장치(10)의 컨트롤러(20)와 대상 장치(50)의 제어 시스템(51)은 하나의 기능적 컨트롤러로 병합될 수 있다. 다른 예로서, 개조 인터페이스 장치(10)의 디스플레이(60) 및 대상 장치(50)의 디스플레이(22)는 단일 디스플레이로 병합될 수 있다. 이러한 새로 제조된 일부 장치는 본 명세서에 기술된 것과 유사한 비접촉 감지 시스템(12)을 포함할 수 있다.
문맥상 달리 명확하게 요구되지 않는 한, 상세한 설명 및 특허청구범위 전체에 걸쳐:
"포함하다", "포함하는" 등은 배타적이거나 포괄적인 의미가 아닌 포괄적인 의미로 해석되어야 한다; 즉, "포함하지만 이에 국한되지 않는"의 의미로 해석되어야 한다;·
· 연결된", "결합된" 또는 이들의 변형은 둘 이상의 요소 사이의 직접적 또는 간접적 연결 또는 결합을 의미한다; 요소 간의 결합 또는 연결은 물리적, 논리적 또는 이들의 조합일 수 있다;
· "여기", "위", "아래" 및 유사한 의미의 단어는 명세서를 설명하기 위해 사용될 때 이 명세서의 특정 부분이 아니라 전체를 지칭한다.
· "또는"은 둘 이상의 항목 목록과 관련하여 단어에 대한 다음 해석을 모두 포함한다:
목록의 항목, 목록의 모든 항목 및 항목의 조합 목록;
· 단수형 "하나의", "한개의" 및 "그것의"는 적절한 복수형의 의미도 포함한다.
"수직", "가로", "수평", "위로", "아래로", "앞으로", "뒤로", "안으로", "바깥으로", "수직", "가로", "왼쪽", "오른쪽", "앞", "뒤", "위", "아래", "하", "상", "밑" 등 상세한 설명 및 첨부된 청구범위(존재하는 경우)에 사용된 지시를 나타내는 단어는 설명되고 예시된 장치의 특정 방향에 따라 상이하다.
본 명세서에 기술된 주제는 다양한 대안적 방향을 가정할 수 있다. 따라서 이러한 방향성 용어는 엄격하게 정의되지 않았으며 좁게 해석되어서는 안 될것이다.
본 발명의 다양한 실시예의 일부 구성요소(비제한적 예로서, 개조 인터페이스 장치(10, 10A, 10B, 10C)의 컨트롤러(20) 또는 대상 장치(50)의 컨트롤러 시스템(51) 또는 본 명세서에 기술된 임의의 다른 컨트롤러를 포함함) 특별히 설계된 하드웨어, 구성 가능한 하드웨어, 데이터 프로세서에서 실행할 수 있는 소프트웨어(선택적으로 "펌웨어"를 포함할 수 있음)의 제공에 의해 구성된 프로그래밍 가능한 데이터 프로세서, 특수 목적 컴퓨터 또는 특별히 프로그래밍되고 구성된 데이터 프로세서를 사용하여 구현될 수 있다. 또는 본 명세서에 상세히 설명된 바와 같은 방법에서 하나 이상의 단계 및/또는 이들 중 둘 이상의 조합을 수행하도록 구성된다. 특별히 설계된 하드웨어의 예는 논리 회로, 주문형 집적 회로("ASIC"), 대규모 집적 회로("LSI"), 초대형 집적 회로("VLSI") 등이다. 구성 가능한 하드웨어의 예는 프로그래밍 가능 어레이 로직("PAL"), 프로그래밍 가능 로직 어레이("PLA") 및 필드 프로그래밍 가능 게이트 어레이("FPGA")와 같은 하나 이상의 프로그래밍 가능 로직 장치이다. 프로그래밍 가능한 데이터 프로세서의 예는 마이크로프로세서, 디지털 신호 프로세서("DSP"), 임베디드 프로세서, 그래픽 프로세서, 수학 보조 프로세서, 범용 컴퓨터, 서버 컴퓨터, 클라우드 컴퓨터, 메인프레임 컴퓨터, 컴퓨터 워크스테이션 등이다. 예를 들어, 장치의 제어 회로에 있는 하나 이상의 데이터 프로세서는 프로세서에 액세스할 수 있는 프로그램 메모리에서 소프트웨어 명령을 실행하여 여기에 설명된 방법을 구현할 수 있다.
프로세싱은 집중화되거나 분산될 수 있다. 처리가 분산되는 경우 소프트웨어 및/또는 데이터를 포함한 정보는 중앙에 보관되거나 분산될 수 있다. 이러한 정보는 LAN(Local Area Network), WAN(Wide Area Network) 또는 인터넷과 같은 통신 네트워크, 유선 또는 무선 데이터 링크, 전자기 신호 또는 기타 데이터 통신 채널을 통해 서로 다른 기능 장치 간에 교환될 수 있다.
예를 들어, 프로세스 또는 블록이 주어진 순서로 제시되는 반면, 대안적인 예는 단계를 갖는 루틴을 수행하거나 블록을 갖는 시스템을 다른 순서로 사용할 수 있으며 일부 프로세스 또는 블록은 삭제, 이동, 추가, 세분화되거나 결합 및/또는 대안 또는 하위 조합을 제공하기 위해 수정될 수 있다. 이러한 프로세스 또는 블록 각각은 다양한 방식으로 구현될 수 있다. 또한, 프로세스 또는 블록은 때때로 직렬로 수행되는 것으로 도시되지만, 이러한 프로세스 또는 블록은 병렬로 수행되거나 다른 시간에 수행될 수 있다.
또한, 요소는 때때로 순차적으로 수행되는 것으로 도시되지만, 대신에 동시에 또는 다른 순서로 수행될 수 있다. 따라서 다음 청구범위는 의도된 범위 내에 있는 이러한 모든 변형을 포함하는 것으로 해석되어야 한다.
소프트웨어 및 기타 모듈은 서버, 워크스테이션, 개인용 컴퓨터, 태블릿 컴퓨터, 이미지 데이터 인코더, 이미지 데이터 디코더, PDA, 컬러 그레이딩 도구, 비디오 프로젝터, 시청각 수신기, 디스플레이(텔레비전 등), 디지털 시네마 프로젝터, 미디어 플레이어 및 기타 적합한 장치 등에 여기에 설명된 목적을 위해 상주할 수 있다. 관련 기술 분야의 숙련자는 시스템의 측면이 다음을 포함하는 다른 통신, 데이터 처리 또는 컴퓨터 시스템 구성으로 실행될 수 있음을 이해할 것이다: 인터넷 기기, 핸드헬드 장치(PDA(Personal Digital Assistants) 포함), 웨어러블 컴퓨터, 모든 종류의 휴대폰 또는 휴대폰, 다중 프로세서 시스템, 마이크로프로세서 기반 또는 프로그래밍 가능한 소비자 전자 제품(예: 비디오 프로젝터, 시청각 수신기) , 텔레비전 등과 같은 디스플레이), 셋톱 박스, 컬러 그레이딩 도구, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등.일부 실시예에서, 본 발명은 부분적으로 소프트웨어로 구현될 수 있다. 더 명확하게 하기 위해, "소프트웨어"는 프로세서에서 실행되는 모든 명령을 포함하며 펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함할 수 있다(그러나 이에 제한되지 않음). 처리 하드웨어 및 소프트웨어 모두는 당업자에게 공지된 바와 같이 전체적으로 또는 부분적으로 중앙 집중화되거나 분산(또는 이들의 조합)될 수 있다. 예를 들어, 소프트웨어 및 기타 모듈은 로컬 메모리를 통해, 네트워크를 통해, 브라우저 또는 분산 컴퓨팅 컨텍스트의 다른 애플리케이션을 통해, 또는 위에서 설명한 목적에 적합한 다른 수단을 통해 액세스할 수 있다.
구성 요소(예: 소프트웨어 모듈, 프로세서, 어셈블리, 장치, 회로 등)가 위에서 언급된 경우 달리 표시되지 않는 한 해당 구성 요소에 대한 참조("수단"에 대한 참조 포함)는 다음과 같이 해석되어야 한다. 본 발명의 예시적인 실시예에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성요소를 포함하여, 설명된 구성요소의 기능을 수행하는(즉, 기능적으로 동등한) 모든 구성요소를 해당 구성요소의 등가물로서 포함한다.
시스템, 방법 및 장치의 특정 예는 예시 목적으로 본 명세서에서 설명되었다. 이것은 단지 예일 뿐이다. 본 명세서에서 제공하는 기술은 상술한 예시 시스템 이외의 시스템에도 적용될 수 있다. 본 발명의 실시 내에서 많은 변경, 수정, 추가, 생략 및 순열이 가능하다. 본 발명은 다음에 의해 얻어진 변형을 포함하여 숙련된 수신자에게 명백할 기술된 실시예에 대한 변형을 포함한다: 기능, 요소 및/또는 동작을 동등한 기능, 요소 및/또는 동작으로 대체; 다른 실시예로부터의 기능, 요소 및/또는 동작의 혼합 및 매칭; 다른 기술의 특징, 요소 및/또는 행위와 본 명세서에 기술된 실시예로부터의 특징, 요소 및/또는 행위를 결합; 및/또는 기술된 실시예로부터 특징, 요소 및/또는 작용을 결합하는 것의 생략.
다양한 특징이 "일부 실시예"에 존재하는 것으로 여기에서 설명된다. 이러한 기능은 필수가 아니며 모든 실시예에 존재하지 않을 수 있다. 본 발명의 실시예는 이러한 특징 중 0개, 임의의 하나 또는 둘 이상의 임의의 조합을 포함할 수 있다. 이것은 당업자가 그러한 양립할 수 없는 특징들을 결합하는 실제 실시예를 구성하는 것이 불가능하다는 의미에서 그러한 특징들 중 어떤 것이 그러한 특징들의 다른 것들과 양립할 수 없는 정도로만 제한된다. 결과적으로, "일부 실시예"는 특징 A를 갖고 "일부 실시예"는 특징 B를 갖는다는 설명은 발명자들이 또한 특징 A와 B를 결합하는 실시예를 고려한다는 명시적인 표시로 해석되어야 한다(설명에 달리 명시되어 있지 않거나 기능 A와 B가 근본적으로 호환되지 않는 경우 제외).
따라서, 다음의 첨부된 청구범위 및 이후에 도입되는 청구범위는 합리적으로 추론될 수 있는 그러한 모든 수정, 순열, 추가, 생략 및 하위 조합을 포함하는 것으로 해석되는 것으로 의도된다. 특허청구범위는 실시예에 기재된 바람직한 실시예에 의해 제한되어서는 안되며, 전체로서 설명과 일치하는 가장 넓은 해석이 주어져야 한다.

Claims (116)

  1. 대상 장치의 터치 기반 입력을 개조하기 위한 개조(retrofit) 인터페이스 장치로서,
    인간 사용자로부터의 터치 프리(touch-free)입력에 응답하고 대응하는 센서 입력 신호를 생성하기 위한 하나 이상의 센서를 포함하는 비접촉식(touchless) 감지 시스템;
    상기 비접촉식 감지 시스템으로부터의 입력 신호를 수신하도록 연결되고, 상기 센서 입력 신호에 기초하여 대응하는 액추에이터 신호를 생성하도록 구성되는 컨트롤러;
    상기 대상 장치의 터치 기반 입력과 물리적으로 상호 작용하도록 위치 지정 및 이동 가능한 액추에이터를 포함하며, 상기 액추에이터는 상기 액추에이터 신호를 수신하도록 연결 가능하고, 상기 액추에이터 신호 수신에 응답하여 상기 대상 장치의 터치 기반 입력과 물리적으로 상호 작용하여 상기 대상 장치에 입력을 제공하도록 이동 가능한 장치.
  2. 제1항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 정전식 센서에 근접한 인체 부분에 의해 야기되는 전기장의 교란에 민감한 하나 이상의 정전식 센서를 포함하는 장치.
  3. 제2항 또는 임의의 다른 청구항에 있어서, 정전식 감지 시스템은 적어도 하나의 제1 전극 및 복수의 제2 전극을 포함하는 다레이어 인쇄 회로 기판을 포함하는 장치.
  4. 제3항 또는 임의의 다른 청구항에 있어서, 상기 복수의 제2 전극은 상기 개조 인터페이스 장치의 패널 및 상기 대상 장치의 패널 중 적어도 하나의 둘레 주위에 적어도 부분적으로 배열되는 장치.
  5. 제3항 또는 임의의 다른 청구항에 있어서, 상기 복수의 제2 전극은 상기 개조 인터페이스 장치의 디스플레이 패널 및 상기 대상 장치의 디스플레이 패널 중 적어도 하나의 둘레 주위에 적어도 부분적으로 배열되는 장치.
  6. 제1항 내지 제5항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 비접촉식 감지 시스템은 마이크로폰 센서를 포함하고, 상기 컨트롤러는 상기 센서 입력 신호에 기초하여 음성 명령을 해석하도록 구성되는 장치.

  7. 제1항 내지 제6항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 액추에이터는 선형 액추에이터 및 회전식 액추에이터 중 하나 이상을 포함하는 장치.
  8. 제1항 내지 제6항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 액추에이터는 복수의 액추에이터를 포함하는 어레이를 포함하고, 각각의 액추에이터는 상기 대상 장치의 복수의 터치 기반 입력 중 대응하는 하나에 대응하고, 상기 컨트롤러는 상기 센서 입력 신호에 기초하여 각각의 액추에이터를 독립적으로 작동시키기 위한 액추에이터 신호를 제공하도록 구성되는 장치.
  9. 제1항 내지 제8항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 인간 사용자가 상기 비접촉식 감지 시스템과 어떻게 상호작용했는지에 대해 인간 사용자에 의해 감지될 수 있는 피드백을 제공하기 위한 비접촉식 피드백 시스템을 포함하는 장치.
  10. 제9항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 피드백 시스템은 사용자와 상기 비접촉식 감지 시스템 간의 상이한 상호 작용에 기초하여 상기 사용자에게 상이한 피드백을 제공하는 장치.
  11. 제9항 또는 제10항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 피드백 시스템은 하나 이상의 음파 송신기를 포함하는 장치.
  12. 제9항 내지 제11항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 피드백 시스템은 하나 이상의 디스플레이 스크린을 포함하는 장치.
  13. 제1항 내지 제12항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 인간 사용자의 모바일 장치로부터 모바일 장치 입력 신호를 수신하도록 연결 가능하고, 상기 모바일 장치 입력 신호에 기초하여 대응하는 액추에이터 신호를 생성하도록 구성되며, 상기 액추에이터는 상기 액추에이터 신호의 수신에 응답하여 상기 대상 장치의 터치 기반 입력과 물리적으로 상호 작용하여 상기 대상 장치에 입력을 공하도록 이동 가능한 장치.
  14. 대상 장치에 비접촉식 사용자 입력을 제공하기 위해 상기 대상 장치와 인터페이싱하기 위한 개조 인터페이스 장치로서,
    인간 사용자에 의한 비접촉식 입력에 응답하고 하나 이상의 대응하는 센서 입력 신호를 생성하기 위한 하나 이상의 센서를 포함하는 비접촉식 감지 시스템; 및
    상기 비접촉식 감지 시스템으로부터 하나 이상의 센서 입력 신호를 수신하도록 연결되고, 상기 하나 이상의 센서 입력 신호에 기초하여 대응하는 제어 신호를 생성하도록 구성되는 컨트롤러를 포함하고,
    상기 컨트롤러는 상기 대상 장치에 연결 가능하며, 상기 대상 장치의 터치 기반 입력을 바이패스하고, 상기 제어 신호를 상기 대상 장치의 현재 사용되는 제어 시스템에 대한 입력으로 제공하여, 상기 대상 장치의 제어 시스템이 상기 제어 신호에 기초하여 상기 대상 장치를 작동하게 하는 장치.
  15. 제14항에 있어서, 상기 컨트롤러는 상기 하나 이상의 센서 입력 신호에 기초하여 상기 대상 장치의 상기 터치 기반 입력의 대응하는 입력 신호를 에뮬레이트(emulate)하기 위한 대응 제어 신호를 생성하도록 구성되는 장치.
  16. 제14항 또는 제15항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 정전식 센서에 근접한 인체 부분에 의해 야기되는 전기장의 교란에 민감한 하나 이상의 정전식 센서를 포함하는 장치.
  17. 제16항 또는 임의의 다른 청구항에 있어서,
    상기 하나 이상의 정전식 센서는 사용자 신체의 하나 이상의 위치 특성을 검출하고, 대응하는 위치 센서 신호를 생성하기 위해 위치 및/또는 배향된 하나 이상의 제1 정전식 센서를 포함하고;
    상기 비접촉식 감지 시스템은 상기 위치 특성과 적어도 부분적으로 상이한 사용자 신체의 하나 이상의 보조 특성을 검출하고, 보조 센서 신호를 생성하기 위해 위치 및/또는 배향된 제2 센서를 포함하고; 그리고
    하나 이상의 입력 신호는 상기 위치 센서 신호 및 상기 보조 센서 신호를 포함하고, 상기 컨트롤러는 상기 위치 센서 신호 및 상기 보조 센서 신호 모두에 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  18. 제17항 또는 임의의 다른 청구항에 있어서, 상기 위치 특성은 사용자의 제1 신체 부위의 위치를 포함하고, 상기 보조 특성은 사용자 신체의 크기, 체적, 형상 및/또는 접근 각도 중 하나 이상을 포함하는 장치.
  19. 제18항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 위치 센서 신호에 응답하여 상기 컨트롤러에 의해 결정된 상기 제1 신체 부위의 위치를 업데이트함으로써 상기 위치 센서 신호 및 상기 보조 센서 신호의 조합에 기초하여 상기 제1 신체 부위의 업데이트된 위치를 결정하고, 상기 컨트롤러는 제1 신체 부분의 업데이트 된 위치에 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  20. 제17항 또는 임의의 다른 청구항에 있어서, 상기 위치 특성은 사용자의 제1 신체 부분의 위치를 포함하고, 상기 보조 특성은 사용자의 제2 신체 부분의 위치를 포함하는 장치.
  21. 제20항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 위치 센서 신호에 응답하여 상기 컨트롤러에 의해 결정된 상기 제1 신체 부위의 위치를 업데이트함으로써 상기 위치 센서 신호 및 상기 보조 센서 신호의 조합에 기초하여 상기 제1 신체 부위의 업데이트 된 위치를 결정하고, 상기 컨트롤러는 제1 신체 부분의 업데이트 된 위치에 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  22. 제17항 내지 제21항 또는 임의의 다른 청구항에 있어서, 상기 제2 센서는 하나 이상의 제2 정전식 센서에 근접한 물체에 의해 야기되는 전기장의 변화에 민감한 하나 이상의 제2 정전식 센서를 포함하는 장치.
  23. 제17항 내지 제22항 또는 임의의 다른 청구항에 있어서, 상기 하나 이상의 제1 정전식 센서는 제1 검출 범위에 걸쳐 전계 교란을 감지할 수 있고, 상기 제2 정전식 센서는 제2 검출 범위의 전계 교란을 감지할 수 있는 장치.
  24. 제23항 또는 임의의 다른 청구항에 있어서, 상기 제2 검출 범위는 상기 제1 검출 범위보다 더 넓은 장치.
  25. 제24항 또는 임의의 다른 청구항에 있어서, 상기 제1 검출 범위는 상기 제2 검출 범위 내에 위치하는 장치.
  26. 제23항 또는 임의의 다른 청구항에 있어서, 상기 제1 검출 범위와 상기 제2 검출 범위는 중첩되지 않는 장치.
  27. 제17항 내지 제21항 또는 임의의 다른 청구항에 있어서, 상기 제2 센서는 사용자의 신체로부터 반사되는 전자기 복사의 변화에 민감한 광학 센서를 포함하는 장치.
  28. 제17항, 제18항, 제20항 및 제22항 내지 제27항 중 어느 한 항 또는 여기의 임의의 다른 청구항에 있어서, 상기 컨트롤러는 제1 신체 부분의 위치를 결정하고, 상기 제1 신체 부분의 위치에 기초하여 상기 제어 신호를 생성하기 위해 상기 위치 센서 신호 및 상기 보조 센서 신호를 사용하도록 학습된 기계 학습 데이터-학습 모델을 포함하는 장치.
  29. 제27항 또는 임의의 다른 청구항에 있어서, 광학 감지 시스템은 열 카메라, 적외선 카메라, RBG 카메라, 비행 시간(TOF, time-of-flight) 카메라, 입체 카메라, 구조광 카메라 및/또는 3D 카메라를 포함하는 장치.
  30. 제27항 또는 제29항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 보조 센서 신호에 기초하여 상기 대상 장치 인근의 사용자의 존재를 결정하도록 구성되는 장치.
  31. 제30항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 대상 장치 인근에 사용자의 존재 및/또는 부재의 결정에 응답하여 상기 제어 신호의 생성을 교정(calibrate)하도록 구성되는 장치.
  32. 제27항 또는 임의의 다른 청구항에 있어서, 상기 광학 센서는 레이저 방사선을 방출하기 위한 하나 이상의 레이저 및 사용자의 신체 부분으로부터 반사된 레이저 방사선을 수신하도록 위치된 검출기를 포함하는 장치.
  33. 제32항 또는 임의의 다른 청구항에 있어서, 상기 광학 센서는 방출된 레이저 방사선을 수신하고 레이저 방사선의 2차원 평면을 생성하도록 위치된 적절한 광학 장치를 포함하고, 상기 컨트롤러는 상기 2차원 평면과 교차하는 신체 부위를 기준으로 상기 신체 부위의 2개의 직교 공간 좌표를 추정하도록 구성되는 장치.
  34. 제33항 또는 임의의 다른 청구항에 있어서, 상기 2차원 검출 평면은 상기 개조 인터페이스 장치의 디스플레이 스크린 및 상기 대상 장치의 디스플레이 스크린 중 적어도 하나에 접하는 평면 표면의 법선 벡터에 실질적으로 평행한(예를 들어, 10° 또는 15° 이내로) 법선 벡터를 갖는 장치.
  35. 제33항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 위치 센서 신호에 기초하여 상기 신체 부분의 제3 직교 공간 좌표를 추정하도록 구성되는 장치.
  36. 제35항 또는 임의의 다른 청구항에 있어서, 상기 제3 직교 공간 좌표는 평면에 대한 법선을 따라 평면으로부터 신체 부분의 거리를 반영하는 z-좌표이고, 상기 제1 및 제2 직교 공간 좌표는 평면의 법선에 직교하고 서로 직교하는 방향으로 신체 부분의 거리를 반영하는 가로(transverse) x- 및 y-좌표인 장치.
  37. 제36항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 z-좌표가 구성 가능한 임계값을 넘었다고 결정하는 상기 컨트롤러에 응답하여 x-좌표 및 y-좌표를 추정하도록 트리거되는 장치.
  38. 제36항 내지 제37항 중 어느 한 항에 있어서, 상기 평면은 개조 인터페이스 장치의 디스플레이 스크린 및 상기 대상 장치의 디스플레이 스크린 중 적어도 하나에 접하는 장치.
  39. 제33항 내지 제38항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 위치 센서 신호 및 상기 보조 센서 신호에 기초하여 복수의 잠재적인 제어 신호들 중에서 특정 제어 신호가 되도록 상기 제어 신호를 선택하도록 구성되는 장치.
  40. 제39항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 보조 신호에 기초하여 상기 특정 제어 신호를 활성화하도록 구성되는 장치.
  41. 제 14 항 내지 제 40 항 중 어느 한 항 또는 임의의 다른 청구항에 있어서, 상기 개조 인터페이스 장치 및 상기 대상 장치 중 적어도 하나는 디스플레이 스크린을 포함하는 장치.
  42. 제41항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 인간 사용자의 손 부분의 위치를 추정하도록 구성되는 장치.
  43. 제42항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 디스플레이 스크린이 표식(indicia)(예를 들어, 커서, 포인터 및/또는 이와 유사한 것, 손 부분의 추정된 위치에 기초하여 디스플레이 스크린 상에 디스플레이된 표식의 위치)를 디스플레이하게 하는 사용자의 손 부분의 추정된 위치에 기초하여 디스플레이 신호를 생성하도록 구성되는 장치.
  44. 제41항 내지 제43항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 하나 이상의 센서 입력 신호에 기초하여 디스플레이 스크린에 대한 사용자의 손 부분의 근접성을 추정하도록 구성되는 장치.
  45. 제44항 또는 임의의 다른 청구항에 있어서, 디스플레이 신호는 사용자의 손 부분의 추정된 근접성에 기초하여, 디스플레이 스크린이 디스플레이 한 표식의 형상을 변경하게 하는 장치.
  46. 제45항 또는 임의의 다른 청구항에 있어서, 상기 표시되는 표식의 형상 변화는 디스플레이되는 표식의 색상 변경, 디스플레이되는 표식의 크기, 디스플레이되는 표식의 밝기(강도), 디스플레이되는 표식의 형태 변경, 디스플레이되는 표식의 그라디언트 변경 및 디스플레이되는 표식에 다른 표식 추가 중 적어도 하나를 포함하는 장치.
  47. 제44항 내지 제46항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 제어 신호를 변경하고, 그에 따라 사용자의 손 부분의 추정된 근접성에 기초하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치.
  48. 제41항 내지 제47항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 디스플레이 스크린은 하나 이상의 가상 입력(예를 들어, 가상 버튼)을 디스플레이하도록 구성되는 장치.
  49. 제48항 또는 임의의 다른 청구항에 있어서, 디스플레이 신호는 디스플레이 스크린으로 하여금 손 부분의 추정된 위치에 기초하여 하나 이상의 디스플레이 된 가상 입력의 형상을 변경하게 하는 장치.
  50. 제48항 내지 제49항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 상기 디스플레이 스크린에 대한 상기 사용자 손의 일부분의 근접성을 추정하도록 구성되는 장치. .
  51. 제50항 또는 임의의 다른 청구항에 있어서, 디스플레이 신호는 디스플레이 스크린으로 하여금 사용자의 손 부분의 추정된 근접성에 기초하여 하나 이상의 디스플레이 된 가상 입력의 형상을 변경하게 하는 장치.
  52. 제50항 내지 제51항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 제어 신호를 변경하고 그에 따라 사용자의 손 부분의 추정된 근접성에 기초하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치.
  53. 제49항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 상기 사용자 손의 일부로 이루어진 링 움직임을 검출하도록 구성되는 장치.
  54. 제53항 또는 임의의 다른 청구항에 있어서, 디스플레이 신호는 디스플레이 스크린으로 하여금 검출된 링 움직임에 기초하여 하나 이상의 디스플레이 된 가상 입력의 형상을 변경하게 하는 장치.
  55. 제53항 또는 제54항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 제어 신호를 변경하고 그에 따라 검출된 링 움직임에 기초하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치.
  56. 제49항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 하나 이상의 입력 신호에 기초하여 사용자의 손의 일부가 임계 기간 동안 (임계값 내로) 움직임의 부재를 검출하도록 구성되는 장치.
  57. 제56항 또는 임의의 다른 청구항에 있어서, 상기 디스플레이 신호는 상기 디스플레이 스크린으로 하여금 검출된 움직임의 부재에 기초하여 하나 이상의 디스플레이 된 가상 입력의 형상을 변경하게 하는 장치.
  58. 제56항 또는 제57항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 제어 신호를 변경하고 그에 따라 검출된 움직임 부재에 기초하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치.
  59. 제52항 또는 임의의 다른 청구항에 있어서, 상기 디스플레이 신호는 디스플레이 스크린으로 하여금 디스플레이 스크린에 대한 손 부분의 근접성과 관련된 방식으로 디스플레이 된 표식의 크기를 변경하게 하고, 상기 컨트롤러는 다음과 같은 경우에 상기 제어 신호를 변경하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치: 표시된 표식의 크기가 가상 입력 중 하나와 (적절한 임계값 내에서) 동일한 경우; 그리고 손 부분의 위치가 임계 기간 동안 (적절한 임계값 내에서)움직임이 부재한 경우).
  60. 제14항 내지 제40항 중 어느 한 항에 있어서, 상기 개조 인터페이스 장치는 하나 이상의 가시 광원을 포함하는 장치.
  61. 제60항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 상기 인간 사용자의 손 부분의 위치를 추정하도록 구성되는 장치.
  62. 제61항에 있어서, 상기 컨트롤러에 의해 생성된 디스플레이 신호는 디스플레이로 하여금 손 부분의 추정된 위치에 따라 하나 이상의 가시 광원 중 적어도 하나의 조명 색상을 조사(illuminate)하거나 변경하도록 하는 장치.
  63. 제60항 내지 제62항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 하나 이상의 입력 신호에 기초하여 디스플레이에 대한 사용자의 손 부분의 근접성을 추정하도록 구성되는 장치.
  64. 제57항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 제어 신호를 변경하고 그에 따라 상기 사용자의 손 부분의 추정된 근접성에 기초하여 상기 대상 장치의 동작을 변경하도록 구성되는 장치.
  65. 제14항 내지 제64항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 인간 사용자의 시선 벡터를 추정하도록 구성되는 장치.
  66. 제65항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 상기 사용자 손의 일부 위치를 추정하고, 상기 컨트롤러는 추정된 시선 벡터와 사용자의 손 부분의 추정 위치의 조합에 적어도 부분적으로 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  67. 제65항 또는 제66항 또는 임의의 다른 청구항에 있어서, 상기 개조 인터페이스 장치 및 상기 대상 장치 중 적어도 하나는 디스플레이 스크린을 포함하고, 상기 컨트롤러는 디스플레이 신호를 생성하도록 구성되고, 상기 디스플레이 신호는 디스플레이 스크린이 추정된 시선 벡터에 기초하여 디스플레이 스크린에 의해 디스플레이 된 이미지를 왜곡(skew)되게 하는 장치.
  68. 제14항 내지 제67항 또는 임의의 다른 청구항에 있어서, 상기 개조 인터페이스 장치 및 상기 대상 장치 중 적어도 하나는 디스플레이 스크린을 포함하고, 상기 컨트롤러는 손 부분의 추정된 근접성이 디스플레이 스크린에 너무 가까울 때, 디스플레이 스크린이 경고 메시지를 디스플레이하게 하도록 구성되는 장치.
  69. 제14항 내지 제68항 중 어느 한 항 또는 임의의 다른 청구항에 있어서, 손의 일부가 비접촉식 감지 시스템의 감지 범위 내에 위치할 때 사용자의 손의 일부를 조사하도록 위치 및/또는 배향되는 가시 광원을 더 포함하는 장치.
  70. 제1항 내지 제69항 중 어느 한 항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 대상 시스템은 디스플레이를 포함하는 장치.
  71. 제69항 또는 임의의 다른 청구항에 있어서, 상기 개조 인터페이스 장치의 적어도 일부는 상기 대상 시스템의 디스플레이 주변에서 적어도 부분적으로 연장되는 프레임으로 구현되어, 상기 대상 시스템의 디스플레이가 인간 사용자에게 보이도록 하는 장치.
  72. 제71항 또는 임의의 다른 청구항에 있어서, 상기 프레임은 상기 대상 시스템의 디스플레이 주변을 연장하여 상기 대상 시스템의 디스플레이가 상기 프레임에 의해 정의된 개구를 통하여 인간 사용자에게 보이도록 하는 장치.
  73. 제 70항 내지 제 72항 중 어느 한 항 또는 임의의 다른 청구항에 있어서, 상기 디스플레이는 디스플레이 스크린을 포함하고, 상기 개조 인터페이스 장치는 디스플레이 스크린의 사용자 대면 측에 위치된 투명 전도성 물질(예를 들어, 인듐 주석 이산화물 등) 레이어를 포함하는 장치.
  74. 제73항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 정전식 센서를 포함하고, 디스플레이 스크린의 사용자 대면 측에 위치된 투명 전도성 물질레이어는 하나 이상의 정전식 센서의 전극을 포함하는 장치.
  75. 제70항 내지 제74항 중 어느 한 항에 있어서, 상기 디스플레이의 둘레 주위에(예를 들어, 프레임 상에) 형성된 복수의 음파 변환기를 포함하는 장치.
  76. 제1항 내지 제68항 중 어느 한 항에 있어서, 상기 개조 인터페이스 장치는 디스플레이를 포함하는 장치.
  77. 제76항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템 및 상기 디스플레이는 통합 모듈로서 제조되는 장치.
  78. 제77항 또는 임의의 다른 청구항에 있어서, 상기 디스플레이는 투명 전도성 물질(예를 들어, 인듐 주석 이산화물 등)로 코팅된 디스플레이 스크린을 포함하는 장치.
  79. 제76항 내지 제78항 중 어느 한 항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 정전식 센서를 포함하고, 투명 전도성 물질의 코팅은 하나 이상의 정전식 센서의 전극을 포함하는 장치.
  80. 제77항 내지 제79항 중 어느 한 항에 있어서, 통합 모듈의 둘레 주위에 위치된 복수의 음파 변환기를 더 포함하는 장치.
  81. 제16항 또는 임의의 다른 청구항에 있어서, 하나 이상의 정전식 센서의 적어도 일부는 상기 대상 장치의 디스플레이 주변에 위치하고, 주변 중앙에 있는 디스플레이의 사용자 대면 측면에 근접한 신체 부분에 의해 발생하는 전기장의 교란에 민감한 장치.
  82. 제16항 또는 임의의 다른 청구항에 있어서, 하나 이상의 정전식 센서 각각의 적어도 하나의 전극은 상기 대상 장치의 디스플레이의 사용자 대면측에 위치되고, 하나 이상의 정전식 센서 각각의 적어도 하나의 전극은 투명 전도성 물질로 제조되어 인간 사용자가 하나 이상의 정전식 센서 각각의 적어도 하나의 전극을 통해 상기 대상 장치의 디스플레이를 볼 수 있도록 하는 장치.
  83. 제82항 또는 임의의 다른 청구항에 있어서, 하나 이상의 정전식 센서 각각의 두 전극은 상기 대상 장치의 디스플레이의 사용자 대면측에 위치하고, 하나 이상의 정전식 센서 각각의 전극 모두는 투명 전도성 물질로 제조되어 인간 사용자가 하나 이상의 정전식 센서를 통해 상기 대상 장치의 디스플레이를 볼 수 있게 하는 장치.
  84. 제81항 내지 제83항 중 어느 한 항에 있어서,
    상기 비접촉식 감지 시스템은 디스플레이 둘레 주변에 위치하고, 디스플레이의 사용자 대면 측에서 사용자의 신체로부터 반사되는 전자기 복사의 변화에 민감한 하나 이상의 광학 센서를 포함하고;
    하나 이상의 센서 신호는 하나 이상의 정전식 센서로부터의 하나 이상의 정전식 센서 신호 및 하나 이상의 광학 센서로부터의 하나 이상의 광학 센서 신호를 포함하고; 그리고
    상기 컨트롤러는 하나 이상의 용량성 센서 신호 및 하나 이상의 광학 센서 신호 모두에 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  85. 제84항 또는 임의의 다른 청구항에 있어서, 하나 이상의 광학 센서 각각은 레이저 방사선을 방출하기 위한 하나 이상의 레이저 및 사용자의 신체 부분으로부터 반사된 레이저 방사선을 수신하도록 위치된 검출기를 포함하는 장치.
  86. 제85항에 있어서, 각각의 광학 센서는 방출된 레이저 방사선을 수신하고 레이저 방사선의 2차원 평면을 생성하도록 위치된 적절한 광학 장치를 포함하고, 상기 컨트롤러는 상기 2차원 평면과 교차하는 신체 부위를 기준으로 상기 신체 부위의 2개의 직교 공간 좌표를 추정하도록 구성되는 장치.
  87. 제86항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 정전식 센서 신호에 기초하여 상기 신체 부분의 제3 직교 공간 좌표를 추정하도록 구성되는 장치.
  88. 제87항 또는 임의의 다른 청구항에 있어서, 상기 제3 직교 공간 좌표는 평면에 대한 법선을 따라 상기 대상 장치의 디스플레이에 접하는 평면으로부터 신체 부분의 거리를 반영하는 z-좌표이고, 상기 제1 및 제2 직교 공간 좌표는 평면의 법선에 직교하고 서로 직교하는 방향으로 신체 부분의 거리를 반영하는 가로 x- 및 y-좌표인 장치.
  89. 대상 장치에 비접촉식 사용자 입력을 제공하기 위해 상기 대상 장치를 동작시키기 위한 디스플레이 및 제어 시스템을 포함하는 상기 대상 장치와 인터페이싱하기 위한 개조 인터페이스 장치로서,
    인간 사용자에 의한 비접촉식 입력에 응답하고 하나 이상의 대응하는 센서 입력 신호를 생성하기 위한 하나 이상의 센서를 포함하는 비접촉식 감지 시스템;
    상기 비접촉식 감지 시스템으로부터 상기 하나 이상의 센서 입력 신호를 수신하도록 연결되고, 상기 하나 이상의 센서 입력 신호에 기초하여 대응하는 제어 신호를 생성하도록 구성된 인터페이스 컨트롤를 포함하며, 상기 인터페이스 컨트롤러는 상기 제어 신호를 상기 제어 시스템에 입력으로서 제공하여, 상기 제어 시스템이 상기 제어 신호에 기초하여 상기 대상 장치를 작동하게 하며; 그리고
    상기 개조 인터페이스 장치의 적어도 일부는 상기 대상 시스템의 디스플레이 둘레 주변에서 적어도 부분적으로 연장되는 프레임으로 구현되어 상기 대상 시스템의 디스플레이가 인간 사용자에게 보여질 수 있게 하는 장치.
  90. 제89항 또는 임의의 다른 청구항에 있어서, 상기 프레임은 상기 대상 시스템의 디스플레이 주변을 연장하여, 상기 대상 시스템의 디스플레이가 상기 프레임에 의해 정의된 개구를 통해 인간 사용자에게 보여지게 하는 장치.
  91. 제89항 또는 제90항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 인터페이스 컨트롤러는 하나 이상의 센서 입력 신호에 기초하여 상기 대상 장치의 터치 기반 입력의 대응하는 입력 신호를 에뮬레이트하기 위한 대응 제어 신호를 생성하도록 구성되는 장치.
  92. 제89항 내지 제91항 중 어느 한 항 또는 임의의 다른 청구항 중 어느 한 항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 정전식 센서에 근접한 인체 부분에 의해 야기되는 전기장의 교란에 민감한 하나 이상의 정전식 센서를 포함하고, 상기 정전식 센서는 센서 입력 신호의 적어도 일부를 형성하는 하나 이상의 대응하는 정전식 센서 신호를 생성하기 위한 정전식 센서로서, 하나 이상의 정전식 센서는 상기 프레임 상에 지지되고 적어도 부분적으로 디스플레이의 둘레 주위로 연장되는 장치.
  93. 제92항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템은 하나 이상의 대응되는 광학 센서 신호를 생성하기 위해 신체 부분으로부터 반사된 전자기 방사선에 민감한 하나 이상의 광학 센서를 포함하고, 상기 광학 센서 신호는 센서 입력 신호의 적어도 일부를 형성하고, 하나 이상의 광학 센서는 상기 프레임에서 지지되는 장치
  94. 제93항에 있어서, 상기 컨트롤러는 하나 이상의 정전식 센서 신호 및 하나 이상의 광학 센서 신호 모두에 기초하여 상기 제어 신호를 생성하도록 구성되는 장치.
  95. 제89항 내지 제94항 중 어느 한 항 또는 임의의 다른 청구항에 있어서, 제1항 내지 제80항 중 어느 한 항의 특징, 특징의 조합 및/또는 특징의 하위 조합 중 임의의 것을 포함하는 장치.
  96. 비접촉식 사용자 입력을 대상 장치에 제공하기 위해 상기 대상 장치와 인터페이스하는 방법으로서,
    인간 사용자의 제스처에 대응하는 비접촉식 입력을 검출하고 이에 응답하여 하나 이상의 대응하는 입력 신호를 생성하는 단계;
    상기 하나 이상의 입력 신호를 수신하도록 연결된 컨트롤러를 제공하고, 상기 컨트롤러에 의해 상기 하나 이상의 입력 신호에 기초하여 대응하는 제어 신호를 생성하는 단계; 그리고
    상기 대상 장치의 터치 기반 입력을 바이패스하고, 상기 제어 신호를 상기 대상 장치의 현재 사용되는 제어 시스템에 대한 입력으로 제공하여, 상기 대상 장치의 제어 시스템이 상기 제어 신호에 기초하여 상기 대상 장치를 작동하게 하는 단계를 포함하는 방법.
  97. 제96항에 있어서, 제1항 내지 제95항 중 어느 한 항의 특징, 특징의 조합 및/또는 특징의 하위 조합 중 임의의 것을 포함하는 방법.
  98. 비접촉식 사용자 입력을 대상 장치에 제공하기 위하여 대상 장치를 조작하기 위한 디스플레이 및 제어 시스템을 포함하는 상기 대상 장치와의 인터페이스 방법으로서,
    인간 사용자의 제스처에 대응하는 비접촉식 입력을 검출하고 이에 응답하여 하나 이상의 대응하는 입력 신호를 생성하는 단계;
    상기 하나 이상의 입력 신호를 수신하도록 연결된 컨트롤러를 제공하고, 상기 컨트롤러에 의해 상기 하나 이상의 입력 신호에 기초하여 대응하는 제어 신호를 생성하는 단계; 그리고
    상기 대상 장치의 터치 기반 입력을 바이패스하고, 상기 제어 신호를 상기 대상 장치의 현재 사용되는 제어 시스템에 대한 입력으로 제공하여, 상기 대상 장치의 제어 시스템이 상기 제어 신호에 기초하여 상기 대상 장치를 작동하게 하는 단계를 포함하며,
    상기 비접촉식 입력을 검출하는 단계는, 비접촉식 입력에 응답하는 하나 이상의 센서를 포함하는 비접촉식 감지 시스템을 상기 대상 시스템의 디스플레이 주변에서 적어도 부분적으로 연장되는 프레임에 장착함으로써 상기 대상 시스템의 디스플레이가 인간 사용자에게 표시되게 하는 방법.
  99. 제98항 또는 임의의 다른 청구항에 있어서, 상기 프레임은 상기 대상 시스템의 디스플레이 둘레 주변을 연장하여 상기 대상 시스템의 디스플레이가 상기 프레임에 의해 정의된 개구를 통해 인간 사용자에게 보여지게 하는 방법.
  100. 제98항 또는 제99항 또는 임의의 다른 청구항에 있어서, 상기 컨트롤러는 상기 하나 이상의 입력 신호에 기초하여 상기 대상 장치의 상기 터치 기반 입력의 대응하는 입력 신호를 에뮬레이트하기 위한 대응하는 제어 신호를 생성하는 방법.
  101. 제98항 내지 제100항 중 어느 한 항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템을 장착하는 단계는 하나 이상의 정전식 센서를 프레임에 장착하여 적어도 부분적으로 디스플레이의 둘레 주위로 연장하는 단계를 포함하고, 상기 하나 이상의 정전식 센서는 근접한 인체 부분에 의해 야기되는 전기장의 교란에 민감하며, 입력 신호의 적어도 일부를 형성하는 하나 이상의 대응하는 정전식 센서 신호를 생성하는 방법.
  102. 제101항 또는 임의의 다른 청구항에 있어서, 상기 비접촉식 감지 시스템을 장착하는 단계는, 하나 이상의 광학 센서를 프레임에 장착하는 단계를 포함하고, 상기 광학 센서는 인체 부분으로부터 반사된 전자기 방사선에 민감하며, 입력 신호의 적어도 일부를 형성하는 하나 이상의 대응하는 광학 센서 신호를 생성하는 방법.
  103. 제102항에 있어서, 하나 이상의 입력 신호에 기초하여, 컨트롤러에 의하여 상기 대응하는 제어 신호를 생성하는 단계는 하나 이상의 정전식 센서 신호 및 하나 이상의 광학 센서 신호 모두에 기초하여 대응하는 제어 신호를 생성하는 단계를 포함하는 방법.
  104. 제98항 내지 제103항 중 어느 한 항에 있어서, 제1항 내지 제95항 중 어느 한 항의 특징, 특징의 조합 및/또는 특징의 하위 조합 중 임의의 것을 포함하는 방법.
  105. 대상 장치의 터치스크린에 개조하기 위한 개조 인터페이스 장치에 있어서,
    인간 사용자로부터 터치 프리 입력을 수신하고 대응하는 입력 신호를 생성하기 위한 비접촉식 감지 시스템;
    상기 터치스크린과 물리적으로 접촉하는 전도성 필름 및 전기 접지 사이에 위치하여 이에 전기적으로 연결되는 제어 가능한 스위치; 및
    상기 비접촉식 감지 시스템으로부터 입력 신호를 수신하고 입력 신호에 기초하여 대응하는 스위치 제어 신호를 생성하도록 연결된 컨트롤러;를 포함하며,
    상기 스위치는 상기 스위치 제어 신호를 수신하도록 연결되고, 상기 스위치 제어 신호 수신에 응답하여 상기 전도성 필름이 상기 전기 접지로부터 전기적으로 단절된 상태에서, 상기 전도성 필름이 상기 전기 접지에 전기적으로 연결된 상태로 스위칭하도록 동작하는 장치.
  106. 제105항 또는 임의의 다른 청구항에 있어서, 상기 전도성 필름은 투명 물질로 제조되는 장치.
  107. 제105항 도는 제106항에 있어서, 상기 터치스크린과 물리적으로 접촉하는 이격된 위치에 배치된 투명 전도성 필름의 복수의 요소 및 상기 컨트롤러로부터 대응하는 상기 스위치 제어 신호를 수신하도록 연결된 복수의 스위치를 포함하고, 각각의 스위치는 대응하는 스위치 제어 신호를 수신하는 것에 응답하여 대응하는 전도성 필름이 전기 접지로부터 전기적으로 단절된 상태로부터, 대응하는 전도성 필름이 전기적 접지에 전기적으로 연결되는 상태로 스위칭하도록 제어가능하게 작동하는 장치.
  108. 제105항 내지 제107항 중 어느 한 항 또는 본 명세서의 임의의 다른 청구항에 있어서, 제1항 내지 제95항 중 어느 한 항의 특징, 특징의 조합 및/또는 하위 조합 중 임의의 것을 포함하는 장치.
  109. 대상 장치의 터치스크린에 개조하는 방법으로서,
    인간 사용자의 제스처에 대응하는 터치 프리 입력을 검출하고 이에 응답하여 대응하는 입력 신호를 생성하는 단계;
    상기 터치스크린과 물리적으로 접촉하는 전도성 필름 및 전기 접지 사이에 위치하고, 이에 전기적으로 연결된 제어 가능한 스위치를 제공하는 단계;
    컨트롤러에서 상기 비접촉식 감지 시스템으로부터의 입력 신호를 수신하고, 상기 컨트롤러에 의해 입력 신호에 기초하여 대응하는 스위치 제어 신호를 생성하는 단계; 및
    상기 스위치에서 상기 스위치 제어 신호를 수신하는 것에 응답하여, 상기 전도성 필름이 상기 전기 접지로부터 전기적으로 단절된 상태에서, 상기 전도성 필름이 상기 전기 접지에 전기적으로 연결된 상태로 스위치를 스위칭하는 단계를 포함하는 방법.
  110. 제109항 또는 임의의 다른 청구항에 있어서, 제1항 내지 제95항 중 어느 한 항의 특징, 특징의 조합 및/또는 하위 조합 중 임의의 것을 포함하는 방법.
  111. 디스플레이를 포함하는 장치를 제어하기 위하여 입력을 수신하기 위한 비접촉식 감지 시스템으로서,
    상기 디스플레이의 사용자 대면 측면에 근접한 신체 부분에 의해 야기되는 전기장의 교란에 민감한 하나 이상의 정전식 센서;
    상기 디스플레이 둘레 주변에 위치하며, 상기 디스플레이의 사용자 대면 측에서 사용자의 신체로부터 반사되는 전자기 복사의 변화에 민감한 하나 이상의 광학 센서;
    상기 하나 이상의 정전식 센서로부터 하나 이상의 정전식 센서 신호 및 상기 하나 이상의 광학 센서로부터의 하나 이상의 광학 센서 신호를 수신하도록 연결되고, 상기 하나 이상의 정전식 센서 신호 및 상기 하나 이상의 광학 센서 신호 모두에 기초하여 제어 신호를 생성하고, 상기 제어 신호를 사용하여 상기 장치를 동작시키도록 구성되는 시스템.
  112. 제111항 또는 임의의 다른 청구항에 있어서, 상기 하나 이상의 정전식 센서의 적어도 일부는 상기 대상 장치의 둘레 주위에 위치하고, 상기 정전식 센서는 주변 중앙에 있는 상기 디스플레이의 사용자 대면 측면에 근접한 신체 부분으로 인해 발생하는 전기장의 교란에 민감한 시스템.
  113. 제111항 또는 임의의 다른 청구항에 있어서, 상기 하나 이상의 정전식 센서 각각의 적어도 하나의 전극은 상기 대상 장치의 디스플레이의 사용자 대면측에 위치하고, 상기 하나 이상의 정전식 센서 각각의 적어도 하나의 전극은 투명 전도성 물질로 제조되고, 인간 사용자가 하나 이상의 정전식 센서 각각의 적어도 하나의 전극을 통해 상기 대상 장치의 디스플레이를 볼 수 있는 시스템.
  114. 제113항 또는 임의의 다른 청구항에 있어서, 상기 하나 이상의 정전식 센서 각각의 두 전극 모두 상기 대상 장치의 디스플레이의 사용자 대면측에 위치하고, 상기 하나 이상의 정전식 센서 각각의 두 전극 모두 투명 전도성 물질로 제조되어, 인간 사용자가 상기 하나 이상의 정전식 센서를 통해 상기 대상 장치의 디스플레이를 볼 수 있는 시스템.
  115. 본 명세서에 기술된 임의의 새롭고 독창적인 특징, 특징의 조합 또는 특징의 하위 조합을 갖는 장치.
  116. 본 명세서에 기술된 임의의 새롭고 독창적인 단계, 행위, 단계 및/또는 행위의 조합 또는 단계 및/또는 행위의 하위 조합을 갖는 방법.
KR1020227045151A 2020-05-25 2021-05-25 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스 KR20230026352A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063029708P 2020-05-25 2020-05-25
US63/029,708 2020-05-25
US202063105161P 2020-10-23 2020-10-23
US63/105,161 2020-10-23
US202163163000P 2021-03-18 2021-03-18
US63/163,000 2021-03-18
PCT/CA2021/050707 WO2021237348A1 (en) 2020-05-25 2021-05-25 Retrofit touchless interfaces for contact-based input devices

Publications (1)

Publication Number Publication Date
KR20230026352A true KR20230026352A (ko) 2023-02-24

Family

ID=78745712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227045151A KR20230026352A (ko) 2020-05-25 2021-05-25 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스

Country Status (6)

Country Link
US (1) US20230161443A1 (ko)
EP (1) EP4158453A1 (ko)
JP (1) JP2023526684A (ko)
KR (1) KR20230026352A (ko)
CA (1) CA3183096A1 (ko)
WO (1) WO2021237348A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9032565B2 (en) 2009-12-16 2015-05-19 Kohler Co. Touchless faucet assembly and method of operation
US11810734B2 (en) * 2016-08-17 2023-11-07 Steven B Hirsch Multiple-position momentary electrical push switch with configurable activation zones
JP2024509335A (ja) * 2021-04-09 2024-02-29 三菱電機株式会社 エレベータシステムのためのマルチ入力コールパネル
FR3132587A3 (fr) * 2022-02-09 2023-08-11 D8 Distributeur automatique destiné à la vente de consommables sans contact.

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US8443302B2 (en) * 2008-07-01 2013-05-14 Honeywell International Inc. Systems and methods of touchless interaction
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US20140327645A1 (en) * 2013-05-06 2014-11-06 Nokia Corporation Touchscreen accessory attachment
DE202013011528U1 (de) * 2013-08-01 2014-11-03 Diehl Ako Stiftung & Co. Kg Berührungs- und/oder annäherungsempfindliche Eingabevorrichtung
US9261965B2 (en) * 2014-02-04 2016-02-16 The Boeing Company Touch surface overlay panel
US11256413B2 (en) * 2020-02-10 2022-02-22 Synaptics Incorporated Non-contact gesture commands for touch screens

Also Published As

Publication number Publication date
EP4158453A1 (en) 2023-04-05
CA3183096A1 (en) 2021-12-02
WO2021237348A1 (en) 2021-12-02
US20230161443A1 (en) 2023-05-25
JP2023526684A (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
KR20230026352A (ko) 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스
TWI725297B (zh) 具有整合式介面系統之裝置
US8830189B2 (en) Device and method for monitoring the object's behavior
EP2513760B1 (en) Method and apparatus for changing operating modes
JP5784003B2 (ja) マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法
US9063577B2 (en) User input using proximity sensing
US7952566B2 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
US20110063224A1 (en) System and method for remote, virtual on screen input
US20170024017A1 (en) Gesture processing
JP2013524311A (ja) 近接性に基づく入力のための装置および方法
US20130241832A1 (en) Method and device for controlling the behavior of virtual objects on a display
US20090278812A1 (en) Method and apparatus for control of multiple degrees of freedom of a display
GB2582083A (en) Gesture-based control of a user interface
CN102741782A (zh) 用于位置探测的方法和系统
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
WO2011002414A2 (en) A user interface
CN103080887A (zh) 用于基于接近的输入的装置和方法
CN106030495A (zh) 利用单个感测系统的基于多模式姿势的交互系统及方法
CN103686283A (zh) 一种智能电视遥控器人机交互方法
US10042464B2 (en) Display apparatus including touchscreen device for detecting proximity touch and method for controlling the same
US20200098343A1 (en) Wireless virtual display controller
CN105353904B (zh) 互动显示系统及其触控互动遥控器和互动触控方法
KR20100009023A (ko) 움직임을 인식하는 장치 및 방법
US20140002339A1 (en) Surface With Touch Sensors for Detecting Proximity
EP2541383B1 (en) Communication device and method

Legal Events

Date Code Title Description
A201 Request for examination