KR20220098024A

KR20220098024A - 비 접촉식 터치 입력 시스템

Info

Publication number: KR20220098024A
Application number: KR1020227020629A
Authority: KR
Inventors: 스테판 조하네스 홀그렌; 잔 토마스 하트만; 톰 리챠드 버그린드; 라스 버르틸 스파르프; 조나스 다니엘 주스터스 흐제름; 존 엘리스 괴스타 칼손; 퍼 칼 스튜어 로젠그렌; 군나르 바틴 프뢰지드흐; 조세프 솨인; 지아타오 왕; Iii 클라렌스 레이 킹; 프라그로우시키 데 라드완 오스카 릿첸
Original assignee: 네오노드, 인크.
Priority date: 2019-12-31
Filing date: 2020-12-30
Publication date: 2022-07-08
Also published as: JP2023504590A; US20230037571A1; EP4085321A1; US11842014B2; WO2021138516A1; EP4085321A4; US20240118771A1; CN115039060A

Abstract

회로 기판 위에 적어도 하나의 렌즈를 매달고 있는 구조를 포함하는 근접 센서, 공통 투영 평면을 따라서 렌즈를 통해 광선 빔을 투영하도록 동작 가능한 광선 이미터, 검출기에서 렌즈를 통해 도달하는 광선의 양을 검출하도록 동작 가능한 광선 검출기, 투영 평면 내의 대상 물체는 이미터로부터 하나 이상의 검출기로 광선을 반사하고, 이미터 중 하나와 검출기 중 하나를 포함하는 이미터-검출기 쌍 각각은 동기식으로 활성화될 때 다른 검출기보다 활성화된 검출기에서 더 큰 검출 신호를 생성할 것으로 예상되며, 대상 물체가 이미터-검출기 쌍에 해당하는 투영 평면 내의 특정 2D 위치에 있을 때 임의의 이미터로 동기적으로 활성화되고, 그리고 프로세서가 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선의 양을 기반으로 하는 물체에 의해 수행된 제스처를 식별한다.

Description

비 접촉식 터치 입력 시스템

본 발명의 분야는 비 접촉식 입력 시스템을 가능하게 하기 위해 표시 또는 디스플레이 스크린과 관련하여 사용되는 근접 센서 분야이다. 본 발명의 적용분야는 특히 자동판매기, 대화형 키오스크, 셀프 체크아웃 단말기, 현금자동입출금기(ATM) 및 엘리베이터 버튼 패널을 포함한다. 본 발명의 근접 센서는 또한 차량 내부 및 주변의 센서, 차량 및 건물용 자동 도어, 특히 휴대 전화, 태블릿 및 차량 캐빈 내의 센서를 포함하는 거친 환경용으로 사용되어 허공(in-air) 핸드 제스처를 검출하고 사람과 대상 물체에 접근할 수 있도록 한다.

특정 근접 센서는 검출 평면 내에서 대상 물체의 위치를 고해상도로 검출할 수 있도록 한다. 이러한 근접 센서는 특히 터치스크린용 센서로 사용된다. 다른 근접 센서는 주차 센서와 같은 기본적인 대상 물체 검출만 제공한다. 이 두 극단 사이에 속하는 다양한 응용 분야에 대해 근접 센서 비용과 성능을 최적화하는 것이 유리하다. 즉, 검출 영역 내에서 대상 물체의 정확한 위치를 검출할 필요가 없고 오히려 영역 내에서 발생하는 활동의 검출(예를 들면, 허공 제스처 검출)이 필요할 뿐이다.

터치스크린용 센서로 채용되는 일부 근접 센서는 화면의 전체 에지(가장자리)를 따라 확장되어야 하며, 자동화 어셈블리 장비의 한계로 인해 센서의 최대 길이가 제한되거나 대형 화면용 긴 센서를 제조할 때 제조 비용이 많이 소요될 수 있다. 더 큰 화면 크기에 대한 터치 검출을 제공하기 위해 여러 개의 작은 센서 사용을 가능하게 하는 것이 유리할 것이다.

2019년 - 2020년의 COVID-19 대유행은 사용자가 스크린, 버튼 또는 손잡이를 터치할 필요 없이, 특히 현금 자동 입출금기(ATM), 슈퍼마켓의 셀프 체크아웃 터미널, 공항의 셀프 체크인 터미널, 엘리베이터 버튼 패널 및 자동 판매기와 같은 공공 단말기의 경우 터치스크린, 버튼 및 손잡이를 위한 비 접촉 사용자 인터페이스에 대한 관심을 불러일으켰다. 터치스크린, 버튼 및 손잡이에 대한 비 접촉식 사용자 인터페이스는 진료실 및 병원과 같은 살균된 환경과 차량 수리점과 같이 손이 기름기가 많거나 더러워지는 경향이 있는 환경에서도 유용하다.

비 접촉 사용자 인터페이스의 또 다른 응용은 자동차 및 엘리베이터 도어 및 리프트게이트를 위한 자동 개폐 메커니즘이다. 이러한 도어와 리프트게이트는 움직이는 도어 또는 리프트게이트 패널이 도로 경계석, 나무 또는 이웃에 주차된 차량과 같은 근처 대상 물체와 충돌하는 것을 방지하기 위해 감독할 것이 필요하다. 움직이는 도어나 리프트게이트 패널이 접근하는 대상 물체를 검출하기 위해 오늘날의 기본적인 주차 센서보다 더 높은 해상도를 제공하는 것이 유리할 것이다.

전자 기계 시스템은 시스템 동작을 방해하지 않으면서 특히 습기로부터 보호되어야 한다.

본 발명의 실시 예는 의도된 용도에 대해 매우 정확하고 또한 센서의 제조에서 사용되는 저비용 어셈블리 실행을 더욱 가능하게 하는 근접 센서용 저비용 광학장치를 제공한다. 이 같은 센서는 제1 차원으로 광선을 시준하기 위한 압출 플라스틱 렌즈, 그리고 제2 차원으로 광선을 시준하기 위한 프레넬 렌즈 어레이를 사용함으로써 실현되는 비용 및 제조 측면에서 개선된 것이다. 본 발명은 또한 제스처 검출용 센서가 대상 물체의 절대 좌표 검출용 센서보다 시스템 오류에 대해 훨씬 더 관대하도록 실현하는 데 있다.

따라서 본 발명의 한 실시 예에 따라, 회로 기판; 적어도 하나의 렌즈; 회로 기판 위에 적어도 하나의 렌즈를 현수하는 지지 구조; 회로 기판 상에 장착된 복수의 광선 이미터 - 광선 이미터 각각은 공통 투영 평면을 따라 적어도 하나의 렌즈를 통해 광선 빔을 투영하도록 활성화될 때 동작 가능함 -; 회로 기판 상에 장착된 복수의 광선 검출기 - 검출기 각각은 활성화될 때 동작 가능하며, 검출기에서 적어도 하나의 렌즈를 통해 도달하는 광선의 양을 검출하도록 하며, 적어도 하나의 렌즈 위의 투영 평면에 위치한 반사 대상 물체는 이미터로부터 하나 이상의 검출기로 반사 대상 물체에 투영된 광선을 반사하고, 그리고 이미터 중 하나와 검출기 중 하나를 포함하는, 이미터-검출기 쌍 각각이 동기적으로 활성화될 때, 다른 검출기 보다 활성화된 검출기에서 더 큰 검출 신호를 생성할 것으로 예상되며, 이들은 또한 반사 대상 물체가 이미터-검출기 쌍에 해당하는 투영 평면 내의 특정 2D 위치에 있을 때, 임의의 이미터와 동시에 활성화되어야 되어야 하고-; 그리고 이미터 및 검출기에 연결된 프로세서 - 이미터 각각을 순차적으로 활성화하고 하나 이상의 검출기를 동시에 활성화하며, 그리고 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선 량에 기초하여, 적어도 하나의 렌즈 위의 반사 대상 물체에 의해 수행된 제스처를 식별하도록 구성됨-를 포함하는, 근접 센서가 제공된다.

본 발명의 다른 한 실시 예에 따라, 회로 기판; 적어도 하나의 렌즈; 회로 기판 위에 적어도 하나의 렌즈를 현수하는 지지 구조; 회로 기판 상에 장착된 그리고 제1 평면 곡선을 따라서 배치된 복수의 광선 이미터 - 광선 이미터 각각은 검출 체적(detection volume)을 통하여 적어도 하나의 렌즈를 통해 광선 빔을 투영하도록 활성화될 때 동작 가능함 -; 회로 기판 상에 장착된 그리고 제1 평면 곡선을 따라서 배치된 복수의 광선 검출기 - 광선 검출기 각각은 활성화될 때 동작 가능하며, 검출기에서 적어도 하나의 렌즈를 통해 도달하는 광선의 양을 검출하도록 하며, 적어도 하나의 렌즈 위의 검출 제적 내에 위치한 반사 대상 물체는 이미터로부터 하나 이상의 검출기로 반사 대상 물체에 투영된 광선을 반사하고, 그리고 이미터 중 하나와 검출기 중 하나를 포함하는, 이미터-검출기 쌍 각각이 동기적으로 활성화될 때, 다른 검출기 보다 활성화된 검출기에서 더 큰 검출 신호를 생성할 것으로 예상되며, 이들은 또한 반사 대상 물체가 이미터-검출기 쌍에 해당하는 검출 체적 내의 특정 3D 위치에 있을 때, 임의의 이미터와 동시에 활성화되어야 되어야 하고-; 그리고 이미터 및 검출기에 연결된 프로세서 - 이미터 각각을 순차적으로 활성화하고 하나 이상의 검출기를 동시에 활성화하며, 그리고 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선 량에 기초하여, 적어도 하나의 렌즈 위의 반사 대상 물체에 의해 수행된 제스처를 식별하도록 구성됨-를 포함하는, 근접 센서가 추가로 제공된다.

대상 물체의 절대 좌표를 검출하도록 설계된 검출 영역의 에지를 따라서 장착된 긴 스트립으로 형성된 종래 기술의 근접 센서는 정밀 어셈블리 장비가 필요로 한다. 에지가 350mm보다 긴 스크린 화면에 적합한 이러한 근접 센서를 제조하는 것은 현재 비용이 많이 들고 비효율적이다. 따라서, 본 발명의 실시 예는 다수의 센서를 사용함으로써 에지가 350mm보다 긴 스크린에 대한 종래 기술의 근접 센서의 사용을 가능하게 하는 것에 관한 것이며, 센서 각각이 디스플레이 영역의 일부에서 대상 물체를 검출하도록 동작한다. 본 발명의 실시 예는 또한 위에서 논의된 저비용 센서에 적용 가능하다.

본 발명의 다른 한 실시 예에 따라, 디스플레이; 디스플레이 상의 사용자 인터페이스를 렌더링하고 디스플레이 상의 위치에서 발생한 것으로 보고된 터치 제스처에 응답하도록 동작 가능한 컴퓨터; 디스플레이의 대향하는 에지를 따라 장착된 한 쌍의 센서 - 센서 각각은: 디스플레이의 상부 표면 위의 동 평면을 가로지르는 한 평면에서 광선 빔을 투사하도록 동작 가능한 복수의 이미터 - 평면 내의 위치는 디스플레이 내의 위치에 대응함 - ; 평면 내에 삽입된 대상 물체에 의해 반사된 투사된 광선 빔의 양을 검출하도록 동작 가능한 복수의 광선 검출기; 이미터 및 검출기의 개별적인 것을 동시에 활성화하고, 검출기로부터의 출력에 기초하여 평면 내 대상 물체의 위치를 계산하도록 동작 가능한 제어 유닛; 그리고 센서로부터 계산된 대상 물체 위치를 수신하고, 그리고 센서 쌍 중 하나로부터 수신되었으며, 센서 쌍 중 다른 하나에 의해 방출된 광선의 검출에 의해 생성되었던, 대상 물체 위치를 제거하고, 제거되지 않은 대상 물체 위치의 가중 합에 기초하여 출력 위치를 계산하며, 이전 출력 위치에 기초하여 출력 위치를 일시적으로 필터링하고, 그리고 디스플레이 상의 터치 위치로서 일시적으로 필터링된 출력 위치를 컴퓨터에 보고하도록 구성된 프로세서를 포함하는, 사용자 인터페이스 장치가 더욱 제공된다.

본 발명의 실시 예는 또한 GUI가 제시되는 디스플레이 위에 손가락을 호버링하고 디스플레이를 터치하지 않고 사용하도록 의도된 직관적인 그래픽 사용자 인터페이스(GUI)를 가능함에 대한 것이다. 이 경우 시차 효과로 인해 사용자는 손가락을 호버링함이 GUI에 어떻게 매핑되는가를 확신할 수 없다.

따라서 본 발명의 한 실시 예에 따라, 비접촉식 사용자 인터페이스 시스템으로서, 디스플레이 내의 위치에서 복수의 그래픽 사용자 인터페이스(GUI) 요소를 렌더링하는 디스플레이; 디스플레이 위 및 이를 가로질러, 검출 평면 내로 삽입된 대상 물체의 검출 평면 내 좌표를 식별하도록 구성된 센서 - 검출 평면 내 좌표는 디스플레이 내 위치에 대응함 -; 그리고 센서에 의해 식별된 검출 평면 내의 좌표가, GUI 요소 중 임의의 요소가 위치하는, 디스플레이 내의 위치에 대응하지 않을 때, 디스플레이가 커서를 렌더링하게 하고, 센서에 의해 식별된 검출 평면 내의 좌표가, GUI 요소 중 임의의 요소가 위치하는, 디스플레이 내의 위치에 대응할 때, 렌더링된 커서를 삭제하도록 하는 프로세서를 포함하는, 비접촉식 사용자 인터페이스 시스템이 더욱 더 제공된다.

본 발명은 도면과 함께 취해진 다음의 상세한 설명으로부터 더 완전히 이해될 것이다:
도 1은 본 발명의 일 실시예에 따라, 제1 근접 센서의 단순화된 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따라, 근접 센서에 대한 기하학적 파라미터를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라, 센서 검출 영역 내의 핫스팟의 직사각형 그리드 및 센서를 도시한 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따라, 근접 센서 내의 이미터 및 검출기의 대안적인 구성을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라, 이미터 및 검출기 구성요소가 각각의 렌즈와 정렬되는 근접 센서에 대한 최대 광 검출의 이미터 광선 빔 및 코리도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라; 도 6의 근접 센서에 의해 생성된 핫스팟의 분포를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라, 이미터 및 검출기 구성요소와 이들 각각의 렌즈 사이의 정렬에 오프셋이 있는 근접 센서에 대한 최대 광 검출의 이미터 광선 빔 및 코리도를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따라, 도 8의 근접 센서에 의해 생성된 핫스팟의 분포를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른, 근접 센서의 단순화 도면이다.
도 11은 본 발명의 일 실시예에 따라, 도 10의 근접 센서에 의해 생성된 핫스팟의 분포를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따라, 근접 센서의 출력을 사용하여 수행되는 이미지 상관관계의 단순화한 도면이다.
도 13은 본 발명의 일 실시예에 따른, 제스처 검출을 위해 최적화된 근접 센서를 단순화한 도면이다.
도 14는 본 발명의 일 실시예에 따라, 도 13의 근접 센서용 PCB의 단순화한 도면이다.
도 15는 본 발명의 일 실시예에 따라, 확장된 센서를 형성하도록 연결된 2개의 근접 센서의 단순화한 도면이다.
도 16은 본 발명의 일 실시예에 따라, 근접 센서들 사이의 통신 버스 연결을 단순화한 도면이다.
도 17 및 도 18은 본 발명의 일 실시예에 따라, 도 13의 근접 센서에서 광선 이미터 및 광선 검출기와 관련하여 렌즈가 어떻게 구성되는지를 보여주는 단순화한 도면이다.
도 19는 본 발명의 일 실시예에 따라, 무선 트랙패드를 단순화한 도면이다.
도 20a 및 20b는 본 발명의 일 실시예에 따라, 도 19의 무선 트랙패드의 단면을 도시한 도면이다.
도 21 및 22는 본 발명의 일 실시예에 따라, 3D 공간에서 물체의 존재를 검출하도록 구성된 근접 센서에 대한 최대 검출 이미터 빔 및 코리도를 단순화한 도면이다.
도 23 내지 도 25는 본 발명의 실시예에 따라, 비 접촉 터치 입력 시스템을 단순화한 도면이다.
도. 26은 본 발명의 실시예들에 따라, 비 접촉 터치 입력 시스템에서 반대 반사 센서들로부터의 터치 출력들을 결합하는 프로세스에 대한 흐름도이다.
도 27은 본 발명의 실시예에 따라, 비 접촉 터치 입력 시스템에서 터치 입력을 검증하고 추적하는 상태 머신를 도시한 도면이다.
도 28 내지 도 32는 본 발명의 실시예에 따라, 비 접촉 광학 터치스크린 시스템의 요소를 간략히 나타낸 도면이다.
도 33은 본 발명의 실시예에 따라, 비 접촉 광학 터치스크린 시스템을 위한 사용자 인터페이스를 처음 설명하는 흐름도이다. 그리고
도 34는 본 발명의 일 실시예에 따라, 비 접촉 광학 터치스크린 시스템을 위한 사용자 인터페이스를 두 번째로 설명하는 흐름도이다.

본 발명 설명 및 청구범위에서 "제스처"라는 용어는 터치스크린 사용자 인터페이스에서 아이콘을 탭하는 것과 같은 포인팅 제스처를 포함한다. 인-에어 제스처의 맥락에서, "제스처"라는 용어는 위치를 가리키는 것과 위치를 잽싸게 두드리는 것 모두를 포함하며, 이는 허공에서 탭 제스처와 유사하고, 즉, 평면의 한 위치에서 포인터가 허공에서 검출 평면 내로 삽입되고, 동일 위치의 상기 검출 평면으로부터 제거된다.

본 발명의 일 실시예에 따라, 제1 근접 센서의 간략도인 도 1을 참조한다. 도 1은 교번하는 광선 이미터(150,151,152,155) 및 광선 검출기(100, 101, 102, 105, 106, 107)의 1차원 어레이 및 렌즈(400, 401)의 어레이(409)를 포함하는, 근접 센서(351)를 도시하며, 렌즈 각각은 빔(200)으로서 이미터로부터의 센서(351) 외부의 검출 평면 내로 향하게 하기 위해 이미터 각각의 맞은편에 위치된다. 렌즈 각각은 또한 광선이 제1 특정 각도로 렌즈로 입사하는 때, 검출기 제1 각도에서 광선 검출을 최대로 한다. 이는 검출기 각각의 제1 시야 각이다. 도 1에서는 3개의 검출기(105-107) 각각에 대한 3개의 시야 각(250-252)이 도시되어 있다. 물체가 위치(350)에서 투사된 광선 빔의 경로 내로 삽입되고 탐지기의 검출기 시야 각에서 검출기 중 하나에서 광선을 다시 반사할 때 최대 검출이 발생된다. 상기 검출 평면의 이 위치를 핫스팟이라고 힌다. 프로세서(300)는 이미터-검출기 쌍의 활성화를 제어하고 검출 평면 내에서 물체 위치를 식별하기 위해 검출기 출력을 처리한다.

도 1에 도시된 근접 센서는 터치 검출 응용 분야, 즉 검출 평면에서 물체의 위치를 고정밀도로 식별하기 위해 설계되었기 때문에 모든 응용 분야에 이상적으로 적합한 것은 아니다. 이 같은 터치 검출 대물렌즈에서는 검출된 광학 신호를 필터링하고 정제하기 위해 고정밀 광학 및 프로세스 집약적 소프트웨어를 필요로 한다. 그러나 평면 내 물체의 위치가 아닌 검출 영역 내에서 움직임 제스처를 검출하도록 설계된 센서는 하드웨어 및 소프트웨어 특성이 매우 다르다.

움직임 제스처를 검출하기 위한 센서는 특히 허공 핸드 제스처를 검출하는 데 적합하다. 이것은 제스처가 상대적인 위치에 의해 정의되기 때문에 터치스크린과는 다른 유형의 사용자 인터페이스이다. 즉, 터치스크린에 사용되는 절대적인 위치가 아니라 제스처를 수행하는 동안 물체가 어떻게 이동하는 가이다. 즉, 물체가 정의된 영역 내에 있는 위치이다. 또 다른 적합한 응용 분야는 사용자가 리프트게이트 반대편에서 손을 흔들거나 차량 아래에서 발을 미끄러지는 것에 응답하여 차량 후방에서 리프트게이트를 오픈하는 차량 리프트게이트 메커니즘이다. 움직임 제스처 센서는 충돌 방지 시스템에도 유용하다. 예를 들어, 자동문에 부착된 센서는 문이 열릴 때 문이 다가오는 물체를 검출하고, 문이 물체와 충돌하기 전에 문이 움직이지 않도록 명령을 보낸다. 센서가 접근하는 물체의 크기, 형상 등의 특성을 보고할 수 있다면 물체의 종류에 따라 문이 선택적으로 정지될 수 있다. 예를 들면, 도로 경계석(curb)이나 벽은 사람과 다르게 취급될 수 있는 덤불이나 울타리와 다르게 취급될 수 있다.

본 발명의 가르침에 따르면, 저비용의 견고하고 자동차 호환 핸드 제스처 센서는 다음과 같은 특징을 포함한다:

* 프레넬 렌즈, 압출 렌즈 및/또는 사출 성형 렌즈와 같은 모듈식 광학 장치;

* 열가소성 스테이킹이라고도 알려진 열 스테이킹을 사용하여 렌즈를 센서 하우징에 결합시킨다.

* 표준 FR-4 유리 에폭시 PCB;

* ARM<®프로세서(ARM은 Arm Limited의 등록 상표임); ㆍ표준 SMD(표면 실장 장치) VCSEL 및 PD; 그리고

* 표준 납땜 공정.

아래의 표 II는 본 발명의 가르침에 따른 제스처 센서의 실시 예에 대한 대응하는 기하학적 파라미터를 지시하는 일부 설계 특성을 나열한다.

표 II의 파라미터는 핸드 제스처를 검출하도록 설계된 센서에 대한 설명이다. 본 발명의 다른 실시예는 상이한 피치 및 다른 파라미터를 가질 것이다. 예를 들어 더 강력한 레이저와 포토다이오드를 사용하면 단면적이 훨씬 작아진다. 유사하게 검출 범위를 줄이면 센서 크기를 감소시킬 수 있다.

도 2는 본 발명의 일 실시예에 따른 근접 센서에 대한 기하학적 파라미터를 도시한 도면이다. 도 2는 센서에서 광학계와 VCSEL 사이의 최대 측방 허용오차(dx)를 결정하기 위한 기하학적 구조를 도시한다. 이미터(150)는 렌즈(402) 맞은편의 정확한 위치로부터 이동된 것으로 도시되어 있다. 이러한 변위는 이미터 빔(212)이 점선 수평선을 따라 예상 경로로부터 멀어지면서 더욱 기울어지게 한다. 하기 표 III은 터치 센서 및 제스처 센서에 대하여, 도 2에 도시된 파라미터를 요약한다.

도 2에서 도시된 바와 같이, dx는

로 계산된다.

표 III은 핸드-웨이브 제스처 센서(0.32mm)에 대한 최대 측면 허용 오차가 10의 인수로 터치 센서에 대한 허용 오차 보다 크며, 핸드-웨이브-제스처 센서 내에 SMD 구성요소를 납땜하기 위해 스탠다드 땜납 처리를 사용함을 가능하게 한다. 표 III에서의 허용오차는 랜덤 오차이다. 그러나, 계통적 오차(systematic errors)에 대한 오차(예를 들면, 왜곡된 검출 영역을 초래하는 오류)에 대한 허용 오차는 훨씬 더 크다. 핸드-웨이브 제스처 센서는 또한 사용자가 아이콘 또는 버튼을 활성화하는 사용자 인터페이스용 터치 센서로 사용하기에 적합하다. 특히, 그러한 사용자 인터페이스는 검출된 터치 좌표의 오류에 대해 높은 허용오차를 갖기 때문에, 아이콘 또는 버튼이 크거나 아이콘 또는 버튼이 그들 사이의 공간의 크기가 크게 배치된 경우 상기 사용에 적합하다.

도 3을 참조하면, 본 발명의 실시예에 따라, 센서 검출 영역 내의 핫스팟의 직사각형 그리드 및 센서를 도시한다. 도 3은 도 1에 도시된 디자인에 기초한 제스처 센서를 도시하며, 검출기 각각은 두 개의 인접한 렌즈에서 최대의 광선 검출을 수신한다. 도 3의 특정 요소는 번호가 매겨져 있다. 이들은 이미터(150 및 151), 검출기(100 - 102), 이미터 광선 빔(200 및 201), 최대 검출 코리도(253 - 256), 핫스팟(354 - 356) 및 렌즈 어레이(405)이다. 위에서 논의한 바와 같이 핫스팟은 이미터 비임과 최대 검출 코리도의 교차점에 있다. 도 3은 센서 외부의 검출 평면에서 핫스팟 1-4의 4개 행과 렌즈(405)에 인접한 추가 행(0행)의 핫스팟을 도시한다. 이미터 사이의 거리(피치)가 21.6mm인 제스처 센서를 가정하고, 2:3의 검출 영역 종횡비, 초점 거리 f = 32.4mm를 가지므로, 센서가 부피가 커지도록 한다. 센서의 크기를 줄이기 위해, 검출기 각각은 도 4에 도시된 바와 같이 하나의 렌즈에서만 최대의 검출을 수신한다.

도 4 및 도 5는 본 발명의 실시 예에 따라, 근접 센서 내의 이미터 및 검출기의 대안적인 구성을 도시한 도면이다. 도 4는 이미터 간 피치가 21.6mm이고, 검출 영역 종횡비가 2:3인 제스처 센서를 도시하지만, 검출기 각각은 하나의 렌즈에서만 최대 검출을 수신한다. 이는 도 3에서의 초점 거리 f를 도 4에서의 초점 거리 w와 비교함으로써 알 수 있는 바와 같이, 도 3에서의 센서 폭 보다 더욱 가느다란 센서 폭을 가능하게 한다. 도 4에서의 특정 요소에 번호가 매겨져 있다. 그것들은 이미터(150-152), 검출기(100-105), 이미터 광선 비임(201, 202), 최대 검출 코리도(253-256), 핫스팟(354-356) 및 렌즈 어레이(405)이다. 도 4는 센서 외부의 검출 평면에서 4개 행의 핫스팟(1 - 4)을 도시하며, 렌즈(405)에 인접한 추가 행의 핫스팟(행 0)을 도시한다.

도 3 및 도 4의 제스처 센서는 센서 검출 영역 내에 4 x 9 그리드의 핫스팟이 있다. 프로세서(300)(도 1에 도시됨)는 이미터-검출기 쌍의 활성화를 제어하고 이미터 및 검출기에 연결하기 위한 제한된 수의 I/O 포트를 갖는다. 도 4에 도시된 제스처 센서 구성은 도 3에 도시된 것보다 거의 2배 많은 검출기를 갖는다. 따라서, 도 3의 센서가 20개의 구성요소(9개의 이미터 및 11개의 검출기)를 가지고 있는 반면, 도 4에서는 9개의 이미터와 18개의 검출기 등 27개의 구성 요소가 있다. 이미터와 검출기의 대체 배열은 프로세서에서 유사한 수의 i/o 포트를 사용하면서 센서 검출 영역 전체에서 서로 다른 핫스팟 분포를 제공한다. 그러한 배열 중 하나가 도 5에 도시되어 있다.

도 5는 68개의 핫스팟의 6 x 12 그리드, 및 렌즈(405)에 인접한 핫스팟의 추가 행(행 0)을 제공하는, 30개의 구성요소 - 12개의 이미터 및 18개의 검출기의 배열을 도시한다. 도 5에서의 배열은 하나의 검출기를 센서 끝 근처의 렌즈 각각과 연결하고, 두 개의 검출기를 센서 중앙의 렌즈 각각과 연결하여, 핫스팟 행의 바깥쪽 가장자리에 있는 영역(360 및 361)에 핫스팟이 없도록 한다. 핫스팟이 없는 영역(360, 361)은 또한 도 7 및 11내에 표시된다. 도 5 내의 특정 추가 요소에 번호가 매겨져 있다. 이들은 이미터(150~153), 검출기(100~104), 이미터 광선(202 및 203), 최대 검출 코리도(253 및 255), 핫스팟(357~359) 및 렌즈 어레이(405)이다.

제스처 검출과 터치스크린 터치 검출 간의 한 가지 차이점은 검출된 위치를 해당 스크린 위치와 연관시킬 때 터치스크린은 정밀도가 필요한 반면 제스처, 특히 인-에어 제스처는 핫스팟을 특정 위치에 매핑할 필요가 없다는 것이다. 오히려 제스처 검출은 검출 평면 내의 핫스팟들 간의 관계를 유지되어야 함을 필요로 한다. 제스처 센서의 이 같은 기능은 아래에서 설명하는 것처럼 터치스크린 센서에 대한 많은 허용 오차 요구 사항을 완화시킨다.

도 6은 본 발명의 일 실시예에 따라, 이미터 및 검출기 구성요소가 각각의 렌즈와 정렬되는 근접 센서에 대한 최대 광선 검출의 이미터 광선 빔 및 코리도를 도시한 도면이다. 또한 도 7을 참조하면, 도 6의 근접 센서에 의해 생성된 핫스팟의 분포를 나타내는 도면이다. 도 6을 참조하면, 렌즈(405)는 PCB(301) 상의 각각의 이미터 및 검출기 구성요소와 정렬된다. 도 6, 8 및 10에서, 이미터 빔(211)은 실선으로 표시되고, 최대 검출의 코리도(259)는 점선으로 표시된다. 도 7, 9 및 11에서 핫스팟은 별표로 표시된다. 도 7은 도 6의 근접 센서에 의해 생성된 핫스팟(377)의 직사각형 어레이를 도시한다. 어레이(377)는 7열의 핫스팟을 포함하며, 각각의 행은 근접 센서로부터 다른 거리이고, 추가의 핫스팟 행은 렌즈(405)에 인접해 있다. 앞서 도 5와 관련하여 설명한 바와 같이, 이 같은 근접 센서는 센서에 의해 생성되는 총 핫스팟 수를 최대화하기 위해, 영역(360 및 361)에 핫스팟이 없도록 구성되었다.

도 8을 참조하면, 이는 본 발명의 일 실시예에 따라, 이미터 및 검출기 구성요소와 각각의 렌즈 사이의 정렬에 오프셋이 있는 근접 센서에 대한 최대 광 검출의 이미터 광선 빔 및 코리도를 도시한 도면이다. 도 8에 도시된 센서에서. 렌즈(405)와 PCB(301) 상의 각각의 이미터 및 검출기 구성요소 사이에 오정렬이 존재한다. 즉, 렌즈(405)는 PCB(301) 상의 각각의 구성요소의 왼쪽으로 이동된다. 이러한 오정렬로 인해 이미터 빔(211)이 일정한 각도로 비스듬히 지향되고, 최대 검출(259)의 코리도가 왼쪽으로 기울어지게 된다.

본 발명의 일 실시 예에 따라, 도 8의 근접 센서에 의해 생성된 핫스팟의 분포를 나타내는 도 9를 참조한다. 구체적으로, 핫스팟(377)의 어레이는 직사각형이 아닌 평행사변형으로서 기울어져 있다. 이 같은 오류는 기본 화면이 직사각형인 터치스크린의 경우 중요하지만, 핫스팟의 순서 배열이 변경되지 않는 한 제스처 센서의 경우에는 중요하지 않다. 제스처를 수행하는 동안 물체가 검출되었다. 주요 특징은 핫스팟 간의 관계가 비록 이들이 기울어져 있어도 유지된다는 것이다.

본 발명의 실시예에 따라 근접 센서에서 구성요소와 렌즈 사이의 다른 오프셋, 특히 렌즈 수축 및 PCB 수축이 발생할 수 있으며, 결과적으로 사다리꼴인 핫스팟 레이아웃이 생성된다. 이것은 핫스팟과 화면 위치 간의 불일치를 유발하므로 터치스크린 센서에 중요한 문제가 될 것이다. 그러나 이웃 핫스팟 간의 순서 관계가 유지된다면 이 문제는 제스처 센서의 경우 문제가 되지 않는다. 예를 들어, 렌즈 수축으로 인해 핫스팟은 센서에서 더 멀리 떨어진 이웃에 더 가깝게 이동하지만 시간이 지남에 따라 일련의 검출은 여전히 물체의 이동 방향을 나타낸다. 그리고 PCB가 렌즈에 관련하여 줄어들면, 핫스팟이 센서에서 멀어질수록 이웃하는 핫스팟 사이의 거리가 증가하고 핫스팟 배열은 센서에서 멀어질수록 팬 형태로 확장된다. 그러나 이 경우에도 시간 경과에 따른 일련의 물체 검출은 물체의 움직임을 나타낸다. 따라서 제스처 센서는 시스템 오류에 매우 관대하다.

본 발명의 실시예에 따라, 근접 센서의 간략히 도시한 도 10을 참조한다. 도 10은 검출 평면에서 핫스팟의 팬 형상 분포를 제공하도록 설계된 렌즈를 보여준다. 예를 들어, 이미터 빔 각각은 렌즈(405)에 의해 지향되어 복수의 빔(211)이 팬의 지지 스틱과 유사하도록 방사하고 검출기(259)는 이미터 빔을 교차하도록 렌즈(405)에 의해 구성된다. 따라서, 렌즈(405)는 투영 평면을 따라 평행하지 않고 교차하지 않는 방향으로 복수의 광선 이미터로부터 광선 빔(211)을 팬 아웃한다.

본 발명의 일 실시예에 따라, 도 10의 근접 센서에 의해 생성된 핫스팟의 분포를 나타내는 도 11을 참조한다. 도 11은 핫스팟의 열이 PCB(301)로부터 멀어질수록 점진적으로 넓어지는 핫스팟 어레이(377)를 도시한다. 본 발명의 일부 실시예에서, 센서로부터 가장 먼 핫스팟 열의 길이는 센서 길이의 3배이다.

도 6 및 도 7의 근접 센서와 도 10 및 도 11의 근접 센서 사이의 비교로부터, 동일한 수의 이미터 및 검출기가 두 센서 모두에서 사용되는 경우, 도 10 및 도 11의 센서는 도 6 및 도 7의 센서보다 더 넓은 영역을 모니터링 함이 명백하다. 구체적으로, 도 11 에서의 핫스팟의 외부 행은 도 7에서 행보다 더 넓으며, 도 11 에서의 핫스팟의 외부 행은 또한 도 7에서의 행에서보다 센서로부터 더 멀리 떨어져 있다. 반대로, 도 11에서 도시된 바와 같이, 핫스팟 열 사이의 거리는 그 같은 열이 센서로부터 멀어질수록 증가한다. 따라서, 도 10 및 도 11에서의 센서는 대상 물체가 센서에 가까워짐에 따라 더 높은 검출 해상도가 필요한 응용 분야에 매우 적합하다. 이러한 응용 분야의 예는 자동 도어 오프너의 충돌 방지 시스템이다.

본 발명의 특정 실시예에서, 센서 근처의 대상 물체에 의해 만들어진 반사는 이러한 검출을 신뢰할 수 없게 만드는 스트레이 반사와 함께 검출된다. 따라서, 도 7 및 도 11에 도시된 핫스팟의 가장 가까운 행은 사용되지 않고, 도 11에서의 나머지 - 활성 - 핫스팟 행은 도 7에서의 대응하는 행 보다 넓으며, 도 11에서의 활성 검출 영역이 도 7에서의 활성 검출 영역과 비교하여 더욱 넓도록 한다.

본 발명에 따른 검출 신호는 한 이미지로서 매핑되고, 이에 의해 이미터-검출기 쌍 각각에 대한 검출된 반사 값이 센서 2D 검출 평면에서 대응하는 핫스팟 위치에 매핑된다. 따라서, 도 1 내지 도 4에 도시된 센서는 9 x 5 그리드의 핫스팟에 대해 구성된다. 따라서 이러한 센서로부터의 출력은 9 x 5 이미지로 매핑된다. 유사하게, 도 5에서 도시된 센서는 핫스팟의 13 x 7 그리드에 대해 구성되고, 도 10에서 도시된 센서는 핫스팟의 팬 형상 배치에 대해 구성된다. 따라서 이러한 센서들로부터의 출력은 13 x 7 이미지와 같이 맵핑되며, 팬-형상 픽셀 배열과 같이 매핑된다.

제스처 검출을 위한 소프트웨어는 본 발명의 실시예에 따라 터치 검출과는 다른 접근 방식을 취하다. 구체적으로, 터치 검출에 사용되는 센서는 검출 영역 내에서 대상 물체가 위치한 정확한 위치를 식별해야 하지만, 제스처를 식별하기 위해서는 대상 물체의 정확한 위치가 필요하지 않다. 실제로 터치 검출 알고리즘은 비용이 많이 들고 많은 센서 데이터를 버리는 많은 노이즈 필터링을 필요로 하는 반면, 매트릭스 기반 알고리즘은 비용이 적게 들고 더욱 많은 오리지널 데이터를 보유하다. 행렬 기반 알고리즘은 대상 물체의 정확한 위치를 계산하는 것보다 대상 물체 인식 및 움직임 검출에 더 유용하다. 정의된 형상과의 상관 관계는 제스처를 수행하는 대상 물체의 유형 또는 특성을 식별하는 데 사용되며, 예를 들어 손이 제스처를 수행하고 있는가를 확인하고 시간 이동과의 상관 관계가 움직임을 식별함을 확인하는 데 사용된다.

도 12는 본 발명의 일 실시예에 따라 근접 센서의 출력을 사용하여 수행되는 이미지 상관관계의 단순화 예시 도면이다. 도 12는 손이 센서의 검출 영역에서 움직이는 동안 서로 다른 시간에 제스처 센서로부터의 검출 신호의 두 이미지(365, 367)를 보여준다. 손의 검출된 반사(366 및 368)가 표시된다. 이미지(369)는 이미지(365 및 367)에서 MATLAB<®소프트웨어를 사용하여 수행한 상관 관계의 출력이다. MATLAB은 The Mathworks Inc. Corporation의 상표이다. 상관관계(369)는 대상 물체가 오른쪽으로 이동하고 있음을 보여준다. 본 발명의 일부 실시예에서, 상기 상관관계가 상당한 반사의 위치만을 처리하도록 이미지가 마스킹되며, 예를 들어 Landy-Szalay 추정기는 마스킹된 영역 및 경계의 처리를 허용한다.

느리게 움직이는 대상 물체의 경우 연속적인 이미지 쌍만을 사용하여 이미지 상관관계를 기반으로 제스처가 수행되고 있는가 여부를 확인하기 어려울 수 있다. 본 발명의 일부 실시 예에서, 다수의 이미지가 저장되고 현재 이미지가 이전 이미지와 상관관계 되어 움직임 제스처를 식별하도록 한다. 일부 실시 예에서, 다수의 이미지를 저장하기 위한 메모리 요구사항을 최적화하기 위해, 하나의 이미지가 저장되고 일련의 새로운 이미지와의 이미지 상관관계를 위해 사용된다. 예를 들어, 이미지 n에 대해 이미지 n-1, n-2, n-4, n-8이 저장되어 이미지 상관관계에 사용된다. 새 프레임 각각에서, 이미지 n-1로서 저장된 이미지가 업데이트된다. 매 두 번째 프레임에서 이미지 n-2로서 저장된 이미지는 이전에 이미지 n-1로서 저장된 이미지로서 업데이트된다. 매 네 번째 프레임에서 이미지 n-4로서 저장된 이미지가 이전에 이미지 n-2로서 저장된 이미지로서 업데이트되고, 매 8번째 프레임에서 이미지 n-8로서 저장된 이미지가 이전에 이미지 n-4로서 저장된 이미지로서 업데이트된다. 상기 시스템은 이미지 상관관계에 의해 표시되는 움직임이 현재 이미지와 이전 이미지 사이의 시간 간격에 의해 정규화되도록, 이전 이미지를 새로운 현재 이미지와 상관시킬 때 이미지 각각이 사용될 타임스탬프를 저장한다.

본 발명의 일부 실시 예에서 검출 신호의 2D 어레이는 처리를 단순화하기 위해 ID 어레이, 즉 수평 프로파일 및 수직 프로파일로 변환된다. 예를 들어, 이미터 빔 각각을 따라 있는 모든 핫스팟에 대한 검출 신호는 합산되어 이미터 빔 각각에 대한 단일 값을 제공한다. 즉, 도 3 및 도 4의 센서에 대해, 이 같은 프로세스는 9개 값의 수평 프로파일을 생성하고, 도 5의 센서에 대해, 이 같은 프로세스는 12개 값의 수평 프로파일을 생성한다. 또한 핫스팟 행 각각에서의 모든 핫스팟에 대한 검출 신호는 합산되어 각 핫스팟 행에 대한 단일 값을 제공하도록 한다. 즉, 도 3 및 도 4의 센서에 대해, 이 같은 프로세스는 5개 값의 수직 프로파일을 생성하고, 도 5의 센서의 경우. 이 같은 프로세스는 7개 값의 수직 프로파일을 생성한다. 프로필 각각은 독립적으로 처리된다. 아래 표 IV는 프로필 벡터 각각에 대한 프로세스를 요약한 것이다.

도 13은 본 발명의 실시 예에 따라, 제스처 검출에 최적화된 근접 센서의 단순화된 예시이다. 도 13에서의 근접 센서의 외부 하우징이 제거되어, 센서의 내부 구성 요소를 노출시킨다. 이 같은 근접 센서는 PCB(301) 위의 지지 구조(364)를 특징으로 하며, 그 위에서 이미터 및 검출기가 도 14를 참조하여 아래에서 2개의 렌즈 층(410, 411)으로 논의되는 바와 같이 배열된다. 도 1과 관련하여 상기 논의 된 바와 같이, 렌즈는 이미터 각각으로부터의 광선을 시준하고 광선이 특정 각도로 렌즈에 들어갈 때 최대 광선을 검출기로 향하도록 한다. 도 13에서 도시된 근접 센서에서. 렌즈(410)는 센서의 폭을 따라 광선을 시준하는 압출된 원통형 렌즈로 형성된다. 렌즈 어레이(411)는 센서의 길이를 따라 광선을 시준한다. 압출 렌즈(410)는 지지 구조(364)의 일부로서 형성된다. 렌즈 어레이(411)는 센서의 길이를 따라 광선을 시준하는 프레넬 렌즈 유닛(412-414)을 특징으로 한다. 프레넬 렌즈 유닛 각각은 인입되는 광선을 하나 또는 두 개의 검출기로 향하게 하고, 인접한 이미터로부터 밖으로 나가는 광선을 시준한다.

도 4 및 도 5와 관련하여 위에서 논의된 바와 같이, 검출기 각각이 2개가 아닌 1개의 렌즈로부터만 최대 광선 강도를 수신하고 이미터 및 검출기가 이들 각각의 렌즈 근처에 배치되는 경우 센서의 높이는 감소될 수 있다.

렌즈(410, 411)는 대량 생산이 용이하며, 본 발명에 따른 근접 센서를 조립 비용 및 BOM 측면에서 도 1의 센서(351)보다 저렴하게 생산할 수 있다. 렌즈(410 및 411)는 기성 광학 부품으로도 제공되므로 센서 제조업체의 비용, 제조 및 간접비를 절감할 수 있다. 예를 들어, 프레넬 렌즈는 투명한 플라스틱 기판에 장착하기 위한 필름으로 사용할 수 있다.

여전히 도 13을 참조하면, 렌즈 어레이(411)는 센서의 상부에 있는 개구의 주변을 따라 돌출부에 의해 지지되고, 지지 구조(364)는 이 같은 지지부의 일부로서 형성된 렌즈(410)를 갖는 H-형 단면을 갖는다. 지지 구조(364)의 측벽은 평행할 필요는 없다. 센서 하우징(미도시)은 특히 판금 케이싱과 같은 여러 방식으로 제조될 수 있다.

도 14를 참조하면, 이는 본 발명에 따라 도 13의 근접 센서용 PCB의 단순화된 도면이다. 도 14는 이미터 및 검출기가 장착된 PCB(301)를 도시한다. 도 14에서의 이미터 및 검출기는 정사각형으로 도시되어 있으며, 검출기가 이미터 보다 크게 도시된다. 도 5에 대해 위에서 논의된 바와 같이, 이미터 및 검출기의 불 균일한 분포는 균일한 분포보다 검출 평면에서 더 많은 수의 핫스팟을 제공한다. 따라서 PCB(301)의 외부 가장자리에 있는 3개의 이미터 각각은 단일 인접 검출기를 갖는 반면 PCB(301)의 중간 부분에 있는 6개의 이미터 각각은 2개의 검출기(요소(130)) 사이에서 샌드위치로 끼워져 있다. 도 14는 PCB(301)의 좌측 끝에서 이미터 및 좌측 이웃 검출기의 3개 쌍(120), PCB(301)의 우측 끝에서 이미터 및 우측 이웃 검출기의 3개 쌍(121)을 도시한다. PCB(301)는 이미터-검출기 쌍의 동기식 동시 활성화를 제어하고 호스트 시스템과 통신하는 프로세서(300)를 특징으로 한다. 도 14는 또한 PCB(301)의 양 단부에 있는 통신 포트(304 및 305)를 도시한다.

본 발명에 따른 센서는 모듈식이다. 본 발명의 실시예에 따라 확장된 센서를 형성하기 위해 연결된 2개의 근접 센서의 단순화된 예시인 도 15를 참조한다. 도 15는 긴 센서를 형성하도록 연결된 제스처 검출기 모듈(352, 353)을 도시한다. 센서 모듈 각각은 각각의 검출 영역(375, 376)에서 대상 물체를 검출하며, 이에 의해 이러한 인접 검출 영역은 긴 검출 영역을 형성한다. 센서 모듈(353)은 마스터로 지정되고, 센서 모듈(352)은 슬레이브로 구성된다. 상기 마스터 모듈은 슬레이브로부터 출력을 수신하고 호스트 시스템과 인터페이스한다. 센서 모듈 각각은 예를 들어 도 14에서의 통신 포트(304, 305)와 같이, 센서의 양단에서 I2C 인터페이스를 포함하며, 모듈들 간의, 그리고 마스터 모듈과 호스트 시스템 간의 통신을 가능하게 하도록 한다.

본 발명의 일 실시예에 따라 근접 센서들 사이의 통신 버스 연결의 단순화된 예시 도면인 도 16을 참조한다. 도 16은 12C 통신 버스(308)를 생성하기 위한, 제2 센서 모듈의 PCB(303) 상의 구성 요소(304)에 연결된 제1 센서 모듈의 PCB(301) 상의 구성 요소(305)를 도시하며, 상기 12C 통신 버스는 두 모듈 상의 프로세서(300)가 통신하도록 하고, 각 모듈의 이미터와 검출기 활성화를 조정하도록하며, 그리고 슬레이브 센서 모듈로부터 마스터 센서 모듈로 결과를 출력하도록 한다. 도 15 및 도 16은 2개의 연결된 모듈만을 도시하지만, 추가 모듈을 연결하여 확장된 일련의 센서 모듈 및 대응하는 확장된 검출 영역을 형성할 수 있다. 센서 모듈 중 하나는 마스터로 지정되고 나머지는 모두 슬레이브로 지정된다.

도 17 및 도 18은 본 발명의 실시 예에 따라, 도 13에서의 근접 센서 내 광선 이미터 및 광선 검출기와 관련하여 렌즈가 어떻게 구성되는가 하는 방식을 보여주는 단순화된 예시 도면이다. 도 17 및 도 18에서, 이미터 빔(204)은 점선으로 표현된다. 도 17에서 검출기에 대한 최대 검출 경로는 점선으로 표시된다. 도 18은 경로(257)의 점선이 경로(258)의 점선 보다 큰 점선으로 표시된 최대 검출 경로(257, 258)를 도시한다. 도 17은 도 13에서의 근접 센서의 단면을 도시한다. 이 같은 도면에서, 원통형 렌즈(410)는 이미터 빔(204)을 시준하고 최대 검출(257, 258)의 경로를 따라 도달하는 들어오는 빔을 검출기(102)와 같은 검출기로 향하게 하다. 프레넬 렌즈(412)는 이 같은 방향으로 광선을 시준하지 않는다.

도 18은 더 큰 센서의 세그먼트를 도시한다. 도 18에서, 도 17의 2개의 지지 벽(364) 중 하나가 광선 경로가 보일 수 있도록 제거되었다. 도 18은 프레넬 렌즈(412)가 최대 검출기(257, 258)의 2개의 코리도를 따라 입사 광선을 검출기(102, 103)로 각각 향하게 하고, 또한 이미터 광선 빔(204)을 시준하는 방법을 도시한다.

본 발명의 일부 실시예에서, 근접 센서 하우징이, 특히 센서가 자동차 도어 또는 리프트게이트의 외부 패널과 같은 노출된 표면에 장착된 경우, 환경으로부터 센서를 보호하기 위해 적외선에 투명한 밀폐 플라스틱으로 둘러싸여 있다. 플라스틱 실링의 한 예는 일반적으로 폴리올레핀으로 만들어진 열수축 튜브이다. 상기 열수축 튜브는 가열될 때 지름의 1/2에서 1/6 사이로 반경 방향으로 수축한다 (종방향은 아님).

도 19는 본 발명의 실시 예에 따라, 무선 트랙패드를 단순하게 도시하는 도면이다. 도 19는 배터리와 같은 전원과 블루투스와 같은 무선 통신 모듈을 포함하며, 이들 모두는 견고한 하우징(313)에 들어 있다. 본 발명에 따른 근접 센서는 터치 표면(310)의 상부 에지를 따라 견고한 하우징 내에 장착되어 있으며, 센서의 광선 이미팅 및 수신 에지가 터치 표면(310)의 상부를 따라 융기된 에지로서 위치된다. 상기 하우징, 센서의 터치 표면 및 노출된 에지는 적외선 광선에 투명한 플라스틱 내에서 둘러싸여 있어서, 센서 광선 빔이 터치 표면(310) 위를 가로질러 이동하도록 하고 그 위에서의 터치 제스처를 검출할 수 있도록 한다. 이 같은 완전 밀폐형(hermetically sealed) 시스템은 거친 환경은 물론 병원 및 수술실과 같은 위생 환경에 유용하다. 예를 들어, 로봇 보조 수술에서 로봇은 이 같은 살균 트랙패드를 사용하여 수술실 내의 기술자에 의해 제어될 수 있다. 또한 장갑을 낀 의사와 간호사는 이 같은 살균 트랙패드를 사용하여 수술실에서 컴퓨터 및 컴퓨터 모니터와 상호 작용할 수 있다. 하우징 외부는 안전하게 세척하거나 소독제로 닦아낼 수 있다. 본 발명에 따른 일부 내장형 트랙패드는 배터리에 대한 무선 충전을 특징으로 하고, 다른 실시 예에서 내장형 트랙패드는 일회성, 즉 배터리 충전이 고갈될 때까지 사용하도록 의도된다.

도 20a 및 20b는 도 20의 무선 트랙패드의 단면도이다. 도 19를 참조하면, 본 발명의 일 실시예에 따른다. 무화과. 도 20a는 도 20의 무선 트랙패드의 라인 A-A를 따른 단면을 도시한다. 19.도. 도 20b는 터치 표면(310)의 상단 에지를 따른 근접 센서(353) 및 무선 통신 칩(312), 뿐만 아니라 센서 및 무선 통신 모두에 전력을 공급하기 위한 배터리(311)를 도시한다.

앞서 설명한 제스처 센서의 응용 분야에서는 자동 자동차 도어 및 리프트 게이트가 포함된다. 자동 자동차 도어 및 리프트 게이트에서, 무빙 도어 또는 리프트게이트 패널 내에 장착된 본 발명에 따른 센서는 도로 경계석(curb), 나무 또는 인접한 주차된 차량과 같이 도어 또는 리프트게이트가 접근하는 대상 물체를 검출한다. 대상 물체와 도어 또는 리프트 게이트 패널 사이의 거리는 도어 또는 리프트게이트 제어 시스템으로 보고된다. 정의된 형상과의 상관 관계는 접근하는 대상 물체의 유형 또는 특성(예: 해당 물체가 도로 경계석인지, 관목인지, 사람인지)을 식별하는 데 사용된다. 도어 또는 리프트게이트 제어 시스템은 대상 물체와 충돌하기 전에 도어 또는 리프트게이트 패널의 움직임을 정지시킨다.

앞서 설명된 제스처 센서에 대한 응용 분야는 모바일 폰, 태블릿 컴퓨터, 홈네트워크 서비스 제품 및 차량 캐빈을 포함한다. 이들 제품의 특정 실시예는 본 발명의 실시예에 따른 레이더 센서 및 광학 근접 센서를 포함한다. 레이더와 광학 센서는 제스처의 중복 검출을 제공하여 서로를 보완하다. 특정 제스처의 경우 광학 센서가 레이더 센서보다 빠르고 정확한 검출을 제공하다. 예를 들어, 광학 제스처 센서는 레이더 센서보다 더 정확하게 대상 물체의 위치를 검출한다. 광학 및 레이더 센서는 비행 시간 카메라와 같은 이미지 내의 개인 특징을 캡처할 수 없다. 따라서 개인 정보 보호 문제가 완화된다. 특정 응용 분야에서 사용자가 장치에 접근하는 것이 검출되기 전에 센서 중 하나는 대기 모드에서 활성화되어 접근하는 사용자를 검출하고 다른 센서는 절전 모드에 있다. 대기 모드의 센서가 접근하는 사용자를 검출하면 절전 모드의 센서가 깨어난다.

본 발명의 특정 실시 예에서, 원통형 및 프레넬 렌즈를 갖는 제스처 센서 내의 이미터 및 검출기는 평면 곡선을 따라 배열되어, 센서 위의 2차원 평면이 아닌 체적을 통과하는 대상 물체의 검출을 제공한다. 이 같은 센서는 휴대폰, 태블릿 컴퓨터, 홈네트워크 서비스 장치 및 차량 캐빈에 포함되어 허공 제스처를 검출하도록 한다. 예를 들어, 센서는 휴대폰, 태블릿 컴퓨터, 홈네트워크 서비스 장치 또는 차량 인포테인먼트 시스템의 디스플레이 덮개 유리 뒤에 장착되고 커버 유리를 통해 광선 빔을 투사하여 커버 유리 반대편에서 수행되는 허공 제스처를 검출할 수 있도록 한다.

도 21 및 22는 본 발명의 실시 예에 따라, 3D 공간에서 대상 물체의 존재를 검출하도록 구성된 근접 센서에 대한 최대 검출의 이미터 빔 및 코리도의 단순화된 예시 도면이다. 도 21은 폐쇄된 평면 곡선을 따라 교대로 배열된 이미터 및 검출기를 도시한다. 2개의 이미터에만 번호가 매겨져 있고(156, 157) 2개의 검출기에만 번호가 매겨져 있다(108, 109). 이미터 광선 비임은 곡선과 관련하여 상향하여 투사되고 검출기는 다중 이미터 광선 빔과 교차하는 최대 검출 코리도를 갖도록 구성된다. 하나의 이미터 빔에는 번호가 매겨져 있고(205), 최대 검출의 한 코리도에 번호가 매겨져 있다(260). 이 같은 구성은 이미터 및 검출기 위의 공간에서 핫스팟 링(378 - 382)을 생성하며, 따라서 일정 체적을 통과하는 대상 물체의 검출을 제공하도록 한다.

도 22는 이미터(158-167)로부터의 빔 및 검출기(110-119)에 대한 최대 검출의 코리도를 도시하며, 여기서 이미터(158-167) 및 검출기(110-119)는 개방 평면 곡선을 따라 배열된다. 상기 빔은 두 개의 이미터 빔에 번호(206, 207)가 지정되며, 도면에 도시된 바와 같이 방향이 정해진다. 상기 검출기는 도면에 도시된 바와 같이 최대 검출 각각의 코리도가 복수의 이미터 빔과 교차하도록 구성된다. 최대 검출의 두 코리도는 도면에서 번호가 매겨진다(261, 262). 이 것은 안장 지붕 형태로 알려진 쌍곡선 포물면 형태의 핫스팟(383) 어레이를 생성한다.

모바일 폰에서, 태블릿 컴퓨터, 홈네트워크 서비스 장치 및 차량 캐빈에서, 광학 센서 구성요소는 디스플레이의 하나 이상의 에지를 따라 장착된다. 이미터 빔은 디스플레이 유리를 통해 상향으로 향하게 된다. 디스플레이 덮개 유리에 평행하게 빔을 투사하는 광학 터치스크린과 달리 디스플레이 유리 반대편의 제스처를 검출하도록 구성된 이 같은 제스처 센서는 디스플레이 주변으로 돌출된 베젤을 필요로 하지 않는데, 이는 광선 빔이 디스플레이 표면과 평행하지 않고 디스플레이로부터 밖으로 향하기 때문이다.

도 23 내지 도 25는 본 발명의 실시 예에 따른 비 접촉 터치 입력 시스템의 단순화된 예시 도면이다. 도 23은 사용자(502)와 터치스크린(501) 사이의 접촉을 줄이거나 없애도록 설계된 비 접촉 터치스크린 시스템의 측면도를 도시한다. 비 접촉 터치스크린 시스템은 디스플레이(501) 및 디스플레이(501)로부터 떨어진 거리에 장착되어 터치 검출 평면(503)을 생성하는 근접 센서(384)를 포함하며, 상기 터치 검출 평면은 디스플레이(501)의 상부 표면과 평행하고 그 위에 위치한다. 도 23은 디스플레이(501)의 상부 표면으로부터 거리 d만큼 분리된 터치 검출 평면(503)을 도시한다. 검출 평면(503) 내의 모든 좌표가 디스플레이(501) 상의 대응하는 좌표에 매핑되기 때문에, 사용자(502)는 디스플레이를 터치하지 않고 디스플레이(501) 상에 제시된 사용자 인터페이스와 상호작용할 수 있다. 검출 평면(503)에 손가락이나 대상 물체를 삽입함으로써 사용자에 의해 수행된 임의의 제스처는 센서(384)에 의해 검출되고 USB 휴먼 인터페이스 장치 클래스(USB HID 클래스)와 같은 표준 프로토콜을 사용하여 사용자 인터페이스에 보고된다. 따라서 기본 컴퓨터 시스템은 수정할 필요가 없다. 컴퓨터 시스템은 입력이 터치스크린 입력인 것처럼 센서(384)로부터 입력을 수신한다.

이러한 입력은 스크린 아이콘 선택에 국한되지 않는다. 센서(384)에 의해 검출되고 시스템으로 보고되는 추가적인 허공 제스처(in-air gestures)는 예를 들어 디스플레이를 팬 또는 스크롤(pan or scroll)하기 위한 스와이프 제스처, 및 확대 및 축소를 위한 두 손가락 핀치 제스처를 포함한다. 시스템이 셀프 체크아웃 키오스크에서 사용되는 경우, 사용자는 검출 평면(503)에서 허공 제스처를 취함으로써 신용 카드 지불을 확인하기 위해 서명을 입력할 수 있고 센서(384)는 시스템으로 서명 제스처 좌표를 보고한다.

도 23에서 도시된 시스템은 물리적 버튼 및 노브 인터페이스에도 적용된다. 예를 들어, 엘리베이터 키패드는 디스플레이(501)를 대체하고, 이에 의해 사용자(502)는 아래에 놓인 버튼에 매핑된 위치에서 검출 평면(503)으로 누름 제스처를 수행함으로써 버튼을 선택한다. 센서(384)는 사용자에 의해 눌려진 키패드 또는 대응하는 버튼의 위치를 엘리베이터 버튼 패널 제어 시스템으로 보고한다.

다른 실시 예에서, 물리적 슬라이더 컨트롤 및 회전 가능한 노브를 갖는 패널이 디스플레이(501)를 대체한다. 슬라이더 컨트롤 반대편의 검출 평면(503)에서 검출된 스와이프 제스처는 입력 값을 증가 또는 감소시키기 위한 슬라이더를 따른 움직임으로서 보고된다. 회전 가능한 노브 반대편의 검출 평면(503) 내에서 검출된 두 손가락 펼치기 제스처는 노브를 오른쪽으로 회전시키는 것으로 해석되고, 회전 가능한 노브 반대쪽의 검출 평면(503)에서 검출된 두 손가락 핀치 제스처는 노브를 왼쪽으로 회전시키는 것으로 해석된다.

디스플레이 또는 버튼 패널의 크기가 클 때, 하나의 큰 센서 대신 여러 개의 센서가 사용되는 시스템을 가능하게 하는 것이 유리하다. 본 발명의 실시 예에서, 2개의 센서는 디스플레이 또는 버튼 패널의 반대쪽 에지를 따라 서로 마주보고 장착되며, 여기서 각 센서의 검출 영역은 디스플레이의 일부만을 커버하지만, 2개의 센서는 함께 전체 디스플레이를 커버한다.

도 24는 그러한 시스템을 도시한다. 도 24는 디스플레이(504) 및 디스플레이(504)의 반대쪽 짧은 가장자리를 따라 장착된 센서(385, 386)를 도시한다. 각 센서의 검출 영역은 디스플레이(504)의 상부 표면의 일부를 커버한다. 도 24에서, 센서(385)는 디스플레이(504)를 가로질러 왼쪽에서 오른쪽으로 거리(11)만큼 연장되는 검출 영역(505)을 갖고, 센서(386)는 디스플레이(504)를 가로질러 오른쪽에서 왼쪽으로 거리(12)만큼 연장되는 검출 영역(506)을 갖는다. 디스플레이(504) 중앙 영역(507)은 검출 영역(505, 506) 모두에 의해 커버된다. 본 발명의 실시 예에서, 센서(385, 386)는 도 23과 관련하여 앞서 논의된 바와 같이 비 접촉 상호작용을 가능하게 하기 위해 디스플레이(504)의 상부 표면 위에 검출 평면을 제공하도록 장착된다.

센서(385 및 386)로부터의 출력을 터치스크린 입력으로 결합하기 위해, 두 센서(385 및 386)는 이들 각각의 출력을 프로세서(520)로 보내며, 이 같은 프로세서에서 출력들을 결합하고, 다음에 이 같이 결합된 출력을 터치 입력으로서 디스플레이 및 사용자 인터페이스를 실행하는 컴퓨터(521)로 보낸다. 일부 실시 예에서, 프로세서(520)는 Linux<®운영 체제를 실행하는 Raspberry Pi™단일 보드 컴퓨터의 ARM<®프로세서이다. ARM은 Arm Limited의 등록 상표이다. RASPBERRY PI는 RASPBERRY PI FOUNDATION의 상표이다. LINUX는 미국 및 기타 국가에서 Linus Torvalds의 등록 상표이다.

도 25는 복수 쌍의 센서(385-386 및 387-388)가 디스플레이(504)의 두 반대편 에지를 따라 장착되는 본 발명의 또 다른 실시 예를 도시한다. 센서 각각은 각각 검출 영역(505, 506, 508 및 509) 중 하나에서 대상 물체를 검출한다. 도 25는 또한 2개의 검출 영역이 중첩되는 영역(507 및 510)을 도시한다. 센서(385-388)는 모두 이들의 출력을 프로세서(520)로 보내어 결합되고 터치스크린 입력으로서 컴퓨터(521)로 보내진다.

본 발명의 실시 예에 따라, 비 접촉 터치 입력 시스템에서 반대편 반사 센서로부터의 터치 출력을 결합하는 프로세스에 대한 흐름도인 도 26을 참조한다. 도 26은 프로세서(520)에 의해 수행되는 소프트웨어 기능의 흐름도를 도시한다. 프로세서(520)는 각각의 연결된 센서에 대해 별도의 스레드(1001, 1002)를 실행한다. 반대편에 위치하는 센서의 모든 쌍은 이들의 스레드 출력을 센서 그룹 스레드(1003)로 보내며, 이 같은 스레드는 머즈 터치(Merge Touches) 기능(1004)을 호출하며, 다음 기능을 수행한다.

맵 좌표(Map Coordinates)(1005), 디 바운스(Debounce)(1006), 상태 중재자(State Arbitrator)(1007), 디 고스트(Deghost)(1008), 가중 위치(Weighted Position)(1009) 및 좌표 스무더(Coordinate Smoother)(1010).

시스템에 한 쌍 이상의 반대편 마주하는 센서가 있고 복수 그룹 스레드가 사용되는 경우, 각 그룹 스레드의 병합 터치 기능으로부터의 출력은 최종 터치 정보를 컴퓨터(521)로 보내는 메인 스레드(1011)로 전송된다. 한 쌍의 반대 센서만 있는 시스템에서 메인 스레드는 두 센서 스레드의 데이터를 결합하고 병합 터치 기능(1004)을 호출하다. 이 경우 그룹 스레드(1003)는 필요하지 않다. 기능(1005-1010)에 대한 설명이 아래에 제공된다.

맵 좌표(Map Coordinates) 기능(1005) - 센서가 다른 방향을 향하고 있으므로, 이들 센서들의 출력이 동일한 좌표 공간을 지정하지 않는다. 이 같은 기능은 센서 출력 각각을 공유 좌표 공간에 매핑한다.

디바운스 기능(1006) - 기능(1005)으로부터의 출력을 사용하며, 이 같은 기능은 '다운' 상태와 '업' 상태 사이의 빠른 깜박임을 검출하고, 이러한 깜박임을 억제하려고 한다. 이는 신호가 약하고 활성/비활성 영역의 경계가 물결 모양인 중첩 영역(507, 510)에 물체가 있을 때 주로 발생한다.

상태 중재자 기능(1007) - 기능(1006)으로부터의 출력을 사용하며, 이 같은 기능은 현재 터치에대한 상태를 정의한다. 이 같은 상태는 도 27을 참조하여 이하에서 논의된다.

디 고스트 기능(1008) - 이 기능은 센서가 반대쪽 센서로부터 이미터 빔을 검출함으로써 생성되었을 가능성이 있는 센서 각각으로부터의 터치 출력을 식별한다. 이는 예를 들어 이전 터치 위치로부터 멀리 떨어진 거리에서 갑자기 나타나는 터치 좌표를 기반으로 한다.

가중 위치(1009) 기능 - 2개의 센서가 모두 유효한 터치 위치를 보고한 경우, 이 기능은 가중 합계에 기초하여 2개의 위치를 결합하며, 터치 위치에 더 가까운 센서로부터의 출력에 더 큰 가중치를 할당한다.

스무더(1010) 기능 - 이 기능은 상태 기반 롤링 평균 필터를 기능(1009)의 출력에 적용한다. 그 결과는 병합 터치 기능의 출력이다. 모든 그룹 스레드가 병합되어 메인 스레드에 대한 단일 출력을 제공하고, 이 같은 메인 스레드 출력은 단일 HID(절대 마우스, 디지타이저 또는 기타 HID 프로필) 장치로부터의 터치 데이터로서 시스템으로 전송된다.

도 27은 본 발명의 실시 예에 따른 비 접촉 터치 입력 시스템에서 터치 입력을 검증하고 추적하는 상태 머신를 도시한 도면이다. 도 27은 상태 중재기 기능(1007)에 의해 터치 데이터에 할당된 상태(1021-1026)를 도시한다. 상기 상태는 상태 1(Idle)(아이들)(1021)에서 시작한다. 터치가 처음 검출되면 상기 상태는 상태 2(Down Pending)(다운 펜딩)(1022)로 진행된다. 이 상태에서 시스템은 터치가 사라지는가를 확인하기 위해 기다리며, 터치가 사라진 경우 가령 다른 센서로부터 노이즈로 인해 발생했을 가능성이 있으므로 폐기해야 한다. 따라서 터치가 사라지면 상기 상태는 아이들 상태로 돌아가고, 터치가 일정 시간 지속되면 비로서 터치가 확인된다. 이와 같이 확인된 터치의 상태는 상태 3(Down)(1023) 또는 상태 4(Move)(1024)로 진행한다. 상태 3(Down)(1023)은 상태 2로부터 확인된 터치가 동일한 위치에 남아 있을 때 적용된다. 이는 다른 GUI 시스템 내의 터치다운 이벤트와 동일하다. 상태 4(Move)(1024)는 상태 2 또는 상태 3으로부터 확인된 터치가 새 위치로 이동한 경우 적용된다. 상태 5(Up Pending)(1025)는 상태 3 또는 4의 터치가 해제되었을 때 적용된다. 이 같은 상태는 터치가 없는지 확인하기 위해 기다린다. 일정 시간 동안 터치가 없으면 상태가 터치가 종료되었음을 확인하는 상태 6(Up)(1026)으로 업데이트된다. 이 같은 상태는 상태 1(Idle)로 돌아간다.

본 발명은 전자 디스플레이 스크린을 특징으로 하는 시스템뿐만 아니라 가령 인쇄물과 같은 정지 이미지를 특징으로 하는 시스템을 포함한다. 특히, 본 발명은 본 발명의 센서가 인쇄물 내의 기호에 대응하는 위치에서 제스처를 검출할 때 사용자가 상호작용하는 인쇄물을 포함한다. 본 발명은 또한 본 발명의 센서가 홀로그램 내의 심볼에 대응하는 위치에서 제스처를 검출할 때 사용자가 상호작용하는 인쇄되거나 에칭된 이미지의 홀로그램을 포함한다. 본 발명은 또한 입력 GUI가 헤드 업(head up) 디스플레이와 같은 반사 표면 또는 영공(airspace)으로 투사되는 입력 장치를 포함한다.

본 발명에 따른 비 접촉 인터페이스는 사용자 입력 제스처를 검출하기 위한 하나 이상의 상호작용 요소 및 하나 이상의 인-에어 검출 평면을 특징으로 하는 GUI를 제공한다. 상기 시스템은 검출된 제스처를 GUI 요소 각각에 매핑하여 사용자 입력을 수신한다. 검출 평면과의 사용자 상호작용이 표면을 만지지 않고 허공에서 수행되기 때문에, 본 발명의 시스템은 그렇지 않으면 다수의 개인이 만지는 터치 입력 표면을 통해 발생할 병원체의 전파를 방지한다.

본 발명에 의해 다루어지는 문제들 중 하나는 시스템이 어떻게 GUI 요소의 사용자 선택과 그 요소의 활성화를 구별하는가 이다. 본 발명에 의해 다루어지는 또 다른 문제는 사용자의 제스처가 시스템에 의해 입력으로서 수신되고 해석되는 시기와 방법을 직관적으로 사용자에게 전달하는 것이다.

도 28 내지 도 32는 본 발명의 실시 예에 따른 비 접촉 광학 터치스크린 시스템의 요소를 간략히 나타낸 도면이다. 도 28은 서로 평행하게 배열된 2개의 광 근접 센서(315, 316)를 도시한다. 광선 빔(270)의 검출 필드는 센서(315) 위의 영공에서 위쪽으로 투영된 것으로 도시되어 있다. 센서(315, 316)는 미국 특허 제9,164,625호, 제9,921,661호, 제10,282,034호 및 제10,324,565호에 기술되어 있으며, 이들의 전체 내용은 그 내용이 본 명세서에 참조로 포함된다.

도 29는 센서(315)가 검출 필드(270)에 삽입된 손가락(512)과 같은 대상 물체의 2차원 위치를 검출하는 방법을 도시한다. 미국 특허 번호 제9,164,625호, 제9,921,661호, 제10,282,034호 및 제10,324,565호에 설명된 바와 같이, 투영된 라이트 필드(270)의 손가락(512)에 의한 반사(271)는 라이트 필드(270) 내의 대상 물체의 위치를 삼각 측량하는 데 사용된다.

도 30은 본 발명에 따른 입력 시스템의 일측면으로에서 본 사시도이다. 디스플레이(514)는 근접 센서(315, 316)의 뒤에서 떨어져 장착된다. 근접 센서(315, 316)는 디스플레이(514)의 평면 위에 2개의 평행한 검출 평면(270, 272)을 제공한다. 검출 평면(270) 내 핑거(512)의 위치는 센서(315)에 의해 검출되며, 디스플레이(514) 상의 상응하는 위치에 맵핑된다. 이것은 디스플레이(514)에 표시된 상이한 GUI 요소를 선택 및 선택 해제하기 위해 사용자가 손가락(512)을 이동하는 것을 가능하게 한다. 도 31은 디스플레이(514) 상의 GUI 요소(515)("검색"), 516("포워드"), 517("인쇄") 및 518("백")을 보여준다. 이러한 GUI 요소 중 임의의 것이 센서(315)와 상호작용하는 손가락(512)에 의해 선택되는 경우, 이 같은 선택은 예를 들어 디스플레이(514) 상의 선택된 GUI 요소를 확대함으로써 사용자에게 표시된다. 선택된 GUI 요소를 활성화하기 위해, 사용자는 손가락(512)을 근접 센서(316)의 검출 평면(272) 내로 번역한다.

도 32는 근접 센서(316)의 검출 평면(272)으로 변환되어 선택된 GUI 요소(517)("프린트 티켓")를 활성화하는 손가락(512)을 도시한다. 이 활성화는 예를 들어 활성화된 GUI 요소의 색상을 변경하여 사용자에게 표시된다. 이러한 활성화는 센서(315, 316)에 연결된 프로세서(520)와 디스플레이(514)에 의해 제어된다.

사용자에 대한 표시는 디스플레이 상의 그래픽 변경으로 제한되지 않는다. 본 발명의 일부 실시 예에서, 센서(315, 316)는 사용자에게 피드백을 제공하도록 선택적으로 활성화되는 가시광선 이미터를 포함한다. 예를 들어, 대상 물체가 검출 평면(270)에 들어갈 때, 제1 가시광선 이미터가 활성화되어 대상 물체를 제1 색상으로 조명한다. 대상 물체가 근접 센서(316)의 검출 평면(272)으로 이동될 때, 근접 센서(315) 또는 근접 센서(316) 상의 제2 가시광선 이미터는 제2 색상으로 대상 물체를 조명하도록 활성화된다. 손가락(512)이 검출 평면(270) 내에서 움직일 때, 가시광선 이미터 활성화는 디스플레이(514) 상의 대응하는 커서가 GUI 요소를 선택했는지 여부를 나타내고; 예를 들어, 손가락의 저 조도 조명은 커서가 GUI 요소 사이에 있음을 나타내고, 고 조도 조명은 커서가 GUI 구성요소 중 하나에 위치하여 해당 요소를 선택했음을 나타낸다.

본 발명의 실시 예에 따른, 비 접촉 광학 터치스크린 시스템을 위한 사용자 인터페이스를 먼저 설명하는 흐름도인 도 33을 참조한다. 시스템이 시작된 후(동작 1030), 센서(315)는 대상 물체가 평면에 진입했는지 알아보기 위해 검출 평면(270)을 폴링한다(동작 1031). 대상 물체가 평면에 진입했다면, 프로세스는 대상 물체가 디스플레이(514) 상의 아이콘들 중 임의의 것에 대응하는 검출 평면(270) 내의 위치에 있는지 여부를 결정하도록 진행한다(동작 1032). 만약 대응하는 검출 평면(270) 내의 위치에 있다면, 가령 아이콘을 강조 표시함으로써 그 같은 아이콘이 선택되고(동작 1033); 반면에, 만약 대응하는 검출 평면(270) 내의 위치에 있지 않다면, 디스플레이는 검출 평면(270) 내의 대상 물체 위치에 대응하는 위치에서 디스플레이 상의 커서, 예를 들어, 원을 렌더링한다(동작 1034). 이 같은 커서(동작 1034) 또는 선택된 아이콘의 시각적 표시(동작 1033)의 출현은 검출 평면(270)과의 현재 상호작용 및 따라서 디스플레이된 GUI와의 상호작용을 나타낸다. 이와 같이, 손가락이 검출 평면(270)으로부터 연속적으로 제거되면, 선택된 아이콘의 커서 또는 그래픽 표시가 사라진다(동작(1035)이 동작(1031)으로 돌아갈 때 아이콘 선택이 취소되고; 동작 (1036)이 동작(1031)으로 돌아갈 때 커서가 지워진다). 손가락이 검출 평면(270) 내에서 움직일 때, 디스플레이 상의 아이콘들 사이의 대응하는 위치에 커서를 렌더링함으로써(동작 1034) 또는 선택된 아이콘을 강조 표시함으로써(동작 1033) 디스플레이가 반응한다. 아이콘을 선택하면 커서를 나타내는 원이 사라지고, 대신에 선택한 아이콘이 강조 표시됨이 사용자에게 직관적이다. 커서가 아이콘에 접근할 때 커서가 아이콘에 끌리는 것처럼 보일 때 더욱 향상된다(예를 들면, 아이콘에 원이 그려지고 강조 표시된 아이콘에 녹아 드는 애니메이션). 또한 아이콘을 선택하기 위해 커서가 아이콘에 접근하는 것으로 충분하기 때문에 이 애니메이션을 사용하면 사용자가 아이콘을 선택함을 쉽게 할 수 있다. 아이콘 선택을 해제하기 위해, 사용자는 검출 평면(270)의 현재 위치에서 손가락(512)을 이동한다. 이는 강조 표시가 꺼지고 커서가 선택 해제된 아이콘 외부의 새로운 위치에 다시 나타나도록 한다. 아이콘이 선택된 때, 센서(316)가 손가락(512)이 검출 평면(272)에 들어간 것을 검출하면(동작 1037), 선택된 아이콘이 활성화된다(동작 1038).

본 발명의 일 실시 예에 따른, 비 접촉 광학 터치스크린 시스템을 위한 사용자 인터페이스를 두 번째로 설명하는 흐름도인 도 34를 참조한다. 도 34의 방법이 단 하나의 센서와 단 하나의 검출 평면, 즉 센서(315)와 검출 평면(270)을 사용한다는 점에서 도 33과 다르다. 상기 시스템이 시작된 후(동작 1040), 센서(315)는 검출 평면을 폴링(poll)하며, 대상 물체가 평면에 진입했는지 확인하도록 한다(동작 1041). 대상 물체가 평면에 진입하였다면, 프로세스가 진행하여, 대상 물체가 디스플레이(514) 상의 아이콘들 중 임의의 것에 대응하는 검출 평면(270) 내의 한 위치에 있는가 여부를 결정하도록 한다(동작 1042). 만약 그렇다면, 그와 같은 아이콘이 선택되고(동작 1043); 그렇지 않다면, 디스플레이는 검출 평면(270) 내에서 대상 물체의 위치에 대응하는 한 위치에서 디스플레이 상의 커서를 렌더링한다(동작 1044). 이 같은 커서의 출현(동작 1043) 또는 선택된 아이콘의 시각적 표시(동작 1044)는 사용자가 현재 검출 평면(270)과 상호작용하고 있고 따라서 디스플레이된 GUI와 상호작용하고 있음을 나타낸다. 이와 같이, 커서가 디스플레이 상에서 렌더링될 때 손가락이 검출 평면(270)으로부터 뒤이어서 제거되면, 커서는 사라진다(동작 1046에서 동작 1041로 복귀). 손가락이 검출 평면(270) 내에서 움직일 때, 디스플레이는 디스플레이 상의 아이콘들 사이의 대응하는 위치에 있는 커서를 렌더링하거나, 또는 선택된 아이콘을 강조 표시함으로써 반응한다. 아이콘을 선택하면 커서가 사라지고 선택한 아이콘이 강조 표시되는 것을 사용자는 직관적으로 알 수 있다. 이것은 커서가 아이콘에 접근함에 따라 아이콘에 끌리는 것처럼 보일 때 더욱 향상되며, 예를 들어 커서의 애니메이션이 아이콘으로 끌려들어가고 강조된 아이콘 내로 녹아 들어간다. 또한 아이콘을 선택하기 위해 커서가 아이콘에 접근하는 것으로 충분하기 때문에, 이 같은 애니메이션을 사용하면 사용자가 아이콘을 쉽게 선택할 수 있다. 아이콘 선택을 해제하기 위해, 사용자는 검출 평면(270)의 현재 위치로부터 손가락(512)을 변형한다. 이것은 강조 표시가 꺼지도록 하고 커서가 선택 해제된 아이콘 외부의 새로운 위치에 다시 나타나도록 한다(동작 1045에서 동작 1042 내지 동작 1044로 진행). 선택된 아이콘을 활성화하기 위해, 사용자는 검출 평면(270) 내에서 아이콘 위치 밖으로 손가락(512)을 변형한다(동작 1047).

본 발명의 특정 실시 예에서, 디스플레이(514)는 디스플레이의 반사, 예를 들어 헤드 업(head up) 디스플레이로 대체되며, 여기서 반사 표면은 검출 평면(270)으로부터 다시 설정된다.

본 발명의 특정 실시 예에서, 검출 평면(270)은 평면(270)의 대향하는 에지 상에 이미터 및 검출기를 갖는 광학 센서에 의해 생성된다. 본 발명의 다른 실시 예에서, 2개의 검출 평면(270 및 272)은 검출 평면(270, 272)의 대향하는 에지 상에 이미터와 검출기를 갖는 2개의 스택 센서에 의해 생성된다. 하나 이상의 검출 평면의 대향하는 에지 상에 이미터 및 검출기를 갖는 광학 센서는 미국 특허 제8,416,217호에 기재되어 있으며, 그 내용은 그 전체가 본원에 참조로 포함된다.

본 발명의 특정 실시 예에서, 디스플레이가 사용자에 의해 입력되는 데이터를 다른 사람들이 보는 것을 차단하는 후드 또는 상자 내에 들어 있는 경우, 개인 PIN 또는 기타 민감한 데이터를 입력하기 위한 인터페이스가 제공된다. 이 경우, 후드 또는 박스 개구부는 검출 평면의 대향 에지 상에 이미터 및 검출기를 갖는 광학 센서를 하우징하기 위한 검출 평면(270)을 둘러싸는 프레임을 제공한다. 이 같은 후드의 맨 끝에 있는 경사지거나 경사진 반사 표면이 이 후드 입력 시스템의 사용자에게 보이는 디스플레이일 때, 사용자는 멀리 기울어진 디스플레이 표면을 만질 필요가 없다는 것을 직관적으로 이해한다. 이것은 사용자에게 직관적인 후드 개방부 근처의 검출 평면과의 상호 작용을 만든다.

다른 실시 예에서, 예를 들어, 자동판매기에서 층 또는 제품 이름을 선택하기 위해, 엘리베이터 내의 번호가 매겨진 버튼을 나타내는 GUI 요소를 갖는 홀로그래프가 허공에서 생성된다. 센서는 홀로그래프와 동일 평면에 있는 검출 평면을 생성하도록 구성되어 사용자가 표면을 만지지 않는다는 점을 제외하고 표준 버튼 인터페이스로 홀로그래프와 상호 작용할 수 있다. 검출 평면과 동일 평면에 홀로그래프를 갖는 시스템은 미국 특허 제10,282,034호에 기재되어 있으며 적어도 도 40에 도시되어 있다.

다른 실시 예에서, 엘리베이터 키패드와 같은 물리적 버튼 키패드, 또는 자동판매기 상의 제품 버튼 또는 인쇄된 선택 옵션은 비 접촉식 버튼 선택을 가능하게 하기 위해 위에서 논의된 검출 평면(270) 뒤의 일정 거리에 제공된다. 일부 실시 예에서, 검출 평면은 키패드 위로 30mm 거리에 위치한다. 선택한 버튼을 누르면 기존 버튼처럼 강조 표시된다. 이 경우, 버튼들 중 특정 버튼에 대응하는 검출 평면(270)의 위치에 손가락(512)을 삽입하기만 하면 그 버튼이 활성화된다.

전술한 명세서에서, 본 발명은 그 특정 예시적인 실시 예를 참조하여 설명되었다. 그러나, 본 발명의 보다 넓은 발명 사상 및 범위를 벗어나지 않고 특정 예시적인 실시 예에 대해 다양한 수정 및 변경이 이루어질 수 있음이 명백하다. 예를 들어, 레이더, 카메라, 비행 시간(time-of-flight) 카메라 및 용량성 센서와 같은 기술이 위에서 논의된 광학 센서 대신에 사용될 수 있다. 따라서, 본 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

본 명세서 상세한 설명 및 청구범위 및 도면에서, 다음과 같은 넘버링 체계가 사용된다. 번호가 같은 요소는 유사하지만 반드시 동일하지는 않다.

Claims

회로 기판; 적어도 하나의 렌즈; 상기 회로 기판 위에 상기 적어도 하나의 렌즈를 현수하는 지지 구조; 상기 회로 기판 상에 장착된 복수의 광선 이미터 - 광선 이미터 각각은 공통 투영 평면을 따라 상기 적어도 하나의 렌즈를 통해 광선 빔을 투영하도록 활성화될 때 동작 가능함 -;
상기 회로 기판 상에 장착된 복수의 광선 검출기 - 검출기 각각은 활성화될 때 동작 가능하며, 상기 검출기에서 상기 적어도 하나의 렌즈를 통해 도달하는 광선의 양을 검출하도록 하며, 상기 적어도 하나의 렌즈 위의 투영 평면에 위치한 반사 대상 물체는 이미터로부터 하나 이상의 검출기로 상기 반사 대상 물체에 투영된 광선을 반사하고, 그리고
상기 이미터 중 하나와 상기 검출기 중 하나를 포함하는, 이미터-검출기 쌍 각각이 동기적으로 활성화될 때, 다른 검출기 보다 활성화된 검출기에서 더 큰 검출 신호를 생성할 것으로 예상되며, 이들은 또한 상기 반사 대상 물체가 이미터-검출기 쌍에 해당하는 투영 평면 내의 특정 2D 위치에 있을 때, 임의의 이미터와 동시에 활성화되어야 되어야 하고-; 그리고
상기 이미터 및 상기 검출기에 연결된 프로세서 - 이미터 각각을 순차적으로 활성화하고 하나 이상의 검출기를 동시에 활성화하며, 그리고 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선 량에 기초하여, 상기 적어도 하나의 렌즈 위의 반사 대상 물체에 의해 수행된 제스처를 식별하도록 구성됨-를 포함하는, 근접 센서.
제1항에 있어서, 상기 적어도 하나의 렌즈는 2차원으로 광선을 시준하도록 구성되는, 근접 센서.
제1항에 있어서, 상기 적어도 하나의 렌즈는 2개의 적층된 렌즈를 포함하는, 근접 센서.
제3항에 있어서, 상기 2개의 적층 렌즈는 압출된 원통형 렌즈 및 프레넬 렌즈 어레이를 포함하는, 근접 센서.
제4항에 있어서, 상기 압출된 원통형 렌즈는 상기 프레넬 렌즈 어레이와 상기 회로 기판 사이에 위치되는, 근접 센서.
제4항에 있어서, 상기 압출된 원통형 렌즈는 상기 센서를 위한 지지 구조로서 기능하는, 근접 센서.
제1항에 있어서, 상기 프로세서는 복수의 동기적으로 활성화된 이미터-검출기 쌍 검출기 각각에 의해 검출된 광선의 양을 상기 이미터-검출기 쌍에 해당하는 특정 2D 위치에 할당하고 생성된 픽셀 이미지를 기준 대상 물체 형상과 상관시킴에 기초하여 픽셀 값을 갖는 픽셀 이미지를 생성함으로써 반사 대상 물체의 형상을 식별하도록 더욱 구성되는, 근접 센서.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 적외선에 투명한 밀봉 플라스틱으로 둘러싸인, 근접 센서.
제8항에 있어서, 상기 플라스틱으로 둘러싸인 무선 통신 모듈 및 전원을 더욱 포함하는, 근접 센서.
제9항에 있어서, 상기 전원을 충전하기 위해 상기 플라스틱으로 둘러싸인 무선 충전 모듈을 더욱 포함하는, 근접 센서.
제1항에 있어서, 상기 프로세서는 픽셀 이미지의 시 계열을 상관시킴으로써 반사 대상 물체에 의해 수행된 제스처를 식별하도록 구성되며, 픽셀 이미지 각각은 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선 양을 이미터-검출기 쌍에 해당하는 특정 2D 위치에 할당함에 기초하는 픽셀 값을 포함하는, 근접 센서.
제 1 항에 있어서, 상기 프로세서는 제 1 벡터를 생성하도록 구성되고, 그 구성요소는 이미터에 대응하고, 상기 구성요소는, 이미터 각각에 대하여, 그 같은 이미터를 갖는 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광량에 대응하는 값의 합을 포함하며, 상기 프로세서는 또한 제 2 벡터를 생성하도록 구성되고, 그 구성요소는 센서로부터의 거리에 대응하며, 상기 구성요소는, 대응하는 특정 2D 위치가 센서로부터 동일한 거리인, 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광량에 대응하는 값의 합을 포함하며, 그리고
상기 프로세서는 제1 벡터를 기반으로 하여 투영 평면의 제1 차원을 따라서 반사 물체의 움직임, 속도, 크기 및 위치를 계산하고, 제2 벡터를 기반으로 하여 투영 평면의 제2 차원을 따라서 반사 물체의 움직임, 속도, 크기 및 위치를 계산하도록 더욱 구성되는, 근접 센서.
제1항에 있어서, 상기 적어도 하나의 렌즈는 공통 투영 평면을 따라 평행하지 않은 비 교차 방향으로 상기 복수의 광선 이미터로부터의 광선 빔을 팬 아웃(fan out)하는, 근접 센서.
디스플레이; 그리고 제1항에 따른 상기 근접 센서를 포함하는 전자 장치에 있어서, 상기 근접 센서의 적어도 하나의 렌즈가 상기 근접 센서의 광선 이미터로부터의 광선 빔 각각을 상기 디스플레이로부터 위쪽 및 멀어지는 방향으로 투영하도록 구성되고, 상기 근접 센서는 상기 디스플레이 반대편에 있는 반사 물체에 의해 수행된 허공 제스처를 검출하도록 구성되며,
상기 장치는 휴대폰, 태블릿 컴퓨터, 커넥티드 홈 장치 및 차량 내의 온도 제어 기능, 오디오 기능, 조명 기능 또는 안락 제어 기능을 조정하기 위한 차량 탑재 제어 센터로 구성된 그룹에 속하는, 전자 장치.
제14항에 있어서, 방 또는 차량 캐빈의 온도를 조절하는 온도 조절기와 통신하며, 검출된 허공 제스처에 응답하여 온도 조절기의 설정을 수정하도록 구성된, 전자 장치.
회로 기판; 적어도 하나의 렌즈; 상기 회로 기판 위에 상기 적어도 하나의 렌즈를 현수하는 지지 구조; 상기 회로 기판 상에 장착된 그리고 제1 평면 곡선을 따라서 배치된 복수의 광선 이미터 - 광선 이미터 각각은 검출 체적(detection volume)을 통하여 상기 적어도 하나의 렌즈를 통해 광선 빔을 투영하도록 활성화될 때 동작 가능함 -;
상기 회로 기판 상에 장착된 그리고 제1 평면 곡선을 따라서 배치된 복수의 광선 검출기 - 광선 검출기 각각은 활성화될 때 동작 가능하며, 상기 검출기에서 상기 적어도 하나의 렌즈를 통해 도달하는 광선의 양을 검출하도록 하며, 상기 적어도 하나의 렌즈 위의 검출 제적 내에 위치한 반사 대상 물체는 이미터로부터 하나 이상의 검출기로 상기 반사 대상 물체에 투영된 광선을 반사하고, 그리고
상기 이미터 중 하나와 상기 검출기 중 하나를 포함하는, 이미터-검출기 쌍 각각이 동기적으로 활성화될 때, 다른 검출기 보다 활성화된 검출기에서 더 큰 검출 신호를 생성할 것으로 예상되며, 이들은 또한 상기 반사 대상 물체가 이미터-검출기 쌍에 해당하는 검출 체적 내의 특정 3D 위치에 있을 때, 임의의 이미터와 동시에 활성화되어야 되어야 하고-; 그리고
상기 이미터 및 상기 검출기에 연결된 프로세서 - 이미터 각각을 순차적으로 활성화하고 하나 이상의 검출기를 동시에 활성화하며, 그리고 동기적으로 활성화된 이미터-검출기 쌍 각각의 검출기에 의해 검출된 광선 량에 기초하여, 상기 적어도 하나의 렌즈 위의 반사 대상 물체에 의해 수행된 제스처를 식별하도록 구성됨-를 포함하는, 근접 센서.
제16항에 있어서, 상기 제1 및 제2 평면 곡선은 폐쇄형인, 근접 센서.
제16항에 있어서, 상기 제1 및 제2 평면 곡선은 개방형인, 근접 센서.
제16항에 있어서, 상기 이미터 및 검출기는 단일 평면 곡선을 따라 인터리빙되는, 근접 센서.
제16항에 있어서, 상기 적어도 하나의 렌즈는 제2 차원의 광선을 시준하도록 구성된 압출된 원통형 렌즈 위에 제1 차원의 광선을 시준하도록 구성된 프레넬 렌즈 어레이를 포함하는, 근접 센서.
디스플레이; 상기 디스플레이 상의 사용자 인터페이스를 렌더링하고 상기 디스플레이 상의 위치에서 발생한 것으로 보고된 터치 제스처에 응답하도록 동작 가능한 컴퓨터; 상기 디스플레이의 대향하는 에지를 따라 장착된 한 쌍의 센서 - 센서 각각은:
상기 디스플레이의 상부 표면 위의 동 평면을 가로지르는 한 평면에서 광선 빔을 투사하도록 동작 가능한 복수의 이미터 - 상기 평면 내의 위치는 상기 디스플레이 내의 위치에 대응함 - ;
상기 평면 내에 삽입된 대상 물체에 의해 반사된 투사된 광선 빔의 양을 검출하도록 동작 가능한 복수의 광선 검출기;
상기 이미터 및 상기 검출기의 개별적인 것을 동시에 활성화하고, 상기 검출기로부터의 출력에 기초하여 상기 평면 내 대상 물체의 위치를 계산하도록 동작 가능한 제어 유닛; 그리고
상기 센서로부터 계산된 대상 물체 위치를 수신하고, 그리고 상기 센서 쌍 중 하나로부터 수신되었으며, 상기 센서 쌍 중 다른 하나에 의해 방출된 광선의 검출에 의해 생성되었던, 대상 물체 위치를 제거하고, 제거되지 않은 대상 물체 위치의 가중 합에 기초하여 출력 위치를 계산하며, 이전 출력 위치에 기초하여 출력 위치를 일시적으로 필터링하고, 그리고 상기 디스플레이 상의 터치 위치로서 일시적으로 필터링된 출력 위치를 상기 컴퓨터에 보고하도록 구성된 프로세서를 포함하는, 사용자 인터페이스 장치.
제21항에 있어서, 상기 프로세서는 대상 물체에 대한 데이터 구조를 생성하고,
상기 데이터 구조는 DOWN PENDING, DOWN, MOVE, UP PENDING 및 UP 그룹에 속하는 대상 물체 위치 좌표 및 터치 상태를 포함하며, 여기서 상기 프로세서는: 대상 물체가 상기 센서 쌍에 의해 초기 검출될 때 DOWN PENDING 상태를 데이터 구조에 할당하고, 상기 대상 물체가 초기 검출 이후 상기 센서 쌍에 의해 더욱 검출되고 위치 좌표가 이전 검출 좌표와 동일한 때 상기 DOWN 상태를 상기 데이터 구조에 할당하며,
상기 대상 물체가 초기 검출 이후 상기 센서 쌍에 의해 더욱 검출되고 위치 좌표가 이전 검출 좌표와 동일하지 않을 때 상기 MOVE 상태를 상기 데이터 구조에 할당하고,
상기 대상 물체가 처음 상기 센서 쌍에 의해 감지되는 것을 중단할 때 UP PENDING 상태를 데이터 구조에 할당하며; 그리고
상기 대상 물체가 상기 센서 쌍에 의해 감지되지 않으며 데이터 구조 상태가 UP PENDING인 때 상기 UP 상태를 상기 데이터 구조로 할당하는, 사용자 인터페이스 장치.
제21항에 있어서, 상기 디스플레이는 직사각형이고, 상기 센서 쌍은 상기 디스플레이의 더 짧은 에지를 따라서 장착되는, 사용자 인터페이스 장치.
제21항에 있어서, 상기 한 쌍의 센서는 센서 각각에 대해 평면이 상기 디스플레이의 상부 표면 위로 적어도 30mm가 되도록 장착되어, 상기 디스플레이의 상부 표면에서 적어도 30mm 위에서 수행되는 허공 제스처를 기반으로 하여 컴퓨터에 입력을 제공하도록 하는, 사용자 인터페이스 장치.
제21항에 있어서, 상기 센서 쌍 중 2개를 포함하고, 센서 쌍 각각은 상기 디스플레이의 상부 표면의 상이한 부분을 가로질러 광선 빔을 투사하는, 사용자 인터페이스 장치.
비접촉식 사용자 인터페이스 시스템으로서, 디스플레이 내의 위치에서 복수의 그래픽 사용자 인터페이스(GUI) 요소를 렌더링하는 디스플레이; 상기 디스플레이 위 및 이를 가로질러, 검출 평면 내로 삽입된 대상 물체의 검출 평면 내 좌표를 식별하도록 구성된 센서 - 상기 검출 평면 내 좌표는 상기 디스플레이 내 위치에 대응함 -; 그리고
상기 센서에 의해 식별된 검출 평면 내의 좌표가, GUI 요소 중 임의의 요소가 위치하는, 상기 디스플레이 내의 위치에 대응하지 않을 때, 상기 디스플레이가 커서를 렌더링하게 하고, 상기 센서에 의해 식별된 검출 평면 내의 좌표가, GUI 요소 중 임의의 요소가 위치하는, 상기 디스플레이 내의 위치에 대응할 때, 상기 렌더링된 커서를 삭제하도록 하는 프로세서를 포함하는, 비접촉식 사용자 인터페이스 시스템.
제26항에 있어서, 상기 프로세서는 상기 센서가 상기 대상 물체가 상기 검출 평면으로부터 제거된 것을 검출할 때 상기 디스플레이가 렌더링된 커서를 삭제하도록 하는, 비접촉식 사용자 인터페이스 시스템.
제27항에 있어서, 상기 센서에 의해 식별된 검출 평면 내의 좌표가 GUI 요소 중 한 요소가 위치하는 상기 디스플레이 내의 위치에 대응할 때, 상기 센서가 대상 물체가 검출 평면으로부터 제거된 것을 뒤이어서 검출할 때, 상기 하나의 GUI 요소에 의해 대표되는 입력을 상기 프로세서가 등록하는, 비접촉식 사용자 인터페이스 시스템.
제26항에 있어서, 활성화될 때 물체를 조명하도록 구성된 상기 디스플레이로부터 분리된 가시광 이미터를 더욱 포함하고, 대상 물체가 상기 검출 평면 내로 삽입되었음을 상기 센서가 검출함에 응답하여, 상기 가시광선 이미터가 상기 프로세서에 의해 활성화되는, 비접촉식 사용자 인터페이스 시스템.