KR101984417B1

KR101984417B1 - 광학 근접 센서 및 관련된 사용자 인터페이스

Info

Publication number: KR101984417B1
Application number: KR1020177021847A
Authority: KR
Inventors: 토마스 에릭손; 알렉산더 주브너; 로지타 티모르자데; 하칸 스벤 에릭 앤더슨; 퍼 로젠그렌; 시아타오 왕; 스테판 홀므그렌; 구나 마틴 피로드흐; 사이먼 펠린; 잰 토마스 하트맨; 오스카 스버루드; 상택 김; 라머스 달-온; 리차드 버글라인트; 칼 에릭 패트리크 노드스트롬; 라스 스파프; 에릭 로젠그렌; 존 칼슨; 레모 베다쉬트; 로빈 크젤 아맨
Original assignee: 네오노드, 인크.
Priority date: 2015-01-26
Filing date: 2016-01-19
Publication date: 2019-05-30
Also published as: WO2016122927A1; EP3250989A1; EP3250989A4; JP2018510400A; EP3250989B1; JP6571785B2; KR20170105536A

Abstract

하우징을 포함하는 근접 센서에있어서, 하우징 내의 발광기는 검출 평면을 따라 하우징으로부터 광을 투사하고, 하우징 내의 광 검출기가 검출 평면을 따라 하우징에 들어가는 광량을 검출하며, 이에 따라 각각의 발광기 - 검출기 쌍 (E, D)에 대하여
대응하는 검출면 내 타겟 위치 p(E, D)에 대상물이 위치하면, 발광기(E)에 의해 방출된 광은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출될 것으로 기대되며, 발광기와 검출기 쌍을 동기식으로 활성화하고, 검출기로부터 검출된 광량을 판독하며, 그리고 검출 평면 내 이웃하는 타겟 위치 사이 발광기-검출기 쌍으로부터 검출을 대상물 위치로 관련시키는 검출-위치 관련에 따라, 상기 검출된 광량으로부터 검출 편면 내 대상물의 위치를 계산하도록 하는 근접 센서.

Description

광학 근접 센서 및 관련된 사용자 인터페이스

본 발명은 다음의 우선권을 주장한다.

● 발명자 Stefan Holmgren, Oscar Sverud, Sairam Iyer, Richard Berglind, Karl Erik Patrik Nordstrom, Lars Sparf, Per Rosengren, Erik Rosengren, John Karlsson, Thomas Eriksson, Alexander Jubner, Remo Behdasht, Simon Fellin, Robin Kjell Aman 및 Joseph Shain에 의해 2015년 1월 26일 출원된 미국 가출원 제62/107,536호(광학 근접 센서);

● 발명자 Rozita Teymourzadeh, Hakan Sven Erik Andersson, Per Rosengren, Xiatao Wang, Stefan Holmgren, Gunnar Martin Frojdh 및 Simon Fellin에 의해 2015년 7월 28일에 출원된 미국 가출원 제62/197,813호;

● 발명자 Thomas Eriksson, Alexander Jubner, Rozita Teymourzadeh, Hakan Sven Erik Andersson, Per Rosengren, Xiatao Wang, Stefan Holmgren, Gunnar Martin Frojdh, Simon Fellin 및 Jan Tomas Hartman에 의해 2015년 12월 11일에 출원된 미국 가출원 제62/266,011호

이들 출원 내용은 본원에서 그 전체를 원용한다.

본 발명의 기술 분야는 제스처를 이용하여 도어를 잠그고 잠금 해제하는 도어 록 시스템, 터치 제스쳐를 검출하지 못하는 디스플레이에서 터치 입력을 가능하게 하기 위한 랩톱 디스플레이에 자기적으로 부착된 근접 센서 막대, 차량 내 인포테인먼트 시스템을 위한 사용자 인터페이스, 그리고 PC를 위한 사용자 인터페이스 등을 포함하는, 광선-기반 터치 스크린 및 근접 센서 및 이를 위한 애플리케이션이다.

종래 기술에서, 근접 센서들의 1차원 어레이는 어레이로부터 연장되는 2차원 평면 내의 포인터의 2차원 위치를 결정하기에 충분하지 않다.

종래 기술에 따른 도어 잠금 시스템에서, 사람이 휴대하는 휴대용 무선 송신기는 도어 잠금장치에 연결된 무선 수신기에 코드 신호를 전송하여 도어를 잠그거나 잠금 해제한다. 일부 종래 기술의 송신기 유닛은 자물쇠 및 잠금 해제 기능을 작동시키기 위한 스위치를 포함하는 반면, 다른 송신기 유닛은 전자 트랜스폰더 카드의 형태로 되어있어, 자물쇠에 연결된 송신기 유닛은 웨이크업(wake up) 신호가 감지될 때 트랜스폰더에 질의한다.

추가 보안 수준을 제공하기 위해 일부 시스템에서는 권한이 부여된 사람이 차량 도어를 열려고 시도하는지 확인하기 위해 미리 정의된 인증 제스처를 입력해야 한다. 따라서, 예를 들어, 사용자가 키 포브(fob) 송신기 상의 스위치를 누르면, 그 사용자는 도어 잠금을 해제하기 위해 터치 센서 상에 미리 정의된 인증 제스처를 입력해야 한다. 다른 예에서, 검출된 미리 정의된 인증 제스처는 송신기 유닛을 활성화하여 핸즈프리 카드 트랜스폰더에 질의한다.

노트북 컴퓨터는 일반적으로 터치 스크린 및 비 터치 스크린 버전으로 제공된다. 원할 때 비 터치 스크린 랩탑의 소비자가 터치 스크린 기능을 가능하게 하는 것이 유리하다. 예를 들어, 이미지 검색, 뉴스 제공 확인 또는 이미지 회전시 스와프, 핀치 및 회전 제스처를 사용하는 것이 좋다. 또 다른 예는 비행기로 여행 중에 터치 스크린 기능을 활성화하는 것인데, 이는 노트북의 내장 트랙 패드를 사용하는 것보다 스크린에서 손가락을 사용하는 것이 더 편리하다.

많은 차량 내 인포테인먼트 시스템은 휴대 전화와 같은 핸드헬드 장치용으로 설계된 터치 스크린 사용자 인터페이스를 사용한다. 사용자의 손에 보유되지 않은 디스플레이의 사용 케이스를 위해 설계된 사용자 인터페이스를 제공하는 것이 바람직하다. 기능에 접근하기 위해 동시에 상이한 방식을 제공하는 핸드헬드 장치, 데스크탑 장치 및 차량 내 장치를 포함하는 전자 장치용 사용자 인터페이스를 제공하는 것이 추가로 유리하다.

로봇 측정 결과 세 개의 인접한 신호에 걸쳐있는 삼각형 내에서 반복되는 상대적 신호 강도의 패턴이 있음을 나타낸다. 로봇 측정은 그와 같은 패턴을 학습하는 데 사용되며, 삼각형의 세 신호의 상대적인 신호 강도로부터 그 삼각형 내의 장애물의 반사 위치와 강도까지 매핑이 이루어진다. 인접한 삼각형은 개별적인 검출 후보를 제공하며, 이들 후보는 하나로 통합된다

따라서, 본 발명의 실시 예에 따라, 하우징, 하우징으로부터 광을 투사하기 위해 상기 하우징 내에 장착된 다수의 발광기, 검출기에 도달하는 광량을 검출하도록 활성화되는 때 동작 가능한, 상기 하우징 내에 장착된 다수의 광 검출기, 상기 하우징 내에 장착된 다수의 렌즈로서, 각각이 L로 포시된 렌즈가 상기 검출기 중 D1 및 D2 표시된 두 검출기 각각과 관련하여 위치하여서, 렌즈(L)로 입사하는 광선이 예각의 입사각(θ1)으로 입사하는 때 광선이 검출기(D1)에서 최대로 검출되도록 하고, 렌즈(L)로 입사하는 광선이 둔각의 입사각(θ2)으로 입사하는 때 광선이 검출기(D2)에서 최대로 검출되도록 하는 상기 다수의 렌즈, 그리고 상기 발광기 그리고 상기 검출기에 연결된 처리기로서, 발광기와 검출기 쌍을 동기식으로 활성화하도록 하고, 상기 활성화된 검출기로부터 검출된 광량에 기초하여, 상기 활성화된 발광기에 의해 투사된 광선을 상기 렌즈를 향해 다시 반사하는 상기 하우징 외측에 있는 대상물의 부분적인 윤곽을 계산하도록 구성된, 상기 처리기를 포함하며, 활성화된 검출기에 의해 검출된 광량에 기초하여 활성화된 발광기에 의해 투사되며, 상기 렌즈로 되보내지는, 근접 대상물을 식별하기 위한 근접 센서가 제공된다.

또한, 본 발명의 실시 예에 따라, 다수의 발광기(E) 그리고 검출기(D)를 포함하는 한 스트립을 제공하고, 발광기 각각이 상이한 검출기 사이에 위치하며, 발광기-검출기 쌍(E, D)을 동기식으로 공동 활성화하며, 각각의 발광기 - 검출기 쌍 (E, D)에 대하여 대응하는 타겟 위치 p(E, D)에 대상물이 위치하면, 발광기(E)에 의해 방출된 광선은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출되도록 발광기와 검출기가 배열되며, 발광기-검출기 쌍(E, D)이 상기 동기식 공동-활성화에 의해 활성화되는 때 검출기(D)에 의해 검출된 반사 광선 량에 기초하여 상기 발광기-검출기 쌍(E, D) 각각에 대한 반사 값 R(E, D)을 결정하며, 그리고 상기 반사 값 R(E, D)을 상기 발광기-검출기 쌍(E, D)에 대응하는 공동 평면 내 타겟 위치 p(E, D)와 관련시키고, 상기 유도된 반사 값 R(E, D) 그리고 타겟 위치 p(E, D)에 대응하는, 픽셀 위치 p에서 반사 값 Rp에 대한 2차원 픽셀 이미지를 발생시키며, 그리고 상기 픽셀 이미지에 기초하여 상기 대상물의 부분적인 원주를 평가함을 포함하는, 근접 대상물을 감지하기 위한 방법이 추가로 제공된다.

본 발명의 실시 예에 따라, 하우징, 하우징에 장착된 디스플레이, 2개의 직교하는 검출 평면을 따라 하우징으로부터 광선을 투사하기 위해 하우징에 장착된 다수의 발광기, 검출 평면 중 한 평면 내 반사 대상물에 의해, 발광기에 의해 투사된 광선의 반사를 검출하기 위해 하우징 내에 장착된 다수의 광 검출기, 대상물이 발광기-검출기 쌍에 대응하는 타겟 위치에 위치하는 때, 발광기-검출기 쌍 각각에 대하여, 그 같은 쌍의 발광기에 의해 방출된 광선이 렌즈 중 한 렌즈를 통과하고 렌즈 중 한 렌즈를 통해 그 같은 쌍의 검출기로 대상물에 의해 되 반사되도록 발광기 및 검출기와 관련하여 하우징 내에 장착되고 배열된 다수의 렌즈, 그리고 디스플레이, 발광기 및 검출기에 연결된 프로세서로서, 디스플레이에서 그래픽 사용자 인터페이스(GUI)를 디스플레이하고, GUI에 대한 상이한 입력 커맨드로서 2개의 직교하는 검출 평면에 걸쳐 수행된 대상물의 상이한 방향성 움직임을 해석하며, 발광기-검출기 쌍을 동기식으로 공동-활성화시키고, 그리고 공동 활성화된 발광기-검출기 쌍들 중 일련의 발광기-검출기 쌍을 결정함으로써 2개의 직교하는 검출 평면에서 대상물의 방향성 이동을 계산하도록 하는 프로세서를 포함하고, 이때 검출기가 시간 간격에 대해 최대 광량을 검출하며, 그리고 해당하는 타겟 위치를 식별하고, 그리고 이에 따라 식별된 타겟 위치에 기초하여 이동 방향을 계산하는, 모니터가 더욱더 제공된다.

본 발명의 실시 예에 따라, 하우징, 디스플레이, 디스플레이에 평행한 검출 평면을 따라 하우징으로부터 광선을 투사하기 위해 하우징에 장착된 다수의 발광기, 검출 평면 내 반사 대상물에 의해, 발광기에 의해 투사된 광선의 반사를 검출하기 위해 하우징 내에 장착된 다수의 광 검출기, 대상물이 발광기-검출기 쌍에 대응하는 타겟 위치에 위치하는 때, 발광기-검출기 쌍 각각에 대하여, 그 같은 쌍의 발광기에 의해 방출된 광선이 렌즈 중 한 렌즈를 통과하고 렌즈 중 한 렌즈를 통해 그 같은 쌍의 검출기로 대상물에 의해 되 반사되도록 발광기 및 검출기와 관련하여 하우징 내에 장착되고 배열된 다수의 렌즈, 그리고 디스플레이, 발광기 및 검출기에 연결된 프로세서로서, 디스플레이에서 그래픽 사용자 인터페이스를 디스플레이하고, 상기 디스플레이에 대한 파라미터를 조정하며, 발광기-검출기 쌍을 동기식으로 공동-활성화시키고, 그리고 공동 활성화된 발광기-검출기 쌍들 중 한 발광기-검출기 쌍을 결정함으로써 검출 평면에서 대상물의 위치를 계산하도록 하는 프로세서를 포함하는 모니터로서, 이때 검출기가 시간 간격에 대해 최대 광량을 검출하며, 그리고 이에 대응하는 타겟 위치를 식별하고, 이와 같이 식별된 타겟 위치에 이웃하는, 공동-활성화된 발광기-검출기 쌍에 대응하는 추가의 타겟 위치를 결정하며, 그리고 상기 타겟 위치와 추가 타겟 위치의 가중 평균을 계산하고, 여기서 타겟 위치의 평균 가중이 타겟 위치가 대응하는 상기 발광기-검출기 쌍에 대하여 반사된 광선 빔의 검출 정도에 대응하는 모니터가 더욱더 제공된다.

본 발명의 한 실시 예에 따라, 다수의 발광기(E) 그리고 검출기(D)를 포함하는 한 근접 센서 스트립의 파라미터를 보정하기 위한 캘리브레이션 툴(calibration tool)이 제공되며, 발광기 및 검출기는 발광기가 검출 평면을 따라 스트립으로부터 광을 투사하고 검출기가 검출 평면을 따라 스트립으로 들어가는 광을 검출하도록 배열되고, 각각의 발광기-검출기 쌍(E, D)에 대해, 대상물이 상기 쌍(E, D)에 대응하는 검출 평면 내의 타겟 위치p(E, D)에 위치하는 때, 발광기(E)에 의해 방출된 광선은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출되며, 캘리브레이션 툴이 상기 검출 평면 내 근접 센서 스트립에 평행하게 위치하는 반사 대상물을 포함하고, 반사 대상물이 상기 근접 센서 길이에 걸쳐있으며, 한 메카니즘이 상기 검출 평면을 따라 근접 센서를 향하거나 이로부터 멀어지는 방향으로 반사 대상물을 점차 이동시키도록 하고, 프로세서가 상기 근접 센서 스트립에 연결되며, 상기 메카니즘이 (i) 반사된 대상물의 증분 이동마다 다수의 발광기-검출기 쌍(E, D)을 활성화하고, (ii) 각각의 활성화된 쌍의 검출기(D)에 의해 검출된 검출을 측정하고, (iii) 최대 검출이 측정되는 반사 대상물과 센서 스트립 사이의 거리에 따라 검출 평면 내 타겟 위치 p(E, D)를 보정(calibrate)하도록 한다.

본 발명의 한 실시 예에 따라, 다수의 발광기(E) 그리고 검출기(D)를 포함하는 한 근접 센서 스트립의 파라미터를 보정하기 위한 방법이 추가로 제공되며,

발광기 및 검출기는 발광기가 검출 평면을 따라 스트립으로부터 광을 투사하고 검출기가 검출 평면을 따라 스트립으로 들어가는 광을 검출하도록 배열되고, 각각의 발광기-검출기 쌍(E, D)에 대해, 대상물이 상기 쌍(E, D)에 대응하는 검출 평면 내의 타겟 위치p(E, D)에 위치하는 때, 발광기(E)에 의해 방출된 광선은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출되며, 상기 방법이 상기 검출 평면 내 근접 센서 스트립에 평행한 근접 센서에 걸쳐있는 반사 대상물을 제공함을 포함하고, 상기 검출 평면을 따라 근접 센서를 향하거나 이로부터 멀어지는 방향으로 반사 대상물을 점차 이동시키며, 대상물의 증분 이동각각이 다수의 발광기-검출기 쌍(E, D)을 활성화하고, 검출기(D)에서의 검출을 측정하며, 최대 검출이 측정되는 반사 대상물과 센서 스트립 사이의 거리에 따라 검출 평면 내 타겟 위치 p(E, D)를 보정(calibrate)함을 포함 한다.

본 발명의 한 실시 예에 따라, 근접 대상물의 위치를 식별하기 위한 근접 센서가 더욱 제공되며, 하우징, 검출 평면을 따라 상기 하우징으로부터 광선을 투사하기 위해 하우징 내에 장착되며 (E)로 표시되는 다수의 발광기, 상기 검출 평면을 따라 하우징으로 들어가는 광량을 검출하도록 활성화된 때 동작가능한, 하우징 내에 장착되며 (D)로 표시된 다수의 광 검출기를 포함하고, 이에 의해 각각의 발광기-검출기 쌍(E, D)에 대해, 대상물이 상기 쌍(E, D)에 대응하는 검출 평면 내의 타겟 위치p(E, D)에 위치하는 때, 발광기(E)에 의해 방출된 광선은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출되며, 그리고 발광기-검출기 쌍으로부터 검출 평면 내의 이웃하는 타겟 위치 사이의 대상물 위치로의 검출을 관련시키는 검출-위치 관계(D-L로 표시됨)에 따라, 검출기로부터 검출된 광량을 판독하고, 검출된 광량으로부터 검출 평면 내의 대상물의 위치를 계산하도록, 발광기-검출기 쌍을 동 기적으로 활성화 시키도록 동작 가능한, 발광기 및 검출기에 연결된 프로세서를 더욱 포함한다.

본 발명의 일 실시 예에 따라, 활성화 상태로 들어가는 도어 잠금 시스템이 더욱 제공되며, 이에 의해 제1 비-정의 제스처를 검출하는 것에 응답하여 잠금이 활성화되고, 그리고 이어서 그 같은 동일한 제스처가 다시 검출됨에 응답하여 잠금 해제되도록 한다.

또한, 본 발명의 일 실시 예에 따라 랩톱 컴퓨터 스크린의 에지에 사용자에 의해 부착되어 랩톱에 터치 스크린 검출을 제공하는 길이가 긴 하우징 내의 근접 센서 어레이가 제공된다. 일정 실시 예에서, 범용 직렬 버스(USB) 커넥터는 길이가 긴 하우징으로부터 연장되고 랩톱 내의 USB 소켓에 삽입되어, 근접 센서가 USB 통신 프로토콜을 사용하여 랩톱과 통신할 수 있게하고 또한 근접 센서가 랩톱으로부터 전류를 수신할 수 있게 한다. 일정 실시 예에서, 근접 센서는 랩톱과 무선으로 통신하고; 예를 들어 근거리 무선 연결 표준을 사용하여 통신할 수 있다. 일정 실시 예에서, 길이가 긴 하우징은 랩톱 스크린의 에지, 예를 들어, 하부 에지를 따라 근접 센서 어레이를 부착하기 위한 하나 이상의 자기 패스너(fastener)를 포함한다.

본 발명의 한 실시 예에 따라, 인쇄 회로 기판상에 장착된 인터레이스된 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 단일 직선 막대가 더욱 제공되며, 상기 단일 직선 막대가 프로세서를 포함하는 랩톱컴퓨터의 외부 하우징에 반복적으로 부착 및 분리되도록 구성되고, 상기 막대는 랩톱프로세서와 통신 가능하게 부착되고 결합 될 때, 프로세서가 상기 막대의 한 측면에서 나오는 투사 평면의 에어 스페이스에서 물체에 의해 수행된 다수의 상이한 제스처를 인식할 수 있게 하는 검출 신호를 프로세서에 제공하고, 상기 검출 신호가 상기 대상물에 의해 막대로 반사되고 상기 광 다이오드에 의해 검출되는 상기 발광기에 의해 방출되는 광선에 의해 생성된다.

본 발명의 한 실시 예에 따라, 인쇄 회로 기판상에 장착된 인터레이스된 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 단일 직선 막대가 더욱 제공되며, 상기 단일 직선 막대가 프로세서를 포함하는 랩톱컴퓨터의 외부 하우징에 반복적으로 부착 및 분리되도록 구성되고, 상기 막대는 랩톱프로세서와 통신 가능하게 결합 되고 랩톱 하우징의 편평한 직각 표면 한 측면 위에 위치할 때, 프로세서가 상기 표면의 정면 내 에어 스페이스에서 대상물에 의해 수행된 다수의 상이한 제스처를 인식할 수 있게 하는 검출 신호를 프로세서에 제공하고, 상기 검출 신호가 상기 대상물에 의해 막대로 되반사되고 상기 광 다이오드에 의해 검출되는 상기 발광기에 의해 방출되는 광선에 의해 생성된다.

본 발명의 실시 예는 교대 발광기 및 검출기의 1차원 어레이를 사용하여 2차원(2D) 터치 검출을 제공한다. 본 발명은 또한 2D 검출기와 동일한 원리에 기초한 3 차원(3D) 터치 또는 호버 검출기(hover detector)를 제공한다.

본 발명의 일 실시 예에 따라, 단일 디스플레이 내에서 동시에 GUI의 컨텍스트 기반(context-driven) 네비게이션과 계층적 메뉴 기반(menu-driven) 네비게이션 모두를 제공하는 차량용 인포테인먼트 시스템용 GUI가 추가적으로 제공된다.

본 발명은 첨부 도면을 참고로 하기 상세한 설명으로부터 충분히 이해될 것이다:
도 1은 본 발명의 실시 예에 따라, 실선을 따라 광원으로부터 방출되고 점선을 따라 광 센서로 반사된 광선을 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따라 역방향 및 순방향 핫 스팟(hotspot) 신호 값을 도시한 도면.
도 3은 본 발명의 실시 예에 따라 톱-미들과 중앙 핫 스팟 사이 신호 값 관계를 도시한 도면.
도 4는 본 발명의 실시 예에 따라 우측-미들과 중앙 핫 스팟 사이 신호 값 관계를 도시한 도면.
도 5는 본 발명의 실시 예에 따라 톱-우측과 중앙 후방 핫 스팟 사이 그리고 우측-미들과 전방 핫 스팟 사이 신호 값 관계를 도시한 도면.
도 6은 본 발명의 실시 예에 따라 두 신호 값(v0와 v1) 사이 관계가 r = log(vl) - Iog(v0) (점선)로 표시됨을 도시하는 도면.
도 7은 본 발명의 실시 예에 따라 모든 스패닝 핫 스팟 신호 값이 비교적 강한 영역을 표시하기 위해 삼각형을 사용하는 도시한 도면.
도 8은 본 발명의 일 실시 예에 따라 100 x 64mm 터치 스크린에 걸친 검출 에러를 도시한 도면.
도 9는 본 발명의 실시 예에 따라 샘플 에러 벡터의 2D 히스토그램을 도시한 도면.
도 10-13은 본 발명의 실시 예에 따라 근접 센서를 단순화한 도면.
도 14 및 15는 본 발명의 실시 예에 따라 도 10-13의 근접 센서에 대한 캘리브레이션 툴(calibration tools)을 단순화한 도면.
도 16 및 도 17은 본 발명의 실시 예에 따라 근접 센서의 발광기 및 검출기가 어떻게 장착되는가를 도 15의 캘리브레이션 툴이 식별하는 방법을 단순화한 도면.
도 18은 본 발명의 실시 예에 따라 근접 대상물을 검출하는 근접 센서를 단순화한 도면.
도 19는 본 발명의 실시 예에 따라, 검출 값의 2차원 이미지를 단순화한 도면.
도 20 및 21은 본 발명의 실시 예에 따라 핫 스팟 위치와 관련이 없는 발광기-수신기 쌍에 대한 검출된 반사 값을 단순화한 도면.
도 22는 본 발명의 실시 예에 따라 검출된 값의 2차원 이미지로 한 대상물의 감지된 부분적인 원주를 단순화한 도면.
도 23은 본 발명의 실시 예에 따라 한 대상물의 부분적인 원주를 평가하는 방법을 단순화한 도면.
도 24는 본 발명의 실시 예에 따라 3-D 근접 센서의 발광기 광선 경로 및 반사된 광선 경로에 대응하는 새들 루프 또는 쌍곡면 포물선에 대한 도면.
도 25는 본 발명의 실시 예에 따라 3-D 쌍곡면(hyperboloid)을 따라 30개의 핫 폿 위치를 제공하는 원형 베이스를 따라 교대로 배치된 6개 발광기 및 6개 수신기의 원형 배치를 단순화한 도면.
도 26은 본 발명의 실시 예에 따라 3-D 쌍곡선을 따라 176개 핫 스팟 위치를 제공하는, 원형을 따라 교대로 배치된 16개의 발광기 그리고 16개의 수신기의 원형 배치로부터 방출되고 반사된 광선을 대표하는 그리드를 단순화한 도면.
도 27은 본 발명의 실시 예에 따라 도어를 잠그고 잠금을 푸는 방법을 단순화한 흐름도.
도 28은 본 발명의 실시 예에 따라 도 27의 잠금-잠금을 푸는 방법을 사용하는 자동차를 단순화한 도면.
도 29는 본 발명의 실시 예에 따라 도 28의 자동차 인테리어를 단순화한 도면.
도 30 및 도 31은 본 발명의 실시 예에 따라 랩톱 액세서리로서 구성된 근접 센서 막대를 단순화한 도면.
도 32-36은 본 발명의 실시 예에 따라 랩톱 디스플레이의 에지를 따라 위치하는 도 30 및 도 31의 랩톱 액세서리를 단순화한 도면.
도 37은 본 발명의 실시 예에 따라 디스플레이와 키보드 사이의 에어스페이스 내 검출 평면을 제공하기 위해 랩톱 디스플레이의 에지를 따라 위치하며 디스플레이로부터 먼 방향으로 회전된 도 30 및 도 31의 랩톱 액세서리를 단순화한 도면.
도 38은 본 발명의 실시 예에 따라 랩톱 키보드의 표면을 따라 검출 평면을 제공하기 위해 랩톱 디스플레이의 에지를 따라 위치하며 디스플레이로부터 먼 방향으로 회전된 도 30 및 도 31의 랩톱 액세서리를 단순화한 도면. ;
도 39는 본 발명의 실시 예에 따라 근접 센서를 어셈블링하기 위한 프로세스의 단순화한 흐름도.
도 40은 도 39의 프로세스에 따라 어셈블된 근접 센서의 개략적인 흐름도.
도 41 및 42는 본 발명의 실시 예에 따라 한 대상물을 검출하기 위한 근접 센서의 광선을 단순화한 도면.
도 43은 본 발명의 실시 예에 따라 근접 센서의 측면 그리고 이로부터 투사된 광선에 대한 개략적인 도면.
도 44는 본 발명의 실시 예에 따라 근접 센서 렌즈 그리고 이와 관련된 광학 컴포넌트, 그 같은 렌즈를 통해 투사된 광선을 단순화한 도면.
도 45는 본 발명의 실시 예에 따라 도 44 렌즈의 측면도 및 이와 관련된 컴포넌트, 그 같은 렌즈를 통해 투사된 광선을 단순화한 도면.
도 46은 본 발명의 실시 예에 따라 스크린의 코너에 위치한 L-자형 광학 근접 센서의 단순화한 도면.
도 47은 본 발명의 실시 예에 따라 제스처를 식별하는 방법에 대한 단순화한 흐름도.
도 48은 본 발명의 실시 예에 따라 사용자 인터페이스에 대한 단순화한 도면.
도 49는 본 발명의 실시 예에 따라 디스플레이 파라미터를 조정하기 위해 디스플레이 에지의 짧은 세그먼트를 따라 위치한 광학 근접 센서의 단순화한 도면.
도 50, 53, 54 및 57은 본 발명의 실시 예에 따라 차량 내 인포테인먼트 시스템 GUI에 대한 흐름도.
도 51, 55, 56 및 58은 본 발명의 실시 예에 따라 도 50, 53, 54 및 57의 차량 내 인포테인먼트 시스템 GUI의 스크린 샷을 도시한 도면.
도 52는 본 발명의 실시 예에 따라 본 발명의 실시 예에 따라
도 50, 51 및 53-58의 차량 내 인포테인먼트 시스템 GUI에서 사용된 통지 카드를 개략적으로 도시한 도면.

본원 명세서에서, "소스" 그리고 "발광기"는 특히 LED, VCSEL, 레이저와 같은 발광 소자를 나타내도록 사용되며, "센서" 그리고 "검출기"는 특히 광 다이오드와 같은 동일한 광선 검출 엘리먼트를 나타내도록 사용된다.

도 1은 본 발명의 일 실시 예에 따라 광원으로부터 실선을 따라 방출되고 점선을 따라 광센서로 반사된 광선을 도시한 도면이다. 도 1은 평행 광선으로 광원에서 광선이 어떻게 방출되는지를 보여준다. 장애물에 부딪친 광선은 분산하여 반사된다. 센서는 광선의 반대쪽에서 동일한 각도로, 그러나 광선 각각의 반대 측면에서는 가령 발광기로부터 30° 및 -30°의 각도로 두 개의 고정 된 방향으로 센서에서 도달하는 두 개의 좁은 통로에서 반사되어 들어오는 광선을 감지한다.

한 소스로부터 센서로 이동하는 광선의 양이 장애물이 소스의 광선에 대하여 어떻게 중심에 맞춰지는가에 따라 달려있다. 이 같은 소스/센서 쌍은 "핫 스팟"으로서 언급된다. 핫 스팟에 대하여 가장 많은 양의 광선을 제공하는 장애물의 위치는 "그 같은 소스/센서 쌍에 대하여 "핫 스팟 위치" 또는 "타겟 위치"로 언급 된다. 본 발명에 따른 근접 센서는 핫 스팟 각각에 대한 광선의 전송된 양을 측정하며, 그와 같은 측정 각각이 "핫 스팟 신호 값"으로서 언급된다. 이 같은 측정은 모든 핫 스팟 값들을 정상화하여 동일한 레인지를 갖도록 한다.

장애물에 부딪치는 빛이 확산 되어 반사되고, 이 같은 반사가 광선의 대향 측면에 있는 두 개의 좁은 통로(corridors)에서 최대로 검출되기 때문에, 본 명세서는 제 1 방향으로의 모든 좁은 검출 통로를 기초로 한 순방향 검출을 언급하고, 상기 제 2 방향으로의 모든 좁은 검출 통로를 기초로 한 역방향 탐지를 언급한다. 달리 말하면, 순방향은 발광기와 검출기 쌍의 검출기가 이들 쌍의 발광기보다 높은 위치 지수를 갖는 발광기와 검출기 쌍의 모든 검출을 포함하며, 역방향은 발광기와 검출기 쌍의 검출기가 이들 쌍의 발광기보다 낮은 위치 지수를 갖는 발광기와 검출기 쌍의 모든 검출을 포함한다. 순 방향은 장치의 오리엔테이션에 따라 좌측 또는 우측일 수 있다. 센서가 역 방향으로 보는 핫 스팟은 "역방향 핫 스팟"으로 언급되며, 센서가 방향으로 보는 핫 스팟은 "순 방향 핫 스팟"으로 언급된다.

도 2는 본 발명의 실시 예에 따라 역방향 및 순방향 핫 스팟 신호 값, 즉 발광기-검출기 쌍에 대한 신호값을 도시한 도면이다. 핫 스팟 신호 값은 모든 핫 스팟 위치, 즉 발광기-검출기 쌍들이 반사 값을 검출할 수 있도록 대상물이 배치될 수 있는 모든 위치에 걸친 조밀한 그리드의 위치에 장애물이 있는 채로 샘플링된다. 도 2는 역방향 및 순방향 핫 스팟에 대해 분리해서, 3x3개의 핫 스팟 위치 또는 타겟 위치에 걸쳐있는 영역 내의 장애물 위치에서의 모든 핫 스팟 신호 값의 최대값을 도시한다. 도 2-5에서, 핫 스팟 위치는 역방향 핫 스팟 신호 값의 설명에서만 도면 부호(961 - 969)로 표시된다. 도 2-5에서, 순방향 핫 스팟 신호 값의 설명에서는 핫 스팟 위치는 도면이 복잡해짐을 피하기 위해 도면 부호를 표시하지 않는다.

도 3은 순 방향 핫 스팟, 즉 본 발명의 실시 예에 따라 3x3 그리드 내의 (2, 1) 및 (2, 2) 에서의 핫 스팟의 3x3 그리드 내 톱-미들과 중앙 핫 스팟 사이 신호 값 관계를 설명한다. 도 4는 본 발명의 실시 예에 따라 3x3 그리드 내의 (3, 2) 및 (2, 2) 에서의 핫 스팟의 3x3 그리드 내 우측-미들과 중앙 핫 스팟 사이 신호 값 관계를 설명한다. 또한, 도 5는 본 발명의 실시 예에 따라 3x3 그리드 내의 톱-우측과 중앙 역방향 핫 스팟 사이, 그리고 톱-미들과 우측-미들 순방향 핫 스팟 사이 신호 값 관계를 설명한다. 도 3 내지 도 5는 2개의 인접한 핫 스팟 신호 값 사이의 관계를 도시한다. 각 곡선은 토폴로지 맵과 비슷한 고정된 관계 값을 뒤따른다. 도 6은 본 발명의 일 실시 예에 따라 2개의 신호 값 v0 및 v1(실선) 사이의 관계가 그 같은 신호 값(점선)의 대수의 차이로 표현된다. 도 6은 r=log(v1) - log(v0)로 표현된 관계를 도시한다. 이 같은 관계는 신호 값 중 하나의 신호 대 잡음 비(SNR)가 낮으면 잡음 속으로 빠진다.

수직으로 인접한 2개의 핫 스팟 간의 신호 값 관계는 도 3의 곡선에 대응한다. 신호 값들이 특정 표준 편차로 정규 분포된다고 가정하면, 그 같은 가정은 "크로싱(crossing)"으로 언급되는, 도 6에 따른 핫 스팟 위치들 사이의 보간된 위치를 찾는데 사용될 수 있다. 두 번째 크로싱을 만들기 위해, 첫 번째 크로싱에 인접한 그리고 이 같은 크로싱의 한 측면에서 수직으로 인접한 두 핫 스팟의 경우에도 동일하다. 그 이유는 장애물 위치가 두 크로싱 사이의 어딘가에 있기 때문이다. 도 3의 곡선들이 모두 직선이고 평행하다면, 이는 정확할 것이다. 그러나 곡률은 부정확성을 야기한다.

이러한 곡률을 설명하기 위해, 상기 크로싱(crossing) 사이의 위치는 동일한 방법을 사용하지만 수평으로 인접한 핫 스팟의 관계로부터 발견된다. 곡선은 이제 도 4의 곡선들이다. 수평 크로싱을 찾고 크로싱 쌍들 모두 사이의 위치를 선택하는 대신, 단축키가 사용된다. 수직 코로싱은 가상의 핫 스팟으로 생각되며, 각 신호 값은 실제 핫 스팟 신호 값과 각각에 대한 상대 거리를 기반으로 추정된다. 크로싱의 가상 핫 스팟의 신호 값 관계는 장애물 위치를 직접 제공한다.

모든 장애물 위치에 대한 핫 스팟 신호 값이 로봇에 의해 기록되었기 때문에, 새로운 장애물 위치를 찾는 것은 신호가 장애물에 의해 발생된 것들과 매치하는 샘플을 발견함에 의해 달성된다. 그러나 높은 메모리와 높은 시간 복잡성으로 인해 이것은 효율적이지 않을 수 있다. 가장 높은 신호 값과 인접한 핫 스팟 값의 관계를 비교하면 충분하다.

도 7은 본 발명의 일 실시 예에 따라 모든 스패닝 핫 스팟 신호 값이 상대적으로 강한 영역을 표시하기 위해 삼각형을 사용하는 예시이다. 3차원 위치 및 반사율로에 대한 2차원 신호 관계의 매핑은 모든 삼각형에서 유사하다. 특히 같은 수평 밴드에서 같은 방향을 가진 삼각형에서 그러하다. 즉, 삼각형 그룹에 대해서만 매핑이 학습되고 저장될 것을 의미한다. 도 2에 도시된 바와 같이, 3개의 핫 스팟 신호 값들이 모두 상대적으로 높은 3개의 핫 스팟들에 의해 스패닝된(spanned) 삼각형 영역들이 있다. 이들 중 일부는 도 7에 도시되어있다. 이는 신호 간의 세 쌍의 관계가 해당 영역 내의 잡음보다 높다는 것을 의미한다. 이 세 가지 관계 중 하나는 중복되는데, 다른 두 가지 관계에서 파생될 수 있기 때문이다. 이와 같은 삼각형 내에서 두 개의 신호 관계가 그와 같은 삼각형 내의 한 위치에 매핑된다. 또한 관측된 핫 스팟 신호 값과 관련한 장애물의 반사도에 매핑된다. 이들 삼각형 영역은 전체 화면을 커버하므로 장애물의 위치와 반사율은 가장 높은 신호 값을 갖는 핫 스팟에 걸쳐있는 삼각형을 찾고 위치와 반사율에 대한 신호 관계를 매핑하여 찾는다.

매핑 변환은 수직(도 3) 및 대각선(도 5) 신호 관계를 입력으로서 택한다. 각 차원에서 관찰된 최소에서 최대까지의 입력 2D 공간은 노드의 9x9 그리드로 덮여 있다. 각 노드는 삼각형의 가장자리에 걸쳐있는 참조 프레임에 표현된 위치를 포함한다. 상기 위치는 상기 삼각형에서 약간 밖에 있을 수 있다. 또한 가장 높은 신호 값으로 곱해질 때 장애물의 반사율을 제공하는 보상 인수(compensation factor)를 포함한다. 입력에 가장 가까운 네 개의 노드는 이중 선형 보간법으로 보간된다.

특정 임계 값보다 높은 신호 값을 갖고 모든 8개 이웃 신호보다 강한 모든 핫 스팟은 가능한 검출에 대해 평가된다. 최대 핫 스팟을 사용하는 여섯 개의 삼각형은 모두 검출에 기여할 가능성이 있는 것으로 선별된다. 각 삼각형에는 모든 핫 스팟 신호 값의 곱으로 계산되는 가중치가 부여된다. 가장 높은 세 개가 유지되고, 가중치는 네 번째 가장 높은 값에 의해 줄어든다. 유지된 삼각형은 평가되고, 그 결과는 스크리닝에 사용된 가중치를 사용하여 가중 평균으로 통합된다.

주변에서 삼각형을 평가하는 그와 같은 강한 신호를 발견하고, 트랙킹하는 것은 출원인의 동시 계류중인 2014년 6월 24일자로 출원된 미국 특허 출원 제14/312,787호(현재는 미국 특허 제 9,164,625호(발명의 명칭: OPTICAL PROXIMITY SENSORS))에서 설명된다.

로봇을 사용하여 스타일러스를 센서 반대편의 알려진 위치에 놓고 결과 검출 신호를 기록하면 알고리즘의 정확도를 정량화할 수 있다. 기록된 샘플 신호 값은 무작위 순서로 알고리즘의 입력으로 보내지고, 이러한 입력을 기반으로 계산된 탐지 위치가 실제 샘플 위치와 비교된다.

도 8은 본 발명의 일 실시 예에 따른, 100 x 64 mm 터치 스크린에 걸친 검출 에러를 나타내는 도면이다. 2D 오차 벡터는 도 8의 우측의 범례에 따라 컬러 코딩된다. 상기 범례 원 반경은 5mm이다. 도 8은 스크린상의 샘플들에 대한 에러가 얼마나 크고, 어떤 방향으로 향하는지를 보여준다.

도 9는 본 발명의 일 실시 예에 따른 샘플 오차 벡터의 2D 히스토그램을 도시하는 도면이다. 축 단위는 mm이다. 도 9는 에러 분포를 도시한다. 하기 표 1은 정량화 된 정확도 값을 제공한다.

도 10 내지 도 13은 본 발명의 일 실시 예에 따른 근접 센서의 단순화 된 도면이다. 또한, 도 10 내지도 13은 본 발명에 따른 근접 센서(501)를 도시한다. 근접 센서(501)는 광원(101 내지 110) 및 광 센서(201 내지 211)를 포함하며, 각각의 광원은 2개의 센서 사이에 위치한다. 또한, 근접 센서(501)는 렌즈(301 내지 304)와 같은 복수의 렌즈를 포함하며, 각각의 렌즈는 2개의 각각의 이웃하는 센서에 관련하여 위치되어, 광선이 예각(θ1)으로 렌즈에 입사하는 때 그 같은 렌즈로 입사하는 광선이 2개의 센서 중 제1 센서에서 최대로 검출되도록 하며, 광선이 둔각(θ2)으로 그 같은 렌즈에 입사하는 때 그 같은 렌즈로 입사하는 광선이 2개의 센서 중 다른 한 센서에서 최대로 검출되도록 한다. 렌즈는 광원으로부터의 광이 근접 센서(501)에서 나올 때 평행하도록 이들 두 센서 사이에 위치된 광원과 관련하여 위치된다. 이 배열은 도 1과 관련하여 앞서 설명된 투사된 광선의 반대 측으로부터 멀리 각각의 센서로부터 두 고정 된 방향으로 연장되는 두 개의 좁은 좁은 통로를 제공한다.

도 10은 소스/센서 쌍(104/207)에 의해 생성된 핫 스팟(913)에 대한 최대 검출의 순방향 반사 경로를 도시하며, 센서(207)에 의해 대상물(801)에서 반사된 소스(104)로부터의 광선이 최대로 검출된다. 도 11은 소스/센서 쌍(109/207)에 의해 생성된 핫 스팟(914)에 대한 최대 검출의 역방향 반사 경로를 도시하며, 센서(207)에 의해 대상물(801)에서 반사된 소스(109)로부터의 광선이 최대로 검출된다. 도 10 및 도 11은 센서(207)가 렌즈(303)를 통해 최대 순방향 반사 값을 수신하고 렌즈(304)를 통해 최대 후방 반사 값을 수신하도록 센서(207)가 이웃하는 렌즈(303 및 304)와 관련하여 어떻게 위치하는가를 도시한다.

도 1과 관련하여 앞서 설명된 바와 같이, 투사된 광선들과 최대 탐지의 좁은 통로들 사이의 근접 센서(501) 외부의 인터섹션들은 핫 스팟의 맵을 제공한다. 4개의 핫 스팟이 도 12 및 도 13에 도시되며, 그 중 2개는 (940) 및 (941)의 번호가 매겨진다. 대상물(801)이 도 12에서 가장 가까운 핫 스팟(940)으로 도시된다. 따라서, 대상물(801)의 최대 검출이 소스/센서 쌍(104/202) 및 (104/207)에 의해 발생된다. 소스/센서 쌍(104/202)은 역방향 검출을 제공하고, 그리고 소스/센서 쌍(104/207)은 앞서 설명한 바와 같이 순방향 검출을 제공한다. 추가의 검출은 소스(105)로부터의 광선 빔이 산란 되고 그 일부가 센서(208)에 도달하기 때문에 순방향 검출 소스/센서 쌍(105/208)과 같은 다른 소스/센서 쌍에 의해 생성되지만, 센서(208)에 도달하는 산란 광선이 최대 검출 좁은 통로에서 이동하지 않기 때문에 소스/센서 쌍(104/207)에 의해 생성된 것보다 현저히 적다.

도 13은 도 12의 근접 센서(501)를 도시한다. 그러나 대상물(801)은 오른쪽으로 거리 d만큼 이동된다. 이 경우 순방향 소스/센서 쌍(104/207) 및 (105/208)에 의해 비슷한 양의 검출이 생성될 것이다. 이들 검출 각각은 도 3-7과 관련하여 앞서 설명한 바와 같이, 도 12의 소스/센서 쌍(104/207)에 의해 생성된 검출보다 적을 것이며, 도 12의 소스/센서 쌍(105/208)에 의해 생성된 검출보다 클 것이다. 핫 스팟(940 및 941) 사이의 대상물(801)의 위치는 소스/센서 쌍(104/207 및 105/208)에 의해 검출된 광선의 양을 보간함으로써 계산된다. 도 7을 참조하여 설명한 바와 같이, 대상물(801)의 위치는 검출 공간 내의 삼각형의 정점인 인접한 3 개의 핫 스팟에 대응하는 소스/센서 쌍에 의해 검출된 광선 량 사이에서 적어도 2 회의 보간법을 수행함으로써 계산된다.

감지된 광선 량을 보간하는 방법을 결정하기 위해, 근접 센서(501) 외부의 검출 영역 내의 알려진 위치에 알려진 반사 특성을 갖는 캘리브레이션 대상물을 배치하는 캘리브레이션 툴을 사용하여 핫 스팟 근방에서 검출 감도가 계산된다. 알려진 위치에서, 복수의 소스/센서 쌍이 동기식으로 활성화되고 인접한 활성화 된 센서에 의해 검출된 광선 량이 측정된다. 대상물이 알려진 위치 사이를 이동할 때 인접한 활성화 된 센서에 의해 검출된 상대적인 광선 량의 반복 패턴이 식별된다. 이들 패턴은 근접 대상물의 위치를 계산하기 위해 검출된 광선 량을 보간하는 방법을 결정하는데 사용되는 핫 스팟 근방의 근접 센서(501)의 검출 감도를 공식화하는데 사용된다.

도 14 및 도 15는 본 발명의 한 실시 예에 따라, 도 10 내지 13의 근접 센서에 대한 캘리브레이션 툴을 개략적으로 도시한 도면이다. 도 14는 화살표(601, 602)로 표시된 바와 같이 근접 센서 막대(501)와 관련하여 반사 형 캘리브레이션 대상물(806)을 수평 및 수직으로 이동시키는 모터(803) 및 샤프트(804, 805)를 포함하는 제1 캘리브레이션 툴을 도시한다. 대상물(806)이 높이는 위치 각각에서, 그 같은 위치 부근의 핫 스팟에 대응하는 복수의 소스/센서 쌍이 활성화되고, 검출된 광선 량이 이들 핫 스팟 근처의 감도를 결정하는데 사용된다. 한 공통 광원을 공유하는 여러 소스/센서 쌍이 동시에 활성화된다.

일부 실시 예에서, 도 14에서 도시된 또는 도 15에 도시된 캘리브레이션 툴은, 근접 센서(501)의 특정 대표 유닛에서 사용되고, 이로부터 유도된 보간 방법이 다른 유사한 유닛에 적용된다. 그러나 다른 실시 예에서, 각각의 개별 근접 센서에 맞춤 된 보간법을 제공하기 위해, 캘리브레이션 툴이 근접 센서(501)의 각 유닛에 사용된다.

도 15는 반사 캘리브레이션 대상물의 크기와 형태가 도 14와 다른 제2 캘리브레이션 툴을 도시한다. 도 14에서, 캘리브레이션 대상물(806)은 근접 센서 막대(501)와 함께 통상적으로 사용되는 핑거 또는 스타일러스로서 모델링된다. 반면, 도 15에서 캘리브레이션 대상물(807)은 근접 센서 막대(501)의 길이에 걸쳐있는 로드(rod)이다. 상기 로드는 근접 센서 막대(501)와 함께 통상적으로 사용되는 피부 또는 스타일러스의 반사 특정과 유사한 반사 특정을 갖는 재료로 커버된다. 도 15의 캘리브레이션 툴에서, 샤프트(805)는 화살표(602)에 의해 표시된 바와 같이 근접 센서 막대(501)쪽으로 또는 이로부터 멀리 이동하도록 샤프트(804) 상의 고정 된 위치에 유지된다. 이 경우, 대상물(807)의 위치 각 각에서, 광원이 하나씩 활성화되며, 각각의 광원 활성화 동안, 상당한 반사를 검출할 것으로 합리적으로 예상될 수 있는 광 센서들(201 내지 211) 중 임의의 것이 활성화된다. 일부 실시 예에서, 모든 광 센서(201 내지 211)는 각각의 광원 활성화로 동시에 활성화된다.

보간 방법을 결정하는 것 외에도 상기 캘리브레이션 툴은 소스/센서 쌍에 해당하는 핫 스팟의 위치를 매핑하는 데 사용된다. 종종, 핫 스팟의 위치는 근접 센서(501) 내의 광원 또는 광 검출기의 부정확한 배치 또는 정렬과 같은 기계적 문제로 인해 이들의 예상된 위치로부터 이동된다. 이 같은 목적에 사용되는 대, 다수의 근접 센서 유닛이 조정될 필요가 있고 도 15의 캘리브레이션 툴은 도 14에서의 툴 보다 더욱 효율적이다.

도 16 및 도 17을 참조하면, 도 15의 캘리브레이션 툴이 본 발명의 일 실시 예에 따라, 근접 센서의 발광기와 검출기들이 그 안에 어떻게 장착되었는가를 도시한다. 또한, 도 16 및 도 17은 광 센서(도 16) 또는 광원(도 17)의 부정확한 배치가 도 15의 캘리브레이션 툴에 의해 어떻게 식별되는가를 도시한다. 도 16은 핫 스팟 (910-912, 919, 929 및 939)을 포함하는 핫 스팟의 3개의 행을 도시한다. 이들은 예상되는 핫 스팟 위치이다. 즉, 근접 센서(501)는 대상물이 이들 위치에 배치될 때 각각의 활성화된 소스/센서 쌍에 대한 반사된 광선의 최대 검출을 제공하도록 설계된다. 이는 캘리브레이션 로드(807)가 근접 센서(501)에 더 가깝게 이동함에 따라 확인된다. 핫 스팟의 각 행(row)은 근접 센서(501)로부터 고정된 거리에 위치된다. HI, H2 및 H3의 3 개의 거리가 도시된다.

도 16은 광 센서(207)가 근접 센서(501) 내의 정확한 위치의 약간 왼쪽에 배치될 때, 이 광 센서에서 측정된 최대 검출이 핫 스팟 위치(919', 929' 및 939')에 어떻게 대응하는 가를 도시한다. 캘리브레이션 로드(807)는 예상되는 거리와 다른 거리에서 이들 위치에 진입한다. 도 16은 근접 센서(501)로부터 거리 H3'에 있을 때 캘리브레이션 로드(807)가 어떻게 핫 스팟 위치(919')에 도달하는가를 나타낸다. 공통 광 센서를 공유하고 예상 거리와 다른 거리에서 발생하는 일련의 로컬 최대 검출을 분석함으로써, 캘리브레이션 시스템은 예상 위치로부터 광 센서의 오프셋을 검출한다. 일부 실시 예에서, 프로세서(701)는 모터(803)를 제어하거나 모터 (803)로부터 입력을 수신하고, 프로세서(701)는 실제 로컬 최대 검출에 따라 핫 스팟의 맵을 업데이트한다.

도 17은 광원(104)이 근접 센서(501) 내의 정확한 위치의 약간 왼쪽에 위치될 때, 광원(104)을 포함하는 광원/센서 쌍들에 대해 측정된 최대 검출이 예상된 핫 스팟 위치(916, 926 및 936)로부터 위치(916', 926', 936')로 이동된다. 도 17은 근접 센서(501)로부터 거리 H3'에 있을 때 캘리브레이션 막대(807)가 핫 스팟 위치 (916')에 도달하는 방법을 도시한다. 공통 광원을 공유하고 예상되는 거리와 다른 거리에서 발생하는 일련의 로컬(local) 최대 검출을 분석함으로써, 시스템은 기대된 위치로부터 광원의 오프셋을 검출한다.

본 발명에 따른 근접 센서는 근부(proximal) 대상물 부분적인 둘레를 추정하는데 사용된다. 도 18은 본 발명의 일 실시 예에 따른 근부 대상물을 검출하는 근접 센서를 개략적으로 도시한 도면이다. 도 18은 근접 센서 스트립(501) 및 근부 대상물(802)을 도시한다. 센서에 직면하는 대상물(802)의 에지를 따라난 4개의 핫 스팟 위치(939-942)가 도시된다. 이들 핫 스팟 위치와 관련된 반사 값이 사용되어 상기 에지의 윤곽을 추정하도록 한다.

앞서 설명한 것처럼, 각 핫 스팟 위치는 하나 또는 두 개의 소스/센서 쌍과 관련된다. 도 18에 도시된 바와 같이, 핫 스팟 위치(940)는 소스/센서 쌍(104/202 및 104/207)과 관련된다.

반사 값은 반사 표면의 위치를 나타내는 반사 값의 2차원 픽셀 이미지를 생성하는 데 사용된다. 예를 들어, 근접 센서(501)의 모든 소스/센서 쌍에 대한 모든 핫 스팟 위치가 각각의 정규화된 반사 값을 할당받을 때, 그 결과는 2차원 이미지이다. 다른 실시 예에서의 반사 값은 2차원 이미지의 각 픽셀에 대해 제공된 비트의 수, 예를 들어 8비트 픽셀 값의 경우 0-255, 10 비트 픽셀 값의 경우 0-1023에 의해 결정되는 범위 내에서 정상화된다.

도 19는 본 발명의 일 실시 예에 따른 검출 값의 2차원 이미지의 단순화 된 도면이다. 도 19는 검출 평면이 아래를 향하는 근접 센서(501) 및 그 같은 검출 평면 내에 위치한 대상물에 의해 생성된 반사 값의 결과적인 2차원 화상(990)을 도시한다. 이미지(990) 내의 픽셀 값은 8비트 값이다.

둘 이상의 광원/센서 쌍이 각 핫 스팟 위치에 해당하므로 2차원 이미지 내의 해당 위치에 대한 반사 값이 다른 방식으로 도출될 수 있다. 즉, 순방향 소스/센서 쌍이 사용될 수 있으며, 또는 역방향 소스/센서 쌍이 사용될 수 있다. 일부 실시 예들에서, 이들 두 값의 평균이 사용되며, 다른 실시 예들에서, 이들 두 값의 최대 값이 사용되어, 몇몇 픽셀들이 순방향 - 방향 소스/센서 쌍들로부터 그 값들을 도출하고 다른 픽셀들이 역방향 소스/센서 쌍들로부터 그 값들을 도출하도록 한다.

소스/센서 쌍에 대한 특정 반사 값은 해당 핫 스팟의 반사 대상물로 인해 발생하는 것이 아니라 완전히 다른 위치에서의 반사로 인해 발생한다. 또한, 도 20 및 21은 이러한 사례가 어떻게 확인되는가를 보여준다. 일단 확인되면, 2차원 이미지 내의 대응하는 픽셀 값은 0으로 리셋된다.

도 20 및 도 21을 참조한다. 도 20 및 도 21은 본 발명의 일 실시 예에 따라, 그 같은 쌍의 핫 스팟 위치와 관련되지 않은 발광기-수신기 쌍에 대한 검출된 반사값을 개략적으로 도시한 도면이다. 도 20은 한 공통 발광기 비임 경로(401)를 따라 정렬된 핫 스팟 위치(940)를 도시한다. 상기 핫 스팟 위치(940)는 는 소스/센서 쌍 (104/202 및 104/207)에 대응하고, 핫 스팟 위치(944)는 소스/센서 쌍(104/201 및 104/208)에 대응 한다. 도 20에서, 발광기(104)로부터의 임의의 광선은 핫 스팟 위치(944)에 도달하기 전에 대상물(802)에 의해 차단되므로, 광원(104)의 활성화 동안 센서(201 및 208)에서 검출된 모든 광선은 핫 스팟 위치(944)에서 반사 대상물에 의해 생성되지 않으며, 오히려 다른 위치에 있는 대상물로부터 반사되는 오작동이다. 따라서, 핫 스팟 위치(944)에 대한 적절한 반사 값은 0이다.

이 같은 상태는 소스/센서 쌍(104/202)이 반사된 대상물이 대응하는 위치(940)에 있음을 나타내는 중요한 검출 반사 값을 가지며, 따라서 광선(401)이 위치(944)에 도달하지 않는다는 사실에 의해 결정된다. 렌즈들 및 센서들은 각도(θ1)에서 반사될 때 최대 검출이 센서에 도달하도록 구성되며, 공통 소스를 공유하는 모든 소스/센서 쌍들로부터 최대 반사를 검출하는 소스/센서 쌍이 해당하는 핫 스팟 위치 또는 근처의 대상물로부터 반사를 검출하는 쌍이다. 실제로, 도 20에 도시된 예에서, 소스/센서 쌍(104/202)에 대한 검출 값은 소스/센서 쌍(104/201)에 대한 검출 값 보다 훨씬 더 높다. 동일한 이유로 소스/센서 쌍(104/207)에 대한 검출 값은 소스/센서 영역(104/208)에 대한 검출 값보다 훨씬 더 높다. 유사한 상황이 도 21에 도시되어있다. 이 경우 2개의 핫 스팟 위치가 공통 검출 경로를 따라 위치된다는 점을 제외 하고는 도 21과 유사하다.

도 21은 공통 최대 검출 반사 경로(403)를 따라 배치된 핫 스팟 위치(940 및 945)를 도시한다. 핫 스팟 위치(940)는 소스/센서 쌍(104/202)에 대응하고, 핫 스팟 위치(945)는 소스/센서 쌍(105/202)에 대응한다. 도 21에 도시된 바와 같이, 단 하나의 위치로부터의 광선이 수신기(202) 상으로 긴 경로(403) 반사될 수 있다. 그리고, 소스/센서 쌍(104/202)에 대한 검출된 반사 값이 소스/센서 쌍 (105/202)에 대한 검출 값보다 크기 때문에, 반사 대상물이 핫 스팟 위치(940) 또는 그 근처에 있다고 가정하는 것이 안전하며, 소스/센서 쌍(105/202)에 대한 검출 값은 핫 스팟 위치(945)에서의 반사 대상물에 의해 야기되지 않는다. 따라서, 핫 스팟 위치(945)에 적절한 반사 값은 0이다.

일반적으로, 도 17의 경로(401)와 같은 n 개의 방출된 광 경로(LP)는 도 17의 핫 스팟 위치(916, 926, 936)와 같은, 근접 센서(501)로부터의 상이한 거리에서 Pi, P, PN으로 표시된 복수의 핫 스팟 위치를 갖는다. n 개의 대상물이 이들 위치 중 하나에 위치할 때, P로 표시되고, 다른 핫 스팟 위치 Pi + j 및 Pj-k 또한 대응하는 검출 값들을 갖는다. 이러한 경우에, LP를 따른 핫 스팟 위치들 중에서 최대 검출 값이 검출되는 핫 스팟 위치 Pmax는 그와 같은 대상물에 대응하는 것으로 간주 되고, 근접 센서(501)로부터 멀리 떨어진 핫 스팟 위치들에 대한 모든 검출 값들은 0으로 리셋된다. Pmax와 근접 센서(501) 사이의 핫 스팟 위치에 대한 검출 값은 유지된다. 종종, 2개의 핫 스팟 위치 Pmax 및 Pmax + i는 상술 한 바와 같이 대상물의 위치를 계산하는데 사용되며, 이러한 경우에 Pmax + i는 0으로 리셋되지 않는다.

유사하게, 도 16의 경로(402)와 같은 반사 된 광 경로(RP)가 도 16의 핫 스팟 위치 (919, 929 및 939)와 같은, 근접 센서(501)로부터의 상이한 거리에 Pi, P, PN으로 표시된 복수의 핫 스팟 위치를 갖는다. 대상물이 이들 위치 중 하나에 위치할 때, P로 표시되고, 다른 핫 스팟 위치 Pi + j 및 Pj-k는 또한 대응하는 검출 값을 갖는다. 이 경우, RP에 따른 핫 스팟 위치들 중에서 최대 검출 값이 검출되는 핫 스팟 위치 Pmax가 대상물과 일치하는 것으로 간주되고, 근접 센서(501)로부터 멀리 떨어진 핫팟 위치에 대한 모든 검출 값은 0으로 리셋된다. Pmax와 근접 센서(501) 사이의 핫 스팟 위치에 대한 검출 값은 유지된다. 종종, 2개의 핫 스팟 위치 Pmax 및 Pmax + i는 상술 한 바와 같이 대상물의 위치를 계산하는데 사용되며, 이 같은 경우 Pmax + i는 0으로 리셋되지 않는다.

이러한 방식으로, 2차원 픽셀 이미지는 정제되고 센서에 마주하는 대상물의 윤곽을 나타 내기 시작한다. 도 22는 본 발명의 일 실시 예에 따른, 검출 값들의 2차원 이미지에서의 대상물의 검출된 부분적인 원주(partial circumference)의 개략적인 도면이다. 도 22는 도 19의 검출 이미지(990)에서 검출된 부분적인 원주(989)를 도시한다. 앞서 설명한 바와 같이, 0이 아닌 검출 값을 갖지만 적절한 반사 값이 0인 예시적인 픽셀(915)을 도시한다.

다음 단계는 이 같은 이미지 내의 픽셀을 필터링하여 핫 스팟 위치 간의 대상물 윤곽 위치에 대한 서브 픽셀 정밀도를 얻는 것이다. 서브 픽셀 값을 계산한 후, 다양한 에지 검출 필터가 2차원 픽셀 이미지에 적용되어 센서를 마주하는 대상물의 에지를 식별하고 스트레이(stray) 반사를 버리도록 한다. 알려진 가장자리 검출 필터에는 소벨, 캐니, 프리 위트, 라플라스, 그라디언트(Sobel, Canny, Prewitt, Laplace, gradient)가 있다. 이 같은 에지 정보(edge information)는 대상물의 이 같은 부분의 길이, 즉 대상물의 부분적인 원주 및 그 위치를 결정하는데 사용된다.

대상물의 검출된 부분의 길이는 본 발명의 상이한 실시 예에 따라 상이한 방법을 사용하여 계산된다. 일부 실시 예는 대상물의 검출된 부분을 따라 픽셀 또는 서브 픽셀의 수를 결정한다. 다른 실시 예는 대상물의 검출된 부분을 따라 각각의 이웃 픽셀 쌍 또는 서브 픽셀 쌍 사이의 거리의 합을 계산한다. 또 다른 실시 예는 검출된 대상물의 부분을 따라 각각의 픽셀 또는 서브 픽셀 각 각을 통과하는 곡선에 대한 방정식을 결정하고, 이 같은 방정식에 따라 대상물의 부분적인 원주의 길이를 계산한다.

일부 실시 예에서, 프로세서 복잡도를 완화 시키기 위해, 부분적인 원주의 추정치는 3개의 포인트, 즉 최대 검출 값이 있는 대상물 상의 포인트 및 부분적인 원주를 따른 2개의 최 외각 포인트에 기초하여 계산된다.

도 23은 본 발명의 일 실시 예에 따른, 대상물의 부분적인 원주를 추정하는 방법에 대한 개략적인 도면이다. 도 23은 최대 검출 값이 있는 포인트(940) 및 대상물(802)의 부분적인 원주를 따라 2개의 최 외곽 포인트(939, 941)를 도시한다. 부분적인 원주의 추정은 포인트(939)에서 포인트(940)까지 그리고 포인트(941)로부터 포인트(940)까지의 합계이다. 계산에 많은 복잡성을 가하지 않고, 이 계산을 더 정확히 하기 위해, 시스템은 각각의 핫 스팟 위치(939-941)의 바로 이웃한 위치들을 사용하여 이들 세 위치의 서브-픽셀 좌표를 계산하며, 그러나 2차원 픽셀 이미지 내의 임의의 다른 픽셀들에 대한 서브-픽셀 위치를 계산하지는 않는다. 최대 검출 값이 있는 포인트(940) 또는 각각의 서브-픽셀 위치가 대상물의 좌표로 사용된다.

본 발명의 다른 실시 예에서, 근접 센서의 형상은 2-D 검출 평면 대신에, 3-D 검출 체적을 제공하기 위해 직선이 아니라 원형 또는 파형이다. 이러한 대안적인 실시 예에서, 발광기들 및 수신기들은 근접 센서(501)에 있는 바와 같이 여전히 교번되며, 각각의 발광기는 근접 센서 위의 3D 볼륨 내에서 대응하는 핫 스팟을 갖는 소스/센서 쌍으로서 수신기들 각각과 쌍을 이룬다.

도 24는 본 발명의 일 실시 예에 따른 3차원 근접 센서의 발광기 광 경로 및 반사광 경로에 대응하는 새들 지붕 또는 쌍곡면 포물선의 예시이다.

도 25는 본 발명의 일 실시 예에 따라 3차원 쌍곡면을 따라 30개의 핫 스팟 위치를 제공하는 원형 베이스를 따라 교대로 배열된 6개의 발광기 및 6개의 수신기의 원형 배치의 단순화된 도면이다. 도 25는 본 발명의 일 실시 예에 따라, 3 차원 쌍곡면을 따라 30개의 핫 스팟 위치를 제공하는 발광기(101, 102) 및 수신기(201, 202)를 도시한다. 도 25는 쌍곡면의 높이를 따라 핫 스팟 위치의 5개의 링(991-995)을 도시한다.

도 26은 일 실시 예에 따라, 3차원 쌍곡면을 따라 176개의 핫 팟 위치를 제공하는 원형 베이스를 따라 교대로 배열된 16개의 발광기 및 16개의 수신기 원형 배치로부터 방사 및 반사된 광선을 나타내는 그리드의 단순화 된 예시이다. 본 발명의 다른 구성으로는 4면체와 4면의 수신기, 4면체는 3면체, 3면체는 8면체, 2면체는 2면체를 포함한다. 이러한 3차원 근접 센서는 특히 공중파 동작을 감지하는 데 사용된다.

본 발명에 따른 근접 센서는 터치 스크린, 제어 패널 및 새로운 사용자 인터페이스 표면에 대한 수많은 응용이 가능하다. 근접 센서는 벽면, 창문, 노트북 위에 놓을 수 있으며, 해당 항목에 터치 및 제스처 검출 기능을 제공한다. 이러한 감지된 제스처는 전자 시스템으로의 입력으로 사용된다. 예를 들어, 벽을 따라 제스처 하면 벽의 가장자리를 따라 센서를 장착하고 감지된 제스처를 조명 시스템에 전달하여 실내의 조명을 어둡게 할 수 있다. 중요한 점은 근접 센서가 검출 영역의 한쪽 가장자리에만 장착되어 구성 요소 비용을 줄이고 터치 스크린 및 터치 검출 제어판의 산업 디자인에 더 많은 유연성을 제공한다는 것이다.

본 발명에 따른 도어 잠금 시스템은 두 가지 작동 모드를 갖는다. 제1 모드에서, 트랜스폰더 신호에 의하는 것과 같이, 키 포브(key fob) 스위치를 누르거나 키홀(keyhole)에 삽입하고 회전하는 물리적 키에 의한 것과 같은 종래의 방법을 사용하여 도어가 잠기고 잠금 해제된다. 두 번째 모드에서 사용자는 제스처 센서에 제스처를 입력하여 도어를 잠근다. 사용자는 제스처 센서에 동일한 제스처를 입력하여 도어를 잠금을 해제한다. 그러나 종래 기술 제스처 기반 잠금 시스템과는 달리, 이 같은 잠금 해제 제스처는 사용자가 문을 잠그기 위해 입력할 때까지 잠금 해제 제스처로 정의되지 않는다.

도 27은 본 발명의 일 실시 예에 따른 자동차 도어와 같은 도어의 잠금 및 잠금 해제 방법의 간략화 된 흐름도이다. 이 방법은 도어가 닫혀있을 때 단계(1001)에서 시작한다. 단계(1002)에서 도어의 폐쇄는 도어 잠금 시스템에 의해 감지되고, 이는 시스템을 트리거하여 잠금 시스템에 연결된 송신기 유닛을 작동시켜 휴대용 트랜스폰더를 찾아내고, 특히 트랜스폰더가 폐쇄된 도어 뒤에 있는지, 폐쇄된 내부, 예를 들면, 차 안쪽에 있는지 여부를 식별한다. 트랜스폰더가 폐쇄된 내부에 있는 경우, 시스템은 제스처 검출 장치를 작동시켜 도어의 외부 또는 외부 가까이에서 제스처를 감지한다. 단계(1003)에서, 제스처 검출 장치가 제스처를 검출하면, 단계(1004)에서 도어 잠금장치가 활성화되고 검출 된 제스처가 메모리에 저장된다. 단계(1005)에서, 저장된 제스처는 제스처 검출 장치에 의해 다시 검출되고, 단계(1006)에서 도어는 잠금 해제된다.

다수의 도어가 예를 들어 자동차와 같은, 일반적인 내부 공간에 대한 접근을 제공하는 특정 실시 예에서, 도어의 폐쇄가 감지된 때 단계(1001a)에서 내부로의 다른 모든 도어가 폐쇄되는 경우에만 잠금 시스템이 단계(1001)로부터 진행될 뿐이다.

일부 실시 예에서, 제스처 검출 장치는 단계(1001b)에서 폐쇄된 공간 내에 아무도 없다고 결정될 경우에만 도어가 폐쇄될 때 활성화된다. 이는 이동 센서, 카메라 또는 당업자에게 공지된 다른 수단을 사용하여 결정된다.

일부 실시 예에서, 제스처 검출 장치는 트랜스폰더가 페쇄된 내부에 있는지 여부를 식별하지 않고 문이 닫히는 때 활성화된다. 이는 트랜스폰더를 포함하지 않는 시스템에서 본 발명에 따른 제스처 잠금-해제 방법을 사용할 수 있게 하고, 사용자가 도어를 닫기 전에 폐쇄 공간으로부터 트랜스폰더를 제거할 때 제스처 잠금-해제 방법을 사용할 수 있게 한다.

일부 실시 예에서, 제스처 검출 장치는 윈도우 외부에 만들어진 제스처를 감지하기 위해 운전자 측 윈도우의 에지를 따라 장착된 앞서 설명한 근접 센서 스트립(proximity sensor strip)이다. 다른 실시 예에서, 특히 카메라, 차단된 광선에 기초한 광학적 터치 스크린, 불완전 전반사(FTIR)에 기초한 광학적 터치 스크린, 광학적 근접 센서, 용량성 터치 스크린 그리고 저항성 터치 스크린이 다른 유형의 제스처 검출 장치로서 제공된다. 다른 실시 예에서, 제스처 검출 장치는 도어 옆의 벽에서의 제스처, 도어 핸들 또는 도어 노브에서의 제스처, 또는 도어 앞에 있는 열린 공간에서의 제스처를 감지한다.

서로 다른 시스템이 서로 다른 유형의 제스처를 감지할 수 있도록 한다. 예시적인 제스처는 다음을 포함한다: 표면에서 하나 이상의 위치를 터치; 표면에서 손가락에 의해 추적되는 하나 이상의 2차원 라인 또는 구불구불한 선; 표면상에 다수의 핑거들에 의해 추적되는 하나 이상의 2차원 라인들 또는 구불구불한 선; 예를 들어, 멀티 핑거 핀치, 스프레드 또는 회전 제스처; 손짓 제스처; 다수 손가락을 세우기; 수화 제스처; 그리고 전신 이동.

도 28은 본 발명의 일 실시 예에 따라, 도 27의 잠금-해제 방법을 실행하는 자동차의 단순화 예시 도이다. 도 28은 도어(811) 그리고 사이드 윈도우(812)를 갖는 자동차(810)를 도시한다. 근접 센서 스트립(501)은 윈도우(812) 아래에 장착되고 윈도우상의 제스처, 예를 들어, 창문에 미끄러지는 손가락에 의해 추적된 형상을 감지하기 위해 윈도우(812)의 외측 표면을 따라 광선 빔(410)을 투사한다.

일부 실시 예에서, 저장된 제스처는 손가락에 의해 추적된 형상을 포함하지만, 그 같은 형상이 원래 추적된 창(812)상의 위치는 포함하지 않는다. 다른 실시 예에서, 상기 형상이 원래 추적된 창(812)상의 위치 또한 저장되고, 사용자는 문의 잠금을 해제하기 위해 동일한 위치에서 제스처를 재현해야 한다.

도 29는 본 발명의 일 실시 예에 따른 자동차(810) 내부의 단순화된 도면이다. 도 29는 운전석(815), 조수석(816), 사물함(글로브 컴파트먼트)(813), 운전자-측면 도어(811) 및 운전자-측면 창(812)을 도시한다. 송신기 유닛(504)은 도어가 닫혀 있을 때 트랜스폰더(503)에 질문하고 트랜스폰더가 자동차 내부 또는 외부에 있는지를 결정하기 위해 도어(811)에 장착되어 도시되어있다. 트랜스폰더가 차량 내부에 있으면, 송신기 유닛(504)은 이것을 키리스 엔트리 시스템(820)에 전달하고, 키리스 엔트리 시스템(820)은 제스처 검출 장치(도 29에 미도시)를 작동시킨다.

도 29는 도어(811)가 닫힌 후에 사람이 차에 남아 있는지를 감지하기 위해 자동차 대시 보드에 장착된 모션 센서(502)를 도시한다. 센서(502)는 또한 키리스 엔트리 시스템(820)과 통신한다. 키이스 엔트리 시스템(820)은 제스처 검출 장치가 아무도 자동차 내에 있지 않으면 잠금을 작동시키는 것을 가능하게 할 것이다.

본 발명의 일 실시 예에 따라, 비 터치 스크린 랩톱을 터치 스크린 랩톱으로 변환하는 것을 가능하게 하는 랩톱액세서리가 제공된다. 이 같은 액세서리는 기다란 근접 센서 어레이를 특징으로 하는 근접 센서 막대이다. 이 같은 근접 센서 막대가 랩톱 컴퓨터의 액세서리로 설명되지만, 특히 올인원 컴퓨터, 데스크톱 컴퓨터, 태블릿 및 텔레비전과 같은 다른 컴퓨터 디스플레이에 유용하다. 또한 테이블, 벽 또는 창과 같은 비-디스플레이 표면을 비롯한 모든 표면을 전자 장치를 제어하기 위해 제스처가 수행되는 터치 검출 표면으로 변환하는 데 유용하다. 상기 근접 센서 막대는 특히, 도 10 내지 도 26을 참조하여 앞서 설명한 임의의 근접 센서를 포함하며, 이들은 사용자 인터페이스 명령을 별도의 전자 장치에 전달하는 터치 센서 액세서리 내에 통합된다.

도 30 및 도 31은 본 발명의 일 실시 예에 따라 랩톱액세서리로 구성된 근접 센서 막대의 단순화된 도면이다. 또한, 도 30 및 31은 와이어(833)를 통해 랩톱컴퓨터(830)에 연결된 근접 센서 막대(510)를 도시한다. 일반적으로 와이어(833)의 단부에 위치한 USB 커넥터는 랩탑(830) 내의 USB 소켓에 삽입된다. 랩톱 컴퓨터(830)는 디스플레이(831) 및 키보드(832)를 포함한다. 랩탑(830)상에서 실행되는 운영 체계는 USB-HID 디지타이저를 사용하여 랩톱컴퓨터(830)에 연결된 근접 센서 막대(510) 간의 통신을 가능하게 하는 터치 스크린 사용자 인터페이스 명령을 지원한다. 이와 같이 함으로써 근접 센서 막대가 여러 개의 터치 좌표를 스크린에 매핑하고 해당 좌표를 하나 이상의 제스처로 해석하는 노트북으로 그와 같은 좌표로 보낼 수 있다. 일부 실시 예에서, 근접 센서 막대(510)는 감지된 대상물 좌표를 단일 손가락 트랙 패드로서 보고함으로써 마우스 또는 트랙 패드 기능을 제공하도록 구성된다. 특정 실시 예에서, 근접 센서 막대(510)는 터치 좌표 또는 제스처를 보고하는 대신, 제스처를 회전, 스크롤, 줌, 복사, 잘라 내기, 붙여 넣기와 같은 명령으로 해석하고 운영 체계로 그와 같은 명령을 보내도록 구성된다.

근접 센서 막대(510)는 하우징(511) 및 렌즈(310)를 포함하며, 이 같은 하우징 및 렌즈를 통해 도 32 및 도 35 내지 도 38에 도시된 광선(401)이 앞서 설명한 바와 같이 검출 평면에 투사된다. 상기 검출 평면 내에 삽입된 대상물에 의해 반사된 광선은 렌즈(310)를 통해 근접 센서 막대(510)에 재 입사한다.

도 32 내지 도 36은 본 발명의 실시 예에 따라, 비-터치 스크린 디스플레이를 터치 스크린 디스플레이로 변환하기 위해 랩톱디스플레이의 에지를 따라 위치하는 도 30 및 도 31의 랩톱 액세서리 간략화된 도면이다. 또한, 도 32 내지 도 36은 랩톱 디스플레이 스크린(831)의 하부 에지에 부착된 근접 센서 막대(510)를 도시한다. 근접 센서 막대(510)에 의해 감지된 검출 평면은 근접 센서 막대(510)로부터 투사된 광선(401)에 의해 도시 된 바와 같이, 랩톱 디스플레이 스크린(831)의 표면에 평행하다. 근접 센서 막대(510)는 스크린(831) 전체 디스플레이에 터치 감도를 제공하기 위해 스크린(831) 저부 에지만큼 길다. 근접 센서 막대(510)의 상이한 모델들은 상이한 스크린 크기를 지원하기 위해 상이한 크기로 제조된다. 일부 실시 예에서, 하우징(511)은 스크린(831)의 하부 에지 아래의 랩톱(830)에 자기적으로 부착된다. 검출 평면은 스크린(831)에 대한 근접 센서 막대(510)의 예상되는 위치에 따라 스크린 표면에 매핑된다. 예를 들어, 근접 센서 막대(510)는 네 개의 스크린 에지 중 어느 하나를 따라 배치될 수 있으며, 각각의 배치는 스크린과 관련하여 상기 검출 평면을 뒤바꾼다(transposing). 몇몇 경우에, 근접 센서 막대(510)를 수용하기 위해 랩톱 하우징에 소켓이 제공된다. 일정 경우에, 소켓에 제공된 커넥터 및 근접 센서 막대(510) 상에 제공된 대응 연결 패드는 근접 센서 막대(510)를 랩톱(830)에 연결하도록 사용될 수 있으며, 와이어(833) 및 앞서 설명한 USB 소켓 그리고 플러그 대신하도록 한다.

도 37은 본 발명의 일 실시 예에 따라 랩톱 디스플레이의 가장자리를 따라 위치하고 디스플레이로부터 먼 방향으로 회전하여 디스플레이와 키보드 사이의 에어스페이스에 검출 평면을 제공하도록 하는 도 30 및 도 31의 랩톱 액세서리를 간략하게 도시한 도면이다. 도 37은 투사된 광선(401) 및 대응하는 검출 평면이 디스플레이(831)와 키보드(832) 사이의 에어스페이스로 향하게 되도록 디스플레이 스크린(831)으로부터 먼 방향으로 회전된 근접 센서 막대(510)를 도시한다. 이 같은 구성은 사진 및 프리젠테이션을 브라우징하는데 유용하다: 사용자는 스크린을 건드리지 않고 상기 검출 평면을 가로질러 공중에서 손과 손가락을 스와핑함으로써, 프리젠테이션을 전방 및 후방으로 진행한다. 도 37에서 도시된 각(θ)은 45°이지만, 다른 각일 수 있다. 일정 실시 예에서, 근접 센서 막대(510)는 검출 평면이 스크린 표면에 평행한지 또는 디스플레이로부터 먼 방향으로 에어 스페이스로 향하도록 되는가에 관계없이 랩톱(830)에 동일한 좌표, 제스처 또는 명령을 보고한다. 다른 실시 예에서, 근접 센서 막대(510)는 검출 평면이 스크린 표면에 평행하고 디스플레이로부터 먼 방향으로 에어 스페이스로 향하는 때 상이한 좌표, 제스처 또는 명령을 보고한다. 다른 실시 예에서, 검출 평면이 디스플레이로부터 먼 방향으로 에어 스페이스로 향하게되는 때, 근접 센서 막대(510)는 검출 평면이 평행 스크린 표면 일 때 사용되는 좌표, 제스처 또는 명령의 서브 세트를 사용한다. 예를 들어, 스윕 제스처 및 핀치 제스처와 같은 상대적인 이동 제스처가 지원되지만, 검출 평면이 디스플레이로부터 멀리 떨어진 에어 스페이스 내로 향하게 되면 감지된 대상물의 위치는 특정 스크린 위치로 맵핑되지 않는다.

도 38은 본 발명의 실시 예에 따라 랩톱 키보드 표면을 따라 감지를 제공하기 위해 랩톱 디스플레이의 에지를 따라 위치하고 디스플레이로부터 먼 방향으로 회전되는 도 30 및 도 31의 랩톱 액세서리를 개략적으로 도시한 도면이다. 도 38은 투사된 광선(401) 및 대응하는 검출 평면이 키보드(832)의 표면에 평행하도록 디스플레이 스크린(831)으로부터 먼 방향으로 회전된 근접 센서 막대(510)를 도시한다. 이 같은 구성은 키보드(832)의 상측 표면으로 터치 기능을 제공한다. 이 같은 구성에서, 근접 센서 막대(510)가 감지된 대상물 좌표를 단일 손가락 트랙 패드로서 보고함으로써 마우스 또는 트랙 패드 기능을 제공하도록 구성될 때, 랩톱(830)은 통상적으로 오늘날 랩톱에서 키보드 아래에 제공된 트랙 패드를 제거할 수 있다. 오히려 사용자는 키패드의 상측 표면을 트랙 패드로서 사용할 수 있다. 일부 실시 예에서, 키보드 입력 및 트랙 패드 입력 모두를 가능하게 하기 위해, 키가 눌려 질 때 트랙 패드 기능이 중지되고, 손가락이 움직임의 끝에서 임의의 키를 누르지 않고 키들을 가로 질러 움직일 때 트랙 패드 기능이 활성화된다. 도 38에서 도시된 각(θ)은 90°이상이다.

2-in-1 랩톱으로 알려진 일부 랩톱은 디스플레이 앞에 키보드가 있는 랩톱 모드와디스플레이 앞에 아무것도 갖지 않는 태블릿 모드로 구성될 수 있다. 태블릿 모드에 있을 때, 근접 센서 막대(510)는 디스플레이에서 먼 방향을 바라보는 디스플레이 스크린의 바닥 에지를 따라 배치될 수 있다. 이에 따라, 예를 들어, 검출 평면이 디스플레이가 놓여있는 테이블톱에 평행하도록 한다. 그와 같은 다음 사용자는 테이블 표면에서 수행되는 제스처를 사용하여 디스플레이에서 프레젠테이션이나 비디오를 제어할 수 있다. 예를 들어 전진하거나 후진하기 위해근접 센서 막대(510)에 평행한 테이블 표면을 따라 스와이프한다; 확대/축소하기 위해 테이블 표면을 집는다(pinch); 디스플레이에서 이미지를 회전시키기 위해 테이블 표면에서 여러 손가락 회전 제스처를 수행한다.

일부 실시 예에서, 근접 센서 막대(510)의 발광기는 수직 공동 표면-방출 레이저 (VCSEL)와 같은 반도체 레이저 다이오드이다. 대안적으로 다른 발광기가 사용될 수 있다. 일부 실시 예에서, 근접 센서 막대(510)는 커버되지 않은 반도체 레이저 다이오드, 즉 렌즈가 없는 베어 반도체 및 렌즈가 없는 커버되지 않은 포토 다이오드를 PCB 상에 배치함으로써 제조된다. 레이저 다이오드 및 포토 다이오드에 제공되는 렌즈는 도 10에 도시된 긴 광 가이드와 같은 광 가이드 유닛이다. 광 가이드 유닛은 높은 생산량을 위한 자동화된 생산 라인에 의해 VCSEL 다이오드에 비해 매우 높은 정밀도로 위치된다.

종래 기술에서 광학 구성 요소는 배치될 구성 요소 상의 가이드(핀)와 컴포넌트 캐리어(PCB)상의 홀 패턴을 매칭시킴으로써 자동화된 생산 라인에서 정렬된다. 또는 PCB 상의 기준 마커(fiducial marker)를 사용하여 PCB 패턴에 따라 구성 요소를 배치한다.

이와 대조적으로, 본 발명은 광 가이드를 다이오드와 관련하여 있어야 할 필요가 있는 위치에 정확히 위치시키기 위해 다이오드 그 자체를 기준 마커(fiducial marker)로서 사용한다.

일부 실시 예에서, 다이오드 구성 요소를 장착하기 전에, 접착제가 PCB에 부착되며, 신속하게 활성화될 수 있다; 예를 들어, 자동 피킹 장치가 재료를 놓기 전에 컴포넌트를 고정시키기 위해 자외선에 노출시킴으로써. 따라서 광 가이드가 PCB 상에 장착되기 전에 구성 요소가 PCB 상의 위치에 고정된다. 다음에 광 가이드가 자동화된 생산 라인에 의해 픽업되며 고정된 다이오드를 기준 마커로 사용하는 비전 기술을 통해 PCB 상에 배치되어, 다이오드와 정확하게 관계된 광 가이드를 PCB에 배치한다. 이 같은 정확한 위치 선정 방법은 경쟁력 있는 비용으로 고급 고해상도 애플리케이션의 기회를 증가시킨다.

도 10에 도시된 긴 광 가이드는, 렌즈(303 및 304)를 포함하며, 보다 일반적으로 각각의 발광기 및 광 검출기에 대응하는 다수의 렌즈를 포함한다. 일부 실시 예에서, 각각의 렌즈는 그와 같은 발광기를 기준 마커(fiducial marker)로 사용하여 대응하는 발광기와 관련하여 PCB 상에 개별적으로 조립된다.

도 39는 본 발명의 실시 예에 따라 근접 센서를 조립하는 공정의 단순화된 흐름도이다. 이 과정은 광학 구성 요소를 가져 와서 머신 비전(machine vision)을 사용하여 PCB에 배치하는 로봇을 사용한다. 단계(1007)에서, 로봇은 VCSEL 반도체 다이오드 또는 반도체 포토 다이오드와 같은 광학 구성 요소가 배치되는 위치에서 PCB에 접착제를 도포한다. 단계(1008)에서, 로봇은 접착제 위에 광학 구성 요소를 위치시키고, 단계(1009)에서 로봇은 광학 구성 요소를 해제하지 않고 UV 광에 노출시킴으로써 접착제를 경화시킨다. 단계(1010)에서, 로봇은 접착된 광학 구성 요소를 위한 렌즈를 가져온다. 광학 구성 요소가 패키지 없이 PCB에 부착되기 때문에 구성 요소의 크기가 작으면 렌즈를 배치하기 위한 기준 마커로 사용할 수 있도록 한다. 따라서, 로봇은 렌즈 장착을 위한 기준 마커로서 광학 구성 요소를 사용하여 PCB상의 렌즈를 그 같은 렌즈의 광학 구성 요소와 정렬시킨다. 단계(1011)에서, 로봇은 다음 광학 구성 요소 및 대응하는 렌즈에 대해 단계(1007-1010)를 반복하기 위해 전진한다.

도 40은 도 39의 프로세스에 따라 조립된 근접 센서를 개략적으로 도시한 도면이다. 각 단계에서 하나의 발광기와 하나의 렌즈가 PCB 상에 조립된다. 도 40은 6개의 발광기-렌즈 쌍이 그 위에 장착된 후의 근접 센서 PCB(512)를 도시한다. 각각의 발광기(111-116)는 자동 픽업 유닛에 의해 PCB(512) 상에 배치되고, 예를 들어 앞서 설명한 바와 같이 UV 광에 노광함으로써 그에 부착된다. 다음으로, 자동 픽업 유닛은 대응하는 발광기를 기준 마커로서 사용하여 각각의 렌즈(311 내지 316)를 가져 와서 PCB(512) 상에 장착한다. 이와 같은 정확한 배치가 발광기(111)와 렌즈(311)의 정렬을 도시하는 확대된 인서트(insert)에 의해 도시된다. 다음으로, 이와 같이 처리가 나머지 발광기 및 각각의 렌즈에 대해 반복되어 전체 근접 센서 막대를 조립한다.

도 41 및 도 42는 본 발명의 일 실시 예에 따라 대상물을 감지하는 근접 센서의 광선을 간략하게 나타낸 것이다. 또한, 도 41 및 도 42는 대상물을 감지하기 위해 사용되는 광 통로 및 개별 렌즈 구조(321 내지 325)를 도시한다. 각각의 렌즈 구조는 각각의 대향 발광기 및 2개의 검출기, 즉 발광기의 좌측 및 발광기의 우측에 각각 하나씩 제공된다. 따라서, 예를 들어, 렌즈 구조(325)는 발광기(105) 및 검출기(205, 206)에 사용된다. 예를 들어, 검출기(205)는 렌즈 구조(324, 325)로부터의 반사된 광을 수신한다. 도 41 및 도 42에 도시된 바와 같이, 발광기(105)로부터의 광은 피사체 (도시되지 않음)에 의해 렌즈 구조(323) 및 검출기(203)로 반사된다. 감지된 광선의 3개의 세그먼트가 도 41 및 42에 표시되어있다; 즉, 광선(412)이 렌즈 구조(325)로부터 외측으로 그리고 근접 센서의 반경 방향 외측으로 투사되고, 광선(413)이 대상물에 의해 렌즈 구조(323)로 반사되며, 그리고 광선(414)이 렌즈 구조(323)에 의해 검출기(203)로 향하도록 된다.

도 43은 본 발명의 일 실시 예에 따라 근접 센서 및 그로부터 투사된 광 빔의 측면도를 단순화하여 도시한 도면이다. 도 43은 근접 센서로부터 반경 방향 외측으로 투사된 광 비임을 도시하고, 도 41 및 도 42에 도시된 광 경로의 컷어웨이 측면도이다. 발광기(105)로부터의 광 비임(411)은 렌즈 구조(325)로 들어가고, 광 비임 (412)으로서 바깥 방향으로 재지향된다.

도 44는 본 발명의 실시 예에 따라 근접 센서 렌즈 그리고 이와 관련된 광학 컴포넌트, 그 같은 렌즈를 통해 투사된 광선을 단순화한 도면이다. 도 44는 발광기(105)로부터의 광선(411)을 시준하고 PD(205)로의 광선(414)을 수집도 하도록 구성된 렌즈(325)의 평면도이다. 입사/출사 표면(326)의 상이한 부분은 표면 (326)을 통해 입사하는 발광기(105)로부터의 광선(411)을 시준하고 표면(326)을 통해 PD(205)로 출사하는 광선(414)을 수집하도록 최적화된다. 실제로, 발광기(105)와 마주하는 표면(326)의 부분은 볼록한 반면, PD(205) 상에 광을 모으기 위해 최적화된 표면(326)의 부분은 오목하다. 따라서, 표면(326)은 교대로 오목 볼록하다. 그러나 광 가이드(325)의 나머지 표면들은 입력 및 출력 광 빔(411, 414) 모두에 사용된다; 표면(326)에서만 두 세트의 광선이 다른 표면에 의해 굴절된다.

도 45는 도 44의 렌즈(325) 및 컴포넌트 그리고 본 발명의 실시 예에 따라 그 같은 렌즈를 통해 투사된 광선의 측면도의 간략화한 도면이다. 도 45는 렌즈(325)가 발광기 빔(411)을 시준하고 PD(205) 상에 입사 빔(414)을 집중시키는 것을 도시한다. 렌즈(325)는 2개의 내부 시준 반사 표면을 제공하는 접힌 렌즈 구조를 갖는다. 상기 접힌 렌즈 구조는 미국 특허 제9,063,614호[광학 터치 스크린]에서 논의되어 있으며, 그 전체가 본원에 참고로 인용된다. 도 41-45와 관련하여 앞서 설명된 렌즈는 다양한 근접 센서에 유용하며, 특히 미국 특허 제8,775,023호(명칭: 스티어링 휠 및 대시 보드에 관한 광선 기반 터치 제어)에서 설명된 터치 센서티브 핸들에서 유용하며, 또한 미국 특허출원공보 제2015/0248796 Al호(명칭: 광학 근접 센서를 갖는 도어 핸들)에서 논의된 카 도어 용 근접 센서에서 유용하고 이들은 모두 그 전체가 본원에 참고로 인용된다.

도 46은 본 발명의 일 실시 예에 따라 스크린 모서리에 위치한 L-자 광학 근접 센서의 단순화한 도면이다. 이 실시 예에 사용된 근접 센서는 앞서 설명한 임의의 근접 센서이다. 도 46에 도시된 실시 예는, 디스플레이 장치, 특히 컴퓨터 모니터, 텔레비전, 태블릿 컴퓨터 또는 랩톱 컴퓨터에서 마우스 트랙킹 또는 트랙 패드 기능을 제공하여 일반 트랙 패드에 맞는 공간이 없거나 사용자가 다양한 이유로 표면을 터치할 것을 원치 않는 경우, 또는 화면의 일부에 터치 감도를 제공하는 매우 저렴한 대안으로 사용할 수 있도록 한다. 도 46은 디스플레이 모니터의 모서리, 그리고 터치 검출 부의 확대도 이다. 광학 근접 센서(519)는 "L"자 형상으로 형성되고 스크린(831)의 인접 에지의 짧은 세그먼트를 따라 위치한다. 광학 근접 센서(519)는 스크린 표면에 수직으로, 즉 검출 평면(971, 972)으로 도시된 바와 같이, 스크린을 마주하는 사용자를 향하여 광선 빔을 투사하며, 이에 의해 광학 근접 센서(519)에 의해 경계 지어진 스크린(831)의 2차원 부분 위의 에어 스페이스 내 X 및 Y 방향으로의 이동을 추적한다. 이와 같은 에어 스페이스는 가상의 트랙 패드로서 동작하여, 이 같은 에어 스페이스에서 X 및 Y 방향으로의 이동은 스크린상의 커서의 이동을 제어하거나, 예를 들어 스크롤 및 줌과 같이 디스플레이 이미지를 조작한다. 일부 실시 예에서, 광학 근접 센서(519)는 스크린 표면에 수직이 아닌 각도로 광선 빔을 투사한다.

본 발명의 일부 실시 예에서, 센서(519) 위의 에어 스페이스 내의 손의 움직임은 추적되는 손의 비 균일 표면, 예를 들어 손바닥 또는 손가락에 기초하여 센서에 의해 추적된다. 예를 들어 손바닥을 추적할 때 손바닥 표면의 다른 부분이 투사된 광선을 다르게 반사하므로 센서가 손바닥의 다른 부분의 움직임 방향을 식별하도록 하고 그와 같은 움직임을 단일 방향 제스처로 결합할 수 있다.

도 47은 본 발명의 일 실시 예에 따른, 제스처를 식별하는 방법의 단순화된 흐름도이다. 도 47의 방법은 본 발명의 일 실시 예에 따른 대상물의 방향 이동을 계산한다. 각각의 샘플링 시간 t에서, 근접 센서(519)는 공동 활성화된 발광기-검출기 쌍들 중에서 다수의 로컬 최대값을 식별한다. 도 47은 다수의 로컬 최대값 a, b 내지 n을 도시하며, 각각의 최대값은 시간 t1, t2 내지 tm에서 추적된다. 근접 센서(519)는 시간 간격에 걸친 각각의 로컬 최대치 (a, b 내지 n)의 동시 이동을 결정한다. 시간 간격의 끝에서, 근접 센서(519)는 이러한 동시 추적된 움직임을 단일 전 방향 움직임(global directional movement)으로 결합하고, 그 같은 전 방향 움직임을 사용자 입력 제스처로서 해석한다. 이와 같은 동작을 수행하는 근접 센서(519)를 참조하였지만, 본 발명의 범위 내에 여전히 속하는 다른 프로세스에 의해 다양한 동작이 수행될 수 있다. 또한, 최대 값 이외의 반사 값들이 추적될 수 있는데, 예를 들어 패턴을 형성하는 인접한 반사 값들의 그룹이 개별적인 최대값 대신에 추적될 수 있다. 이들 추적된 패턴들 중 다수는 글로벌 이동을 식별하기 위해 결합 될 수 있다. 선택적으로, 이웃하는 반사 값의 추적된 패턴이 대상물의 식별된 글로벌 움직임으로서 사용된다.

2차원으로 커서 또는 이미지를 조작하기 위해 스크린 위의 2차원 스윕 제스처를 사용함에 추가하여, 사용자는 또한 L 자형 근접 센서(519)의 X-축 부분을 따라 손가락을 슬라이딩함으로써 커서 또는 이미지를 x 축을 따라 이동시킨다. 유사하게, 사용자는 L 자형 근접 센서(519)의 Y-축 부분을 따라 손가락을 슬라이딩함으로써 y축을 따라 커서 또는 이미지를 이동시킨다. 커서 위치에서 스크린상의 항목을 선택하기 위해, 사용자는 근접 센서(519) 상의 임의의 위치에서 근접 센서(519)를 탭하며; 이 같은 탭(tap)은 이전에 터치된 위치에서 수행될 필요가 없다.

도 48은 본 발명의 일 실시 예에 따른 사용자 인터페이스의 단순화된 도면이다. 도 48은 사선으로 도시된 바와 같이 하나의 아이콘 또는 버튼이 선택되는 다수의 아이콘 또는 버튼(975 내지 977)을 디스플레이하는 사용자 인터페이스를 도시한다. 사용자의 입력은 예를 들어 아이콘(975)으로부터 아이콘(976)으로 사선을 이동시킴으로써 어떤 아이콘이 선택되는가를 변경시킨다. 다만, 커서 이미지는 제공되지 않는다. 이 경우, 커서를 이동시키기 위한 상기 설명한 제스처는 하나의 아이콘 또는 버튼으로부터 다른 아이콘 또는 버튼으로 선택을 이동시킨다. 따라서, 도 48에서, 좌우 스윕 제스처는 근접 센서(519)에 의해 검출되고 그에 응답하여 선택이 아이콘(975)으로부터 아이콘(976)으로 이동된다. 앞서 설명한 바와 같이, 센서(519)는 또한 대각선 스윕 제스처와 같은 2차원 제스처를 검출하고 또한 사용자의 손과 같은 대상물이 스크린을 향해 이동하거나 스크린으로부터 멀어지는 방향으로 이동하는가에 따라 접근 제스처를 검출한다. 따라서 3차원의 제스처가 검출된다.

도 49는 본 발명의 실시 예에 따라, 디스플레이 파라미터를 조정하기 위한 디스플레이 에지의 짧은 세그먼트를 따라 위치된 광학 근접 센서의 단순화된 도면이다. 이 실시 예에 사용된 근접 센서는 앞서 설명한 임의의 근접 센서이다. 도 49는 모니터(831)의 하부 에지의 짧은 세그먼트를 따라 위치한 근접 센서 막대(520)를 갖는 모니터(831)를 도시한다. 근접 센서 막대(520)로부터의 광선 빔은 스크린 표면에 평행하게 향하게 되어 검출 영역(973)을 제공하는 반면, 스크린(831)의 나머지는 비접촉 검출 부(974)를 형성한다. 밝기 및 콘트라스트와 같은 모니터 파라미터를 조정하기 위한 콘트롤러(981, 982)는 검출 영역(973) 내의 스크린(831) 상에 제공된다. 예를 들어, 메인 메뉴(981)는 사용자가 밝기, 콘트라스트, 컬러 및 볼륨 중에서 조정할 파라미터를 선택할 수 있게 한다. 도 49에서, 사용자는 밝기를 선택하기 위해 메뉴 옵션(983)을 탭(tap)한다. 이 탭에 응답하여, 메인 메뉴(981)는 검출 영역(973)의 슬라이더 제어부(982)로 대체되어 사용자가 슬라이더 막대를 따라 스크롤 노브(984)를 드래그할 수 있게 한다 - 오른쪽은 밝기를 증가시키고, 왼쪽은 밝기를 감소시킨다.

또 다른 사용자 인터페이스는 도 50 - 도 58에 기술된 바와 같이 차량에 장착된 디스플레이 또는 HUD용 GUI이다. GUI는 GUI 옵션을 통해 탐색하는 두 가지 다른 모드를 제공한다: (i)애플리케이션 카드를 통한 상황별 탐색, 그리고 (ii) 중첩 수준의 메뉴 및 목록을 사용하는 계층적 탐색.

도 50, 도 53, 도 54 및 도 57은 본 발명의 일 실시 예에 따른 차량용 인포테인먼트 시스템 GUI의 흐름도이다. 도 51, 55, 56 및 58에 도시된 바와 같이, 이들 도면은 본 발명의 일 실시 예에 따른 차량 내 인포테인먼트 시스템 GUI의 스크린 샷이다. 도 50에 도시된 바와 같이, 단계(1020)에서, 자주 사용되는 미디어, 전화 및 네비게이션 및 사용자와 관련된 다른 컨텍스추얼(contextual) 이벤트를 나타내는 다수의 애플리케이션 카드가 디스플레이상에 배치된다. 일부 실시 예들에서, 이러한 카드들은 디스플레이를 지나 연장되는 한 줄로 배열되고, 사용자는 단계(1021 내지 1024)에 의해 지시된 바와 같이, 카드를 디스플레이의 안팎으로 이동시키기 위해 카드의 열을 이동시킨다. 사용자는 한 애플리케이션 카드를 탭(tap)하여 그것을 GUI내의 활성 애플리케이션으로서 선택하도록 한다.

도 51은 디스플레이(831)를 가로 질러 수평 행으로 배열된 애플리케이션 카드(986-988)를 도시한다.

도 50에 도시된 바와 같이, 단계(1025-1027)에서 애플리케이션 카드의 행 내의 디스플레이 중간에 삽입된 카드로서, 한 통지가 GUI에 의해 제공되며, 상기 행 내의 다른 카드를 좌측 또는 우측으로 이동시킨다. 도 52는 본 발명의 실시 예에 따라, 도 50, 51 및 도 53-58의 차량 내 인포테인먼트 시스템 GUI에서 사용되는 통지 카드의 예시이다. 도 52는 착신을 위한 통지 카드(985)를 도시한다. 예를 들어 착신 호를 거부하는 것과 같이, 통보를 해제하기 위해, 사용자는 디스플레이상에서 위로 스와프(swipe)한다. 예를 들어 착신 호를 수락하는 것과 같이, 통지를 수락하기 위해, 사용자는 단계(1044) 및 단계(1045)에 따라 디스플레이를 탭(tap)한다.

다시 도 50에 도시된 바와 같이, 단계(1028-1030)에서, 현재 활성 애플리케이션 카드에 대한 컨텍스추얼 옵션의 리스트가 사용자가 디스플레이에 접근하는 것에 응답하여, 예를 들어 디스플레이를 향해 손을 뻗음에 의해, 디스플레이된다. 도 51의 리스트 아이템(900-902)은 현재 활성 애플리케이션(987)에 대한 그와 같은 컨텍스추얼 리스트를 도시한다.

도 54는 컨텍스추얼 리스트가 GUI에서 오픈 되는 때 동작을 도시한다. 사용자는 단계(1052 내지 1055)에 따라 왼쪽 및 오른쪽으로 문지름(스와핑)으로써 컨텍스추얼 적용 카드의 행을 통해 계속 항해할 수 있다. 단계(1051)에서, 그와 같은 내비게이션 중에, 컨텍스추얼 옵션의 목록은 어느 애플리케이션 카드가 디스플레이 중앙에 오는가에 따라 변경된다. 단계(1056) 및 단계(1057)에서, 목록 항목의 탭은 그 같은 항목을 활성화한다.

다시 도 50을 참조하면, 단계(1031 - 1033)에서, GUI는 디스플레이의 하부에서 탭에 응답하여 메뉴 및 리스트의 중첩된 레벨을 사용하여 계층적 탐색을 제공한다. 이 경우 애플리케이션 카드를 통한 컨텍스추얼 탐색 그리고 중첩된 수준의 메뉴 및 목록을 사용하는 계층적 탐색이 동시에 제공된다. 따라서 사용자는 애플리케이션 카드를 통해 애플리케이션 중 하나에 액세스하여 활성화하고, 계층적 메뉴 세트를 통해 동일한 애플리케이션을 활성화한다.

도 55는 디스플레이(831)의 하부에서 탭에 응답하여 개방되는 카테고리 아이템 (904-908)을 포함하는 프라이머리 메뉴 막대(903)를 도시한다. 카테고리 아이템 (904-908)상의 탭은 디스플레이(831) 내의 제2 메뉴 막대를 개방하며, 디스플레이를 상부 및 하부로 분할하는 단계를 포함한다.

도 56은 제1 메뉴 막대(903), 그리고 선택된 제1 카테고리(906)와 관련된 제2 카테고리(997-999)를 포함하는 제2 메뉴 막대(996)를 도시한다. 컨텍스추얼 애플리케이션 카드(986-988)는 제2 메뉴 바(996) 위에서 크기가 감소 되고 이전처럼 여전히 평가되고 선택될 수 있다. 이는 도 57의 단계(1080-1078)에서 표시된다. 제2 메뉴 막대(996) 내의 임의의 제2 카테고리에 대한 탭은 도 56에 도시된 바와 같이, 제2 메뉴 막대(996) 아래에서 관련 옵션 리스트, 특히 (978-980)을 개방하며, 이는 도 57의 단계(1075) 및 단계(1076)에 나타낸 바와 같다. 임의의 목록 항목에 대한 탭은 도 57의 단계(1077) 및 단계(1078)에 기술된 바와 같이 그 같은 항목을 활성화한다.

도 58은 애플리케이션 카드를 통한 컨텍스추얼 네비게이션과 중복 레벨의 메뉴 및리스트를 사용하는 계층형 네비게이션 모두가 동시에 제공될 때 수신 통지를 도시한다. 통지 카드(985)는 상기 제2 메뉴 막대(996) 위의 애플리케이션 카드 내에 삽입된다. 예를 들어, 착신 전화를 거절하기 위해, 통지를 해제하기 위해, 사용자는 제2 메뉴 막대(996) 위에서 위로 스와프한다. 예를 들어, 사용자는 착신 전화를 받는 것과 같이, 통지(985)를 허용하기 위해, 사용자는 통지(985)를 탭(tap)한다.

앞서 설명에서, 본 발명은 특정 실시 예를 참조하여 설명되었다. 그러나 본 발명의보다 넓은 사상 및 범위를 벗어나지 않고 특정 예시적인 실시 예에 대해 다양한 수정 및 변경이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미 라기보다는 예시적인 것으로 간주되어야 한다.

다음 테이블은 도면 부호 설명이다. 유사한 도면 부호가 동일 타입의 부분을 나타내도록 사용되며, 이들이 동일한 엘리먼트일 필요는 없다.

Claims

하우징;
상기 하우징으로부터 광을 투사하기 위해 상기 하우징 내에 장착된 다수의 발광기와,
검출기에 도달하는 광량을 검출하도록 활성화되는 때 동작 가능한, 상기 하우징 내에 장착된 다수의 광 검출기와,
상기 하우징 내에 장착된 다수의 렌즈로서, 각각이 L로 포시된 렌즈가 상기 검출기 중 D1 및 D2 표시된 두 검출기 각각과 관련하여 위치하여서, 렌즈(L)로 입사하는 광선이 입사각θ1으로 입사하는 때 광선이 검출기(D1)에서 최대로 검출되도록 하고, 렌즈(L)로 입사하는 광선이 입사각θ2으로 입사하는 때 광선이 검출기(D2)에서 최대로 검출되도록하는 상기 다수의 렌즈와, 및
상기 발광기 그리고 상기 검출기에 연결된 프로세서로서, 발광기와 검출기 쌍을 동기식으로 활성화하도록 하고, 상기 활성화된 검출기로부터 검출된 광량에 기초하여, 상기 활성화된 발광기에 의해 투사된 광선을 상기 렌즈를 향해 다시 반사하는 상기 하우징 외측에 있는 대상물의 부분적인 윤곽을 계산하도록 구성된, 상기 프로세서를 포함하는, 근접 센서.
제1항에있어서, 상기 프로세서는 부분 윤곽의 크기를 더 계산하는 것을 특징으로하는 근접 센서.
제1항에있어서, 터치 표면에 인접하여 위치하고, 상기 터치 표면에 걸쳐 광선을 투사하고, 상기 활성화된 검출기에 의해 검출된 광선의 양에 기초하여 상기 터치 표면과 상호 작용하는 대상물을 검출하도록 동작하는 것을 특징으로 하는 근접 센서.
제1항에 있어서, 상기 검출기들 사이 배플(baffle)을 더욱 포함하여, 입사각(θ1)과는 다른 각도로 렌즈(L)에 입사하는 광선이 광 검출기(D1)에 도달하는 것을 차단하도록 함을 특징으로 하는 근접 센서.
제1항에있어서, 상기 검출기 사이에 배플을 더욱 포함하여, 입사각(Θ2)와는 다른 각도로 다른 각도로 렌즈(L)에 입사하는 광선이 광 검출기(D2)에 도달하는 것을 차단하도록 함을 특징으로 하는 근접 센서.
제1항에 있어서, 상기 검출기 사이에 배플을 더욱 포함하여, 렌즈(L)에 입사하는 광선이 광 검출기(D1)에 도달하고 다른 검출기에는 도달하지 않도록 한정함을 특징으로 하는 근접 센서.
제1항에 있어서, 검출기(D) 각각이 제1 렌즈(L1)에 대하여 D = Dl이고, 제2 렌즈(L2)에 대하여 D = D2 이도록 위치함을 특징으로 하는 근접 센서.
제1항에 있어서, 발광기(E) 각각에 대하여, 대상물이 E에 대응하는 타겟 위치(p(E))에 위치하는 때, 발광기(E)에 의해 방출된 광선이 렌즈를 향하여 대상물에 의해 반사되고 그리고 두 검출기에 의해 최대로 검출되도록, 상기 발광기, 검출기 및 렌즈가 배열됨을 특징으로 하는 근접 센서.
다수의 발광기(E) 및 검출기(D)의 배치를 제공하는 단계 - 발광기 각각이 상이한 검출기 사이에 위치함 - 와,
발광기-검출기 쌍(E, D)을 동기식으로 공동 활성화하는 단계 - 각각의 발광기-검출기 쌍 (E, D)에 대하여, 대상물이 쌍 (E, D)에 대응하는 타겟 위치 p(E, D)에 위치하면, 발광기(E)에 의해 방출된 광선은 대상물에 의해 산란되고 검출기(D)에 의해 최대로 검출되도록 발광기와 검출기가 배치됨 - 와,
발광기-검출기 쌍(E, D)이 상기 동기식 공동-활성화에 의해 활성화되는 때, 검출기(D)에 의해 검출된 반사 광선 량에 기초하여 상기 발광기-검출기 쌍(E, D) 각각에 대한 반사 값 R(E, D)을 결정하는 단계와,
상기 유도된 반사 값 R(E, D) 및 타겟 위치 p(E, D)에 대응하는, 픽셀 위치 p에서 반사 값 Rp에 대한 2차원 픽셀 이미지를 발생시키는 단계와,
상기 픽셀 이미지에 기초하여, 대상물의 부분적인 원주를 추정하는 단계를 포함하는, 근접 대상물을 감지하기 위한 방법.
제9항에 있어서, 하나 이상의 타겟 위치 p 각각이 다수의 반사 값 R(E, D)을 갖는 다수의 발광기-검출기 쌍(E, D)에 대응하고, 상기 발생시키는 단계는 그와 같은 반사 값의 최대치를 Rp에 할당하는 단계를 포함하는 것을 특징으로 하는 근접 대상물을 감지하기 위한 방법.
제9항에 있어서, 하나 이상의 타겟 위치 p 각각은 각각의 다수의 반사 값 R(E, D)을 갖는 다수의 발광기 - 검출기 쌍(E, D)에 대응하고, 상기 발생시키는 단계는 그와 같은 반사 값의 평균을 Rp에 할당하는 단계를 포함하는 것을 특징으로 하는 근접 대상물을 감지하기 위한 방법.
제9항에 있어서, 상기 대상물의 부분적인 원주를 추정하는 단계는,
발광기와 검출기의 배치 방향에 대해 가장 바깥에 있고, 그들의 반사 값
가 지정된 임계 값 이상인 2개의 픽셀 위치
및
를 식별하는 단계와,
대응하는 픽셀 위치
에서의 최대 반사 값
을 더욱 식별하는 단계와, 및

에서
까지의 거리, 그리고
에서
까지의 거리를 합산하는 단계를 포함하는 것을 특징으로 하는 근접 대상물을 감지하기 위한 방법.
제12항에 있어서, 상기 대상물의 부분적인 원주를 추정하는 단계가, 상기 합산하는 단계에 앞서,

,
및
의 이웃에있는 각각의 타겟 위치에 대응하는 추가의 반사 값을 식별하는 단계와, 및
상기 타겟 위치에서의 반사 값에 기초하여 각각의 타겟 위치의 가중치를 갖는
,
및
의 이웃에 있는 타겟 위치의 각각의 가중 평균,
,
및
을 계산하는 단계를 포함하되, 상기 합산하는 단계는
에서
까지의 거리와
에서 p_avg*까지의 거리를 합산하는 것을 특징으로 하는 근접 대상물을 감지하기 위한 근접 대상물을 감지하기 위한 방법.
제9항에 있어서, 상기 2차원 픽셀 이미지를 발생시키는 단계 이후이고, 상기 부분적인 원주를 추정하는 단계 이전에, 각각의 발광기(E)에 대해,
상기 발광기(E)가 광선을 방출하는 방향으로 픽셀 위치의 라인(λ)을 따라 반사 값(
)을 분석하는 단계와,
라인(λ)을 따라, 대응하는 픽셀 위치(
)에서의 최대 반사 값, R_max를 식별하는 단계와, 및
라인(λ)을 따라
보다 발광기(E)로부터 더 멀리 떨어진 픽셀 위치 p에서
으로 설정하는 단계를 더욱 포함하는 것을 특징으로 하는 근접 대상물을 감지하기 위한 방법.
제9항에 있어서, 이차원 픽셀 이미지를 발생시키는 단계 이후이고 부분적인 원주를 추정하는 단계 이전에, 검출기(D) 각각에 대해,
검출기(D)가 반사된 광선을 최대로 검출하는 방향으로 픽셀의 라인(λ)을 따라 상기 반사 값
를 분석하는 단계와,
라인(λ)을 따라 위치
에서 최대 반사 값, R_max를 식별하는 단계와, 및
라인(λ)을 따라
보다 검출기(D)로부터 더 멀리 떨어진 픽셀 위치 p에서
으로 설정하는 단계를 더욱 포함함을 특징으로 하는 근접 대상물을 감지하기 위한 방법.
인쇄 회로 기판상에 장착된 인터레이스 된 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대에 있어서, 상기 막대는 컴퓨터의 하우징에 반복적으로 부착 및 분리되도록 구성되고, 상기 막대가 컴퓨터의 하우징에 부착되고, 컴퓨터의 프로세서와 통신가능하게 연결될 때, 컴퓨터가 상기 막대의 외부의 에어 스페이스 내의 대상물에 의해 수행된 다수의 제스처를 인식할 수 있도록 하는 검출 신호를 상기 프로세서에게 제공하고, 상기 검출 신호는 상기 대상물에 의해 막대로 되반사되고 상기 광 다이오드 검출기에 의해 검출되는 상기 발광기에 의해 상기 에어 스페이스 내로 방출되는 광선에 의해 생성되는 것을 특징으로 하는, 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대.
인쇄 회로 기판상에 장착된 인터레이스 된 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대에 있어서, 상기 막대는 컴퓨터의 표면에 반복적으로 부착 및 분리되도록 구성되고, 상기 막대가 표면에 부착되고, 컴퓨터의 프로세서와 통신 가능하게 연결될 때, 컴퓨터가 상기 표면 위의 에어 스페이스에서 대상물에 의해 수행된 다수의 제스처를 인식할 수 있도록 하는 검출 신호를 프로세서에 제공하고, 상기 검출 신호는 상기 대상물에 의해 막대로 되반사되고 상기 광 다이오드 검출기에 의해 검출되는 상기 발광기에 의해 상기 표면 위에 방출되는 광선에 의해 생성되는 것을 특징으로 하는, 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대.
제17항에 있어서, 상기 막대는 상기 컴퓨터가 하나 이상의 대상물에 의해 접촉되는 상기 표면상의 위치를 식별할 수 있도록 하는 검출 신호를 상기 프로세서에 제공하고, 상기 하나 이상의 대상물에 의해 상기 막대로 되반사되고 상기 광 다이오드 검출기에 의해 검출되는 상기 발광기에 의해 상기 표면 위에 방출된 광선에 의해, 검출신호가 생성됨을 특징으로 하는, 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대.
제18항에 있어서, 상기 표면은 컴퓨터의 비-터치 인에이블(enable) 디스플레이 스크린이며, 상기 스크린에 의해, 상기 막대는 컴퓨터를 디스플레이 스크린상에서 터치 인식으로 활성화시킬 수 있도록 하는 것을 특징으로 하는, 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대.
제17항에 있어서, 상기 발광기가 수직-공동 표면-발광 레이저를 포함함을 특징으로 하는 발광기 및 광 다이오드 검출기의 선형 어레이를 포함하는 막대.