KR101709889B1 - 광학 근접 센서 - Google Patents

광학 근접 센서 Download PDF

Info

Publication number
KR101709889B1
KR101709889B1 KR1020157036714A KR20157036714A KR101709889B1 KR 101709889 B1 KR101709889 B1 KR 101709889B1 KR 1020157036714 A KR1020157036714 A KR 1020157036714A KR 20157036714 A KR20157036714 A KR 20157036714A KR 101709889 B1 KR101709889 B1 KR 101709889B1
Authority
KR
South Korea
Prior art keywords
emitter
detector
light
detection
proximity sensor
Prior art date
Application number
KR1020157036714A
Other languages
English (en)
Other versions
KR20160009073A (ko
Inventor
스테판 홈그렌
사이람 이어
리차드 버글린드
칼 에릭 패트릭 노드스톰
라스 스파르프
퍼 로젠그렌
에릭 로젠그렌
존 칼슨
토마스 에릭슨
알렉산더 주브너
레모 베다시트
시몬 펠린
로빈 크젤 아만
조세프 쉐인
Original Assignee
네오노드, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/140,635 external-priority patent/US9001087B2/en
Application filed by 네오노드, 인크. filed Critical 네오노드, 인크.
Publication of KR20160009073A publication Critical patent/KR20160009073A/ko
Application granted granted Critical
Publication of KR101709889B1 publication Critical patent/KR101709889B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

근접 센서는, 하우징, 검출 평면을 따라 하우징의 외부로 광을 투사하기 위한 복수의 광 펄스 이미터, 이미터에 의해, 검출 평면 내의 반사 물체에 의해, 투사된 광의 반사를 검출하기 위한 복수의 일차 광 검출기, 이미터와 일차 검출기에 대해 배향된 복수의 일차 렌즈 - 각각의 이미터-검출기 쌍에 대해서, 물체가 검출 평면 내의 일차 세트의 포지션 중에 이미터-검출기 쌍과 관련된 이차원 포지션에 위치될 때, 이미터-검출기 쌍의 이미터에 의해 발산된 광은 일차 렌즈들 중 하나를 통과하고, 물체에 의해 반사되어, 일차 렌즈들 중 하나를 통과하여 이미터-검출기 쌍의 검출기로 되돌아옴 - 와 검출 평면 내의 물체의 위치를 계산하도록 구성되고, 함께 활성화되는 이미터-검출기 쌍을 위한 프로세서를 포함한다.

Description

광학 근접 센서{OPTICAL PROXIMITY SENSORS}
관련된 출원에 대한 상호 참조
본 출원은,
발명자 Per Rosengren, Lars Sparf, Erik Rosengren 및 Thomas Eriksson에 의해 2013년 3월 30일에 OPTICAL TOUCH SCREEN SYSTEMS USING REFLECTED LIGHT라는 명칭으로 출원된 미국 가특허 출원 번호 제61/828,713호;
발명자 Per Rosengren, Lars Sparf, Erik Rosengren, Thomas Eriksson, Joseph Shain, Stefan Holmgren, John Karlsson 및 Remo Behdasht에 의해 2013년 6월 23일에 OPTICAL GAME ACCESSORIES USING REFLECTED LIGHT라는 명칭으로 출원된 미국 가특허 출원 번호 제61/838,296호;
발명자 Richard Berglind, Thomas Eriksson, Simon Fellin, Per Rosengren, Lars Sparf, Erik Rosengren, Joseph Shain, Stefan Holmgren, John Karlsson 및 Remo Behdasht에 의해 2013년 7월 15일에 PROXIMITY SENSOR FOR LAPTOP COMPUTER AND ASSOCIATED USER INTERFACE라는 명칭으로 출원된 미국 가특허 출원 번호 제61/846,089호;
발명자 Thomas Eriksson, Stefan Holmgren, John Karlsson, Remo Behdasht, Erik Rosengren, Lars Sparf 및 Alexander Jubner에 의해 2014년 1월 22일에 CLOUD GAMING USER INTERFACE라는 명칭으로 출원된 미국 가특허 출원 번호 제61/929,992호;
발명자 Sairam Iyer, Karl Erik Patrik Nordstrom, Per Rosengren, Stefan Holmgren, Erik Rosengren, Robert Pettersson, Lars Sparf 및 Thomas Eriksson에 의해 2014년 3월 30일에 OPTICAL TOUCH SCREEN SYSTEMS라는 명칭으로 출원된 미국 가특허 출원 번호 제61/972,435호;
발명자 Sairam Iyer, Karl Erik Patrik Nordstrom, Lars Sparf, Per Rosengren, Erik Rosengren, Thomas Eriksson, Alexander Jubner 및 Joseph Shain에 의해 2014년 4월 30일에 OPTICAL TOUCH SCREEN SYSTEMS라는 명칭으로 출원된 미국 가특허 출원 번호 제61/986,341호; 및
발명자 Thomas Eriksson 및 Stefan Holmgren에 의해 2013년 12월 26일에 LIGHT-BASED PROXIMITY DETECTION SYSTEM AND USER INTERFACE라는 명칭으로 출원된 미국 특허 출원 번호 제14/140,635호에 대해 우선권을 주장한다.
이들 출원의 내용은 그 전체로서 본 원에 참조로서 포함된다.
기술 분야
본 발명의 기술 분야는 광-기반의 터치 스크린이다.
이제는, 많은 가전 장치에 손가락이나 스타일러스 터치 사용자 입력으로 사용을 위한 터치 센시티브 스크린이 구축되다. 이들 장치는 모바일 폰과 자동차 엔터테인먼트 시스템과 같은 작은 스크린 장치에서, 노트북 컴퓨터와 같은 중간 크기의 스크린으로, 공항에서 체크인 스테이션과 같은 큰 스크린에 걸쳐 있다.
본 발명은 광-기반의 터치 스크린에 관한 것이다. 종래의 광-기반의 터치 스크린은 광 이미터와 광 검출기가 있는 스크린 보더를 둘러싸서, 스크린 표면 위에 광 격자(grid)를 생성한다. 위에서부터 스크린을 터치하는 물체는 광선의 해당 부분을 막는다.
종래 기술의 도면인 도 1을 참조하면, 이는 16개의 LED와 16개의 PD를 가진 광-기반의 터치 스크린이다. 도 1의 스크린(100)은 두 변을 따라 이미터(130)에 의해 둘러싸이고, 포토다이오드(PD) 리시버(240)는 나머지 두 변을 따라 둘러싸이며, 이는 스크린을 커버하는 광선의 래티스(lattice)를 가능하게 한다.
종래의 광-기반의 터치 스크린의 한 가지 단점은 스크린의 네 변 모두를 따라 많은 광 이미터와 광 검출기를 수용할 필요가 있다는 것이다. 이러한 요구사항은 장치의 내부 부품의 레이아웃의 현저한 변화 없이는, 광-기반의 터치 검출을 기존 전자 장치에 삽입하기 어렵게 한다. 필요한 부품의 수를 줄이고, 전체 스크린을 주변부보다 제한된 영역에 이들을 위치시킬 수 있는게 바람직하다. 필요한 광 이미터와 광 검출기의 전체 수를 줄이는 것은 부품자재(BOM)를 줄이는 추가 이익을 가진다.
본 발명의 실시예는 교호하는 광 이미터와 검출기의 일차원 어레이를 사용하여 이차원(2D) 터치 검출을 제공한다. 본 발명의 다른 실시예는 스크린의 오직 하나의 변을 따라 광 이미터의 일차원 어레이 및 스크린의 반대편 변을 따라 광 검출기의 반대편 어레이를 사용하여 2D 터치 검출을 제공한다. 또한, 본 발명은 2D 검출기와 동일한 원리에 기초하여 삼차원(3D) 터치 검출기 또는 호버 검출기를 제공한다.
교호하는 광 이미터와 검출기의 행이 본 발명의 실시예에 따라 제공된다. 광 이미터는 행과 수직이며 차례차례 서로에 대해 평행한 시준 광선들을 투사한다. 광 검출기는 광선 경로에 삽입된 물체에 의해 반사되었던 이미터로부터의 광을 검출한다. 각각의 검출기는 이미터 광선의 평면 내의 광을, 그러나, 이들 광선에 대해 고정된 각도에서 검출한다. 고정된 각도로서 함께, 이미터의 광선으로부터 반사된 광을 검출하는 검출기와 이미터 사이의 거리는 삼각 측량에 의해 반사하는 물체의 위치를 결정하는데 사용된다.
스크린의 하단 모서리를 따라 광 이미터의 행 및 스크린의 상단 모서리를 따라 광 검출기의 행이 본 발명에 따라 추가적으로 제공된다. 각각의 광 이미터는 모든 광 검출기에 의해 검출되는 매우 넓은 광선을 투사한다. 스크린을 터치하는 물체의 x-좌표는 스크린의 측변에 평행하게 이어진 막힌 광선에 해당한다. y-좌표는 대각선의 막힌 광선들 사이의 교차점을 식별함에 의해 결정된다.
본 발명의 실시예에 따라서, 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서가 제공되는데, 이는 하우징과, 검출 평면을 따라 상기 하우징의 외부로 광을 투사하기 위해 상기 하우징 내에 장착된 복수의 광 펄스 이미터와, 검출 평면 내의 반사 물체에 의한, 상기 이미터에 의해 투사된 광의 반사를 검출하기 위해 상기 하우징 내에 장착된 복수의 일차 광 검출기와, 이미터와 일차 검출기에 대해 하우징 내에 장착되고 배향된 복수의 일차 렌즈 - 각각의 이미터-검출기 쌍에 대해서, 물체가 검출 평면 내의 일차 세트의 포지션 중에 이미터-검출기 쌍과 관련된 이차원 포지션에 위치될 때, 이미터-검출기 쌍의 이미터에 의해 발산된 광은 일차 렌즈들 중 하나를 통과하고, 물체에 의해 반사되어, 일차 렌즈들 중 하나를 통과하여 이미터-검출기 쌍의 검출기로 되돌아옴 - 와, 이미터-검출기 쌍을 동기식으로 함께-활성화시키기 위한 상기 이미터와 상기 일차 검출기에 연결된 프로세서를 포함하되, 상기 상기 프로세서는, 함께-활성화된 이미터-검출기 쌍들 중에 검출기가 최대 광량을 검출하는 이미터-검출기 쌍을 결정하고 그 사이에 관련된 포지션을 식별하는 단계와, 함께-활성화된 이미터-검출기 쌍들과 관련되고 결과-식별된(thus-identified) 포지션과 이웃하는 추가 포지션을 결정하는 단계와, 결과-식별된 포지션과 결과-결정된 추가 포지션의 가중화된 평균을 계산하는 단계 - 평균에서 각각의 포지션의 가중치는 포지션과 관련된 이미터-검출기 쌍에 대해 반사된 광선의 검출 정도에 해당함 - 에 의해 검출 평면 내의 물체의 이차원 위치를 계산하도록 구성된다.
본 발명의 실시예에 따라서, 슬라이드 제어부를 따라 손가락의 방향성 움직임을 결정하기 위한 근접 센서가 제공되는데, 이는 하우징과, 상기 하우징 내에 장착되고, 슬라이더 제어부에 대해 노출된 상단 표면을 가진 복수 층의 광 투과성 커버 - 커버의 층들 사이의 경계는 불투명 또는 반사성 부분에 의해 분리된 광-투과성 부분의 패턴을 포함하고, 광-투과성 부분이나 불투명 또는 반사성 부분의 크기는 패턴에 걸쳐 증가함 - 와, 상기 커버의 상단 층으로 광을 투사하기 위해 하우징 내에 장착된 광 펄스 이미터 - 투사된 광은 내부 전반사(TIR)에 의해 상단 층에 가두어지고, 노출된 상단 표면을 터치하는 손가락은 TIR 광을 방해하여, 광의 일부가 패턴 내의 광-투과성 부분을 통해, 상단 층 아래에 있고 패턴에 의해 분리된 제2 층으로 들어가고, 제2 층으로 들어가는 광의 일부는 노출된 상단 표면을 터치하는 손가락 아래의 광-투과성 부분의 크기에 해당함 - 와, 제2 층 내의 광의 강도를 검출하기 위해 상기 하우징 내에 장착된 광 검출기와, 패턴에 걸쳐 물체의 방향성 움직임을 결정하기 위한 상기 광 검출기에 연결된 프로세서 - 움직임의 방향은 상기 광 검출기가 시간에 따라 검출된 광 강도의 증가 시리즈 또는 감소 시리즈를 검출하는지에 대응됨 - 를 포함한다.
본 발명의 실시예에 따라서, 슬라이더 제어부를 따라 물체의 방향성 움직임을 결정하기 위한 근접 센서가 제공되는데, 이는 하우징과, 상기 하우징 내에 장착되고, 슬라이더 제어부에 대해 노출된 상단 표면을 가진 광 투과성 커버 - 상기 광 투과성 커버는 불투명 또는 반사성 부분에 의해 분리된 광-투과성 부분의 패턴을 포함하고, 광-투과성 부분이나 불투명 또는 반사성 부분의 크기는 패턴에 걸쳐 증가함 - 와, 상기 커버 위에 광을 투사하기 위해 상기 하우징 내에 장착된 광 펄스 이미터와, 반사 물체에 의해 상기 커버 내로 반사된 투사된 광의 강도를 검출하기 위해 상기 하우징 내에 장착된 광 검출기 - 물체에 의해 반사되어 상기 커버 내로의 광량은 물체 아래의 광-투과성 부분의 크기에 의존함 - 와, 패턴에 걸쳐 물체의 방향성 움직임을 결정하기 위한 상기 광 검출기에 연결된 프로세서 - 움직임의 방향은 상기 광 검출기가 시간에 따라 검출된 광 강도의 증가 시리즈 또는 감소 시리즈를 검출하는지에 대응됨 - 를 포함한다.
본 발명의 실시예에 따라서, 휴대용 전자 게임 장치가 제공되는데, 이는 하우징과, 인터넷 게임 서버와 통신하기 위해 상기 하우징 내에 장착된 통신부와, 게임 서버로부터 상기 통신부에 의해 수신된 게임 사용자 인터페이스(UI)의 일부를 렌더링하기 위해 상기 하우징 내에 장착된 디스플레이와, 상기 하우징 내에 장착되고, 인접하게 위치된 제2 게임 장치를 검출하기 위한 상기 통신부에 연결된 센서를 포함하되, 상기 통신부는 상기 센서에 의해 제공된 제2 게임 장치의 인접함에 관한 검출 정보를 게임 서버로 통신한다.
본 발명의 실시예에 따라서, 인터넷 게임 시스템이 제공되는데, 이는 인터넷 게임 서버와, 복수의 게임 장치들 - 상기 복수의 게임 장치들은 상기 인터넷 게임 서버와 통신하는 휴대용 전자 게임 장치이며, 상기 게임 장치는, 하우징과, 상기 인터넷 게임 서버와 통신하기 위한 통신부와, 상기 인터넷 게임 서버로부터 상기 통신부에 의해 수신된 게임 사용자 인터페이스(UI)의 각자의 부분을 렌더링하기 위해 상기 하우징 내에 장착된 디스플레이와, 상기 하우징 내에 장착되고, 이웃하는 게임 장치의 존재를 검출하기 위해 상기 통신부에 연결된 센서를 포하하되, 상기 인터넷 게임 서버는 상기 게임 장치의 수에 기초하여 게임 UI의 각자의 부분의 크기를 결정한다.
본 발명은 도면과 함께, 이하의 자세한 설명으로부터 더욱 완전히 이해되고 알 수 있을 것이다.
도 1은 종래 기술인 16개의 LED와 16개의 PD를 가진 광-기반의 터치 스크린의 도면이다.
도 2는 본 발명의 실시예에 따른, 2차원 검출 영역에서 물체의 2차원 좌표를 검출하기 위한 근접 센서의 간략도이다.
도 3은 본 발명의 실시예에 따른, 도 2의 근접 센서를 사용하는 터치 스크린 시스템의 간략도이다.
도 4 및 5는 본 발명의 실시예에 따른, 광학 근접 센서의 분해도이다.
도 6은 본 발명의 실시예에 따른, 광학 근접 센서의 위에서 본 도면이다.
도 7-12는 본 발명의 실시예에 따른, 광학 근접 센서에서 사용되는 발산되고 반사된 광선의 간략도이다.
도 13 및 14는 본 발명의 실시예에 따른, 터치 검출 맵의 도면이다.
도 15는 본 발명의 실시예에 따른, 대안적인 이미터 및 검출기가 있는 렌즈 어레이의 간략도이다.
도 16-18은 본 발명의 실시예에 따른, 광학 근접 센서를 사용하여 터치 위치를 계싼하는데 사용되는 알고리즘을 설명하기 위해 사용되는 간략화된 터치 검출 맵이다.
도 19는 본 발명의 실시예에 따른, 검출 신호의 보간법을 나타낸다.
도 20은 본 발명의 실시예에 따른, Hough 변환을 나타낸다.
도 21은 본 발명의 실시예에 따른, 검출 맵이다.
도 22 및 23(a)-(f)는 본 발명의 실시예에 따른, 다양한 터치 스크린 시스템 실시예에 대한 간략화된 터치 검출 맵이다.
도 24 및 25는 본 발명의 실시예에 따른, 듀얼-레졸루션 센서의 간략도이다.
도 26(a) 및 (b)는 본 발명의 실시예에 따른, 듀얼-레졸루션 센서에서 사용되는 두 개의 검출 맵의 간략도이다.
도 27은 본 발명의 실시예에 따른, 듀얼-레졸루션 센서를 위한 PCB 상의 LED와 PD의 위에서 본 간략도이다.
도 28은 본 발명의 실시예에 따른, 듀얼-레졸루션 센서의 간략화된 단면도이다.
도 29는 본 발명의 실시예에 따른, 듀얼-디스플레이 랩탑의 간략도이다.
도 30은 본 발명의 실시예에 따른, 듀얼-디스플레이 랩탑의 일부의 간략도이다.
도 31은 본 발명의 실시예에 따른, PC의 간략도이다.
도 32는 본 발명의 실시예에 따른, 도 31의 PC의 키보드의 간략도이다.
도 33은 본 발명의 실시예에 따른, PC 트랙패드의 간략도이다.
도 34는 본 발명의 실시예에 따른, 투명한 PC 키보드의 간략도이다.
도 35는 본 발명의 실시예에 따른, 도 24의 투명한 키보드의 간략화된 사시도이다.
도 36은 본 발명의 실시예에 따른, 키보드와 GUI 기능을 제공하는 이차적인 디스플레이의 간략화된 도면이다.
도 37은 본 발명의 실시예에 따른, 랩탑 키보드의 간략도이다.
도 38은 본 발명의 실시예에 따른, 도 37의 랩탑 키보드의 간략화된 단면도이다.
도 39는 본 발명의 실시예에 따른, 디스플레이의 측면 모서리에 접근하는 웨이브 제스처를 검출하기 위한 근접 센서가 있는 PC의 간략도이다.
도 40은 본 발명의 실시예에 따른, 터치 패널의 가상 키패드 부분 위에 위치된, 예시적인 4개의 버튼 키패드 새시의 세 개의 간략도이다.
도 41은 본 발명의 실시예에 따른, 터치 패널의 가상 키패드 부분 위에 위치된, 예시적인 4개의 버튼 키패드 새시의 간략화된 단면도이다.
도 42(a)-(c)는 본 발명의 실시예에 따른, 해제되고 압축되는 스프링-탄력 키의 간략도이다.
도 43(a)-(c)는 본 발명의 실시예에 따른, 고무와 같은 탄성 있고, 탄력 있는 물질로 구성된 버튼의 간략화된 단면도이다.
도 44(a)-(c)는 본 발명의 실시예에 따른, 대안적인 버튼 구성의 간략도이다.
도 45는 본 발명의 실시예에 따른, 키보드 디스플레이와 광섬유 면판 키 사이의 마이크로 렌즈 어레이의 배열의 간략도이다.
도 46은 본 발명의 실시예에 따른, 키 또는 버튼의 간략도이다.
도 47은 본 발명의 실시예에 따른, 슬라이더 제어부의 간략도이다.
도 48은 본 발명의 실시예에 따른, 도 47의 슬라이더 제어부를 사용하는 제스처의 다양한 검출 패턴의 간략도이다.
도 49는 본 발명의 실시예에 따른, 대안적인 슬라이더 제어부의 간략도이다.
도 50-53은 본 발명의 실시예에 따른, 게임 악세서리의 간략도이다.
도 54는 본 발명의 실시예에 따른, 복수의 광학 근접 센서를 사용하는 3-차원 센서의 간략도이다.
도 55는 본 발명의 실시예에 따른, 인터넷 게임 서버와 통신하기 위한 통신부를 가진 휴대용 전자 게임 장치의 간략도이다.
도 56은 본 발명의 실시예에 따른, 핸드세트에 렌더링된 인터넷 게임의 간략도이다.
도 57은 본 발명의 실시예에 따른, 인터넷 게임을 렌더링하기 위해 함께 사용되는 두 개의 핸드세트의 간략도이다.
도 58은 본 발명의 실시예에 따른, 인터넷 게임을 위한 두 개의 패널 디스플레이의 간략도로서, 디스플레이는 두 개의 핸드세트로 이루어진다.
도 59는 본 발명의 실시예에 따른, 인터넷 게임을 위한 네 개의 패널 디스플레이의 간략도로서, 디스플레이는 네 개의 핸드세트로 이루어진다.
도 60은 도 59의 네 개의 게임 장치의 구성의 간략도인데, 본 발명의 실시예에 따른, 센서에 의해 검출되고 게임 서버로 통신되어서, 게임 GUI가 각각의 디스플레이의 상대적 위치와 배향에 따라 네 개의 디스플레이 중에서 분산된다.
본 발명의 태양은 광-기반의 터치 스크린 및 광-기반의 터치 표면에 관한 것이다. 본 명세서 전반에 걸쳐, 용어 "터치 스크린"은 전자 디스플레이, 그 중에서, 많은 랩탑 컴퓨터와 휴대용 장치의 백 커버에 포함되는 마우스 터치패드를 포함하지 않는 터치 표면을 포함한다. 또한, 터치 스크린은 본 발명에 의해 제공되는 센서에 인접한 오픈된 영공(airspace)를 포함한다.
본 발명의 실시예에 따르면, 광-기반의 터치 센서는 복수의 적외선 또는 근적외선 발광 다이오드(LED) 및 검출 평면의 한 변을 따라 배열된 복수의 포토다이오드(PD)를 포함한다. 일부 실시예에서, 검출 평면은 상기에서 정의된 바와 같이, 터치 스크린의 표면 또는 인터페이스 영역이다. LED는 검출 평면을 따라 시준 광을 투사하고, 이러한 광이 손가락이나 스타일러스와 같이 삽입된 물체에 의해 반사되면, 반사된 광은 PD에 의해 검출된다. 활성화된 LED와 반사된 광을 검출하는 PD의 위치들의 기하형상(geometry)은 삼각 측량에 의해 검출 영역 내의 포인터의 이차원 좌표를 결정하기에 충분하다. LED와 PD는 프로세서에 의해 선택적으로 활성화된다. 일반적으로, 각각의 LED 및 PD는 I/O 커넥터를 가지고, 어느 LED와 어느 PD가 활성화되는지를 특정하기 위해 신호가 전송된다.
본 발명의 실시예에 따른, 이차원 검출 영역 내의 물체의 이차원 좌표를 검출하기 위한 근접 센서의 간략도인 도 2를 참조한다. 도 2는 하단 모서리를 따라 교호하는 이미터와 검출기의 행, 상단 모서리를 따르는 렌즈(312)의 어레이 및 왼쪽 모서리에 있는 프로세서(702)를 나타내는 근접 센서(512)를 도시한다. 간단하게 도시하기 위해 모든 이미터와 검출기를 넘버링하지 않는다. 따라서, 이미터(101-103) 및 검출기(202-208)만이 도 2에서 넘버링된다. 이미터와 검출기의 교호 배열은 이미터(101-103) 및 검출기(206-208)에 의해 도시된다.
각각의 이미터는 어레이(312) 내의 각각의 시준 렌즈의 광학 축 상에 있다. 도 2에서, 각각의 광선(403-405)을 투사하는 이미터(101-103)가 도시된다.
또한, 도 2는 각각의 검출기에 대해 반사된 광선을 도시한다. 이들 5개의 광선은 406-409 및 413으로 넘버링된다. 어레이(312) 내의 각각의 렌즈는 렌즈의 이미터와 이웃하는 두 개의 검출기로 반사된 광을 전송한다. 예를 들어, 이미터(102) 반대편의 렌즈는 반사된 광선(413)을 검출기(207)로 안내하고, 반사된 광선(409)를 검출기(208)로 안내한다. 이하에 설명될 것이지만, 검출기는 렌즈의 물체 평면을 따라서 위치되어서, 특정 각도로 렌즈에 들어가는 광선으로부터 최대 강도를 수신한다. 이에 의해, 각각의 이미터-검출기 쌍에 해당하는 이차원 영역에서의 위치를 결정할 수 있다. 도 2에서, 이들 위치는 이미터 광선과 반사된 광선간의 교차점이다. 도 2에서 이러한 5개의 위치는 902-906으로 넘버링된다.
본 발명의 실시예예 따르면, 각각의 이미터는 프로세성(702)에 의해 각각의 검툴기와 동기식으로 함께-활성화된다. 함께-활성화동안에 반사된 광이 검출되면, 그것은 도 2에 도시된 바와 같이, 활성화된 이미터 광선과 함께-활성화된 검출기에 대해 대응되는 반사된 광선 사이의 대응되는 교차점 위치 근처에 물체가 위치된다는 것을 나타낸다. 프로세서(702)는 함께-활성화된 이미터-검출기 쌍 중에서 이미터-검출기 쌍을 결정함에 의해 물체의 좌표를 계산하는데, 검출기는 최대 광량을 검출하고, 그 사이에 관련된 포지션을 식별한다. 예를 들어, 최대 검출은 이미터-검출기 쌍(102-202), 다시 말해, 이미터 광선(404)이 광선(408)을 따라 반사될 때, 이미터 검출기 쌍(102-202)에 대해 식별된다. 이러한 검출에 해당하는 포지션은 검출 평면에서 포지선 902이다. 프로세서(702)는 함께-활성화된 이미터-검출기 쌍과 관련되고, 최대 검출의 식별된 포지션과 이웃하는 추가적인 포지션을 결정하는데, 가령, 이미터-검출기 쌍(102 - 203)의 대응되는 포지션은 903이고, 이미터-검출기 쌍(101 - 202)의 대응되는 포지션은 905이다. 추가적인 검출 및 이들의 대응되는 포지션은 가령, 포지션 904 및 906에 대응되는 검출에 사용될 수 있다. 프로세서(702)는 최대 검출의 식별된 포지션의 가중화된 평균 및 그에 의해-결정된 추가적인 포지션을 계산하는데, 여기서, 평균에서의 각각의 포지션의 가중치는 포지션과 관련된 이미터-검출기 쌍에 대해 반사된 광선의 검출 정도에 대응된다.
프로세서(702)는 하나보다 많은 검출기와 하나의 이미터가 동시에 동시식으로 함께-활성화하도록 작동된다. 일부 실시예에서, 플로세서(702)는 이하에 기술된 바와 같이, Hough를 사용하여 물체 위치를 계산한다.
LED와 같은 이미터 및 포토 다이오드(PD)와 같은 검출기는 전형적으로 개별 기판상에 장착되고, 개별 렌즈 커버 내에 감싸진다. 근접 센서(512)의 가격을 줄이기 위해, 일부 실시예에서, 이미터와 검출기는 개별 렌즈나 개별 기판을 사용하지 않고, PCB 또는 근접 센서(512) 내의 기판상에 커버 없는 다이오드로 장착된다. 렌즈 어레이(312)는 이들 다이오드에 대한 렌즈로서만 역할을 한다. 이러한 경우에, 근접 센서(512)는 크고 멀티-다이오드 부품으로 볼 수 있다. 이러한 부품은 사전-제작될 수 있고, ODM이나 말단 사용자에 의해 장치 내로 삽입되어서 터치 검출을 제공할 수 있다.
예를 들어, 이러한 부품은 자동차 유리 위나 아래에 위치될 수 있어서, 사용자가 자동차 유리를 두드리고 제스처 입력을 수행할 수 있도록 한다. 프로세서(702)는 가령, 자동차 스테레오 또는 사용자의 전화기와 무선을 통신하기 위한 BLUETOOTH®와 같은 통신부 프로세서를 포함한다. 마찬가지로, 이러한 부품은 집안의 창문 또는 집안의 벽의 위나 아래에 위치될 수 있어서, 사용자가 창문이나 벽을 두드리고 제스처 입력을 수행할 수 있도록 한다. 숫자와 아이콘이 있는 투명한 시트는 유리창 또는 벽에 위치되거나 그 안에 위치될 수 있어서, 어느 입력 동작이 각각의 위치에서 사용자의 터치가 활성화시키는 것인지를 나타낼 수 있다.
상세한 설명에서, 근접 센서(512)는 터치 센서 바(501)과 터치 센서 바(510)으로 언급된다.
본 발명의 실시예에 따른 근접 센서(512)를 사용하는 터치 스크린 시스템의 간략도인 도 3을 참조한다. 도 3은 원격 물체(901)에 의해 반사된 광을 검출하는 터치 센서 바(501)를 도시한다. 터치 센서 바(501)는 5개의 PD(201-205)를 포함한다. LED는 한 쌍의 PD 사이에 삽입된다. 따라서, 터치 센서 바(501) 내에 4개의 LED가 있다. 그러나, LED들 중 하나만(LED 101) 도 3에 도시된다.
터치 센서 바(501)는 LED와 PD의 전면에 광 가이드부(301)를 포함하는데, 이는 두 개의 기능을 하는데, 첫째는, 광 가이드부는 발광 다이오드로부터의 광을 시준하고, 광선(401)에 의해 나타난 바와 같이, 스크린 표면에 걸쳐 이를 투사하고, 둘째는 광 가이드부는 고정된 각도로 광 가이드부(301)로 들어가는 반사된 광(402)을 포토다이오드상에 초점을 맞춘다. 따라서, 광 가이드부(301)는 도 2B에 나타난 렌즈들(302 및 303)인 일련의 연결된 시준 렌즈를 포함한다. 렌즈(302)는 이미터(101) 광선을 시준하는 것으로 도시되고, 렌즈(303)는 특별히 고정된 각도로 광 가이드부(301)에 들어가는 반사된 광(402)을 포토다이오드(205)에 초점 맞추는 것이 도시된다.
본 발명의 실시예에 따른, 터치 검출 장치의 분해도인 도 4 및 5를 참조한다. 도 4는 위에서 본, 터치 센서 바(510)의 분해도를 도시한다. 상단 케이싱 부분(601)과 하단 케이싱 부분(602) 사이에, PCB(603)와 광 가이드부(310)가 도시된다. PCB(603)는 교호하는 LED(101)와 PD(201)의 행을 가지는데, 행의 양 말단의 최외각 다이오드는 PD(201)이다. 따라서, 11개의 PD가 PCB(603) 상에 10개의 LED와 교차 배치된다(interleaved). 또한, 도 3은 광 가이드부(310)는 10개의 시준 렌즈(311)의 형태이다 - 하나의 렌즈는 각각의 LED와 바로 반대편에 있다. 상기 언급된 바와 같이, 각각의 시준 렌즈(311)는 두 개의 기능을 하는데, 출사하는 광선을 시준하는 것과 입사하는 반사된 광선을 PD 상에 초점 맞추는 것이다. LED는 그 반대편의 렌즈의 초점에 있다. 이러한 초점으로부터 각각의 PD의 측면 오프셋은 렌즈가 좁은 범위의 각도 내의 입사 광선만을 PD 상에 안내할 것이라는 것을 보장한다. 렌즈(311)의 입사각이 좁은 범위의 각도 보다 크거나 작은 입사 각도는 타깃 PD로에서 벗어나 초점된다.
스트레이 LED 광이 이웃하는 PD를 포화시키는 것을 방지하기 위하여, 일련의 광 배리어부(320 - 321)가 각각의 LED를 그 이웃하는 PD와 분리시킨다. 도 5는 아래에서 본 터치 센서 바(510)의 또 다른 분해도를 도시한다. 광 배리어부(320 및 321)가 상단 케이싱(601)의 하면으로부터 돌출되어 도시된다.
본 발명의 실시예에 따른 터치 검출 장치를 위에서 본 도면인 도 6을 참조한다. 도 6은 위에서 본 터치 센서 바(510)의 도면을 도시한다. 도 6은 LED(101)와 PD(201)의 교호하는 행, 배리어(320 및 321)에 의해 고립된 각각의 다이오드, 각각의 LED(101) 반대편의 렌즈(311) 및 순차적으로 LED(101)와 PD(201)를 활성화시키고, PD 검출 신호를 수신하기 위한 컨트롤러(701)를 도시한다. PD 검출 신호에 기초하여 수행된 터치 계산은 컨트롤러(701)에 의해 실행되거나 가령 호스트와 같은 별도의 프로세싱 유닛으로 오프로드(offload)된다.
본 발명의 실시예에 따른 터치 스크린 시스템에서 사용되는 발광되고 반사된 광선의 간략도인 도 7-12를 참조한다. 도 7은 각각 PD(210 및 211)에 의해 검출된 두 세트의 반사된 광선(411 및 412)에 기초한 멀리 있는 물체(910)의 검출을 도시한다. 도 7은 하나의 이미터(111)로부터의 광선이 어떻게 두 개의 PD(210 및 211)에 의해 검출되는지를 도시한다. 반사된 광선(411 및 412)은 각자의 하나의 렌즈(311)에 각도로 들어가는데, 렌즈는 각자의 PD 내로 광선을 초점 맞춘다.
도 8은 렌즈(311)의 설계 고려사항과 이미터(101)와 PD(201)의 배치를 도시한다. 렌즈(311)는 평평한 이미지 평면(912)을 달성하기 위해 비구면(aspherical)이고 최적화되어서, LED(101)와 PD(201) 상에 동시에 초점을 유지시킨다. LED(101)는 렌즈(311) 상에 중심이 되는 광 축에 있다. 점(913)은 이미지 평면(912) 내의 LED(101)의 이미지이다. PD(201)는 시계(field of view)의 가장자리에 있다. 점(914)은 이미지 평면(912) 내의 PD(201)의 이미지이다. 물체 평면(916) 상의 렌즈를 통해 캡처된 이미지와 관련하여, LED(101)는 중심 픽셀이고, PD(201)는 캡처된 이미지의 가장자리에 있는 픽셀이다. PD(201)에 대한 시계는 PD 칩 크기에 의해 결정되고, 렌즈(311)의 너비를 통해 보여진다. PD(201)의 시계 외부의 각도로부터 렌즈(311)를 치는 광선은 동일한 평면(916) 내의 이미지를 형성할 것이지만, LED(101)와 PD(201) 사이의 어딘가에서 형성할 것이다. 따라서, 이들 광선은 PD(201)에 의해 캡처되지 않을 것이다.
이미터(101) 광선(420)과 PD(201) 광선(421) 사이의 각도(915)는 활성 터치-검출 영역의 의도된 형상을 맞추기 위해 선택된다. 활성 터치-검출 영역이 정사각형일 때, 각도(915)는 정사각형 절반의 대각선, 즉, tan-1(1/2) ≒ 26.6°이다. 시 깊이(depth of view)가 터치 센서 바의 너비 보다 더 길 때, 각도(915)는 더 작아진다.
도 9는 스크린(911)의 표면 위에 걸쳐 광선(410)을 투사하는 LED(101)의 측면도를 도시한다. 렌즈(311)에 의해 시준될뿐만 아니라, 광선(410)은 스크린 표면에서 벗어나 약간 위로 향한다. 이는 터치 검출을 위해 사용되는 광을 최대화시키기 위하여, 스크린(911)의 표면에 의해 반사된 광량을 감소시킨다.
도 10은 렌즈(311), 이미터(101) 및 PD(201)를 시준하는 것을 위에서 본 도면을 도시한다. 광선(410 및 411)의 각도 사이의 입사 각도에서, 렌즈(311)에 접근하는 반사된 광선은 이미터(101)와 PD(201) 사이의 위치에 초점된다. 광선(411)보다 더욱 예각인 입사 각도에서, 렌즈(311)에 접근하는 반사된 광선은 PD(201) 위의 위치에 초점된다. 따라서, 렌즈와 PD 배열은 특정 각도로 렌즈(311)에 들어가는 반사된 광에 시스템이 민감하도록 보장한다.
도 11은 사시도로 도 10의 렌즈와 부품을 도시한다.
도 12는 터치 검출 바(510)로부터의 거리(3)에서, 물체(910)에 의해 반사된 광선(411 및 412)을 도시한다. 상기 기술된 바와 같이, PD와 렌즈가 만드는 검출 각도에 의존하여, 가장 큰 검출 신호가 PD(210 및 211)에서 생성된다. 따라서, 터치 위치는, 활성화된 이미터(111)의 반대편에 거리(3)에 있는 것으로 결정된다. 이들 좌표는 x, y 스크린 좌표로 용이하게 전환된다. 예를 들어, 터치 위치가 광선(410)을 따라, 터치 검출 바(510)로부터의 거리(2)에 있다면, 최대 검출 신호는 PD(212 및 213)에 도달할 것이다. 마찬가지로, 터치 위치가 광선(410)을 따라, 터치 검출 바(510)로부터의 거리(1)에 있다면, 최대 검출 신호는 PD(214 및 215)에 도달할 것이다. 좀 더 일반적으로, 이미터 광선을 따fms 거리의 각각의 유닛은 이미터로부터의 PD 오프셋에 해당한다. 따라서, PD(214 및 215)는 이미터(111)로부터 오프셋 0에 있고, PD(212 및 213)는 오프셋 1에 있으며, PD(210 및 211)는 오프셋 2에 있다. 오른쪽 및 왼쪽 검출 각도는 광선(411 및 412)에 의해 나타난다.
본 발명의 실시예에 따른 터치 검출 맵의 도면인 도 13 및 14를 참조한다. 도 13은 이미터(0-9)로부터의 광선에 대해 스크린 상의 대응되는 터치 위치로 맵핑되는 PD 오프셋을 도시한다. 도 13에서, PD 오프셋은 센서 오프셋으로 나타나고, 이미터는 소스 인덱스로 나타난다. 각각의 이미터 광선은 소스 인덱스들 중 하나에서 시작하는 수직선에 의해 나타난다. 맵핑된 터치 센시티브 영역상의 다이아몬드 패턴에서의 각각의 꼭지점은 스크린 상의 터치 위치에 해당하고, 빗금친 대각선은 특정한 오른쪽 및 왼쪽 검출 각도에서 반사된 광선을 나타낸다. 각각의 꼭지점의 높이는 이미터로부터의 그 PD 오프셋에 해당한다. 따라서, PD가 이미터와 하나의 행에서 교차 배치되지만, PD 오프셋은 간결성을 위해 도 13에서 두번째 축을 따라 배열된다.
상기 기술된 예시에서, 각각의 검출기는 두 개의 렌즈로부터 광선을 수신하고, 제2 렌즈의 물체 평면과 반대 편에 있는 제1 렌즈의 물체 평면 내의 제1 위치에 있다. 그 결과, 렌즈의 광 축에 대해 각도(Θ)에서 제1 렌즈에 들어가는 반사된 광선을 검출하도록, 그리고, 반사된 과선은 광 축에 대해 각도(-Θ)에서 제2 렌즈에 들어가는 반사된 광 선을 검출하도록 포지션된다. 그 결과, 제1 이미터-검출기 쌍과 관련된 많은 포지션들은 제2 이미터-검출기 쌍과 관련된다. 이미터-검출기 쌍과 관련된 더 많은 고유의 포지션을 제공하기 위해, 검출기는 검출기의 두 렌즈에 대해 비대칭인 위치에 있다. 이는 도 15에 도시된다.
본 발명의 실시예에 따른 교호하는 이미터와 검출기가 있는 렌즈 어레이(312)의 간략도인 도 15를 참조한다. 도 15는 렌즈 어레이(312)의 두 개의 렌즈에 대해 비대칭적으로 두 개의 반대편 위치에 있는 검출기를 도시한다. 따라서, 이미터 광선(403)은 반사된 광선(407 및 406)에 의해 두 개의 서로 다른 위치(907 및 908)에서 교차된다. 일부 실시예에서, 각각의 검출기는 그 렌즈의 물체 평면 내의 약간 상이한 한 쌍의 위치에 포지션된다. 이는 이미터-검출기 쌍과 관련된 포지션의 불균일한 분포를 제공한다.
터치 좌표 알고리즘
본 섹션은 추적된 물체의 위치를 결정하기 위해 수행되는 동작을 자세히 기술한다. 이전의 섹션에서 설명된 바와 같이, 각각의 활성화된 이미터에 대하여, 임의의 PD는 이미터와 반사 물체 사이의 거리에 의존하여, 초점되고 반사된 광선을 수신할 수 있다. 따라서, 전체 스크린의 스캔은 PD 검출값의 표를 출력하는데, 여기서, 열은 LED에 해당하고, 행은 PD에 해당한다. 따라서, 10개의 LED와 11개의 PD를 가진 검출기에 대해, 출력 표는 11개의 행과 10개의 열을 가지고, 열 1의 11개의 항목은 이미터 1이 활성화될 때, 각각의 PD에서의 검출 값을 포함하고, 열 2의 11개의 항목은 이미터 2가 활성화될 때, 각각의 PD에서의 검출 값을 포함한다. 표 I는 원시 검출 값을 포함하는 예시 표이다.
Figure 112015127323255-pct00001
표 I에서의 두 최대값, 다시 말해, 원시 검출 값 141과 144는, LED 5가 활성화될 때, PD 4와 PD 7로부터 각각 얻는다. PD 5와 6은 LED 5의 바로 왼쪽과 오른쪽에 이웃하고 0의 오프셋을 가지므로, PD 4와 PD 7은 LED 5로부터 1의 오프셋을 가진다.
활성화된 LED로부터 오프셋 0 또는 1에서 PD로 근처의 물체에 의해 반사된 광량은 활성화된 활성화된 LED로부터 오프셋 7 또는 8에서 PD로 멀리 있는 물체에 의해 반사된 광량보다 크다. 그러므로, 다른 모든 파라미터가 일정하게 유지된다고 가정하면, PD 오프셋이 클수록, 더 적은 광이 PD에 도달할 것이다. PD 값은 12 비트나 16 비트와 같이 주어진 레졸루션을 가진 A/D 컨버터에 의해 디지털화된다. 값의 범위를 완전히 사용하기 위하여, 어떤 실시예에서, 각각의 이미터는 타깃 PD의 오프셋에 의존하여, 상이한 전류량 으로, 또는 상이한 구간 동안 활성화된다. 최대 검출 값에 도달하고, 어쩌면 그 값을 초과하는 위험 없이, 전체 범위의 값을 사용하기 위하여, 오프셋이 클 수록, 전류 및/또는 활성화 시간이 더 크다. 렌즈(311)의 높이 및 뾰족한 물체의 반사도를 포함하는 다른 요소가 가능하거나 예상된 PD 검출 값의 범위에 기여한다. 특히, 스크린 표면 위로의 렌즈 높이가 클 수록, 타깃 PD 상으로 더 많은 광을 들어가게 한다. 일부 실시예에서, 상이한 PD 오프셋에 대해 예상된 PD 검출 값의 양은 실험에 기초하여 탐구적으로 결정된다.
일부 실시예에서, A/D 컨버터는 프로세서에 의해 사용되는 것보다 더 많은 비트를 출력하여, 터치 위치를 계산한다. 예를 들어, 일부 실시예에서, A/D 컨버터는 12-비트 값을 출력하고, 프로세서는 8-비트 값을 사용한다. 이러한 경우에서, 최대 예상되는 12-비트 값을 결정하는 것이 중요하다. 이러한 최대값에 기초하여, 시스템은, 값이 제거된 최대 유효 비트(msb) 내의 영이 아인 값을 포함하는 위험이 없을 때에만, msb를 제거할 것이다. 초과 위험이 시스템이 msb를 버리는 것을 막는다면, 시스템은 최소 유효 비트(lsb)를 제거하여, 8-비트 값에 도달할 것이다. 이들 최대 값은 또한, 탐구적으로 결정되고, PD 오프셋에 의존한다.
탐구적(heuristic)은 각각의 LED-PD 쌍에 대해 기준 검출 값을 준비하는데 사용된다. 따라서, 상기 기술된 검출 표에서 검출된 PD 값의 각각은 각자의 기준 값에 의해 나누어져서, 표 안의 모든 값을 범위 0-1로 정규화시킨다. 도 14는 오프셋 +/- 5에서 LED 2와 PD에 해당하는 터치에 대한 정규화된 검출 값의 검출 맵을 도시한다. LED 2로부터의 오프셋 -5에서 해당 PD가 없기 때문에, 오직 오프셋 +5에서의 PD가 이 최대 검출 신호를 생성한다. 도 14의 검출 맵은 동심원적인 실선 및 점선 형상(917)을 포함하는데, 여기서, 각각의 내부 형상은 외부 이웃보다 더 커서, 최대 검출 신호는 중심에 있다. 도 15는 칼라로 렌더링되거나, 그레이스케일의 정도로 가변하면, 가장 내부에 있는 형상은 가장 어둡고, 형상은 이들이 확장됨에 따라, 점차적으로 더 밝아질 것이다. 그러나, 형상을 순수히 검정색과 흰색으로 렌덩링하기 위하여, 칼라 및 그림자는 도 14에서 제거되었다.
터치 위치를 결정하는데 유용한 검출 신호의 절대값 뿐만 아니라, 이웃하는 신호들 간의 관계도 중요한 요소이다.
본 발명의 실시예에 따른 터치 스크린 시스템 내의 터치 위치를 계산하는데 사용되는 알고리즘을 나타내기 위한 간략화된 터치 검출 맵인 도 16-21을 참조한다. 도 16은 도 13의 검출 맵의 일부를 도시한다. 상기 기술된 바와 같이, 수직 실선은 이미터 광선을 나타낸다. 좀 더 정확하게는, 각각의 수직선은 주어진 이미터로부터의 광선의 중심을 나타낸다. 이미터 광선은 광선의 중심 주위에 정규적이고, 벨형상의 분포를 가지는 것으로 간주된다. 마찬가지로, 도 16 내의 대각선 실선은 주어진 오프셋에서 PD에서의 최대 검출 값을 생성하는 최적의 반사된 광선을 나타낸다. 이들 대각선 광선과 평행하고, 이들 사이에 있는 광선에 대한 검출 값은 주어진 오프셋을 가진 PD에서의 검출의 정규적이고, 벨형상의 분포를 가지는 것으로 간주된다. 이들 분포 특성은 이웃하는 검출 신호들을 비교함에 의해, 최대 검출의 점을 나타내는 수직 실선과 대각선 사이, 또는 도 13의 검출 맵에서의 꼭지점들 사이의 위치를 결정하는 능력을 제공한다. 따라서, 점촉의 점은 아래 나열된 6개의 정리(lemma)에 기초한다.
정리 1: 반사 물체가 PD의 대각선 검출 선에 평행하게 이동되면, 동일한 LED를 검출하는 이웃하는 PD의 검출 신호들 사이의 관계는 일정하게 유지된다.
정리 1은 도 16에 도시된다. 도 16은 도 13의 검출 맵의 일부를 도시하는데, 여기서, 세 개의 수직 실선은 3개의 이미터 광선의 일부를 나타내고, 4개의 대각선 실선은 4개의 검출기 광선을 나타낸다. 상기 언급된 바와 같이, 최대 검출 레벨의 점은 이미터 광선이 검출기 광선을 지나는 꼭지점에 있다. 이러한 3개의 꼭지점이 도 16에 라벨링(label)되는데, 다시 말해, p0, r1, 및 d1이고, 이러한 라벨링은 대응되는 꼭지점의 오른쪽에 있다. 터치 물체가 p0과 d1 사이의 중점에 있는 경우에, 점 p0를 나타내는 검출 신호와 점 d1을 나타내는 검출 신호의 비(ratio)는 대략 동일할 것이다. 게다가, 터치 물체가 p0와 d1 사이의 대각선 빗금선을 따라 이동되는한, 이러한 비율은 일정하게 유지된다. 따라서, 동일한 LED를 검출하는 이웃 PD의 두 개의 가장 높은 검출 신호 사이의 비율에 기초하여, 선은 도 16 내의 대각선 빗금선에 평행하게 그려질 수 있고, 터치 위치는 이러한 그려진 선의 어딘가에 있어야 한다. 그려진 선은 이 비율의 크기에 의존하여 꼭지점 p0와 d1에 더욱 근접할 것이다.
정리 2: 반사 물체가 LED의 수직 이미터 선과 평행하게 이동되면, 두 개의 이웃하는 LED를 검출하는 하나의 PD의 검출 신호 사이의 관계는 일정하게 유지된다.
정리 2도 도 16에 도시된다. 꼭지점 p0는 LED 광선을 나타내는데, LED 광선의 반사는 활성화된 LED로부터 오프셋 n을 가진 PD에서 검출된다. 꼭지점 r1은 이웃하는 LED 광선을 나타내는데, LED 광선의 반사는 활성화된 LED로부터 오프셋 n+1을 가진 PD에서 검출된다. 그러나, r1에 대해 활성화된 LED가 p0에 대해 활성화된 LED의 이웃하기 때문에, 오프셋이 n인 p0에 대해 사용되는 동일한 PD는, r1에 대해 사용되는데, 왜냐하면, r1 LED로부터의 이러한 PD 오프셋은 n+1이기 때문이다. 터치 물체가 p0와 r1 사이의 중점에 있는 경우에, 점 p0를 나타내는 검출 신호와 점 r1을 나타내는 검출 신호의 비율은 대략 동일할 것이다. 게다가, 터치 물체가 p0와 r1 사이의 수직 빗금선을 따라 이동(translated)되는 한, 이러한 비율은 일정하게 유지된다. 따라서, 두 개의 이웃하는 LED를 검출하는 하나의 PD의 두 개의 가장 높은 검출 신호 사이의 비율에 기초하여, 선은 도 16 내의 수직 빗금선에 평행하게 그려질 수 있고, 터치 위치는 이러한 그려진 선의 어딘가에 있어야 한다. 그려진 선은 이 비율의 크기에 의존하여 꼭지점 p0와 r1에 더욱 근접할 것이다.
정리 3: 정리 1과 2를 결합하는 것은 터치가 위치된 장사방형(rhomboid) 영역을 제공한다. 이러한 장사방형 영역의 세 개의 꼭지점은 꼭지점 r1, p0 및 d1이다. 게다가, 정확한 터치 위치는 정리 1의 그려진 선과 정리 2의 그려진 선 사이의 교차점에 있다.
정리 1 - 3은 하나의 점으로부터 광을 반사하는 작은 터치 물체에 적용된다. 더 큰 터치 물체는 LED 광선에 수직으로, 물체의 측면을 따라 반사된다. 따라서, 더 큰 터치 물체의 경우에, 각자의 LED로부터 동일하게 멀리 있는 일련의 반사점을 나타내는 최대 검출 값의 좀 더 균일한 분포가 있다. 정리 4 - 6은 더 큰 터치 물체에 관한 것이다.
정리 4: 반사 물체가 LED의 수직 이미터 선에 수직으로 이동되면, 동일한 LED를 검출하는 이웃하는 PD의 검출 신호 사이의 관계는 일정하게 유지된다.
정리 4 - 6은 도 17에 도시된다. 도 17은 도 13의 검출 맵의 일부를 도시하는데, 3개의 수직 실선은 3개의 이미터 광선의 일부를 나타내고, 4개의 대각선 실선은 4개의 검출기 광선을 나타낸다. 상기 언급된 바와 같이, 최대 검출 레벨의 점은 이미터 광선이 검출기 광선을 지나는 꼭지점에 있다. 이러한 3개의 꼭지점은 도 17에 라벨링되는데, 다시 말해, p0, r1 및 d1이고, 각각의 라벨은 해당 꼭지점의 오른쪽에 있다. 큰 반사 물체가 p0와 d1 사이에 위치되는 경우에, 점 p0를 나타내는 검출 신호와 점 d1을 나타내는 검출 신호의 비율은 대략 동일할 것이다. 게다가, 터치 물체가 p0와 d1 사이의 수평 빗금선을 따라 이동되는 한, 이러한 비율은 일정하게 유지된다. 따라서, 동일한 LED를 검출하는 이웃 PD의 가장 높은 두 개의 검출 신호 사이의 비율에 기초하여, 선은 도 17 내의 대각선 빗금선에 평행하게 그려질 수 있고, 터치 위치는 이러한 그려진 선의 어딘가에 있어야 한다. 그려진 선은 이 비율의 크기에 의존하여 꼭지점 p0와 d1에 더욱 근접할 것이다.
정리 5: 반사 물체가 LED의 수직 이미터 선에 평행하게 이동되면, 이들 각자의 LED로부터 유사한 오프셋을 가진 검출 신호들 사이의 관계는 일정하게 유지된다.
정리 5가 LED의 행으로부터 동일하게 떨어진 많은 위치에서 광을 반사하는 넓은 반사 물체에 관한 것이기 때문에, 두 개의 가장 높은 검출 값은 이들 각자의 LED로부터 유사한 오프셋을 가진 이웃하는 PD로 부터 올 것이다. 따라서, 정리 5도 도 17에 도시된다. 꼭지점 p0는 LED 광선을 나타내는데, LED 광선의 반사는 활성화된 LED로부터 오프셋 n을 가진 PD에서 검출된다. 꼭지점 r1은 이웃하는 LED 광선을 나타내는데, LED 광선의 반사는 활성화된 LED로부터 오프셋 n을 가진 PD에서 검출된다. 터치 물체가 p0와 r1 사이의 점에 있는 경우에, 점 p0를 나타내는 검출 신호와 점 r1을 나타내는 검출 신호의 비율은 대략 동일할 것이다. 게다가, 터치 물체가 p0와 r1 사이의 수직 점선을 따라 이동되는 한, 이러한 비율은 일정하게 유지된다. 따라서, 두 개의 이웃하는 LED를 검출하는 두 개의 이웃 PD의 가장 높은 검출 신호 사이의 비율에 기초하여, 선은 도 17 내의 수직 빗금선에 평행하게 그려질 수 있고, 터치 위치는 이러한 그려진 선의 어딘가에 있어야 한다. 그려진 선은 이 비율의 크기에 의존하여 꼭지점 p0와 r1에 더욱 근접할 것이다.
정리 6: 정리 4와 5를 결합하는 것은 터치가 위치되는 직사각형 영역을 제공한다. 이러한 직사각형 영역의 3개의 꼭지점은 도 17의 꼭지점 r1, p0, 및 d1이다. 게다가, 터치 위치는 정리 4의 그려진 선과 정리 5의 그려진 선 사이의 교차점에 있다.
본 발명의 어떤 실시예에 따르면, 터치 위치는 정리 1 - 6의 조합에 기초하여 파생된다. 이러한 방법은 3 단계로 진행된다. 단계 1은 두 개의 이웃하는 LED 광선을 따라 두 개의 보간된 점을 계산한다. 도 2는 두 개의 보간된 점을 연결하는 선을 그린다. 단계 3은 단계1에서 계산된 두개의 종점의 진폭을 보간함에 의해 단계2에서 그려진 선을 따라 점을 계산한다. 이러한 방법은 도 18을 참조하여 기술된다.
도 18은 도 13의 검출 맵의 일부를 도시하는데, 3개의 수직 실선은 3개의 이미터 광선의 일부를 나타내고, 4개의 대각선 실선은 4개의 검출기 광선을 나타낸다. 상기 언급한 바와 같이, 최대 검출 레벨의 점은 이미터 광선이 검출기 광선을 지나는 꼭지점에 있다. 이러한 6개의 꼭지점은 도 18에 라벨링되는데, 다시 말해, 각각은 해당 꼭지점의 오른쪽에 p0, d0 및 d1으로 라벨링되고, 각각은 해당 꼭지점의 왼쪽에 r1a, r1b 및 r1c로 라벨링된다. 이러한 방법을 수행할 때, 점 p0는 이러한 터치 물체에 대한 최대 검출 신호이다. 점 p0에 대한 PD는 두 개의 이웃 PD를 가지는데, 하나는 왼쪽(검출 점 d1에 대해), 그리고, 하나는 오른쪽(검출 점 d0에 대해)이며, 상기 PD는 p0에 사용되는 동일한 LED를 검출한다. 더 높은 검출 신호를 가진 PD가 사용된다. 도 16a에서, p0로 동일한 LED를 검출하는 이웃 PD의 제2 검출 신호는 d1이다. p0와 d1에서 정규화된 검출 신호는 보간되어서, 꼭지점 p0와 d1 사이의 LED 광선상에 새로운 위치, c0를 생성한다. 위치 c0에 덧붙여, 보간은 c0에서의 신호의 진폭도 계산한다.
다음으로, 본 방법은 이웃하는 LED 광선을 따라, 새로운 제2 위치를 계산한다. 따라서, 왼쪽과 오른쪽의 이웃하는 광선으로부터 관련된 반사는 비교되고, 더 큰 신호로 되돌리는 광선이 사용된다. 도 18에서, p0 광선의 왼쪽으로의 광선이 선택된다. 꼭지점 r1b는 p0에 사용되는 동일한 PD를 사용하나, 이는 왼쪽-이웃 LED를 검출한다. 다음으로, r1a와 r1c에서 정규화된 신호가 비교되고, 더 큰 신호가 선택된다. r1b 검출 신호와 선택된 r1a/r1c 신호는 보간되어서, 꼭지점 r1b와 r1a 또는 r1c 사이의 LED 광선 상에 새로운 위치, c1을 생성한다. 위치, c1에 덧붙여서, 보간은 c1에서의 신호의 진폭도 계산한다.
두 점, c0와 c1이 터치 위치가 발견될 선을 정의한다. 이는 도 17에서 빗금선이다. c0와 c1에서 계산된 신호 진폭이 보간되어서, 이 선을 따라 터치 위치를 결정된다.
상기 언급된 바와 같이, 두 신호의 관계는 이들 사이의 지수(quotient, q)로 표현된다. 소스 광선 강도는 광선 중심선의 양측에 정규 분포로 행동한다고 가정한다. 반사 강도는 광 강도에 비례한다. 반사의 검출 신호 값도 검출 중심선의 양측에 정규 분포로 분포된다고 가정한다. 이들 분포의 표준 편차는 반사 물체의 거리에 따라 가변하나, 작은 범위의 거리 내에서는 일정하다고 가정한다.
신호 s-fsr과 fsd의 반사 강도(r)와 검출 강도(d)가 각각 정규 분포이므로, 이들은 가우시안 함수로 표현된다.
Figure 112015127323255-pct00002
여기서, i는 r 또는 d이고, x는 반사 위치, xsi는 소스 광선 또는 센서 검출 라인의 위치, pi(x)는 현재 반사 거리에서 전형적인 피크 세기이며, A는 진폭이다. 두 강도 사이의 지수는,
Figure 112015127323255-pct00003
x ∈ [0,1]로 할당하고,
Figure 112015127323255-pct00004
로 근사화하면, EQ.2는,
Figure 112015127323255-pct00005
로 간략화된다.
이는 보간된 좌표 x를 산출하고,
Figure 112015127323255-pct00006
진폭 A는
Figure 112015127323255-pct00007
이다.
일부 실시예에서, 근접 센서에 의해 검출될 물체의 크기와 형상이 알려져 있을 때, Hough 변환이 사용된다. 예를 들어, 손가락이 입력을 수행하는데 사용될 때, 검출 평면 내에 그 예상된 형상은 알려진 크기의 타원이다. 이러한 경우에, 프로세서(702)에 검출 평면 내에 복수의 후보 타원이 제공된다. 프로세서(702)는 어떤 함께-활성화 이미터-검출기 쌍을 결정하고, 검출기가 검출 신호를 생성하고, 그와 관련된 포지션을 식별한다. 다음으로, 프로세서(702)는 관련된 포지션이 이웃하는 함께-활성화 이미터-검출기 쌍의 임의의 두 개에 대한 검출 신호를 보간하여, 두 개의 관련된 포지션 사이의 중간 위치를 결정한다. 그리고 나서, 프로세서(702)는 배향을 각각의 중간 위치에 할당하는데, 배향은 두 개의 이웃하는 관련된 포지션을 연결하는 선에 수직이다. 이러한 과정은 도 19에 도시된다.
도 19는 이미터-검출기 쌍과 각각 관련된 포지션(902-906)을 도시한다. 포지션(902)은 포지션(903)과 보간되어서, 수평 배향을 가진 중간 위치(952)을 생성한다. 포지션(902)에 해당하는 검출 신호는, 본 예시에서, 포지션(903)에 해당하는 검출 신호보다 더 크다. 따라서, 중간 위치(952)의 위치는 903보다 902에 더 가까이 있다. 마찬가지로, 중간 위치(953)는 포지션(904 및 905)을 사용하여 보간되는데, 여기서, 포지션(904)에 해당하는 검출 신호는 포지션(905)에 해당하는 검출 신호보다 더 크고, 중간 위치(954)는 포지션(905 및 906)을 사용하여 보간되는데, 여기서, 이들 포지션에 해당하는 검출 신호들은 대략 동일하므로, 954의 위치는 포지션(905 및 906) 사이의 중점이다.
각각의 후보 타원에 대하여, 프로세서(702)는 매치 값을 후보 타원들에 할당하고, 매치 값은 후보 타원들의 가장 자리와 중간 위치의 위치와 배향 사이의 매치 정도를 나타낸다. 도 20은 4개의 타원(955-958)을 도시한다. 보간된 위치(953)는 타원(955 및 956)에 높은 매치 값이 할당되고, 타원(957 및 958(에 매우 낮은 값(또는 영)의 매치 값을 할당하는데, 왜냐하면, 보간된 위치(953)의 배향이 이들 타원 내의 해당 위치의 배향과 매치되지 않기 때문이다.
프로세서(702)는 각각의 후보 타원에 대한 결과-할당된(thus-assigned) 매치 값의 합산을 계산하고, 최대 결과-계산된 합산을 가진 그 후보 타원을 검출 평면 내의 물체의 위치로 지정한다.
실행
신호들은 최대치를 위해 필터링된다. 최대치는 8개의 중간 이웃, 즉, 상단, 하단, 왼쪽, 오른쪽 및 4개의 대각선 이웃보다 큰 신호이다. 반사 물체가 두 개의 검출 신호, 즉, 활성 LED로부터 오프셋 +n인 것과 오프셋 -n인 것을 생성하는 터치-센시티브 영역의 울부에 대해, 두 개의 최대치는 반사 물체에 의해 생성될 것이다. 이러한 경우에, 일부 실시예에서, 이들 두 개의 최대치 중 더 큰 것만 사용된다. 도 21은 최대치(930)를 도시한다.
상기 설명된 바와 같이, 최대 신호는 반사 물체가 위치된 영역의 하나의 구석에 있다. 이들 영역은 인접한 이웃을 연결하는 직사각형이나 마름모이다. 이들 영역은 가장 강한 신호를 포함하기 위해 선택된다. 추론된 반사 위치는 이 영역 내부의 어딘가에 있을 것이다.
다음으로, 최대 신호에 이웃하는 두 개의 신호가 비교되어, 다시 말해, 최대 신호 PD의 양 측의 두 개의 PD는 동일한 LED를 최대 신호로 검출한다. 이들은 동일한 이미터 광선을 따라, 도 21에서 최대치(930)의 위와 아래의 꼭지점에 해당한다. 이들 두 신호 중 더 큰 것이 선택되고, 이에 따라, 직사각형이나 마름모의 한 변이고, 물체 위치 영역은 최대 신호 꼭지점에서 선택된 이웃 꼭지점까지 연장된다. 도 21에서, 최대치(930) 위의 꼭지점이 선택되었다.
다음으로, 이웃하는 LED로부터 왼쪽과 오른쪽으로의 신호들을 비교하여, 반사 물체가 왼쪽 또는 오른쪽에 위치되는 영역을 연장할지를 결정한다. 왼쪽에, 제1 영역측상의 위치의 바로 왼쪽의 두 위치들과 이들 바로 아래에 하나가 사용된다. 오른쪽에, 오른쪽으로 두 점과 상기 하나 이상이다. 가장 높은 신호를 포함하는 쪽이 영역이 연장되는 쪽이다. 왼쪽에, 맨 위 신호가 맨 아래 신호보다 강하면, 반사 물체가 위치된 영역은 직사각형으로 결정된다. 그렇지 아니하면, 맨 아래 위치를 포함하여 연장된 마름모이다. 오른쪽에서, 동일한 비교가 이루어진다. 맨 아래 신호가 맨 위 신호보다 강하면, 반사 물체가 위치된 영역은 직사각형으로 결정된다. 그렇지 아니하면, 맨 위 위치를 포함하여 연장된 마름모이다. 도 21에서, 반사 물체가 위치된 영역이 왼쪽과 아래, 즉, 그 하단 오른쪽 구석에 꼭지점(930)이 있는 마름모(931)로 연장된 마름모이다.
상기 설명된 바와 같이, 하나의 LED로부터 두 개의 반사 검출을 나타내는 각각의 쌍의 선택된 꼭지점이 보간되어서, 반사 물체가 위치된 선(932)을 형성하는 두 개의 점(도 18에서 c0, c1)을 발견할 수 있다. 상기 기술된 바와 같이, 점들의 위치와 진폭이 계산된다.
동일한 보간 방법이 다시 사용되어서, 이 선을 따라 반사 위치와 그 진폭을 발견한다. 진폭은 반사도로 해석되는데, 이는 결국 반사 물체의 지름에 비례한다.
가끔은, 복수의 연결되지 않은 최대치가 식별된다. 이러한 경우, 각각의 최대치의 보간된 위치와 반사도가 계산된다. 정의된 스레숄드 보다 높은 반사도나 진폭을 가지는 것으로 발견된 좌표들은 반사 물체 위치로 저장된다. 따라서, 전체 스캔된 터치 영역을 나타내는 프레임은 동시의 터치 물체의 리스트를 포함하고, 각각의 물체는 해당 위치를 가진다.
이러한 프레임의 시퀀스에서, 시간 t+1의 프레임에서의 반사 물체가 시간 t의 이전 프레임의 반사 물체와 비교된다. 두 프레임에서의 물체는 쌍을 이룬 물체들 사이의 최소 거리에 따라 그리디 쌍 알고리즘(greedy pairing algorithm)을 사용하여 쌍을 이룬다. 쌍을 이룬 물체는 동일한 물체인 것으로 추적된다. 쌍을 이루지 못한 새로운 장애물이 새로운 추적 타깃으로 추가되고, 새로운 것과 쌍을 이루지 못한 오래된 추적 타깃이 제거된다.
추적된 장애물의 위치와 반사 파라미터는 오래된 파라미터(시간 t에서)로 계산되고, 일정한 속도에 기초한 예측으로 업데이트되며, 새로운 파라미터(시간 t+1에서)로의 부분 보간한다. 검출된 위치 ld는, 추적된 속도 벡터 v0와 함께, 이전에 추적된 위치 l0를 업데이트하는데 사용되어서, 업데이트된 위치 l1와 속도 v1를 결정한다.
Figure 112015127323255-pct00008
여기서, α는 보간에서 검출된 (t+1) 포지션에 적용된 상대적 가중치이고, β는 속도가 얼마나 일정하도록 가정되는지를 나타낸다.
본 발명에 따른 다양한 터치 스크린 시스템 시스템에 대한 간략화된 터치 검출 맵인 도 22 및 23(a) - (f)를 참조한다. 상기 언급된 바와 같이, 광학 근접 센서(PD)는 각도 Θ에 대해 반사된 광의 검출을 최적화하는 렌즈와 쌍을 이루고, 도 22 및 23(a) - (f)에 대각선으로 표시된다. 도 22 및 23(a) - (f)에서의 수직선은 센서 LED에 의해 발산된 광을 나타낸다. 검출 핫스팟(hotspot)은 수직 이미터 광선과 대각선 최적화된 검출 경로사이의 교차점이다. 이들 핫스팟은 각각의 교차점에서 작은 원에 의해 표시된다.
도 22는 물체가 센서에 의해 검출되지 않은 삼각 섹션(919)을 나타낸다. 도 23(a) - (f)는 센서의 PD가 최적화되는 각도에 의존하여, 광학 근접 센서가 물체를 검출할 수 있는 영역의 크기가 어떤지를 나타낸다. 도 23(a) Θ = 20°이고, 도 23(b) Θ = 30°이며, 도 23(c) Θ = 40°이고, 도 23(d) θ = 50°이며, 도 23(e) Θ = 60°도 23(f) Θ = 70°이다. 23(a) - (f)의 예시에서, 센서 바로부터의 최대 거리는 120 mm이고, 바는 이웃하는 광 요소간의 피치가 바를 따라 7 mm이고, 91 mm 길이이다. 도 23(a)에서, 스크린(120 mm)의 높이는 검출 핫스팟으로 커버된다.
이들 핫스팟의 밀도는, 센서 바 내의 이웃하는 광 요소들 간의 피치인 광학 x 레졸루션 및 각도 Θ에 의존하는 광학 y 레졸루션을 분리될 수 있다. 23(a) - (f)에 도시된 예시는 얕은 검출 구역에 해당하는 y 차원에서 어떻게 레졸루션이 증가하는지를 도시한다.
따라서, 본 발명은 듀얼-레졸루션 스크린을 개시하는데, 여기서, 센서 바에 인접한 좁은 영역은 높은-레졸루션 터치 검출을 제공하고, 센서 바로부터 더 멀리 있는 제2 영역은 낮은-레졸루션 터치 검출을 제공한다. 본 발명의 실시예에 따른 듀얼-레졸루션 센서의 간략도인 도 24 및 25를 참조한다. 도 24는 터치 센서 바(511), 좁고 높은-레졸루션 검출 구역(921) 및 낮은-레졸루션 검출 구역(922)을 나타낸다. 이러한 듀얼-레졸루션 센서에 대한 하나의 적용예는 GUI를 제공하는 것인데, 여기서, 키패드 및 다른 탭(tab)-활성화된 제어부가 높은-레졸루션 구역에 위치되고, 스위프 제스처와 핀치 제스처 같은 거친 제스처는 낮은-레졸루션 구역에 지원된다.
두 개의 해결책이 복수의 레졸루션 구역을 제공한다. 첫 번째 해결책은 두 개의 검출기를 모든 두 개의 이미터 사이에 위치시킨다. 따라서, 모든 렌즈 피치는 두 개의 검출기와 하나의 이미터를 가지고, 모든 렌즈는 4개의 상이하고 반사된 광선을 4개의 상이한 검출기로 향하도록 한다. 이는 도 25에 도시되는데, 도 25는 이미터(101-103) 및 검출기(201-204)를 도시한다.
두 번째 해결책은 일부의 PD 렌즈가 제1 검출 각도, 가령, Θ1 = 50°에 대해 최적화되고, 다른 PD 렌즈는 상이한 검출 각도, 가령, Θ2 = 20°에 대해 최적화되는 터치 센서 바를 개시한다. 제1 검출 각도는 바에 인접한 높은-레졸루션 검출 구역을 제공하고, 제2 검출 각도는 더 낮은 레졸루션으로 센서 바로부터 더 멀리 떨어진 검출을 제공한다.
본 발명의 실시예에 따르면, 듀열-레졸루션 센서에서 사용되는 두 개의 검출 맵의 간략도인 도 26(a) 및 (b)를 참조한다. 도 26(a)는 센서로부터 120 mm 연장되나, 20 mm의 낮은 광학 y 레졸루션을 가진 구역을 도시하고, 도 26(b)는 6 mm의 더 높은 광학 y 레졸루션을 가진 센서 근처의 검출 구역을 도시한다.
제안된 듀얼-레졸루션 센서 바의 특정 실시예에서, 도 4 및 5를 참조하여 상기에서 설명된 교호하는 LED(101)와 PD(201)의 레이아웃이 유지되고, PD(101)는 제1 검출 각도 Θ1 로부터 최대 광량을 수신하도록 포지션된다. 또한, 제2의 평행한 행의 PD는 제2 검출 각도 Θ2 로부터 최대 광량을 수신하도록 제공된다. 따라서, 도 4 및 5의 센서에서 보다 두 배 더 많은 PD가 듀얼 레졸루션 센서에서 사용되고, 듀얼-레졸루션 센서 에서의 반사된 광선은 두 개의 PD 사이에 분리된다.
본 발명의 실시예에 따른 듀얼-레졸루션 센서에 대한 PCB상의 LED와 PD의 위에서 본 간략도인 도 27을 참조한다. 도 27은 듀얼-레졸루션 센서의 실시예에서 PCB(603) 상의 광 요소의 레이아웃의 상면도를 도시한다. 도 27은 교호하는 LED(101)와 PD(201)의 제1 행 및 PD(202)의 평행한 행을 도시한다. 제2 행에서 PD(202) 사이의 피치는 제1 행에서의 PD(201) 사이의 피치와 동일하다.
본 발명의 실시예에 따른 듀얼-레졸루션 센서의 간략화된 단면도인 도 28을 참조한다. 도 28은 렌즈 및 듀얼 레졸루션 센서 내의 PD의 배치를 도시한다. PD(202)는 센서 바 근처에 좁고, 높은-레졸루션 검출 구역(921)을 제공하고, PD(201)는 센서 바로부터 더 멀리 연장된 길고, 낮은-레졸루션 검출 구역(922)을 제공한다. 도 28에는 스크린(100), PD(201 및 202)가 광 가이드부(304)와 함께 장착된 PCB(603)가 도시된다. 광 가이드부(304)는 세 개의 반사면(305, 306 및 307)을 포함한다. 스크린(100)을 터치하는 물체에 의해 반사된 광은 광 가이드부(304)에 들어가고, 반사면(305)에 의해 아래로 다시 향한다. 이러한 아래로 향한 광선은 PD(201 및 202) 상으로 광선의 상이한 부분을 각각 향하도록 하는 두 개의 반사기(307 및 306)에 의해 분리된다.
적용
본 발명은 작은 크기, 중간 크기, 큰 크기 스크린을 포함하는, 터치 센시티브 스크린을 가진 전자 장치까지 넓은 적용예를 가진다. 이러한 장치는 특히, 컴퓨터, 랩탑 및 컴퓨터용 트랙 패드, 가정용 오락 시스템, 자동차 오락 시스템, 보안 시스템, PDA, 셀폰, 전자 게임 및 장난감, 디지털 사진 프레임, 디지털 악기, 이-북 리더기, TV 및 GPS 네비게이터를 포함한다.
이차 키보드 디스플레이
본 발명의 실시예에 따른 듀얼-디스플레이 랩탑의 간략도인 도 29를 참조한다. 랩탑은 힌지부에 의해 연결된 두 개의 패널을 특징으로 한다. 상단 패널은 일차 랩탑 디스플레이(131)를 포함한다. 하단 패널은 랩탑으로의 입력 장치로 사용되는 터치-센시티브, 이차 디스플레이(132)를 포함한다. 따라서, 키패드는 이차 디스플레이(132)상에 렌더링되고, 문자는 디스플레이된 키를 두드리는 사용자에 의해 입력된다. 두드리는 제스처는 이차 디스플레이와 짧은 접촉, 즉, 터치-및-해제가 특징이다. 따라서, 두드리는 제스처는 접촉점이 디스플레이를 따라 이동되는 동안 디스플레이와 지속되는 접촉이 특징인 글라이드 제스처와 구별된다. 따라서, 문자 입력 뿐만 아니라, 이차 디스플레이는 사용자의 손가락을 이차 플레이상에 글라이드할 때, 일차 디스플레이상의 마우스 커서를 제어한다.
본 발명의 실시예에 따르면, 이차 디스플레이(132)가 사용되는 터치 센서는 상기 기술된 바와 같이, 이차 디스플레이의 한 가장자리를 따라 있는 광학 근접 센서(512)이다. 본 발명의 실시예에 따른 듀얼-디스플레이 랩탑의 일부의 간략도인 도 30을 참조한다. 도 30은 광학 근접 센서를 하우징하기 위한 이차 디스플레이의 상단 가장자리를 따라 베젤(331)을 나타낸다.
본 발명의 실시예에 따른 PC의 간략도인 도 31을 참조한다. 도 31은 본 발명의 실시예에 따라, 디스플레이(131), 키보드(133) 및 두 개의 트랙패드(134)를 가진 PC를 도시한다.
본 발명의 실시예에 따른 도 31의 PC의 키보드(133)의 간략도인 도 32를 참조한다. 키보드는 4개의 내장된 광학 근접 센서(513-516)를 가진다. 광학 근접 센서(513, 515 및 516)는 키보드에서 벗어나서, 키보드(133)의 왼쪽 모서리, 오른쪽 모서리 및 하단 모서리ㅣ를 따라 위치되어서, 키보드를 둘러싸는 영공에서의 손과 손가락 제스처를 검출한다. 이러한 제스처는 가령, 마우스 포인터를 제어하거나 디스플레이상의 이미지의 확대나 회전을 하는 컴퓨터로의 입력으로서의 역할을 한다. 광학 근접 센서(514)는 키보드(133)의 상단 모서리를 따라 있으며, 키보드와 마주한다. 가령, 마우스 포인터를 제어하거나 디스플레이상의 이미지의 확대나 회전을 하는 컴퓨터로의 입력으로서, 키의 표면을 따라 글라이드 제스처를 검출하는데 사용된다. 종래의 트랙패드에 비해 키보드의 큰 사이즈는 키보드 표면을 두 개의 트랙패드 섹션으로 나눌 수 있도록 한다. 키보드(133)의 왼쪽 절반은 절대 포지션 트랙패드로서의 역할을 한다. 이는 키보드의 왼쪽 절반상의 모든 위치는 스크린상의 대응 위치로 맵핑되는 것을 의미한다. 글라이드 제스처가 수행되기 전에, 마우스 커서는 스크린 상에 어떤 초기 위치에 있다. 글라이드 제스처가 키보드의 왼쪽 절반상에서 수행될 때, 마우스 커서는 갑자기 디스플레이상의 대응 위치로 움직여진다. 예를 들어, 마우스 커서가 디스플레이의 상단 우측 구석에 있고 사용자는 키보드의 하단 왼쪽 구석에서 글라이드 제스처를 시작할 때, 마우스 커서는 스크린의 남은 하단으로부터 대응 움직임이 시작된다. 이는 커서를 스크린에 걸처 움직이기 위해 긴 마우스 제스처를 수행하려는 노력을 절감시킨다. 키보드(133)의 오른쪽 절반은 상대-포지션 트랙패드로서의 역할을 하는데, 이는 글라이드 제스처가 키보드의 오른쪽 절반에서 검출될 때, 마우스 커서는 글라이드 제스처의 상대적 움직임에 따라 초기 스크린 위치로부터 이동된다는 것을 의미한다. 따라서, 사용자는 키보드의 왼쪽 절반에서 초기 슬라이드 제스처를 수행하여, 스크린의 원하는 영역에 마우스 커서를 위치시키고, 키보드의 오론쪽 절반에서 글라이드 제스처를 적용하여 커서를 움직인다.
본 발명의 실시예에 따른 PC 트랙패드(134)의 간략도인 도 33을 참조한다. 트랙패드(134)는 사용자를 향해 약간 기울어진 아크릴 투명 스라브(slab)이다. 트랙패드의 상단 모서리를 따르는 광학 근접 센서(517)는 슬라브상의 사용자의 제스처를 추적한다. 광학 센서 외부의 트랙패드상에 전자장치가 필요하지 않기 때문에, 트랙패드(134)는 전체적으로, 깨끗하고 투명한 아클릴이나 유리로 제조된다.
본 발명의 실시예에 따른 투명한 PC 키보드(135)의 간략도인 도 34를 참조한다. 또한, 본 발명의 실시예에 따른 도 34의 투명한 키보드(135)의 측면 사시도인 도 35를 참조한다. 도 33의 트랙패드(134)와 마찬가지로, 키보드(135)는 그 상단 모서리를 따라 광학 근접 센서에 의해 활성화되고, 아크릴의 투명한 슬라브이다. 투명한 아크릴 슬라브는 그 안에 에칭된 키보드 문자를 가져서, 가시광이 아크릴 스라브에 투사될 때, 에칭에 의해 광이 반사되어 문자를 볼 수 있게 한다. 이 광이 턴오프될 때, 에칭은 가시적이 아니고, 키보드는 빈 투명한 슬라브로 보인다. 따라서, 키보드 모드에서, 가시광이 켜지고, 마우스나 스위프-제스처 입력 모드에서, 가시광이 꺼진다. 가시광 소스는 아크릴 스라브의 상단 모서리를 따라 광학 근접 센서와 함께 장착된다.
본 발명의 실시예에 따른 키보드와 GUI 기능을 제공하는 이차 디스플레이의 간략도인 도 36을 참조한다. 도 36은 터치 센시티브 디스플레이를 가진 키보드를 도시한다. 키보드 문자는 디스플레이에 의해 렌더링된다. 그러나, 적용예는 다른 UI 제어부를 렌더링하여 무슨 제스처가 키보드 디스플레이를 수행할 것인지를 나타낼 수 있다. 도 36에서, 두 개의 슬라이더 휠(136)와 두 개의 슬라이더 바(137)가 렌더링되어서, 사용자가 회전 제스처와 슬라이드 제스처를 할 수 있다는 것을 나타낸다.
본 발명의 실시예에 따른 랩탑 키보드의 간략도인 도 37을 참조한다. 본 발명의 실시예인 도 37의 랩탑 키보드의 간략화된 단면도인 도 38을 참조한다. 도 37은, 도 37에서는 이차 디스플레이(132)가 디스플레이(132)의 반대편 모서리를 따라 배치된 이미터(101)와 리시버(201) 사이에 디스플레이 위를 지나는 광선(432)을 사용한다는 것을 제외하고, 도 29와 30의 랩탑을 나타낸다. 광 가이드부(332)는 디스플레이(112) 위로 연장되는 베젤을 제공하여, 광선(432)을 디스플레이 위에 걸쳐 투사한다. 도 37 및 33의 실시예에서, 베젤을 둘러싸여 형성된 디스플레이 위의 캐비티는 깨끗한 액체(139)로 채워진다. 이미터(101)에서 리시버(201)까지의 광선은 깨끗한 액체(139)를 통과한다. 상기 액체 층(139) 위에, 얇고, 투명하며, 탄성 있는 플라스틱 필름(141)이 위치된다. 밑에 있는 이차 디스플레이(!32)는 액체(139)와 플라스틱 필름(141)을 통해 볼 수 있다. 가령, 사용자가 탄성 있는 플라스틱 필름(141)을 눌러서, 이차 디스플레이(132) 상에 디스플레이된 키보드 문자를 선택할 때, 그 손가락은 손가락의 위치 아래의 광선(432)을 방해하는 액체(139) 내의 자국(impression)을 야기한다. 또한, 사용자가 이차 디스플레이(132) 위의 연성이 있는 층을 누를때, 액체 및 탄성은 사용자에게 촉감을 제공한다. 플라스틱 필름(141) 또는 액체(139)에 연결된 선택사항인 햅틱(haptic) 생성기는 추가적인 햅틱 피드백을 제공한다. 사용자의 손가락 자국이 고아선의 충분한 양을 막아서, 터치가 검출된 광에서의 실질적인 감소를 야기시키기 위하여, 광은 베레ㅈ의 상단 근처의 액체(139)의 얇은 상단 층을 통해서만 전송된다. 이는 광선(432)이 디스플레이(132)의 표면 근처의 액체(139)에 들어가는 것을 막는 광 차단부(140)에 의해 달성된다. 다른 실시예에서, 캐비티를 액체로 채우는 것 대신에, 캐비티는 투명한 젤 또는 탄성 있는 젤라틴적인 고체 물질로 채워진다.
수직 툴바 접근 제스처
Microsoft Corporation의 Window 8 운영 시스템은 터치 스크린의 오른쪽 모서리로부터 스와이핑에 의해, 또는 스크린의 오른쪽 구석의 핫스팟에 커서를 포인팅함에 의해 액세스되는 참(charm)으로 알려진 수직 툴바를 특징으로 한다. WINDOWS®는 Microsoft Corporation의 등록 상표이다. 참 툴바는 검색, 공유, 장치 관리, 설정 및 시작 버튼과 같은 시스템 및 앱-관련 기능에 액세스를 제공한다. 터치스크린 일차 디스플레이의 왼쪽 모서리로 부터의 스와이핑 또는 일차 디스플레이의 왼쪽 상단 구석에의 클릭은 앱과 데스크탑 간의 전환을 가능하게 한다. 이들 스윕 제스처를 사용자가 편리하게 하기 위하여, 많은 컴퓨터는 활성 디스플레이 영역 외부의 경계면에서 시작하는 스윕 제스처를 지원한다. 본 발명의 실시예에 따르면, 대안적인 제스처는 일차 디스플레이의 모서리로부터의 스위핑과 동일한 기능을 제공한다. 이러한 제스처는 일차 디스플레이의 모서리 위의 영공에 손을 위치시키고, 모서리를 향해 손을 움직임에 의해 수행된다. 손이 일차 디스플레이 하우징을 터치할 때까지 제스처가 계속되면, 손은 디스플레이의 두께 터치할 것이다. 즉, 손은 디스플레이의 전면을 디스플레이의 후면에 연결하는 하우징의 모서리를 터치할 것이다. 그러나, 손은 디스플레이에 도달할 필요가 없고, 측면에서부터 디스플레이에 접근하는 물체의 검출은 제스처로 인식된다.
본 발명의 실시예에 따른 디스플레이의 측면 모서리에 접근하는 파형 제스처를 검출하기 위한 근접 센서가 있는 PC의 간략도인 도 39를 참조한다. 도 39는 디스플레이의 모서리 위의 영공에서 이러한 접근 제스처를 검출하기 위한 디스플레이 하우징의 왼쪽 모서리 외부를 따라 배열된 광학 근접 센서(512)를 가진 PC 디스플레이(131)를 도시한다. 사용자가 스윕 제스처를 편리하게 하기 위하여, 종래의 많은 컴퓨터는 활성 디스플레이 영역 외부의 경계면에서 시작하는 스윕 제스처를 지원한다. 본 발명에 따른 접근 제스처는, 이러한 제스처를 위해 요구되는 디스플레이 주위에 경계 영역이 없기 때문에, 활성 디스플레이 영역을 최대화할 수 있다. 본 발명에 따른 제스처는 활성 디스플레이 영역을 터치할 필요가 없어서, 손가락을 활성 디스플레이 영역으로 그리는 종래의 스윕 제스처에 의한 디스플레이 상의 얼룩을 피할 수 있다.
키 누름 및 마우스 제스처를 위한 이차 디스플레이 사용
상기 언급된 바와 같이, 본 발명의 실시예는 터치 센시티브이고, 키보드 입력과 마우스 입력에 사용되는 이차 디스플레이를 제공한다. 본 발명은 키보드 키 누름과 마우스 제스처를 구별하기 위한 여러 방법을 제공한다.
제1 실시예에서, 탭 제스처는 키보드 누름과 관련되고, 글라이드 제스처는 마우스 커스를 움직이게 하는 마우스 제스처와 관련된다. 또한, 키보드 키 누름과 구별되는 3개의 마우스 클릭이 제공되는데, 싱글-클릭, 더블-클릭 및 우-클릭이다.
본 발명에 따른 우-클릭 제스처는, 빠른 터치-및-해제인 탭 제스처와 달리, 하나의 위치에서 유지되는 긴 터치이다.
더블-클릭 제스처는 마우스 커서가 위치한 위치의 아이템을 활성화시킨다. 본 발명에 따르면, 더블클릭 제스처는 또 다른 마우스 제스처가, 즉, 마우스 제스처 이후의 첫 번째 탭이 필연적으로 뒤따른다는 점에서, 더블-클릭 제스처는 키 누름과 구별된다. 따라서, 마우스 이동 제스처가 수행된 이후에, 다음 탭 제스처는 더블-클릭 제스처의 처음 절반이거나 키 누름 제스처일 수 있다. 본 시스템은 무엇이 탭을 뒤따르는지에 기초하여 이러한 탭을 명확히 한다. 이러한 탭이 처음 탭과 정확히 동일한 위치에 두 번째 탭이 이어지면, 두 개의 탭은 더블-탭 제스처로 처리되고, 처음 탭이 처음 탭과 정확히 동일한 위치에 두 번째 탭이 이어지지 않으면, 처음 탭은 키보드 키 누름과 관련된다. 따라서, 마우스 글라이드 동작을 뒤따르는 처음 탭에 관하여, 시스템은 해당 키 누름 제스처와 관련된 문자를 즉시 입력하지 않는다. 그보다는, 본 시스템은 그 탭이 사실상 의도된 키 누름이고 더블-클릭 제스처의 시작이 아니라는 것을 결정할 때까지 기다린다. 그러나, 마우스 글라이드 제스처가 수행될 때까지, 모든 이후의 탭이 키보드 키 누름으로 명확하게 결정된다. 또한, 더블-글릭은 더블-클릭 제스처를 즉시 뒤따르지 않아서, 더블-클릭이 실행될 때에, 제3의 탭이 명확하게 키 누름 제스처이다. 따라서, 스크린 상의 문자를 제시하는데 있어서의 지연은, 글라이드 또는 우-클릭과 같은 마우스 동작을 뒤따르나 어떠한 다른 키 누름이 없는 처음 탭 제스처에 관해서만 발생한다.
싱글-클릭은 마우스 드래그 동작을 수행하는데 사용된다. 본 발명의 실시예에 따르면, 마우스 드래그 동작은 제1 마우스 글라이드 제스처를 빠르게 뒤따르는 제2 마우스 글라이드 제스처에 대해서만 수행된다. 따라서, 제1 글라이드 제스처는 스크린 상의 마우스 커서를 움직이기만 한다. 그리고 나서, 사용자는 그의 손가락을 들어올리고, 짧은 양의 시간 안에, 그의 손가락을 스크린상에 다시 위치시키고 제2 글라이드 제스처를 수행하면, 글라이드 제스처는 드래그 제스처로 해석된다. 짧은 양의 시간은 관측된 사용자 행동에 기초하여 구성되나, 일부의 경우에 1 또는 2초일 수 있다. 드래그 동작 없이 마우스 커서를 움직이는 제2 동작을 수행하기 위해서는, 제1 글라이드 제스처와 제2 글라이드 제스처 사이에 (구성된 짧은 양의 시간보다 긴) 중단이 있어야만 한다.
대안적인 실시예에서, 키 누름과 마우스 제스처를 구별하는 요소는 제스처를 수행하는 손가락의 수이다. 따라서, 한 개의 손가락 제스처는 키보드 키 누름이고, 두 개의 손가락은 마우스 제스처이다. 두 개 이상의 손가락에 의해 수행된 제스처도 마우스 제스처이다.
그늘진 광 펄스에 기초하여 터치를 검출하는 본 발명의 개시에 따른 시스템은 그늘진 영역의 크기에 기초하여 제스처를 수행하는 손가락의 수를 결정한다. 더 큰 영역은 복수의 손가락이 사용된다는 것을 나타낸다. 마찬가지로, 반사된 광 펄스에 기초하여 터치를 검출하는 본 발명의 개시에 따른 시스템은 반사를 검출하는 상이한 이미터-리시버 채널의 수에 기초하여 제스처를 수행하는 손가락의 수를 결정한다. 더 많은 터치 위치에 해당하는 채널은 더 많은 수는 스크린의 큰 표면적이 불룩하게 터치된다는, 즉, 복수의 손가락이 사용되다는 것을 나타낸다.
어떤 실시예에서, 위/아래 이동가능한 버튼의 어레이는 이차 디스플레이의 상단에 위치하여, 키보드를 통해 데이터를 입력할 때, 전형적인 푸시-버튼 사용자 경험을 제공한다. 본 발명의 실시예에 따른 터치 패널의 가상 키패드 부분 위에 위치한 예시적인 4개의 버튼 키패드 새시의 세 개의 간략도인 도 40을 참조한다. 도 40은 제거가능한 새시(12) 내에 키(10)를 도시한다. 터치 패널(14)은 새시(12) 아래에 위치된다. 이미터와 리시버(16)는 터치 패널(14)의 일부로 도시된다. 이미터와 리시버(16)는 표면(14) 아래에 위치되나, 터치 검출 광선(20)을 명확하게 나타내기 위하여, 도 40에서 스크린 위에 도시된다.
본 발명의 실시예에 따른 터치 패널의 가상 키패드 부분 위에 위치된 예시적인 4개의 버튼 키패드 새시의 단면 A-A의 간략도인 도 41을 참조한다. 도 41은 제거가능한 새시(12) 내의 키(10)이다. 터치 패널(14)은 새시(12) 아래에 위치된다. 이미터와 리시버 렌즈(22)는 터치 패널(14)의 표면 위에 터치 검출 광선(20)으로 도시된다.
본 발명의 실시예에 따른 해제되고 눌려진 스프링-탄력 있는 키의 간략도인 도 42(a)-(c)를 참조한다. 도 37(a)는 제거가능한 새시(12) 내의 키(10)이다. 터치 패널(14)은 새시(12) 아래에 위치된다. 이미터와 리시버 렌즈(22)는 터치 패널(14)의 표면 위에 터치 검출 광선(20)으로 도시된다.
도 42(b)는 새시(12) 내에 그리고 광선(20) 위로 버튼(10)을 유지시키기 위한 스프링 메카니즘(24)을 도시하는 버튼(10)의 컷어웨이이다. 도 42(c)는 버튼(10)을 누르는 사용자에 의해 가해진 아래 방향으로의 압력에 의해 압축된 스프링 메카니즘(24)을 도시한 버튼(10)의 컷어웨이이다. 이러한 경우에, 버튼(10)의 바닥은 낮아져서 광선(20)을 막는다. 사용자가 이러한 아래 방향으로의 압력을 해제할 때, 스프링(24)은 버튼(10)을 도 37(b)의 포지션으로 복귀한다.
본 발명의 실시예에 따른 고무와 같은 탄성 있고, 탄력 있는 물질로 제조된 버튼의 간략 단면도인 도 43(a) 및 (b)를 참조한다. 도 43(a)는 새시(12) 내에 그리고 터치 패널(14) 위에 이미터와 리시버 렌즈(22)를 통해 투사된 광선(20) 위에 탄성 있는 버튼(10)의 컷어웨이이다.
도 43(b)는 버튼(10)을 누르는 사용자에 의해 아래 방향으로 가해진 압력에 의해 압축된 버튼(10)을 나타내는 컷어웨이이다. 이러한 경우에, 버튼(10)의 바닥은 낮아져서 광선(20)을 막는다. 사용자가 아래 방향의 압력을 해제할 때, 버튼(10)은 탄력 있고 탄성 있는 특성 때문에, 도 43(a)의 포지션으로 복귀한다.
본 발명의 실시예에 따른 대안적인 버튼 컨피규레이션의 간략도인 도 44(a)-(c)를 참조한다. 도 44의 버튼(10)은 광선(20)이 트렁크를 통해 통과할 수 있는 두 개의 교차 캐비티(30)를 가진다. 버튼(10)이 해제될 때, 캐비티는 낮아지고, 트렁크의 단단한 부분이 광선을 막는다.
도 44(a)는 버튼의 3-D 도면이다. 도 44(b)는 버튼의 상면도이고, 도 44(c)는 버튼의 측면도이다. 도 44(d)는 버튼의 라인 M-M을 따른 단면도이다. 도 44의 버튼(10)은 도 42의 스프링 장착 실시예나 도 43의 탄력 있는 물질 실시예에 따라 윗 방향 포지션으로 유지된다.
본 발명의 실시예에 따르면, 이들 버튼은 광섬유 면판(Fiber Optic Faceplate)으로 제조된다. 광섬유 면판(FOFP)은 입력 표면에서 출력 표면 까지 이미지를 정확하게 전송하는 코히런트 광섬유 판이다. 따라서, 각각의 키 아래에 디스플레이된 이미지는 FOFP에 의해 키의 상단 표면으로 전송되고, 사용자에게는 이미지가 키의 상단 표면에 있는 것처럼 보인다.
그러나, 본 발명은 키가 눌러질 때, 키를 낮아지기 위해, FOFP 키와 디스플레이 사이에 에어갭을 제공한다. 또한, 광선은 키 아래에 투사되어서, 상기 설명된 바와 같이, 낮아진 키가 광선을 막아서, 어느 키가 눌러졌는지를 나타내고, "LIGHT ACTUATOR FOR MOVABLE BUTTONS ON A KEYPAD"라는 명칭으로 2012년 3일에 출원되고, 그 내용이 전체로서 본원에 참조로서 포함되는 동시 계류중인 미국 특허 출원 번호 제13/602,217호에 있다. 이러한 에어갭은 디스플레이된 이미지가 FOFP 입력 표면에서 초점 이탈되게 한다. 일부 실시예에서, 에어갭의 높이는 1.5 mm이다.
이러한 문제를 고치기 위하여, 본 발명은 몇 밀리미터의 거리 위에 물체(이 경우에 디스플레이 스크린)를 재생하는 복수의 마이크로 렌즈 어레이을 제공한다. 본 발명의 실시예에 따른 키보드 디스플레이와 광섬유 면판 키 사이의 마이크로 렌즈 어레이의 배열의 간략도인 도 45를 참조한다. 도 45는 이차 디스플레이(56)와 FOFP 버튼의 FOFP 입력 표면(57) 사이의 대칭 방식으로 축방향으로 배열된 4개의 마이크로 렌즈 어레이(51-54)를 도시한다. 각각의 광학 채널에서, 제1 및 제2 마이크로 렌즈 어레이(51 및 52)는 중간 이미지 평면 내의 디스플레이 스크린의 각각의 부분의 축소되고 반전된 이미지를 생성한다. 반전되 그룹의 동일한 마이크로 렌즈(53 및 54)는 중간 이미지를 FOFP 입력 표면(57)상으로 전달한다. 각각의 부분 이미지가 단위 확대(unity magnification)를 가지므로, 모든 부분 이미지의 전체 이미지는 최종 이미지의 완전한 재구성을 초래한다. 인접한 부분 이미지의 가능한 오버랩과 크기는 축 대칭의 중심에 있는 어퍼처 마스크(55)에 의해 제어된다.
예시적인 실시예에서, 렌즈 어레이는 0.1 mm 두께의 폴리카보네이트이고, 각각의 렌즐렛(lenslet)은 0.2 mm 정사각형이며, 어퍼처 마스크는 0.076 mm 정사각형 홀을 가지고, 이미지 거리까지의 물체는 4.7 mm이다.
본 발명의 실시예에 따른 키 또는 버튼(59)의 간략도인 도 46을 참조한다. 마이크로 렌즈 어레이(51-54)는 FOFP에 연결되고, 이들은 함께 위 그리고 아래로 움직인다. 버튼이 레스트 상태(resting), 활동하지 않는 포지션에 있을 때, 마이크로 렌즈 어레이와 디스플레이 표면 사이의 거리 d1은 마이크로 렌즈 어레이와 FOFP 사이의 거링 d2와 동일하다. 이는 디스플레이 상의 이미지가 FOFP 상에 선명하게 재생된다는 것을 보장한다. 버튼을 누르는 사용자에 의해 버튼이 낮아질 때, 거리 d1은 감소되고, 이는 FOFP(58) 상의 이미지가 초점 이탈되도록 한다. 그러나, 이는 사용자에 대한 문제가 아닌데, 왜냐하면, 그의 손가락은 FOFP(58)의 출력 표면을 커버하고 있어서, 초점 이탈 이미지는 볼 수 없기 때문이다. 사용자가 그의 손가락을 키에서 치울 때, 키는 레스트 상태로 복귀하고, FOFP(58)는 다시 초점 상태에 있다.
근접 센서를 위한 바코드
본 발명의 실시예는 선형 UI 제어부를 따라 방향성 글라이드 제스처를 검출하기 위한 낮은 단가의 근접 센서를 제공한다. 예를 들어, 부피 제어는 장치의 모서리를 따라 좁은 윈도우로 실현된다. 윈도우를 따라 한 방향으로의 슬라이드는 부피를 증가시키고, 위도우를 따라 반대 방향으로의 슬라이드는 부피를 감소시킨다.
본 발명의 실시예에 따른 슬라이더 제어부의 간략도인 도 47을 참조한다. 도 47은 방향성 그라이드를 검출하는 슬라이더 윈도우의 측면 컷어웨이를 도시한다. 윈도우는 두 개의 인접한 광 가이드부를 포함하는데, 상단 광 가이드부(333)는 이미터(101)에 결합되고, 하단 광 가이드부(334)는 검출기(201)에 결합된다. 두 개의 광 가이드부 사이에, 광을 두 광가이드부 사이로 통과하지 못하도록 하는 불투명 또는 반사성 광-차단 요소(335)가 엇갈리게(staggered) 있다. 이들 불투명 또는 반사성 요소 사이의 간격은 다양한 크기이다. 이미터(101)로부터의 광(433)은 내부 전반사(TIR) 때문에 광이 포함되는 광 가이드부(333)로 들어간다. 손가락이 광 가이드부(333)를 터치할 때, 광 가이드부는 광을 산란시키고, TIR을 방해하여서, FTIR 광의 대부분(434)이 하단 광 가이드부(334) 내로 그리고 검출기(201)를 향하여 직접 산란된다. 그러나, 이러한 광은 오직 불투명 또는 반사성 요소(335)들 사이의 간격을 통해서, 광 가이드부(334) 내로 통과할 수 있다. 그러므로, 불투명 또는 반사성 요소(335)들 사이의 간격이 큰 영역의 반대편에 손가락이 위치할 때, 많은 광이 광 가이드부(334) 내로 들어와 PD(201)에 도달할 것이다. 그에 반해, 불투명 또는 반사성 요소(335)들 사이의 간격이 작은 영역의 반대편에 손가락이 위치할 때, 적은 광이 광 가이드부(334) 내로 들어와 PD(201)에 도달할 것이다. 손가락이 광 가이드부(333)를 따라 글라이드하면서, 손가락은 요소들(335) 사이의 상이한 크기의 갭을 가진 섹션에 걸쳐 지나간다. 그 결과, 손가락의 움직임은 시간에 따라 PD(201)에서 광 검출의 패턴으로부터 추론될 수 있다.
본 발명의 실시예에 따른 도 47의 슬라이더 제어부를 사용하여 제스처의 다양한 검출 패턴의 간략도인 도 48을 참조한다. 도 48은 4개의 상이한 검출 패턴을 도시한다. 각각의 그래프는 시간에 따른 PD에서의 광 검출의 샘플을 도시한다. x-축은 시간을 나타내고, y-축은 검출된 광량을 나타낸다. 따라서, 광 가이드부를 따르는 움직임의 방향은 검출의 패턴에 의해 나타난다. 본 예시에서, 올라가는 패턴은 오른쪽으로 슬라이딩하는 것에 해당하는 반면, 내려가는 패턴은 반대 방향으로 움직이는 것을 나타낸다. 움직임 속도는 검출에서의 변화율에 의해 나타내는데, 더 빠른 변화율은 더 빠른 움직임에 해당한다.
본 발명의 실시예에 따른 대안적인 슬라이더 제어부의 간략도인 도 49를 참조한다. 도 49는 실시예를 도시하느데, 이미터(101)는 광 가이드부(333)의 상단 표면을 터치하는 손가락(922)상에 직접 광선(336)을 투사하고, 그 위에 반사된 광이 광 가이드부(333)에 들어가는 것을 막는 불투명 또는 반사 요소(335)의 패턴이 있다. 따라서, 손가락(924)으로부터 반사된 상이한 광량(336)은 광 가이드부(333)에 들어가고, 손가락 근처의 광 차단 요소의 패턴에 의존하여 검출기(201)에 의해 검출된다.
광학 근접 센서를 위한 레크레이션 적용
본 발명에 대한 하나의 적용예는 GOOGLE® GLASS®와 같은 상호작용의 글라스이다. GOOGLE 및 GOOGLE GLASS는 Mountain View, CA의 Google Inc의 등록 상표이다. 상호작용의 글라스는 하나 또는 두 개의 글라스 렌즈에서 헤드-업 디스플레이를 포함한다. 상호작용의 글라스는 전형적으로 코의 콧대상의 패드 및 귀 위에 위치되는 측면 안경 다리에 의해 지지된다. 일부 상호작용의 글라스에서, 안경 다리는 터치 센서를 포함하는데, 이는 안경 다리 상에 탭 제스처나 슬라이딩 제스처에 의해 사용자 명령이 통신될 수 있다.
따라서, 본 발명의 일부 실시예에서, 본 발명의 광학 근접 센서는 상호작용의 글라스의 안경 다리 내에 내장되어서, 안경 다리에서 떨어진 범위 내에서 상요자 입력 제스처를 할 수 있도록 한다. 이는 인-에어(in-air) 사용자 입력 제스처를 위한 안경 다리와 반대편 2D 영공을 가능하게 한다. 안경 다리를 따라 스택된 복수의 광학 근접 센서의 행은 3D 센서를 제공한다. 다른 실시예에서, 제1 광학 근접 센서는 사용자의 안경 다리로부터 이탈되고, 제2 광학 근접 센서는 하늘을 향하여서, 사용자의 머리의 측면과 위의 제스처를 검출한다.
또 다른 적용예는 손목 시계와 같은 착용 센서이다. 본 발명의 다양한 손목-착용 실시예에서, 광학 근접 센서는 다이오드의 일차원 행, 다이오드의 이차원 격자, 다이오드의 이차원 눈송이 패턴, 착용 아이템의 둘 이상의 모서리를 따라 다이오드의 둘 또는 일차원 이상의 행이다. 한 예시적인 실시예에서, 광학 근접 센서는 손목 시계에 내장되어, 시계면 또는 그 주변 베젤을 통해 광선을 위로 투사한다. 사용자는 시계 위에서 손을 흔드는 것과 같은 호버 제스처를 수행함에 의해 시계에 커맨드를 방출한다. 대안적으로, 사용자가 시계를 찬 손목을 회전할 때, 그는 광학 근접 센서에서 검출되는 반사된 광량을 변화시키고, 이는 명령으로 번역된다. 예를 들어, 광학 근접 센서가 사용자의 셀 폰과 BLUETOOTH®를 통해 통신하고, 손목의 회전은 입력 전화를 받는 명령이다. BLUETOOTH는 Bluetooth SIG, Inc의 상표이다. 더 느린 회전 제스처는 셀 폰 헤드셋 볼륨을 높이거나 낮추는 커맨드이다.
또한, 광학 근접 센서는 국소적인 반사로 복귀하는 손가락 제스처와 광학 근접 센서의 넓은 부분에 걸처 반사로 복귀하는 평평한 손바닥에 의한 제스처를 구별한다. 이는 제스처의 한 가지 유형(손가락 또는 손바닥)만에 응답할 수 있다.
게다가, 본 발명의 광학 근접 센서는 센서 위의 평평한 손바닥과 센서 위의 기울어진 손바닥을 구별한다. 손바닥이 광학 근접 센서 위에서 기울어질 때, 기울어진 손바닥의 일부와 센서 사이의 다양한 거리에 따라 반사가 일정하지 않다. 그에 반해, 센서 이미터 광선에 수직인 평평하고 균일한 손바닥은 동일한 방식으로 센서 광선의 전부를 반사한다.
또 다른 적용예는 구부러진 손가락을 검출하기 위해 사용자의 손바닥 아래를 향한 검출 평면이 있는 팔찌이다. 손의 네 개의 손가락은 4개의 비트 포지션을 나타내고, 사용자는 그 손가락에 의해 4-비트 워드를 형성하는데, 구부러진 손가락은 '1'의 비트값을 편 손가락은 '0'의 비트값이다. 이들 4-비트값은 광학 근접 센서에 의해 검출되고 커맨드로 번역된다.
추가적인 적용예는 이러한 팔찌를, 손목마다 하나씩 두 개를 사용하는 것이다. 사용자는 각각의 손의 4 손가락의 구부림 조합에 의해 8-비트 워드를 생성한다. 이는 256 고유 조합을 제공하는데, 이들 조합의 서브세트는 알파벳의 모든 문자에 할당된다. 사용자는 그 손가락을 구부림에 의해 문자를 타이핑하여 다양한 8-비트 문자 조합을 형성한다. 이는 키패드 없이 문자를 입력하기 위한 대안적인 방법을 제공한다.
또 다른 적용예는 모바일 폰을 위한 보호 케이싱이다. 이러한 적용예는 본 원에 그 전체가 참조로서 포함되는 미국 특허 출원 번호 제13/775,269호인 REMOVABLE PROTECTIVE COVER WITH EMBEDDED PROXIMITY SENSORS에 자세히 설명된다. 이러한 보호 케이싱에 기초한 게임 악세서리에 대한 적용예는 도 50-53을 참조하여 기술된다.
악세서리는 슬링샷(slingshot)인데, 이는 특히 ANGRY BIRDS 상표의 소유자인인 핀란드의 Espoo의 Rovio Entertainment Ltd.에 의해 공개된 ANGRY BIRDS®와 같은 많은 게임에서 사용될 수 있다. 이러한 비디오 게임에서, 플레이어는 슬링샷이나 캐터펄트(catapult)를 사용하여 새를 발사체로서 새를 발사한다. 플레이어는 스크린을 따라 그 또는 그녀의 손가락을 슬라이딩함에 의해, 발사체 새에 힘을 제공하기 위해 원하는 정도까지 캐터펄트를 뒤로 당긴다. 스크린으로부터 손가락을 들어올리는 것은 캐터펄트를 해제하여, 타겟으로 공기를 통해 새를 던진다. 캐터펄트가 뒤로 당겨진 각도는 새가 던져지는 방향을 결정한다. 캐터펄트가 뒤로 당겨진 정도는 발세체의 힘을 결정한다.
본 악세서리에 의하면, 플레이어는 폰 케이싱의 모서리에 부착된 실제로 탄성 있는 슬링샷을 뒤로 당길 수 있다. 근접 센서가 내장된 전화기 커버의 예시를 나타내는 미국 특허 출원 번호 제13/775,269호의 도 36을 참조한다. 미국 특허 출원 번호 제13/775,269호의 도 34는 도 36의 커버 내의 전화기를 도시한다. 미국 특허 출원 번호 제13/775,269호의 도 39는 도 36의 전화기 커버 내의 PCB 상의 소자의 레이아웃을 나타낸다.
본 발명의 실시예는 상기 기술된 바와 같이, 광학 근접 센서(512)를 보호 전화기 커버에 통합시킨다. 다양한 실시예가 커버의 1-4 모서리를 따라 광학 근접 센서를 가질 것이다.
본 발명의 실시예에 따른 게임 악세서리의 간략도인 도 50-53을 참조한다. 따라서, 케이싱의 하단 모서리를 따라 교호하는 이미터(101)와 검출기(201)의 어레이를 가지는 PCB(976)이 도시된다. 케이싱의 하단 모서리에 있는 두 개의 구석에 부착된 것은 슬링샷 패드(934)에 묶인 탄성 있는 밴드(933)이다. 이미터와 검출기의 이러한 어레이는 플레이어가 슬링샷 패드(934)를 어떻게 뒤로 당기는 지를 나타낸다.
도 51-53은 슬링샷 패드(934)의 3개의 서로 다른 확장부(935)를 도시한다. 각각의 도면에서, 하단 모서리를 따라 일차원 어레이에 의해 검출되는 x 및 y 오프셋은 점선 화살표에 의해 나타난다.
여러 다양한 방법은, 도 51-53에서 확장부 화살표(935)에 의해 표시된 바와 같이, 슬링샷이 뒤로 당겨지는 정도와 각도를 결정하는데 사용된다. 제1 실시예에서, 탄성 있는 밴드(933)는 슬링샷 패드(934)보다 실질적으로 얇다. 그러므로, 탄성 있는 밴드(933)에 의해 반사된 광량은 슬링샷 패드(934)에 의해 반사된 것보다 실질적으로 적어서, 시스템이 슬링샷 패드(934)의 포지션을 추적할 수 있다. 유사한 방식으로, 슬링샷 패드(934)가 없더라도, 그것을 뒤로 당기기 위해, 사용자가 탄성 있는 밴드(933)을 집는 두 개의 손가락이 탄성 있는 밴드보다 훨씬 더 커서, 사용자의 두 손가락은 추적될 수 있다. 또 다른 실시예에서, 탄성 있는 밴드(933)는 근접 검출기에 의해 투사된 광선과 상이한 높이에 위치된다. 따라서, 탄성 있는 밴드(933)는 검출기에 의해 검출되지 않는다. 그러나, 탄성 있는 밴드를 뒤로 당기는 더 큰 슬링샷 패드 및/또는 사용자의 손가락는 검출기에 의해 투사된 광선의 평면을 통해 연장되어서, 검출된다. 또 다른 실시예에서, 검출기는 두 개의 스택된 이미터, 검출기 및 렌즈의 어레이에 의해 형성된다. 두 개의 어레이의 결합된 높이는 탄성 있는 밴드(933)의 너비보다 크다. 따라서, 탄성 있는 밴드(933)는 두 어레이에서 동일한 검출 신호를 생성하지 않을 것이다. 그러나, 두 개의 어레이의 결합된 높이는 슬링샷 패드(934)와 사용자의 두 손가락의 너비보다 적어서, 이들 아이템은 두 어레이에서 유사한 검출 신호를 생성한다. 또 다른 실시예에서, 탄성 있는 밴드(933)는 중요한 검출가능한 신호를 생성한다. 이러한 경우에, 신호 패턴은 뒤로 당겨지는 탄성 있는 밴드와 검출기 어레이의 각각의 섹션 사이의 거리에 해당하는 전체 검출기 어레이에 걸쳐 생성된다. 가장 먼 거리는 슬링샷 패드의 위치 또는 사용자의 손가락에서이다. 따라서, 검출 신호를 맵핑함에 의해, 삼각형은 뒤로 당겨지는 슬링샷의 형상에 대응하여 맵핑될 것이다.
또 다른 실시예에서, 광학 근접 센서(512)는 힌지부를 통해 디스플레이의 모서리에 부착된다. 일부 실시예에서, 복수의 광학 근접 센서(512)는 디스플레이의 복수의 모서리에 부착된다. 본 발명의 실시예에 따른 회전하는 힌지부에 의해 디스플레이에 연결된 4개의 근접 센서 바로 둘러싸인 디스플레이의 간략도인 도 54를 참조한다. 도 54는 광학 근접 센서(512)에 의해 4개의 변에 둘러싸인 디스플레이(911)를 도시한다. 각각의 터치 센서 바는 힌지부(950)에 의해 디스플레이 하우징에 부착된다. 상기에서 설명된 바와 같이, 각각의 광학 근접 센서(512)는 2D 검출 평면을 투사한다. 따라서, 힌지부(950)는 각각의 터치 센서 바(510)에 대한 2D 검출 평면을 디스플레이(911)에 대해 일정 각도로 조준할 수 있다. 디스플레이(911) 위를 향하는 각도로 2D 검출 평면을 조준하기 위해 회전될 때, 터치 센서 바(510)는 호버(hover) 검출을 제공한다. 스크린 표면에 평행하도록 2D 검출 평면을 조준하기 위해 회전될 때, 광학 근접 센서(512)는 터치 검출을 제공한다. 게다가, 하나 이상의 광학 근접 센서(512)가 스크린 표면에 평행하도록 2D 검출 평면을 조준하기 위해 회전되고, 하나 이상의 제2 어레이가 스크린 위를 향하도록 하는 각도로 2D 검출 평면을 조준하기 위해 회전될 때, 터치 검출 및 호버 검출 모두가 제공된다. 도 54에서, 4개의 모든 광학 근접 센서(512)가 각자의 검출 평면을 디스플레이(911) 위를 향하는 각도 및 디스플레이를 가로지르는 각도로 조준하도록 회전된다. 이러한 경우 4개의 교차 검출 평면이 스크린(911) 위의 3D 검출 부피를 제공한다.
또 다른 레그레이션의 적용예는 멀티-패널 디스플레이로서, 복수의 핸드세트에 클라우드 게이밍 장치가 디스플레이될 수 있게 하는 것이다. 사용자는 핸드세트를 타일처럼 배열하여, 크고, 직사각형이며, 복수의-패널 디스플레이를 형성시킨다. 게임 서버는 각각의 핸드세트 디스플레이가 복수의 패널 디스플레이 내에 어디에 위치되는지를 식별한다. 게임 서버는 게임 GUI의 각자의 일부를 각자의 핸드세트에 스트림하여, 전체 스크린 게임 GUI는 핸드세트에 걸쳐 분산된다. 일부 실시예에서, 복수의 패널 디스플레이 내의 각각의 핸드세트는 상기 기술된 바와 같은 광학 근접 센서(512)를 가진다.
본 발명의 실시예에 따른 인터넷 게임 서버(991)와 통신하기 위한 통신부(703)를 가진 휴대용 전자 게임 장치(994)의 간략도인 도 55를 참조한다. 장치(994) 내의 디스플레이(100)는 통신부(703)에 의해 수신된 게임 사용자 인터페이스(UI)의 일부를 서버(991)로부터 렌더링한다. 센서(518)가 근처에 위치된 제2 게임 장치를 검출하고, 통신부(703)에 연결되어 검출 정보를 게임 서버에 전송한다. 본 발명의 실시예에 따르면, 센서(518)는 상기 논의된 광학 근접 센서(512)와 유사할 수 있다.
본 발명의 실시예에 따른 핸드세트에 렌더링된 인터넷 게임의 간략도인 도 56을 참조한다. 도 56은 핸드세트(994)와 통신하는 인터넷 게임 서버(991)를 도시한다. 게임 로직은 서버(991)에 의해 처리되고, 상기 서버는 게임 GUI를 핸드세트(994)에 전송한다. 게임의 GUI는 하나의 스크린에 렌더링된다. 핸드세트(994)의 모든 4개의 모서리를 둘러싸는 영역은 상기 기술된 바와 같이, 게임을 제어하기 위한 사용자 제스처를 위해 사용된다. 이들 제스처는 핸드세트의 모서리를 따라, 또는 핸드세트와 함께 사용되는 보호 커버의 모서리를 따라, 이들은 상단 및 바닥 검출 구역(998)과 왼쪽 및 오른쪽 검출 구역(999)을 형성하여, 근접 센서(512)에 의해 검출된다.
본 발명의 실시예에 따른 두 개의 핸드세트가 함께 인터넷 게임을 렌더링하는 간략도인 도 57을 참조한다. 도 57은 각자의 통신 프로세서(983 및 984)를 통해 두 개의 핸드세트(994 및 995)와 통신하는 인터넷 게임 서버(991)를 도시한다. 두 개의 핸드세트는 공통의 모서리를 따라 정렬되는데, 즉, 핸드세트(994)의 긴 하단 모서리는 핸드세트(995)의 긴 상단 모서리와 정렬된다. 이에 따라, 두 핸드세트사이의 이들 모서리는 핸드세트 외부의 제스처를 검출하는데 사용될 수 없다. 그러나, 이들 모서리는 서로 검출한다. 예를 들어, 핸드세트(995)의 상단 모서리를 따라서 있는 검출 구역(998)은 핸드세트(994)를 검출한다. 따라서, 핸드세트(995)는 핸드세트(995)의 긴 상단 모서리 전체가 근접 물체에 의해 점유되어 있다는 것을 서버(991)와 통신한다. 마찬가지로, 핸드세트(994)는 핸드세트(994)의 긴 하단 모서리 전체가 근접 물체에 의해 점유되어 있다는 것을 서버(991)와 통신한다. 이러한 정보에 기초하여, 서버(991)는 각각의 핸드세트에 의해 검출된 근접 물체가 이웃하는 핸드세트라는 것을 결정한다. 따라서, 서버(991)는 게임 GUI의 상단 절반을 핸드세트(994)에 전송하고, 게임 GUI의 하단 절반을 핸드세트(995)에 전송한다. 더구나, 스크린 배향, 가령, 검출 핸드세트의 디스플레이 상의 픽셀 (0,0)에 대한 검출 모서리의 위치에 기초하여, 서버(991)는 절반-GUI 이미지들이 그들의 타겟 핸드세트상에 적절히 렌더링하기 위해, 절반-GUI 이미지들 중 하나 또는 모두를 회전해야하는지를 결정한다. 이는 하나의 핸드세트 디스플레이에서 다음 핸드세트 디스플레이까지의 연속성을 보장하여, 두 핸드세트는 연속적인 GUI를 함께 디스플레이한다.
본 발명의 실시예에 따른 두 개의 핸드세트로 구성된 디스플레이로서, 인터넷 게임을 위한 두 개의 -패널 디스플레이의 간략도인 도 58을 참조한다. 도 58은 두 개의 핸드세트(994 및 995)에 렌더링된 인터넷 게임을 도시하는데, 즉, 게임 GUI는 두 개의 스크린에 렌더링되고, GUI의 상단 절반은 핸드세트(994)에 렌더링되고, GUI의 하단 절반은 핸드세트(995)에 렌더링된다. 본 게임의 예시에서 인터넷 게임 서버와 통신하는 장치의 수는 2개이기 때문에, 게임 서버는 GUI를 두 부분으로 나눈다. 게임 서버가 GUI를 나누는 부분의 수는 특정 예시 게임에서 인터넷 게임 서버와 통신하는 장치의 수에 따른다.
도 57을 참조하여 설명되는 바와 같이, 두 핸드세트 사이의 모서리는 핸드세트 외부의 제스처를 검출하는데 사용할 수 없다. 그러나, 각각의 핸드세트의 남은 3개의 노출된 모서리는 핸드세트의 외부의 개방 공간에서 사용자 입력 제스처를 검출할 수 있다. 노출된 핸드세트 모서리는 복수의 패널 디스플레이의 주변부를 형성하고, 복수의 패널 디스플레이 외부의 개방 공간에서 사용자 제스처를 검출하는데 사용된다. 서버(991)는 두 핸드세트가 서로에 대해 어떻게 배향되는지와, GUI의 어느 부분이 각각의 핸드세트에 렌더링되는지에 관한 상기 기술된 핸드세트 정렬 정보에 의해 게임 서버는 두 개의 핸드세트의 개방 공간에 걸친 제스처를 하나의 제스처로 맵핑할 수 있도록 한다. 예를 들어, 화살표 939에 의해 도시된 바와 같이, 복수의 패널 디스플레이의 반대편 오른쪽 모서리에 그의 손가락을 위로 글라이딩함에 의해 글라이드를 수행하면, 제스처는 핸드세트(995)의 구역(999)에서 처음으로 검출되고, 나중에 핸드세트(994)의 구역(998)에서 검출된다. 각각의 핸드세트는 그의 근접 구역 검출 정보를 서버(991)에 전송한다. 서버(991)는 패널의 배열에 대한 정보를 저장한다. 핸드세트 정렬 정보에 기초하여, 서버(991)는 이들 두 글라이드 검출을 결합하여, 복수의 패널 디스플레이의 반대편 오른쪽 모서리에 하나의 긴 윗방향의 글라이드 제스처를 형성한다.
본 발명의 실시예에 따른 4개의 핸드세트로 구성되고 인터넷 게임을 위한 디스플레이의 간략도인 도 59를 참조한다. 도 59는 4개의 핸드세트(994-997)상의 인터넷 게임을 도시한다. 게임 GUI는 4개의 스크린상에 렌더링되고, 각각의 스크린은 GUI의 각자의 사분의 일을 디스플레이한다. 상기에서 설명된 바와 같이, 이웃하는 핸드세트들 사이의 각각의 모서리는 이웃하는 핸드세트를 검출한다. 따라서, 4개의 핸드세트 배열에서, 각각의 핸드세트는 두 개의 이웃을 검출한다. 이러한 정보를 서버에 전송함에 의해, 서버는 4개의 핸드세트가 어떻게 배열되고, GUI의 적절한 사분의 일을 각각의 핸드세트에 맵핑하여서, 4개의 핸드세트가 함께 연속적인 GUI를 디스플레이하도록 한다. 언급된 바와 같이, 서버는 서로 다른 핸드세트로 전송된 이미지의 일부를 회전할 필요가 있다.
일부 실시예에서, 각각의 장치 모서리 따라 있는 검출기는 교호하는 일련의 광 이미터와 광 검출기이고, 검출기는 이웃하는 장치와 같은 물체에 의해 반사된 광을 검출한다. 그러나, 일부 실시예에서, 장치 모서리 따라 있는 광 이미터의 활성 패턴은 이웃하는 장치상의 반대편 어레이의 검출기에 의해 검출된다. 이것이 이웃하는 활성 장치를 검출하기 위한 대안적인 방법이다. 이는 또한, 두 개의 장치의 상대적인 배향을 결정할 수 있다. 예를 들어, 디스플레이의 상단 근처에 이미터가 디스플레이의 하단 근처에서 활성화된 것과 상이한 활성 패턴으로 활성화되면, 이웃하는 장치는, 광 검출기에서의 상이한 검출에 기초하여 이웃하는 장치의 상단이 어디에 위치되는지를 결정한다.
상기 설명된 바와 같이, 남은 노출된 핸드세트 모서리는 복수의 패널 디스플레이의 주변부를 형성하고, 복수의 패널 디스플레이의 외부의 개방 공간에서 사용자 제스처를 검출하는데 사용된다. 핸드세트 사이에 위치한 핸드세트 모서리에 기초하여, 상기 기술된 정렬 정보에 의해, 게임 서버는 도 59의 구역(998 및 999)로 표시된 반대편 두 핸드세트의 개방 공간에 걸친 제스처를 하나의 제스처로 맵핑할 수 있다.
일부 실시예에서, 각각의 장치는 두 개의 장치 사이에 통신 채널을 동적으로 설정하는 니고시에이션(negotiation)의 자동 프로세스를 사용하는 전용 이미터와 센서를 포함한다. 정보 기술, 텔레통신 및 관련된 분야에서, 이러한 프로세스는 핸드세이킹으로 알려져 있다. 따라서, 예를 들어, 제1 장치의 이미터는 이웃하는 장치상의 센서에서 검출되는 핸드세이크 신호를 생성한다. 이웃하는 장치 이미터는 제1 장치의 센서에서 검출되는 상호 핸드세이크 신호를 생성한다. 광 이미터와 광 센서는 핸드세이킹을 할 수 있다. 그러나, 다른 유형의 이미터/센서가 본 발명의 범위, 특히 RFID에 있다. 따라서, 기술과 관계없이, (a) 이웃하는 장치가 서로를 검출하는 것, (b) 각각의 장치가 이러한 검출을 인터넷 게임 서버와 통신하는 것, 그리고 (c) 이러한 정보에 기초하여, 인터넷 게임 서버가 게임 GUI의 각자의 부분을 각각의 장치에 전송하는데 사용된다.
본 발명의 실시예에 따른 도 59에 도시된 바와 같이, 4개의 게임 장치의 컨피규레이션의 간략도인 도 60을 참조하되, 여기서, 게임 GUI는 센서(518)에 의해 검출되고 게임 서버(991)와 통신된 각각의 디스플레이의 상대적 포지션과 배향에 따라 4개의 디스플레이(142-145)에 분산된다. 따라서, 도 60은 인터넷 게임 서버(991)와 복수의 게임 장치를 특징으로 하는 인터넷 게임 시스템을 나타내는데, 게임 장치의 각각은 각각의 장치에 내장된 개별 통신부(703)를 통해 게임 서버와 통신하는 휴대용 전자 게임 장치이다. 각각의 장치는 게임 서버(991)로부터 통신부(703)에 의해 수신된 게임 사용자 인터페이스(UI)의 각각의 일부를 렌더링하기 위한 각자의 디스플레이(142-145)를 가진다. 또한, 각각의 장치는, 통신부(703)에 연결되고, 이웃하는 게임 장치의 존재를 검출하기 위한 각자의 센서(518)를 가진다. 게임 서버(991)는 게임 장치의 수에 기초하여 게임 UI의 각자의 일부의 크기를 결정한다.
상기 명세서에서, 본 발명은 특정 예시적인 실시예를 참조하여 기술되었다. 그러나, 본 발명의 넓은 사상과 범위에서 벗어남 없이 특정 예시적인 실시예에 대해 다양한 수정예와 변경예가 있을 수 있다는 것은 명백할 것이다. 따라서, 명세서와 도면은 제한적인 의미라기 보다는 설명적인 의미로 간주되어야 한다.
이하의 표는 넘버링된 요소의 목록을 작성한 것이고, 각각의 넘버링된 요소가 나타나는 도면을 나열한다. 유사하게 넘버링된 요소는 동일한 유형의 요소를 나타내지만, 이들이 동일한 요소일 필요는 없다.
Figure 112015127323255-pct00009

Figure 112015127323255-pct00010

Claims (32)

  1. 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서에 있어서, 상기 근접 센서는,
    하우징과,
    검출 평면을 따라 상기 하우징의 외부로 광을 투사하기 위해 상기 하우징 내에 장착된 복수의 광 펄스 이미터와,
    검출 평면 내의 반사 물체에 의한, 상기 이미터에 의해 투사된 광의 반사를 검출하기 위해 상기 하우징 내에 장착된 복수의 일차 광 검출기와,
    이미터와 일차 검출기에 대해 상기 하우징 내에 장착되고 배향된 복수의 일차 렌즈 - 각각의 이미터-검출기 쌍에 대해서, 물체가 검출 평면 내의 일차 세트의 포지션 중에 이미터-검출기 쌍과 관련된 이차원 포지션에 위치될 때, 이미터-검출기 쌍의 이미터에 의해 발산된 광은 일차 렌즈들 중 하나를 통과하고, 물체에 의해 반사되어, 일차 렌즈들 중 하나를 통과하여 이미터-검출기 쌍의 검출기로 되돌아옴 - 와,
    이미터-검출기 쌍을 동기식으로 함께-활성화시키기 위한 상기 이미터와 상기 일차 검출기에 연결된 프로세서를 포함하되, 상기 프로세서는,
    함께-활성화된 이미터-검출기 쌍들 중에 검출기가 최대 광량을 검출하는 이미터-검출기 쌍을 결정하고 그 사이에 관련된 포지션을 식별하는 단계와,
    함께-활성화된 이미터-검출기 쌍들과 관련되고 결과-식별된(thus-identified) 포지션과 이웃하는 추가 포지션을 결정하는 단계와,
    결과-식별된 포지션과 결과-결정된 추가 포지션의 가중화된 평균을 계산하는 단계 - 평균에서 각각의 포지션의 가중치는 포지션과 관련된 이미터-검출기 쌍에 대해 반사된 광선의 검출 정도에 해당함 - 에 의해 검출 평면 내의 물체의 이차원 위치를 계산하도록 구성되는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  2. 제 1 항에 있어서, 상기 프로세서는,
    검출 평면 내에 복수의 후보 타원을 제공하는 단계와,
    검출기가 검출 신호를 생성하는 함께-활성화된 이미터-검출기 쌍을 결정하고, 그 사이에 관련된 포지션을 식별하는 단계와,
    두 개의 인접한 포지션이 이웃하는 임의의 두 개의 함께-활성화된 이미터-검출기 쌍에 대해 검출 신호를 보간하여 두 관련된 포지션들 사이에 중간 위치를 결정하는 단계와,
    각각의 중간 위치에 두 개의 이웃하는 관련된 포지션들을 연결하는 선에 수직인 배향을 할당하는 단계에 의해 Hough 변환을 사용하여 검출 평면 내의 물체의 위치를 계산하도록 구성되되,
    각각의 후보 타원에 대해,
    매치 값을 후보 타원에 할당, - 매치 값은 후보 타원의 가장 자리와 위치와 중간 위치의 배향 사이의 매치 정도를 나타냄 - 되고,
    결과-할당된 매치 값의 합산을 계산되며,
    최대 결과-계산된 합산을 가진 후보 타원을 검출 평면 내의 물체의 위치로 지정는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  3. 제 1 항에 있어서, 상기 프로세서에 의해, 결과-결정된 이미터-검출기 쌍의 이미터가 물체 위치 계산의 시계열에 걸쳐 동일한 이미터로 지속될 때, 물체는 상기 일차 렌즈들 중 하나의 광학 축에 평행한 방향으로 움직이고, 이미터-검출기 쌍의 검출기에 의해 검출된 광량은 함께-활성화된 쌍의 검출기에 의해 검출된 광량과 동일한 비율을 가지며, 추가적인 포지션들 중 하나는 계산의 시계열에 걸쳐 관련되는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  4. 제 1 항에 있어서, 상기 렌즈는, 각각의 이미터-검출기 쌍에 대해, 물체가 검출 평면 내의 관련 포지션에 위치될 때, 이미터-검출기 쌍의 이미터에 의해 발산된 광은 물체에 의해 반사되어서, 상기 일차 렌즈들 중 하나의 광학 축에 대해 각도(Θ 또는 -Θ)로 검출기로 되돌아오며, 상기 프로세서에 의해, 결과-결정된 이미터-검출기 쌍의 검출기가 물체 위치 계산의 시계열에 걸쳐 동일한 검출기일 때, 광학 축에 대해 각도(Θ 또는 -Θ)에 평행한 방향으로 움직이며, 이미터-검출기의 쌍의 검출기에 의해 검출된 광량은 함께-활성화된 쌍의 검출기에 의해 검출된 광량과 동일한 비율을 가지고, 추가 포지션들 중 하나는 계산의 시계열에 걸쳐 관련되는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  5. 제 1 항에 있어서, 함께-활성화된 이미터-검출기 쌍은,
    이미터는 결과-결정된 이미터-검출기 쌍에서 이미터와 동일한 적어도 하나의 이미터-검출기 쌍과,
    검출기는 결과-결정된 이미터-검출기 쌍에서 검출기와 동일한 적어도 하나의 이미터-검출기 쌍을 포함하는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  6. 제 1 항에 있어서, 검출 평면 내의 반사 물체에 의해 투사된 광의 반사를 검출하기 위해 상기 하우징 내에 장착된 복수의 이차 광 검출기를 더 포함하여, 이차 검출기와 이미터의 각각의 이미터-검출기 쌍에 대해서, 물체가 검출 평면 내의 이차 세트의 포지션들 - 상기 이차 세트의 포지션은 일차 세트의 포지션과 상이함 - 중에 이차원 포지션에 위치될 때, 이미터-검출기의 쌍의 이미터에 의해 발산된 광은 상기 일차 렌즈들 중 하나를 통과하고 물체에 의해 반사되어, 상기 일차 렌즈들 중 하나를 통과하여 이미터-검출기 쌍의 검출기로 되돌아오는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  7. 제 6 항에 있어서, 이차 세트의 포지션들 중에 이웃하는 것들은 일차 세트의 포지션들 중에 이웃하는 것들보다 더 근접한 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  8. 제 1 항에 있어서,
    검출 평면 내의 반사 물체에 의해 투사된 광의 반사를 검출하기 위해 상기 하우징 내에 장착된 복수의 이차 광 검출기와,
    이미터와 이차 검출기에 대해 상기 하우징 내에 장착되고 배향된 복수의 이차 렌즈 - 이차 검출기와 이미터의 각각의 이미터-검출기 쌍에 대해서, 물체가 검출 평면 내의 이차 세트의 포지션들 - 상기 이차 세트의 포지션은 일차 세트의 포지션과 상이함 - 중에 이차원 포지션에 위치될 때, 이미터-검출기의 쌍의 이미터에 의해 발산된 광은 상기 일차 렌즈들 중 하나를 통과하고 물체에 의해 반사되어, 상기 이차 렌즈들 중 하나를 통과하여 이미터-검출기 쌍의 검출기로 되돌아오는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  9. 제 8 항에 있어서, 이차 세트의 포지션들 중에 이웃하는 것들은 일차 세트의 포지션들 중에 이웃하는 것들보다 더 근접한 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  10. 제 1 항에 있어서, 검출 평면은 반사 표면 위를 통과하고, 상기 일차 렌즈는 상기 이미터에 의해 투사된 광선을 상기 반사 표면에 대해 윗 방향 각도로 향하게 하여, 표면에 의해 투사된 광의 반사도를 최소로하는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  11. 제 1 항에 있어서, 상기 이미터와 일차 검출기는 개별 플라스틱 케이싱 렌즈없이, 그리고, 개별 기판 없이 상기 하우징 내에 장착된 다이오드를 포함하는 것을 특징으로 하는 근접 물체의 이차원 좌표를 결정하기 위한 근접 센서.
  12. 표면을 터치하거나 표면 위에 호버링(hovering)하는 근접 물체의 삼차원 좌표를 결정하기 위한 장치로서, 상기 장치는 근접 센서의 검출 평면이 표면 위를 통과하도록 상기 표면의 서로 다른 변부 상에 위치하는 복수의 청구항 제1항에 따르는 근접 센서를 포함하는, 장치.
  13. 제 12 항에 있어서, 각각의 근접 센서는 타 근접 센서가 표면을 가로질러 조준되는 방향에 수직인 방향으로 표면을 가로질러 조준되는, 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020157036714A 2013-05-30 2014-05-30 광학 근접 센서 KR101709889B1 (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201361828713P 2013-05-30 2013-05-30
US61/828,713 2013-05-30
US201361838296P 2013-06-23 2013-06-23
US61/838,296 2013-06-23
US201361846089P 2013-07-15 2013-07-15
US61/846,089 2013-07-15
US14/140,635 US9001087B2 (en) 2012-10-14 2013-12-26 Light-based proximity detection system and user interface
US14/140,635 2013-12-26
US201461929992P 2014-01-22 2014-01-22
US61/929,992 2014-01-22
US201461972435P 2014-03-31 2014-03-31
US61/972,435 2014-03-31
US201461986341P 2014-04-30 2014-04-30
US61/986,341 2014-04-30
PCT/US2014/040112 WO2014194151A2 (en) 2013-05-30 2014-05-30 Optical proximity sensors

Publications (2)

Publication Number Publication Date
KR20160009073A KR20160009073A (ko) 2016-01-25
KR101709889B1 true KR101709889B1 (ko) 2017-03-08

Family

ID=51989537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036714A KR101709889B1 (ko) 2013-05-30 2014-05-30 광학 근접 센서

Country Status (5)

Country Link
EP (2) EP3005047B1 (ko)
JP (1) JP6096940B2 (ko)
KR (1) KR101709889B1 (ko)
CN (1) CN105324741B (ko)
WO (1) WO2014194151A2 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
KR101984417B1 (ko) * 2015-01-26 2019-05-30 네오노드, 인크. 광학 근접 센서 및 관련된 사용자 인터페이스
WO2016192076A1 (en) * 2015-06-04 2016-12-08 Huawei Technologies Co., Ltd. Input device, user equipment and method for determining movement
KR102668302B1 (ko) * 2016-12-15 2024-05-23 삼성전자주식회사 커버 장치의 개폐를 판단하는 전자 장치와 이의 동작 방법
JP2018156589A (ja) * 2017-03-21 2018-10-04 富士ゼロックス株式会社 入力装置、画像形成装置及びプログラム
JP2018180710A (ja) * 2017-04-06 2018-11-15 富士ゼロックス株式会社 検出装置および装置
JP2018180709A (ja) * 2017-04-06 2018-11-15 富士ゼロックス株式会社 受付装置および検出装置
JP7087368B2 (ja) * 2017-12-13 2022-06-21 船井電機株式会社 空中像表示装置
CN110312000B (zh) * 2018-03-20 2021-06-29 Oppo广东移动通信有限公司 滑出结构的控制方法、检测组件及电子装置
CN108663973B (zh) * 2018-06-09 2023-11-10 成都凯天电子股份有限公司 多路靶标位置距离控制装置
CN109814749B (zh) * 2018-12-18 2022-04-15 维沃移动通信有限公司 一种压力检测装置、屏幕组件及移动终端
KR102119664B1 (ko) * 2019-02-12 2020-06-05 주식회사 일흥 차량용 램프 모듈
JP7121714B2 (ja) * 2019-09-17 2022-08-18 本田技研工業株式会社 車両制御システム
EP4085321A4 (en) 2019-12-31 2024-01-24 Neonode Inc. CONTACTLESS TOUCHLESS INPUT SYSTEM
CN113495615A (zh) 2020-03-20 2021-10-12 代傲阿扣基金两合公司 手势控制模块、家用电器和手势控制模块在电器中的应用
CN111475030B (zh) * 2020-05-25 2021-04-20 北京理工大学 一种利用近红外传感器的微手势识别方法
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238139A1 (en) 2009-02-15 2010-09-23 Neonode Inc. Optical touch screen systems using wide light beams
US20110169781A1 (en) 2002-11-04 2011-07-14 Neonode, Inc. Touch screen calibration and update methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904519B2 (en) * 1998-06-12 2005-06-07 Microsoft Corporation Method and computer program product for offloading processing tasks from software to hardware
US8674966B2 (en) * 2001-11-02 2014-03-18 Neonode Inc. ASIC controller for light-based touch screen
US7162124B1 (en) * 2003-03-14 2007-01-09 Luxtera, Inc. Fiber to chip coupler
CN101300620B (zh) * 2005-09-08 2011-04-06 能量2B公司 显示器和信息输入设备
US7884315B2 (en) * 2006-07-11 2011-02-08 Apple Inc. Invisible, light-transmissive display system
CN101681222A (zh) 2007-05-11 2010-03-24 Rpo私人有限公司 透射体
US7884734B2 (en) * 2008-01-31 2011-02-08 Microsoft Corporation Unique identification of devices using color detection
US20090280905A1 (en) * 2008-05-12 2009-11-12 Weisman Jordan K Multiplayer handheld computer game system having tiled display and method of use
US9167043B2 (en) * 2009-05-22 2015-10-20 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Servers for device identification services
CN102812424B (zh) * 2010-03-24 2016-03-16 内奥诺德公司 用于基于光的触摸屏的透镜系统
US20110248960A1 (en) 2010-04-08 2011-10-13 Qualcomm Mems Technologies, Inc. Holographic touchscreen
FR2963705B1 (fr) * 2010-08-06 2012-08-17 Saint Gobain Support a couche diffusante pour dispositif a diode electroluminescente organique, dispositif electroluminescent organique comportant un tel support
US20120262408A1 (en) * 2011-04-15 2012-10-18 Jerome Pasquero Touch-sensitive display with optical sensor and optical method
US20120327029A1 (en) 2011-06-27 2012-12-27 Qualcomm Mems Technologies, Inc. Touch input sensing using optical ranging
US8963886B2 (en) * 2011-07-13 2015-02-24 Flatfrog Laboratories Ab Touch-sensing display panel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169781A1 (en) 2002-11-04 2011-07-14 Neonode, Inc. Touch screen calibration and update methods
US20100238139A1 (en) 2009-02-15 2010-09-23 Neonode Inc. Optical touch screen systems using wide light beams

Also Published As

Publication number Publication date
EP3005047B1 (en) 2018-10-31
JP6096940B2 (ja) 2017-03-15
JP2016521874A (ja) 2016-07-25
KR20160009073A (ko) 2016-01-25
EP3454189A1 (en) 2019-03-13
WO2014194151A2 (en) 2014-12-04
EP3454189B1 (en) 2020-12-02
CN105324741A (zh) 2016-02-10
CN105324741B (zh) 2019-12-06
EP3005047A2 (en) 2016-04-13
WO2014194151A3 (en) 2015-02-12
EP3005047A4 (en) 2016-06-22

Similar Documents

Publication Publication Date Title
US11733808B2 (en) Object detector based on reflected light
KR101709889B1 (ko) 광학 근접 센서
US10140791B2 (en) Door lock user interface
US9569095B2 (en) Removable protective cover with embedded proximity sensors
US9001087B2 (en) Light-based proximity detection system and user interface
EP2419812B1 (en) Optical touch screen systems using reflected light
CN112041799A (zh) 触摸敏感装置中的不需要的触摸管理
JP5876587B2 (ja) タッチスクリーンシステム及びコントローラ
KR20160122747A (ko) 터치 센서에 있어서 가능한 채널의 동적 할당
JP5764266B2 (ja) 光ベースのタッチ感応電子デバイス
KR200477008Y1 (ko) 마우스 겸용 스마트폰
WO2016085607A1 (en) Door handle with optical proximity sensors
KR101466941B1 (ko) 비접촉 사용자 인터페이스 수단 및 이를 적용한 디바이스
KR20200021650A (ko) 미디어 안내장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant