KR101765771B1 - 다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법 - Google Patents
다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법 Download PDFInfo
- Publication number
- KR101765771B1 KR101765771B1 KR1020137029375A KR20137029375A KR101765771B1 KR 101765771 B1 KR101765771 B1 KR 101765771B1 KR 1020137029375 A KR1020137029375 A KR 1020137029375A KR 20137029375 A KR20137029375 A KR 20137029375A KR 101765771 B1 KR101765771 B1 KR 101765771B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- delete delete
- motion
- light
- segmented
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 title claims description 28
- 239000002184 metal Substances 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 abstract description 145
- 239000013598 vector Substances 0.000 abstract description 46
- 230000008569 process Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 5
- 210000004027 cell Anatomy 0.000 description 91
- 239000002131 composite material Substances 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 42
- 239000010410 layer Substances 0.000 description 34
- 239000000758 substrate Substances 0.000 description 13
- 238000002955 isolation Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 235000012239 silicon dioxide Nutrition 0.000 description 3
- 239000000377 silicon dioxide Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000002161 passivation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003719 b-lymphocyte Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/4446—Type of detector
- G01J2001/446—Photodiode
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/30—Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]
Abstract
제스처 감지 장치는 다수의 세그먼트화된 포토 센서 및 센서로부터 출력된 감지 전압들을 처리하기 위한 제어 회로를 포함한다. 제어 회로는 감지 전압 신호들을 처리하여 세그먼트화된 포토 센서에 대한 타겟 모션을 결정한다. 제어 회로는 세그먼트화된 포토 센서들로부터 출력된 감지 전압 신호들을 이용하여 하나 이상의 차분 아날로그 신호를 계산하도록 구성된 알고리즘을 포함한다. 계산된 차분 아날로그 신호들에 따라 벡터가 결정되고, 벡터를 이용하여 타겟 모션의 방향 및/또는 속도를 결정한다.
Description
본 특허 출원은 "Optical Gesture Sensor Using A Single Illumination Source"라는 제목으로 2011년 11월 25일자로 출원된 미국 특허 출원 제13/304,603호의 일부 계속 출원이다. 미국 특허 출원 제13/304,603호는 동일한 발명자들에 의해 "Optical Gesture Sensor Using A Single Illumination Source"라는 제목으로 2011년 5월 5일자로 출원된 미국 가출원 제61/483,034호의 우선권을 주장한다. 본원은 미국 가출원 제61/483,034호 및 미국 특허 출원 제13/304,603호 전체를 참조로서 포함한다.
본 발명은 전자 장치용 디스플레이에 관한 것이다. 구체적으로, 본 발명은 물리적 제스처들을 감지하고 결정하는 장치에 관한 것이다.
제스처 센서는, 제스처 센서가 존재하는 장치를 사용자가 실제로 터치하지 않고도 물리적 이동의 검출을 가능하게 하는 사람 인터페이스 장치이다. 이어서, 검출된 이동들은 장치에 대한 입력 명령들로서 사용될 수 있다. 일부 응용들에서, 장치는 좌에서 우로, 우에서 좌로, 위에서 아래로, 아래에서 위로, 안에서 밖으로 그리고 밖에서 안으로의 손 모션들과 같은 상이한 비접촉 손 모션들을 인식하도록 프로그래밍된다. 제스처 센서들은 태블릿 컴퓨팅 장치 및 스마트폰과 같은 핸드헬드 장치들, 및 랩탑과 같은 다른 휴대용 장치들에서 널리 사용되어 왔다. 또한, 비디오 게임 콘솔들 내에는 비디오 게임 플레이어의 모션을 검출하는 제스처 센서들이 구현되고 있다.
많은 전통적인 제스처 센서 구현들은 발광 다이오드(LED)와 같은 3개 이상의 조명 소스 및 포토 검출기와 같은 광센서를 사용한다. 조명 소스들은 연달아 턴 온 및 오프되거나 플래시(flash)되며, 이에 따라 센서는 플래시된 광의 반사로부터 공간 정보를 획득한다. 도 1은 전통적인 제스처 센서의 간이 블록도를 나타낸다. 포토 센서(4)가 LED 1, LED 2 및 LED 3에 근접 배치된다. 제어 회로(5)가 LED 1-3을 연달아 턴 온 및 오프시키고, 포토 센서(4)에 의해 감지된 결과적인 측정들을 분석하도록 프로그래밍된다. 포토 센서(4)에 의해 감지된 데이터는 각각의 LED에 대해 개별적으로 저장된다. 예를 들어, LED 1의 각각의 플래시에 대응하는 감지 데이터가 LED 1 레지스터에 저장되고, LED 2의 각각의 플래시에 대응하는 감지 데이터가 LED 2 레지스터에 저장되며, LED 3의 각각의 플래시에 대응하는 감지 데이터가 LED 3 레지스터에 저장된다. 그 결과는 각각의 LED에 대한 시간 도메인 신호이다. 도 2는 도 1의 제스처 센서를 이용하여 이동 타겟을 검출하기 위한 예시적인 방법을 나타낸다. 동일-축 LED들로부터 감지된 신호들 간의 상대적 지연을 관측함으로써 모션이 검출된다. 예를 들어, 좌에서 우로 또는 우에서 좌로의 모션을 검출하기 위해, 도 2에 도시된 바와 같이, LED 1 및 2에 의해 감지된 신호들이 비교된다. LED 1은 LED 2와 다른 시간에 플래시된다. LED 1 및 2는 공지 위치들에 배치되며, 공지된 순서로 턴 온 및 오프된다. LED들로부터의 광이 LED들 위쪽에서 움직이는 타겟에 충돌할 때, 이동 타겟으로부터 포토 센서(4)로 광이 반사된다. 감지된 반사 광은 전압 신호로 변환되어 제어 회로(5)로 전송된다. 제어 회로(5)는 LED 위치, LED 발광 순서 및 수신된 감지 데이터를 이용하여 타겟의 상대적 이동을 결정하는 알고리즘을 포함한다. 연속적인 LED들의 플래시들 간의 시간 간격은 이동 타겟의 속도에 비해 매우 작으며, 따라서 하나의 LED로부터 다른 LED로의 시간 도메인 신호들을 비교할 때 무시될 수 있다.
도 2는 좌에서 우로의 모션 및 우에서 좌로의 모션 양자의 경우에 대한 시간 도메인 감지 전압 신호들을 나타낸다. "LED 1로부터의 신호"로 표시된 곡선들은 LED 1의 반복 플래시들로부터 발생하는 감지 전압을 나타낸다. 각각의 곡선의 낮은 부분은 타겟이 LED 1의 위를 지나거나 근처에 있지 않다는 것을 나타낸다. 즉, 타겟은 LED 1로부터 방출된 광이 타겟으로부터 포토 센서(4) 위로 반사될 수 있는 포토 센서(4)의 "시야" 또는 커버리지 영역 내에 있지 않다. 타겟이 LED 1과 관련된 바와 같은 포토 센서(4)의 시야 내에 있지 않은 경우, 포토 센서(4)는 LED 1로부터 방출된 광의 어떠한 반사도 감지하지 못한다. 곡선의 높은 부분은 타겟이 LED 1과 관련된 시야 내에 있다는 것을 나타내며, 이는 타겟이 LED 1의 위를 지나거나 근처에 있다는 것을 나타낸다. "LED 2로부터의 신호"로 표시된 곡선은 LED 2의 반복 플래시들로부터 발생하는 감지 전압을 나타낸다. LED 1과 LED 2는 교대로 플래시되어 LED 1이 온 상태인 동안 LED 2는 오프 상태이며, 그 반대도 가능하다. 타겟이 LED 1에 대응하는 시야 내에 배치되지만, LED 2에 대응하는 시야 내에 없는 동안, LED 1의 플래싱과 관련된 감지 전압은 높지만, LED 2의 플래싱과 관련된 감지 전압은 낮다. 단순한 의미로, 이것은 LED 1 위에 또는 근처에 배치된 타겟에 대응한다. 타겟이 2개의 LED 1 및 2 사이의 중간에 배치되는 동안, 포토 센서(4)는 LED 1 및 LED 2 양자의 플래싱으로부터의 반사 광을 검출하여, LED 1 및 LED 2 양자에 대응하는 높은 감지 전압 레벨들을 제공한다. 타겟이 LED 2 위에 또는 근처에 배치되는 동안, LED 2의 플래싱과 관련된 감지 전압은 높지만, LED 1의 플래싱과 관련된 감지 전압은 낮다. 타겟이 LED 1 또는 LED 2 위에 또는 LED 1과 LED 2 사이에 배치되지 않을 때, 포토 센서(4)는 어느 쪽과 관련된 반사 광도 감지하지 못하며, 대응하는 감지 전압 레벨들은 낮다.
좌에서 우로의 모션에 대해, 도 2의 좌에서 우로의 모션 신호들에 도시된 바와 같이, "LED 1로부터의 신호"에 대한 감지 전압 레벨은 "LED 2로부터의 신호"에 대한 감지 전압 레벨 전에 높아진다. 즉, 타겟이 좌에서 우로 이동할 때, "LED 2로부터의 신호"의 시간 대 전압 곡선은 "LED 1로부터의 신호"의 시간 대 전압 곡선에 비해 지연된다.
도 2는 우에서 좌로의 모션의 경우에 대한 감지 전압 신호들도 도시한다. 우에서 좌로의 모션에 대해, 도 2의 우에서 좌로의 모션 신호들에 도시된 바와 같이, "LED 2로부터의 신호"에 대한 감지 전압 레벨은 "LED 1로부터의 신호"에 대한 감지 전압 레벨 전에 높아진다. 즉, 타겟이 우에서 좌로 이동할 때, "LED 1로부터의 신호"의 시간 대 전압 곡선은 "LED 2로부터의 신호"의 시간 대 전압 곡선에 비해 지연된다.
y축에서의 모션인 것으로 간주되는 상하 모션은 LED 2 및 3 및 대응하는 시간 대 전압 데이터를 이용하여 유사하게 결정된다. 제어 회로(5)는 포토 센서(4)로부터 감지 전압을 수신하고, x축과 관련하여 전술한 것과 유사한 방식으로 y축에서의 상대적 타겟 모션을 결정한다.
다중 조명 소스 구성의 단점은 많은 수의 조명 소스 컴포넌트들이 장치 내에 통합되어야 한다는 것이다. 장치 크기가 계속 감소함에 따라 추가적인 컴포넌트들은 바람직하지 않다.
제스처 감지 장치의 실시예들은 단일 광원 및 다중 세그먼트화된 단일 포토 센서, 또는 본 명세서에서 공동으로 세그먼트화된 포토 센서들로서 지칭되는 포토 센서들의 어레이를 포함한다. 광 변경 구조는 손 또는 손가락과 같은 타겟의 위치에 따라 광원으로부터의 반사 광을 세그먼트화된 포토 센서들의 상이한 세그먼트들 위로 중계한다. 광 변경 구조는 광학 렌즈 구조 또는 기계 구조일 수 있다. 포토 센서의 상이한 세그먼트들은 반사 광을 감지하고, 대응하는 감지 전압 신호들을 출력한다. 제어 회로는 감지 전압 신호들을 수신하고 처리하여, 세그먼트화된 포토 센서에 대한 타겟 모션을 결정한다. 제어 회로는 세그먼트화된 포토 센서들로부터 출력된 감지 전압 신호들을 이용하여 하나 이상의 차분 아날로그 신호들을 계산하도록 구성된 알고리즘을 포함한다. 일부 실시예들에서는, 계산된 차분 아날로그 신호들에 따라 벡터가 결정되며, 이 벡터는 타겟 모션의 방향 및/또는 속도를 결정하는 데 사용된다.
일 양태에서, 제스처를 검출하는 방법이 개시된다. 이 방법은 복수의 세그먼트를 갖는 세그먼트화된 센서를 구성하는 단계 - 상기 복수의 세그먼트 각각은 상기 세그먼트에 의해 감지된 광에 대응하는 세그먼트 신호를 출력함 -; 상기 복수의 세그먼트로부터 출력된 상기 세그먼트 신호들에 따라 하나 이상의 차분 신호를 계산하는 단계; 및 상기 하나 이상의 차분 신호에 벡터 분석을 적용함으로써 상기 세그먼트화된 센서를 통과하는 타겟의 타겟 모션 방향을 결정하는 단계를 포함한다.
상기 방법은 상기 하나 이상의 차분 신호에 벡터 분석을 적용함으로써 상기 세그먼트화된 센서를 통과하는 상기 타겟의 타겟 모션 속도의 비례 값을 결정하는 단계를 더 포함한다. 일부 실시예들에서, 상기 세그먼트에 의해 감지된 상기 광은 조명 소스로부터 생성되고 상기 타겟으로부터 반사된 광을 포함한다. 다른 실시예들에서, 상기 세그먼트에 의해 감지된 상기 광은 주변 광을 포함한다. 일부 실시예들에서, 상기 하나 이상의 차분 신호는 하나 이상의 차분 합성 신호를 포함하고, 합성 신호는 둘 이상의 세그먼트 신호의 합산으로부터 형성된 신호이다.
하나 이상의 차분 신호를 계산하는 단계는 x축을 따른 상기 타겟 모션 방향을 지시하는 제1 차분 신호를 계산하는 단계를 포함할 수 있다. 일부 실시예들에서, 상기 제1 차분 신호는 양의 최대값 및 음의 최대값을 포함한다. 상기 양의 최대값이 시간상 상기 음의 최대값보다 앞서는 경우에 상기 타겟 모션 방향은 양의 x 방향인 것으로 결정될 수 있고, 상기 음의 최대값이 시간상 상기 양의 최대값보다 앞서는 경우에 상기 타겟 모션 방향은 음의 x 방향인 것으로 결정될 수 있다. 하나 이상의 차분 신호를 계산하는 단계는 y축을 따른 상기 타겟 모션 방향을 지시하는 제2 차분 신호를 계산하는 단계를 포함할 수 있다. 일부 실시예들에서, 상기 제2 차분 신호는 양의 최대값 및 음의 최대값을 포함한다. 상기 양의 최대값이 시간상 상기 음의 최대값보다 앞서는 경우에 상기 타겟 모션 방향은 양의 y 방향인 것으로 결정될 수 있고, 상기 음의 최대값이 시간상 상기 양의 최대값보다 앞서는 경우에 상기 타겟 모션 방향은 음의 y 방향인 것으로 결정될 수 있다.
상기 방법은 상기 제1 차분 신호의 연속적인 0점들(successive zero crossings) 간의 시간차를 이용하여 상기 x축을 따른 타겟 모션 속도의 비례 값을 계산하는 단계, 및 상기 제2 차분 신호의 연속적인 0점들 간의 시간차를 이용하여 상기 y축을 따른 타겟 모션 속도의 비례 값을 계산하는 단계를 더 포함할 수 있다. 상기 방법은 상기 x축을 따른 상기 타겟 모션 속도의 상기 비례 값과 상기 y축을 따른 상기 타겟 모션 속도의 상기 비례 값을 중첩시켜 타겟 벡터를 형성하는 단계를 더 포함할 수 있다. 상기 방법은 상기 타겟 벡터에 따라 사전 정의된 방향들의 세트 중 하나를 결정하는 단계를 더 포함할 수 있다. 상기 사전 정의된 방향들의 세트는 양의 x 방향, 음의 x 방향, 양의 y 방향 및 음의 y 방향을 포함할 수 있다. 일부 실시예들에서, 상기 타겟 벡터는 타겟 벡터 각도를 가지며, 상기 사전 정의된 방향들의 세트 중 하나를 결정하는 단계는 상기 타겟 벡터 각도를 정의된 임계 각도들의 세트와 비교하는 단계를 포함한다. 다른 실시예들에서, 상기 사전 정의된 방향들의 세트 중 하나를 결정하는 단계는 상기 타겟 벡터를 사전 정의된 분포 패턴들의 세트와 비교하는 단계를 포함하고, 각각의 분포 패턴은 상기 사전 정의된 방향들의 세트 내의 상기 방향들 중 하나에 대응한다. 이러한 대안 실시예들에서, 타겟 벡터를 비교하는 단계는 상기 타겟 벡터를 각각의 분포 패턴과 비교하는 것과 관련된 신뢰 값을 결정하는 단계, 및 최고 신뢰 값에 따라 상기 사전 정의된 방향들의 세트 중 하나를 선택하는 단계를 포함할 수 있다.
다른 양태에서, 복수의 세그먼트를 갖는 세그먼트화된 센서 - 상기 복수의 세그먼트 각각은 상기 세그먼트에 의해 감지된 광에 대응하는 세그먼트 신호를 출력함 -; 상기 세그먼트 신호들을 저장하도록 구성된 메모리; 및 상기 메모리에 결합된 프로세서를 포함하는 장치가 개시된다. 상기 프로세서는 상기 복수의 세그먼트로부터 출력된 상기 세그먼트 신호들에 따라 하나 이상의 차분 신호를 계산하고; 상기 하나 이상의 차분 신호에 벡터 분석을 적용함으로써 상기 세그먼트화된 센서를 통과하는 타겟의 타겟 모션 방향을 결정하도록 구성된 프로그램 명령어들을 포함한다.
도 1은 전통적인 제스처 센서의 간이 블록도를 나타낸다.
도 2는 도 1의 제스처 센서를 이용하여 이동 타겟을 검출하기 위한 예시적인 방법을 나타낸다.
도 3은 일 실시예에 따른 제스처 감지 장치의 개념도를 나타낸다.
도 4 및 5는 다양한 방향으로 이동하는 타겟에 응답하여 세그먼트화된 포토 센서로부터 출력된 신호들로부터 생성된 예시적인 합성 신호들을 나타낸다.
도 6은 일 실시예에 따른 선다이얼(sundial) 구성의 단면도를 나타낸다.
도 7은 도 6의 셀의 평면도를 나타낸다.
도 8은 90도 회전된 도 7의 셀을 나타낸다.
도 9는 4개의 세그먼트를 형성하도록 구성된 복수의 셀의 평면도를 나타낸다.
도 10은 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다.
도 11은 다른 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다.
도 12는 일 실시예에 따른 핀홀(pinhole) 구성의 단면도를 나타낸다.
도 13은 도 12의 셀의 평면도를 나타낸다.
도 14는 일 실시예에 따른 캐노피(canopy) 구성의 단면도를 나타낸다.
도 15는 일 실시예에 따른 코너 쿼드(corner quad) 구성의 평면도를 나타낸다.
도 16은 도 15의 코너 쿼드 구성의 단면도를 나타낸다.
도 17은 베네치아 블라인드(Venetian blinds) 구성에서 사용되는 각진 벽들의 예시적인 구현을 나타낸다.
도 18은 베네치아 블라인드 구성 내의 인접 셀들을 나타낸다.
도 19는 일 실시예에 따른 마이크로 쿼드 셀 구성의 평면도를 나타낸다.
도 20은 도 3의 세그먼트화된 센서를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 21은 도 20에서와 같이 타겟 모션이 우에서 좌로 향하는 동안 세그먼트화된 센서를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 22는 도 23에서와 같이 타겟 모션이 아래에서 위로 향하는 동안 세그먼트화된 센서를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 23은 도 3의 세그먼트화된 센서를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 24-27은 도 24-27에서의 파형들에 대응하는 타겟 모션이 도 20-23에서의 파형들에 대응하는 타겟 모션보다 빠르다는 점 외에는 도 20-23의 파형들과 각각 유사한 파형들을 나타낸다.
도 28은 인식된 방향 좌, 우, 상, 하에 대응하는 4개의 가우스 분포를 나타낸다.
도 29는 포토다이오드 세그먼트들의 예시적인 4x4 어레이를 나타낸다.
도 2는 도 1의 제스처 센서를 이용하여 이동 타겟을 검출하기 위한 예시적인 방법을 나타낸다.
도 3은 일 실시예에 따른 제스처 감지 장치의 개념도를 나타낸다.
도 4 및 5는 다양한 방향으로 이동하는 타겟에 응답하여 세그먼트화된 포토 센서로부터 출력된 신호들로부터 생성된 예시적인 합성 신호들을 나타낸다.
도 6은 일 실시예에 따른 선다이얼(sundial) 구성의 단면도를 나타낸다.
도 7은 도 6의 셀의 평면도를 나타낸다.
도 8은 90도 회전된 도 7의 셀을 나타낸다.
도 9는 4개의 세그먼트를 형성하도록 구성된 복수의 셀의 평면도를 나타낸다.
도 10은 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다.
도 11은 다른 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다.
도 12는 일 실시예에 따른 핀홀(pinhole) 구성의 단면도를 나타낸다.
도 13은 도 12의 셀의 평면도를 나타낸다.
도 14는 일 실시예에 따른 캐노피(canopy) 구성의 단면도를 나타낸다.
도 15는 일 실시예에 따른 코너 쿼드(corner quad) 구성의 평면도를 나타낸다.
도 16은 도 15의 코너 쿼드 구성의 단면도를 나타낸다.
도 17은 베네치아 블라인드(Venetian blinds) 구성에서 사용되는 각진 벽들의 예시적인 구현을 나타낸다.
도 18은 베네치아 블라인드 구성 내의 인접 셀들을 나타낸다.
도 19는 일 실시예에 따른 마이크로 쿼드 셀 구성의 평면도를 나타낸다.
도 20은 도 3의 세그먼트화된 센서를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 21은 도 20에서와 같이 타겟 모션이 우에서 좌로 향하는 동안 세그먼트화된 센서를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 22는 도 23에서와 같이 타겟 모션이 아래에서 위로 향하는 동안 세그먼트화된 센서를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 23은 도 3의 세그먼트화된 센서를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다.
도 24-27은 도 24-27에서의 파형들에 대응하는 타겟 모션이 도 20-23에서의 파형들에 대응하는 타겟 모션보다 빠르다는 점 외에는 도 20-23의 파형들과 각각 유사한 파형들을 나타낸다.
도 28은 인식된 방향 좌, 우, 상, 하에 대응하는 4개의 가우스 분포를 나타낸다.
도 29는 포토다이오드 세그먼트들의 예시적인 4x4 어레이를 나타낸다.
본 출원의 실시예들은 제스처 감지 장치 및 제스처들을 검출하기 위한 대응하는 알고리즘에 관한 것이다. 이 분야의 통상의 기술자들은 장치 및 알고리즘에 대한 아래의 상세한 설명이 예시적일 뿐이며, 어떠한 방식으로도 한정하는 것을 의도하지 않는다는 것을 인식할 것이다. 장치 및 알고리즘의 다른 실시예들이 본 발명의 이익을 갖는 그러한 기술자들에게 쉽게 떠오를 것이다.
이하, 첨부 도면들에 도시된 바와 같은 장치 및 알고리즘의 구현들을 상세히 참조할 것이다. 동일한 참조 지시자들은 도면들 및 아래의 상세한 설명 전반에서 동일하거나 유사한 요소들을 지칭하는 데 사용될 것이다. 명료화를 위해, 본 명세서에서 설명되는 구현들의 통상적인 특징들 모두가 도시되고 설명되지는 않는다. 물론, 임의의 그러한 실제 구현의 개발에 있어서는, 응용 및 비즈니스 관련 제약들의 준수와 같은 개발자의 특정 목표들을 달성하기 위해 다양한 구현-고유 결정들이 아마도 이루질 것이며, 이러한 특정 목표들은 구현마다 그리고 개발자마다 다를 수 있다는 것을 알 것이다. 더욱이, 그러한 개발 노력은 복잡하고 시간 소모적일 수 있지만, 본 발명의 이익을 갖는 이 분야의 통상의 기술자들에게는 일상적인 엔지니어링 업무일 것이라는 것을 알 것이다.
제스처 감지 장치의 실시예들은 단일 광원 및 다중 세그먼트화된 단일 포토 센서 또는 포토 센서들의 어레이를 포함한다. 광학 렌즈 구조 또는 기계 구조와 같은 광 변경 구조를 추가함으로써, 손 또는 손가락과 같은 근접 타겟으로부터 반사된 광은 세그먼트화된 포토 센서에 대한 타겟 위치에 따라 포토 센서의 상이한 세그먼트들 상에 집광 및/또는 지향될 수 있다. 포토 센서의 상이한 세그먼트들은 반사광을 동시에 감지하며, 각각의 세그먼트로부터의 상대 진폭은 타겟의 이동을 지시한다. 제어 회로가 세그먼트화된 포토 센서로부터 감지된 데이터를 수신하고 처리하여 세그먼트화된 포토 센서에 대한 타겟 모션을 결정한다. 일 광센서 구성은 다중 소스 구성들보다 작고 덜 비싸다. 제스처 감지 장치의 다른 장점은 사용자가 터치스크린 제어기를 활성화하거나 기계적 버튼을 사용할 필요 없이 제스처링을 통해 장치 명령을 전달할 수 있다는 것이다. 이것은 상당한 전력 및 비용 절감을 제공한다.
도 3은 일 실시예에 따른 제스처 감지 장치의 개념도를 나타낸다. 제스처 감지 장치(10)는 LED(11)로서 표현되는 단일 조명 소스, 및 세그먼트화된 포토 센서(12)를 포함한다. 일부 실시예들에서, 세그먼트화된 포토 센서(12)는 조명 소스(11)에 의해 방출되는 파장들과 같은 광의 특정 파장 또는 파장들만을 감지하도록 구성된다. 그러한 구성은 필터의 사용을 통해 구현될 수 있다. 세그먼트화된 포토 센서(12)는 다수의 세그먼트로 분할된 단일 센서 기능 또는 개별 포토 센서들의 어레이일 수 있다. 예컨대, 쿼드 세그먼트화된 포토 센서는 쿼드 레이아웃으로 배열된 4개의 개별 포토 센서와 기능적으로 등가이다. 본 명세서에서 사용될 때, "세그먼트"에 대한 언급은 단일 센서 내의 분할된 세그먼트 또는 센서들의 어레이 내의 개별 센서를 지칭한다. 도 3은 상이한 세그먼트들을 보여주기 위해 세그먼트화된 포토 센서(12)를 온-에지 뷰(on-edge view)(12로 표시된 상부 요소) 및 평면도(12로 표시된 하부 요소)로 도시한다.
도 3의 예시적인 구성에서, 세그먼트화된 포토 센서(12)는 4개의 세그먼트, 즉 세그먼트 A, 세그먼트 B, 세그먼트 C 및 세그먼트 D를 포함한다. 4개의 세그먼트 검출기가 가장 간단한 구현이지만, 시스템의 해상도를 증가시키기 위해 세그먼트들의 수를 증가시킬 수 있다는 것을 이해한다. 세그먼트들의 수가 증가함에 따라 신호 처리 전자 장치가 점점 더 복잡해진다. 세그먼트들 각각은 서로 격리된다. LED(11)는 세그먼트화된 포토 센서(12)에 근접 배치된다. 이동 타겟이 LED(11)에 근접하여 세그먼트화된 포토 센서(12)의 대응하는 시야 내로 통과할 때, LED(11)로부터 출력된 광은 이동 타겟으로부터 세그먼트화된 포토 센서(12)로 반사된다. 제스처 감지 장치(10)는 또한 광을 세그먼트화된 포토 센서(12) 상에 집광하기 위한 광학 렌즈 구조(13)를 포함한다. 집광 렌즈는 손 제스처와 같은 이동 타겟으로부터 반사된 광을 세그먼트화된 포토 센서(12) 위의 공간 내에 집광한다. "시야" 내에 있는 반사광만이 세그먼트화된 포토 센서(12) 상에 집광된다는 것을 이해한다. 도 3에는 단일 요소(13)로서 도시되지만, 광학 렌즈 구조(13)는 광을 세그먼트화된 포토 센서(12)로 지향시키기 위한 임의 수의 렌즈 및/또는 광학 요소들을 나타낸다. 광학 렌즈 구조 및/또는 광센서의 예시적인 구현이 "Light Sensor Having Glass Substrate With Lens Formed Therein"이라는 제목으로 2011년 5월 26일자로 출원된, 공동 소유 및 공동 계류중인 미국 특허 가출원 제61/490,568호 및 "Light Sensor Having Glass Substrate With Lens Formed Therein"이라는 제목으로 2011년 5월 31일자로 출원된, 공동 소유 및 공동 계류중인 미국 특허 가출원 제61/491,805호에 설명되어 있으며, 이들 가출원은 모두 그 전체가 참고로 포함된다. 세그먼트화된 포토 센서(12)의 각각의 세그먼트는 세그먼트 신호를 제어 회로(14)로 출력하며, 여기서 세그먼트 신호들이 처리된다.
LED(11)는 타겟을 조명하기 위해 계속 또는 주기적으로 급전된다. 타겟으로부터 반사된 광은 세그먼트화된 포토 센서들 각각에서 세그먼트 신호를 유도한다. 이러한 세그먼트 신호들은 처리되어 버퍼 메모리에 저장되며, 버퍼 메모리는 제어 회로(14)와 통합되거나 분리된다. 제어 회로(14)는 저장된 데이터를 분석하여, 유효 제스처가 검출되었는지를 결정한다. 동일 데이터는 세그먼트화된 포토 센서(12)가 근접 검출기로서 동작하도록 사용될 수도 있다. 동일 포토 센서 구조는 제스처 감지 장치가 주변 광센서로도 기능하도록 상이한 신호 처리 회로와 함께 사용될 수 있다.
LED(11)가 파워 온되거나 플래시될 때, 타겟이 세그먼트화된 포토 센서(12) 위의 근접 공간 내에 있는 경우에 타겟은 조명된다. 이동 타겟은 개념적으로 도 3에 평면 반사기로서 도시된다. 타겟 반사는 광학 렌즈 구조(13)에 의해 세그먼트화된 포토 센서(12) 상에 이미징된다. 도 3의 예는 타겟의 우에서 좌로의 모션을 나타낸다. 타겟의 에지가 이미징 존의 중앙을 통해 이동함에 따라, 타겟 에지의 집광 이미지가 세그먼트화된 포토 센서(12)를 가로질러 이동한다. 세그먼트 A 및 C가 먼저 이동 이미지에 반응하고, 이어서 세그먼트 B 및 D가 반응한다. 제어 회로(14)는 이러한 이벤트들의 시퀀스를 검출하도록 프로그래밍되며, 우에서 좌로의 타겟 모션을 인식한다. 유사하게, 좌에서 우로의 타겟 모션이 반대 시퀀스에 의해 인식될 수 있으며, 위에서 아래로 그리고 아래에서 위로의 양 타겟 모션이 신호들의 직교 세트를 이용하여 인식될 수 있다. 안팎으로의 타겟 모션이 4개의 세그먼트 A-D의 합의 절대 진폭을 감지함으로써 인식될 수 있으며, 이는 근접 측정이기도 하다.
도 4 및 5는 다양한 방향으로 이동하는 타겟에 응답하여 세그먼트화된 포토 센서(12)로부터 출력된 신호들로부터 생성된 예시적인 합성 신호들을 나타낸다. 합성 신호는 둘 이상의 세그먼트 신호의 합성물이며, 각각의 세그먼트 신호는 시간 대 감지 전압 데이터를 제공한다. 도 4 및 5에 도시된 합성 신호들 및 합성 신호들을 분석하는 방법은 타겟 모션을 결정하기 위해 세그먼트 신호들을 어떻게 분석하는지에 대한 하나의 예시적인 방법을 나타낸다. 대안적인 분석 방법들을 세그먼트 신호들에 적용하여 상대 타겟 모션을 결정할 수 있다는 것을 이해한다.
도 4를 참조하면, 타겟이 우에서 좌로 또는 좌에서 우로 이동하고 있는지를 결정하기 위해, 세그먼트 A 및 세그먼트 C로부터의 세그먼트 신호들을 합산하여, 합성 신호 A+C를 형성하고, 세그먼트 B 및 세그먼트 D로부터의 세그먼트 신호들을 합산하여, 합성 신호 B+D를 형성한다. 도 4는 타겟의 우에서 좌로 또는 좌에서 우로의 모션의 결정에 대응하는 예시적인 합성 신호들을 나타낸다. 합성 신호 A+C로부터 합성 신호 B+D를 빼서, 차분 합성 신호 (A+C)-(B+D)를 형성한다. 우에서 좌로의 모션이 존재하는 경우, 차분 합성 신호 (A+C)-(B+D)는 도 4의 좌측 하단 곡선에 나타난 바와 같이 양의 피크에 이어지는 음의 피크를 갖는다. 좌에서 우로의 모션이 존재하는 경우, 차분 합성 신호 (A+C)-(B+D)는 도 4의 우측 하단 곡선에 나타난 바와 같이 음의 피크에 이어지는 양의 피크를 갖는다.
도 3에서, 타겟의 모션의 방향은 세그먼트화된 포토 센서(12) 상의 이미지의 모션의 방향과 반대라는 점에 유의한다. 이미지 반전은 광학 렌즈 구조(13)의 결과이다. 아래에 상세히 설명되는 대안 실시예들에서, 광학 렌즈 구조는 다수의 기계 구조 중 하나로 대체된다. 이러한 대안 구성들의 일부 실시예들에서, 세그먼트화된 포토 센서(12) 상의 이미지는 타겟과 동일한 방향으로 이동하며, 도 4에 도시된 합성 신호들 (A+C) 및 (B+D)는 스와핑되고, 차분 합성 신호 (A+C)-(B+D)는 반전된다. 도 3에 도시된 바와 같이, 타겟이 우에서 좌로 이동할 때, 세그먼트화된 포토 센서(12) 상의 이미지는 좌에서 우로 이동한다. 도 4에 적용된 바와 같이, 타겟이 우에서 좌로 이동할 때, 이미지는 처음에 타겟이 우측에 있으므로 세그먼트 A 및 C 상에는 나타나지만, 세그먼트 B 및 D 상에는 아직 나타나지 않으며, 결과적인 합성 신호 A+C는 도 4의 좌측 상단 곡선에 나타난 바와 같이 증가하기 시작하지만, 합성 신호 B+D는 0으로 유지된다. 타겟이 좌측으로 이동함에 따라, 이미지는 세그먼트 A+C 상에 여전히 나타나는 동안 세그먼트 B+D 상에 나타나기 시작하며, 결과적인 합성 신호 B+D는 도 4의 좌측 중간 곡선에 나타난 바와 같이 증가하기 시작한다. 결국, 이미지는 모든 세그먼트 A-D 상에 완전히 나타난다. 타겟의 트레일링 에지(trailing edge)가 세그먼트 A 및 C로부터 멀어질 때, 합성 신호 A+C는 0으로 돌아가며, 차분 합성 신호 (A+C)-(B+D)의 음의 피크가 형성된다.
유사하게, 타겟이 좌에서 우로 이동할 때, 이미지는 처음에 타겟이 좌측에 있으므로 세그먼트 B 및 D 상에는 나타나지만, 세그먼트 A 및 C 상에는 아직 나타나지 않으며, 결과적인 합성 신호 B+D는 도 4의 우측 상단 곡선에 나타난 바와 같이 증가하기 시작하지만, 합성 신호 A+C는 0으로 유지된다. 타겟이 우측으로 이동함에 따라, 이미지는 세그먼트 B+D 상에 여전히 나타나는 동안 세그먼트 A+C 상에 나타나기 시작하며, 결과적인 합성 신호 A+C는 도 4의 우측 중간 곡선에 나타난 바와 같이 증가하기 시작한다. 결국, 이미지는 모든 세그먼트 A-D 상에 완전히 나타난다. 타겟의 트레일링 에지가 세그먼트 B 및 D로부터 멀어질 때, 합성 신호 B+D는 0으로 돌아가며, 차분 합성 신호 (A+C)-(B+D)의 양의 피크가 형성된다.
상하 이동이 유사하게 결정된다. 타겟이 위에서 아래로 또는 아래에서 위로 이동하고 있는지를 결정하기 위하여, 세그먼트 A 및 세그먼트 B로부터의 세그먼트 신호들을 합산하여 합성 신호 A+B를 형성하고, 세그먼트 C 및 세그먼트 D로부터의 세그먼트 신호들을 합산하여 합성 신호 C+D를 형성한다. 도 5는 타겟의 위에서 아래 또는 아래에서 위로의 모션의 결정에 대응하는 예시적인 합성 신호들을 나타낸다. 합성 신호 A+B로부터 합성 신호 C+D를 빼서 차분 합성 신호 (A+B)-(C+D)를 형성한다. 아래에서 위로의 모션이 존재하는 경우, 차분 합성 신호 (A+B)-(C+D)는 도 5의 좌측 하단 곡선에 나타난 바와 같이 양의 피크에 이어지는 음의 피크를 갖는다. 위에서 아래로의 모션이 존재하는 경우, 차분 합성 신호 (A+B)-(C+D)는 도 5의 우측 하단 곡선에 나타난 바와 같이 음의 피크에 이어지는 양의 피크를 갖는다.
타겟이 아래에서 위로 이동할 때, 이미지는 처음에 세그먼트 A 및 B 상에는 나타나지만, 세그먼트 C 및 D 상에는 아직 나타나지 않는다. 결과적인 합성 신호 A+B는 도 5의 좌측 상단 곡선에 나타난 바와 같이 증가하기 시작하지만, 합성 신호 C+D는 0으로 유지된다. 타겟이 아래로 이동함에 따라, 이미지는 세그먼트들 A+B 상에 여전히 나타나는 동안 세그먼트 C+D 상에 나타나기 시작하며, 결과적인 합성 신호 C+D는 도 5의 좌측 중간 곡선에 나타난 바와 같이 증가하기 시작한다. 결국, 이미지는 모든 세그먼트 A-D 상에 완전히 나타난다. 우에서 좌로의 모션에서와 같이, 아래에서 위로의 모션에서, 차분 합성 신호 (A+B)-(C+D)는 도 5의 좌측 하단 곡선에 나타난 바와 같이 양의 피크에 이어지는 음의 피크를 나타낸다. 반대 모션, 즉 위에서 아래로의 모션은 유사한 차분 합성 신호 (A+B)-(C+D)를 형성하지만, 도 5의 우측 하단 곡선에 나타난 바와 같이, 반대 위상을 갖는다는 것을 쉽게 알 수 있다.
안팎 모션으로 지칭되는, 세그먼트화된 포토 센서를 향하고 그로부터 멀어지는 모션을 결정하기 위해 추가적인 처리가 수행된다. 안팎 모션을 결정하기 위해, 4개의 세그먼트 A, B, C, D 모두를 합산하여 합성 신호 A+B+C+D를 형성한다. 합성 신호 A+B+C+D가 주어진 기간 동안 증가하는 경우, 세그먼트화된 포토 센서를 향하는 또는 안으로의 모션이 존재하는 것으로 결정된다. 합성 신호 A+B+C+D가 주어진 기간 동안 감소하는 경우, 세그먼트화된 포토 센서로부터 멀어지는 또는 밖으로의 모션이 존재하는 것으로 결정된다.
일반적으로, 세그먼트들이 측정되고, 세그먼트 신호들을 적절히 처리하여 합성 신호들의 크기의 변화들을 결정한다. 이러한 크기의 변화들은 다른 합성 신호들의 크기의 변화들과 시간상 비교될 때 광을 세그먼트화된 포토 센서로 반사하는 타겟의 상대적 모션을 결정한다.
대안 실시예들에서는, 광학 렌즈 구조 대신에 기계 구조들이 사용된다. 기계 구조들은 반사광이 세그먼트화된 포토 센서로 어떻게 지향되는지에 영향을 주기 위해 사용된다. 제1 기계 구조는 선다이얼 구성으로 지칭된다. 선다이얼 구성은 세그먼트화된 포토 센서의 센서 표면으로부터 돌출하는 물리적 "벽"을 구현한다. 벽은 타겟이 세그먼트화된 포토 센서 위의 공간을 가로질러 이동할 때 다양한 센서 세그먼트들 상에 "그림자"를 효과적으로 투영한다. 이 그림자가 추적되고, 그에 따라 타겟 모션이 결정된다.
도 6은 일 실시예에 따른 선다이얼 구성의 단면도를 나타낸다. 선다이얼 구성은 반사광을 포토 센서, 이 예에서는 포토다이오드 상으로 지향시키기 위한 기계적 수단을 제공한다. 중심 구조는 반사광을 차단하는 데 사용되는 물리적 선다이얼 벽이다. 벽의 양측 상의 2개의 N-에피 대 P-기판 접합이 2개의 포토다이오드를 형성한다. 벽은 2개의 포토다이오드를 분리하도록 형성된 일련의 금속 층들이다. 도 6의 예시적인 구성에서, 벽은 제1 금속 층(M1), 제2 금속 층(M2), 제3 금속 층(M3) 및 상부 금속 층(TM)을 포함한다. 각각의 금속 층은 내부에 관통 비아들이 형성된 실리콘 이산화물과 같은 패시베이션 층에 의해 분리된다. 금속 층들, 패시베이션 층들 및 관통 비아들은 전통적인 반도체 가공 기술들을 이용하여 형성된다. 벽은 셀로도 지칭되는 포토다이오드들을 형성하도록 도핑된 기판 상에 형성된다. 제1 포토다이오드 또는 포토다이오드 셀 A는 N-에피 대 P-기판 접합에 의해 형성된다. 금속 접촉(M1)이 N-에피 영역에 결합되어, 포토다이오드 셀 A 캐소드에 대한 접촉을 행한다. P-기판은 포토다이오드 애노드로서 사용되며, 양 포토다이오드 셀 A 및 B 셀들에 공통이다. 포토다이오드 셀 A의 N-에피 층의 상부에 P-웰 층을 추가함으로써 추가적인 포토다이오드가 형성된다. P-웰에 대한 접촉은 P-웰의 단부에서 행해지며, 이는 도 6에 도시되지 않는다. 일부 실시예들에서, P-웰 포토다이오드는 제스처 기능이 사용되지 않을 때 주변광을 측정하는 데 사용된다. 그러한 구성 및 기능은 "Double Layer Photodiodes in Ambient Light Sensors and Proximity Detectors"라는 제목으로 2010년 9월 23일자로 출원된 공동 소유의 미국 특허 출원 제12/889,335호에 설명되어 있으며, 이에 따라 이 출원은 그 전체가 참고로 포함된다. 제2 포토다이오드 또는 포토다이오드 셀 B는 포토다이오드 A 셀과 동일한 방식으로 형성된다. 2개의 포토다이오드 셀 A 및 B는 N-에피 영역을 통해 연장하고 P-기판과 접촉하는 2개의 P+ 확산에 의해 격리된다. 2개의 P+ 격리 확산 사이에 N-에피의 섬(island)이 형성된다. 이 섬은 포토다이오드 셀 A 아래에서 이동하거나 그렇지 않을 경우에는 포토다이오드 셀 B에 의해 수집될 수 있는 임의의 표유 광전류를 수집하는 추가적인 다이오드를 형성한다. 추가적인 다이오드는 포토다이오드 셀 B 아래에서 이동하거나 그렇지 않을 경우에는 포토다이오드 셀 A에 의해 수집될 수 있는 임의의 표유 광전류도 수집한다. 이와 함께, 2개의 P+ 격리 확산 및 이들 간의 N-에피 섬은 A/B 격리 영역을 형성한다. A/B 격리 영역의 3개의 요소 모두는 상부 금속 층(TM)에서 접지에 접속되는 제1 금속 층(M1)에 의해 단락된다. 합성 A/B 격리 영역에서 수집된 임의의 광전류는 접지로 분기되어, 포토다이오드 셀 A와 포토다이오드 셀 B 간의 크로스토크를 줄인다.
도 6의 구조는 포토다이오드 셀 A, 포토다이오드 셀 B, 격리 영역 및 벽을 포함하는 셀이다. 도 7은 도 6의 셀의 평면도를 나타낸다. 이 셀은 벽이 결정될 좌-우 모션 방향에 수직으로 정렬될 때 좌-우 모션을 결정하도록 구성된다. 상-하 모션을 결정하기 위해, 셀은 도 8에 도시된 바와 같이 90도 회전된다. 도 8의 셀 구성에서, 벽 구조는 결정될 상-하 모션에 수직으로 정렬된다. 셀들을 생성하는 이유는 포토다이오드 셀들의 크기, 특히 벽 구조로부터 떨어져 연장하는 포토다이오드 셀의 폭이 제한되기 때문이다. 이것은 반사광을 측정하는 데 사용될 수 있는 표면적을 제한한다. 도 9는 일 실시예에 따른 4개의 블록을 형성하도록 구성된 복수의 셀의 평면도를 나타낸다. 각각의 셀은 격리 영역 I에 의해 인접 셀로부터 격리된다. 도 9에서, 블록 1은 교대하는 포토다이오드 셀 A 및 B의 어레이로 구성된다. 블록 1은 교대하는 포토다이오드 셀 A 및 B의 어레이를 또한 포함하는 블록 4와 동일하다. 양 블록 1 및 4 내의 모든 포토다이오드 셀들 A는 함께 단락되어, 집성 A 노드를 형성한다. 셀들의 어레이의 집성은 신호 강도를 증가시킨다. 또한, 양 블록 1 및 4 내의 모든 포토다이오드 셀들 B는 함께 집성되어 단일 B 노드를 형성한다. 동일 접속 스킴을 이용하여, 블록 2 및 3 내의 교대 포토다이오드 셀 C 및 D의 어레이로부터 C 노드 및 D 노드를 형성한다. 블록 2 및 3 내의 포토다이오드 셀들은 블록 1 및 4 내의 포토다이오드 셀들에 대해 90도 회전된다. 이러한 방식으로, 노드 A, B, C 및 D 각각으로부터 하나씩, 총 4개의 상이한 신호가 존재한다.
좌-우 및 상-하 방향들에서의 타겟 모션은 또한 차분 신호들을 분석함으로써 결정된다. 좌-우 방향에서의 타겟 모션을 결정하기 위하여, 차분 신호 A-B가 형성된다. 차분 신호 A-B는 도 3의 쿼드 셀 구성과 관련된 차분 합성 신호 (A+C)-(B+D)와 동일한 방식으로 분석된다. 상-하 방향에서의 타겟 모션을 결정하기 위하여, 차분 신호 C-D가 형성된다. 차분 신호 C-D는 도 3의 쿼드 셀 구성과 관련된 차분 합성 신호 (A+B)-(C+D)와 유사한 방식으로 분석된다.
도 6에 도시된 셀 구조는 예시적인 선다이얼 구성이며, 대안 구조들도 고려된다. 도 10은 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다. 도 10의 대안 구성에서, 벽이 대안으로 형성되며, 하부 기판이 대안으로 도핑된다. 이 실시예에서, 2개의 포토다이오드 셀 A 및 B 사이의 격리 영역은 단일 P+ 확산으로 구성된다. 도 6의 격리 영역에 비해 도 10의 격리 영역이 작을수록, 팩킹 밀도의 증가가 가능하다. P-웰 및 N-에피 영역 접촉들은 어레이의 단부에서 이루어지면, 이는 도 10에 도시되지 않는다. 기판 내의 P+ 영역은 상부 금속 층(TM)에서 접지에 접속된다.
도 11은 다른 대안 실시예에 따른 선다이얼 구성의 단면도를 나타낸다. 도 11의 대안 구성에서, 대안으로 벽이 형성되고, 대안으로 하부 기판이 도핑된다. 포토다이오드 셀들은 이 구성에서 P-웰을 포함하지 않는다. N-에피 영역 접촉들은 어레이의 단부에서 이루어지며, 이는 도 11에 도시되지 않는다. 포토다이오드 셀 A 및 B 간의 P+ 격리 영역은 상부 금속 층(TM)에서 접지에 접속된다. 이 실시예에서, P-웰 층의 부재는 도 6에 비해 더 좁은 포토다이오드 셀 A 및 B의 제조를 가능하게 한다. 이러한 구조는 도 6의 구조에 비해 더 높은 팩킹 밀도를 제공한다.
제2 기계 구조는 핀스트라이프(pinstripe) 구성으로 지칭된다. 도 12는 일 실시예에 따른 핀스트라이프 구성의 단면도를 나타낸다. 핀스트라이프 구성은 반사광을 포토 센서, 이 예에서는 포토다이오드 상으로 지향시키기 위한 기계적 수단을 제공한다. 핀스트라이프 구성은 핀홀 카메라와 유사하며, 여기서 핀홀은 스트라이프 또는 슬롯 내로 연장되어 있다. 기판 내의 2개의 N-에피 섹션이 포토다이오드 셀 A 및 B의 캐소드를 형성하고, P-기판이 공통 애노드를 형성한다. 금속 층(M3)이 셀 위에 형성되고, 금속 층 내에 개방 슬롯이 형성된다. 금속 층은 광학적으로 투명한 실리콘 이산화물과 같은 층간 유전체 위에 형성된다. 금속 층 및 개방 슬롯은 전통적인 반도체 제조 프로세스들을 이용하여 형성된다. 일부 실시예들에서, 셀 구조는 전통적인 CMOS 디지털 반도체 제조 프로세스들을 이용하여 형성된다. 도 13은 도 12의 셀의 평면도를 나타낸다. 도 13에 도시된 바와 같이, 개방 슬롯은 셀의 길이를 따라 정렬된다. 개방 슬롯은 셀의 전체 길이 또는 부분 길이로 연장할 수 있다.
동작에 있어서, 반사광은 개방 슬롯을 통과하여 포토다이오드들, N-에피 섹션들에 충돌한다. 타겟 위치가 개방 슬롯의 우측에 있을 때, 타겟으로부터 반사된 광은 개방 슬롯을 통과하여 좌측 포토다이오드 셀 A에 충돌한다. 타겟이 우에서 좌로 이동함에 따라, 더 적은 반사광이 좌측 포토다이오드 셀 A에 충돌하는 대신에 반사광이 우측 포토다이오드 셀 B에 충돌하기 시작하는 임계각을 타겟이 통과할 때까지 더 많은 반사광이 좌측 포토다이오드 셀 A에 충돌한다. 타겟이 교차 포인트에서 슬롯의 바로 위에 있을 때, 포토다이오드 셀 A 및 B로부터 수신되는 신호들은 동일하다. 이것은 가장 높은 전체 신호 강도의 위치이며, 또한 2개의 신호의 차이 A-B가 0인 위치이다. 타겟이 좌측으로 계속 이동함에 따라, 더 많은 반사광이 우측 포토다이오드 셀 B에 충돌하며, 차이 신호 A-B는 부호가 바뀌어 음이 된다. 타겟의 추가적인 좌측 모션 후에, 0의 반사광이 좌측 포토다이오드 셀 A에 충돌한다. 선다이얼 구성들과 유사하게, 핀홀 구성의 복수의 셀이 인접 배치되어 블록을 형성하며, 개별 포토다이오드 셀들 A로부터의 신호들이 집성되어 공통 A 노드를 형성한다. 동일 타입의 신호 집성이 B 내지 D 신호들에 대해 사용된다. 개방 슬롯의 정렬은 결정될 타겟 모션의 방향을 결정한다. 예를 들어, 도 13에서의 개방 슬롯의 수평 정렬은 상-하 모션을 결정하는 데 사용된다. 도 13의 셀과 같이 정렬된 복수의 셀은 상-하 모션을 측정하도록 구성되는 세그먼트를 형성한다. 개방 슬롯의 수직 정렬은 좌-우 모션을 결정하는 데 사용된다. 예시적인 구성에서, 핀스트라이프 구성을 갖는 세그먼트들은 도 9에 도시된 바와 같은 선다이얼 구성을 갖는 세그먼트들과 유사한 방식으로 정렬되며, 여기서 세그먼트 A 및 D는 좌-우 모션을 결정하도록 구성되고, 세그먼트 B 및 C는 상-하 모션을 결정하도록 구성된다. 좌-우 및 상-하 방향들에서의 타겟 모션은 전술한 선다이얼 구성과 동일한 방식으로 차분 신호들을 이용하여 결정된다.
대안 구성들에서, 금속 층 및 개방 슬롯은 MEMS(마이크로-전기-기계 시스템) 장치 또는 다른 레버형 또는 부분적 부유 요소와 같이 광이 정의된 영역을 통해 들어가는 것을 가능하게 하고 다른 곳에서는 광을 차단하는 임의 타입의 광 가림 요소(light obscuring element)에 의해 대체될 수 있으며, 여기서 가림 요소는 광학적으로 투명한 재료에 의해 지지되거나, 개방 슬롯 근처에서 공기를 통해 매달린다. MEMS 장치는 전기에 의해 구동되는 매우 작은 기계 장치이다.
하나의 대안 실시예는 쿼드 셀 설계에 핀스트라이프 개념을 적용하여 마이크로 쿼드 셀을 생성한다. 도 19는 일 실시예에 따른 마이크로 쿼드 셀 구성의 평면도를 나타낸다. 마이크로 쿼드 셀은 작은 쿼드 셀들의 어레이로 구성된다. 모든 개별 A 세그먼트들이 집성되어 단일 A 신호를 형성하며, B, C 및 D 세그먼트들도 마찬가지이다. 쿼드 셀들의 어레이는 광을 통과시키는 정사각 또는 둥근 개구들을 갖는 금속 층에 의해 커버된다. 금속 층은 핀스트라이프 개념에 대해 설명된 것과 유사한 방식으로 반도체 프로세스를 이용하여 형성된다. 쿼드 셀 A 내지 D의 치수들, 금속 층 간격, 및 금속 층 내의 개구의 치수는 반도체 프로세스들에서 통상적으로 이용 가능한 치수들과 일치한다. 금속 층 내의 개구들은 광이 개구 바로 위에 있을 때 모든 셀들이 동일하게 그러나 부분적으로 조명되도록 배치된다. 광의 각도가 변할 때, 4개의 셀의 상대 조명은 불균형화된다. 4개의 신호 A 내지 D는 도 3에 대해 전술한 것과 동일한 방식으로 처리된다.
제3 기계 구조는 캐노피 구성으로 지칭된다. 캐노피 구성은 핀스트라이프 구성과 유사하게 동작하지만, 핀홀 구성에서와 같이 반사광이 셀 구조의 중심 내의 개방 슬롯을 통해 셀의 포토다이오드들에 접근하는 것이 아니라, 셀 구조의 중심이 "캐노피"에 의해 커버되며, 구조의 주변 측부들이 개방되어 반사광이 셀의 포토다이오드들에 접근하는 것을 가능하게 한다. 도 14는 일 실시예에 따른 캐노피 구성의 단면도를 도시한다. 캐노피 구성은 반사광을 포토 센서, 이 예에서는 포토다이오드 상으로 지향시키기 위한 기계적 수단을 제공한다. 2개의 N-에피 섹션이 포토다이오드 셀 A 및 B를 형성한다. 상부 금속 층(TM)이 셀 구조의 중심 위에 캐노피를 형성하며, 따라서 포토다이오드들의 내부를 커버하지만 외부는 커버하지 않는다. 상부 금속 층은 2개의 포토다이오드 셀 A 및 B를 분리하도록 형성된 일련의 금속 층들로서 형성된 벽의 상부 층이다. 벽 구조는, 캐노피 구성의 상부 금속 층(TM)이 2개의 포토다이오드 셀 A 및 B의 부분들 위로 연장한다는 것 외에는, 선다이얼 구성들의 벽 구조들과 유사한 방식으로 형성된다. 2개의 포토다이오드 셀 A 및 B 위로 연장하는 상부 금속 층(TM)의 부분은 광학적으로 투명한 실리콘 이산화물과 같은 층간 유전체(도시되지 않음) 위에 형성된다. 핀스트라이프 구성 및 선다이얼 구성들과 유사하게, 캐노피 구성의 복수의 셀은 인접 배치되어 세그먼트를 형성하며, 다수의 세그먼트는 좌-우 및 상-하 모션을 결정하도록 구성되고 배향된다. 반사광은 포토다이오드 셀 A 및 B에 의해 감지되며, 감지된 전압은 전술한 핀스트라이프 구성 및 선다이얼 구성에 대한 것과 유사하게 수집 및 처리된다.
제4 기계 구조는 코너 쿼드 구성으로 지칭된다. 코너 쿼드 구성은 광 감지 요소들 사이에 배치된 물리적 벽의 사용에 있어서는 선다이얼 구성과 개념적으로 유사하지만, 선다이얼 구성에서와 같이 실리콘 레벨에서 벽을 구현하고 각각의 세그먼트에 대해 복수의 셀을 갖는 것이 아니라, 코너 쿼드 구성은 세그먼트들 사이에 벽이 형성되는 칩 패키지 레벨에서 구현된다. 도 15는 일 실시예에 따른 코너 쿼드 구성의 평면도를 나타낸다. 도 16은 도 15의 코너 쿼드 구성의 단면도를 나타낸다. 도 15 및 16에 도시된 예시적인 구성에서, 포토 센서 세그먼트들 A-D는 집적 회로 칩 상의 4개의 포토다이오드로서 형성된다. 4개의 포토다이오드는, 도 3의 가깝게 이격된 쿼드 기하 구조를 사용하는 대신, 포토다이오드들이 떨어져 이격되고 기판의 4개 코너에 배치된다는 것 외에는, 도 3의 4개의 포토다이오드와 동일한 것으로 간주될 수 있다. 집적 회로 칩은 이동 타겟으로부터 반사된 광과 같은 광을 차단하는 광학적으로 불투명한 재료로 이루어진 벽을 포함하는 칩 패키지 내에 패키징된다. 포토다이오드들 위의 칩 패키지의 부분은 광학적으로 투명한 재료로 구성된다. 코너 쿼드 구성에서의 벽의 높이는 충분히 높아서, 각각의 세그먼트는 선다이얼 및 캐노피 구성들에서와 같이 복수의 셀이 아니라 단일 센서 요소이다. 타겟 모션의 결정은 주어진 세그먼트에 대한 개별 셀 전압들을 집성할 필요 없이 선다이얼 구성과 유사한 방식으로 결정된다. 코너 쿼드 구성은 트랜지스터 레벨의 크기를 갖는 벽을 포함하는 선다이얼 구성에 비해 칩 패키지 레벨의 크기를 갖는 벽을 포함한다.
제5 기계 구조는 베네치아 블라인드 구성으로 지칭된다. 베네치아 블라인드 구성은 선다이얼 구성과 유사하지만, 각각의 셀 내의 벽 구조가 선다이얼 구성에서와 같은 수직 각도가 아니라 포토다이오드 셀(들)에 대해 수직이 아닌 각도로 형성된다. 각진 벽들은 도 17에 도시된 바와 같이 금속 층들 및 관통 비아들을 계단 구조로 형성함으로써 제조된다. 게다가, 베네치아 블라인드 구성 내의 각각의 셀은 도 18에 도시된 바와 같이 각진 벽의 일측에 배치된 단일 포토다이오드 셀을 포함한다. 베네치아 블라인드 구성에서, 4개의 세그먼트 각각은 상이한 90도 방향을 향하고 있다. 예를 들어, 세그먼트 A는 좌측으로 기울어진 벽들로 구성되고, 세그먼트 B는 위로 기울어진 벽들로 구성되고, 세그먼트 C는 아래로 기울어진 벽들로 구성되며, 세그먼트 D는 우측으로 기울어진 벽들로 구성된다. 즉, 각각의 세그먼트는 상이한 시야를 갖는다. 이러한 정렬들을 이용하면, 좌-우 및 상-하 방향들에서의 타겟 모션은 전술한 선다이얼 구성과 유사한 방식으로 차분 신호들을 이용하여 결정된다. 대안 정렬들이 이용될 수 있다는 것을 이해한다.
일부 실시예들에서는, 포토 센서들의 상부에 필터들을 추가하여, 조명 소스와 다른 파장들을 갖는 광을 필터링한다.
실시예들은 4개의 대칭 구성된 세그먼트 또는 포토 센서를 갖는 제스처 감지 장치를 설명한다. 본 명세서에서 설명되는 개념들은 포토 세그먼트들 또는 센서들의 NxN, NxM, 원형 또는 다른 형상 어레이에서와 같이 대칭 또는 비대칭 구성된 4개보다 많은 세그먼트로 확장될 수 있다는 것을 이해한다. 전술한 바와 같이, "세그먼트"는 단일 센서 내의 분할된 세그먼트 또는 센서들의 어레이 내의 개별 센서 또는 포토다이오드를 지칭한다.
전술한 바와 같이, 제어 회로는 세그먼트화된 포토 센서로부터 수신된 세그먼트 신호들을 처리하도록 구성된다. 구체적으로, 제어 회로는 이차원에서의 제스처의 방향 및 속도 양자, 예를 들어 좌, 우, 상, 하의 소정 조합을 인식하여 "제스처 벡터"를 산출하도록 의도된 알고리즘을 포함한다. 이것은 포토다이오드들의 더 큰 어레이들로 확장되어, 벡터 필드들의 형성을 가능하게 할 수 있으며, 이는 알고리즘의 정확도를 더 증가시킨다. 벡터는 명령 식별, 후속 처리 또는 다른 응용-고유 용도들에 사용될 수 있다. 속도를 추적할 수 있음으로써, 인식 가능한 제스처들의 유효 수는 "느림" 및 "빠름"만을 사용하는 경우에 2배 증가될 수 있으며, 따라서 향상된 기능을 제공한다. 원시(raw) 벡터 데이터는 사전 결정된 제스처들을 정의하는 데 사용될 수 있거나, 원시 벡터 데이터는 벡터가 4개의 기본 방향 또는 소정 다른 정의된 기본 방향들의 세트 중 하나에 대응하는 확률로 변환될 수 있다.
알고리즘은 z축을 따른, 예를 들어 세그먼트화된 포토 센서를 향하거나 멀어지는 제스처의 인식을 포함한다. 일부 실시예들에서, 알고리즘은 손가락 추적도 포함한다.
알고리즘은 도 3의 제스처 감지 장치와 관련하여 설명된다. LED(11)는 세그먼트화된 센서(12)를 가로질러 이동하는 타겟을 조명하며, 결과적으로 타겟으로부터 반사된 광이 세그먼트화된 센서에 충돌한다. 광 변경 구조(13)는 반사광을 세그먼트화된 센서(12) 상으로 지향시키기 위한 임의의 수단을 개념적으로 나타내며, 여기서 지향시키기 위한 수단은 전술한 광학 수단 및 기계 수단을 포함하지만 이에 한정되지 않는다. 세그먼트화된 센서 상에 형성된 이미지는 타겟 모션과 관련된 병진 방식으로 이동한다. 4개의 세그먼트 A, B, C, D로부터 출력된 세그먼트 신호들로부터 합성 신호들이 도출된다. 2개의 축 X 및 Y에 대한 상이한 조합들에서 취해지는 세그먼트 신호들의 가산 및 감산에 의해 모션이 결정되며, 여기서 x축은 좌우 모션에 대응하고, y축은 상하 모션에 대응한다. 좌우 방향의 모션은 X = (A+C)-(B+D)에 따라 결정되고, 상하 방향의 모션은 Y = (A+B)-(C+D)에 따라 결정된다. z축에서 세그먼트화된 센서를 향하거나 멀어지는 모션은 모든 세그먼트들에 충돌하는 광의 총량이며, Z = A+B+C+D에 따라 결정된다.
이미지가 세그먼트화된 센서를 가로질러 좌에서 우로 이동할 때, 합성 신호 X는 먼저 0에서 소정의 양의 값으로 증가한 후, 0으로 최종 복귀하기 전에 0 아래로 소정의 음의 값으로 감소한다. 모션이 순전히 x 방향인 경우, 합성 신호 Y는 많이 변경되지 않으며, 변경되는 경우에도, 세그먼트들이 조명 소스에 의해 비대칭 조명되는 것으로 인해 한 방향으로만 이동한다. 합성 신호 Z는 x축 또는 y축을 따른 이동의 방향과 관계없이 조명과 더불어 증가한다.
타겟 모션의 방향과 센서 상의 이미지 모션의 대응 방향 간의 관계는 세그먼트화된 센서 상으로 반사광을 지향시키는 데 사용되는 광 지향 메커니즘에 의존한다는 것을 이해한다. 도 3은 우에서 좌로의 예시적인 타겟 모션을 나타낸다. 전술한 바와 같이, 타겟 모션은 세그먼트화된 센서(12) 상의 이미지 모션으로 역변환된다. 우에서 좌로의 타겟 모션에 대해 대응하는 좌에서 우로의 이미지 모션이 존재하며, 그 반대도 마찬가지이다. 유사하게, 위에서 아래로의 타겟 모션에 대해 대응하는 아래에서 위로의 이미지 모션이 존재하며, 그 반대도 마찬가지이다. 전술한 예들에서는, 타겟 모션 방향이 이미지 모션 방향과 반대인 반대 관계가 존재한다. 대안적인 관계들도 고려된다.
도 20은 도 3의 세그먼트화된 센서(12)를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다. 좌에서 우로의 이미지 모션은 우에서 좌로의 타겟 모션에 대응한다. 타겟이 먼 우측으로부터 세그먼트화된 센서(12)를 향해 이동함에 따라, 결국에는 세그먼트 A 및 C 상에 이미지가 나타나기 시작한다. 타겟이 계속 우에서 좌로 이동함에 따라, 타겟이 점점 더 많이 세그먼트들 A 및 C 상에 이미징되어 X 값이 증가한다. 소정 포인트에서, 최대 이미지가 세그먼트 A 및 C 상에서 감지되며, 이는 이미지가 세그먼트 B 및 D에 충돌하기 직전의 포인트에 대응한다. 이 포인트는 도 20에 사인 파형의 양의 피크로서 예시되는 최대 X 값에 대응한다. 타겟이 좌측으로 더 이동함에 따라, 이미지는 우측으로 더 이동하여, 세그먼트 B 및 D에 충돌하기 시작한다. 값 X를 계산하기 위한 공식에서는, A+C로부터 B+D에 대한 양의 값을 빼서 X의 하락 값을 산출한다. 결국, 타겟은 이미지의 절반이 세그먼트 A 및 C에 충돌하고 이미지의 절반이 세그먼트 B 및 D에 충돌하는 포인트까지 좌측으로 이동하며, 이는 도 20의 중앙 0점에 대응한다. 타겟이 좌측으로 계속 이동함에 따라, 이미지는 계속 우측으로 이동하여, 세그먼트 B 및 D에 점점 더 많이 그리고 세그먼트 A 및 C에 점점 더 적게 충돌하여, X의 점점 더 큰 음의 값을 생성한다. 결국, X의 값은 이미지가 더 이상 세그먼트 A 및 C에 충돌하지 않고 세그먼트 B 및 D에 최대의 양으로 충돌하는 타겟의 위치에 대응하는 음의 최대치에 도달한다. 타겟이 더욱더 좌측으로 이동함에 따라, 대응하는 반사광이 어떠한 세그먼트에도 충돌하지 않는 위치에 타겟이 도달할 때까지 점점 더 적은 이미지가 세그먼트 B 및 D에 충돌하며, 이는 도 20의 가장 우측 0점에 대응한다.
도 21은 도 20에서와 같이 타겟 모션이 우에서 좌로 향하는 동안 세그먼트화된 센서(12)를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다. 도 20 및 21에 도시된 예시적인 파형들은 순전히 x 방향에서의 타겟 모션에 대응한다. 이상적으로, 순전히 x 방향의 타겟 모션에 대한 Y 값은 0이다. 그러나, 실제로는, 세그먼트화된 센서가 LED(11)에 의해 비대칭으로 조명됨으로 인해 통상적으로 소정의 0이 아닌 값이 결정된다. 도 21에 도시된 파형은 양의 0이 아닌 값을 나타내지만, 시간이 지남에 따라 양, 음, 0 또는 소정 조합일 수 있는 소정의 사소한 0이 아닌 값을 표현하는 것을 의도한다.
도 23은 도 3의 세그먼트화된 센서(12)를 가로지르는 위에서 아래로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다. 위에서 아래로의 이미지 모션은 아래에서 위로의 타겟 모션에 대응한다. 도 23에 도시된 파형은 합성 신호 Y에 대응하며, 도 20에 도시된 합성 신호 X에 대응하는 파형과 유사하게 결정된다. Y의 양의 값들은 반사광이 배타적으로 또는 주로 세그먼트 A 및 B에 충돌하는 것에 대응하며, Y의 음의 값들은 이미지가 배타적으로 또는 주로 세그먼트 C 및 D에 충돌하는 것에 대응한다. 0점들은 0 이미지가 세그먼트 A, B, C 및 D에 충돌하는 것 또는 세그먼트 C+D에 충돌하는 것과 동일한 양의 이미지가 세그먼트 A+B에 충돌하는 것에 대응한다.
도 22는 도 23에서와 같이 타겟 모션이 아래에서 위로 향하는 동안 세그먼트화된 센서를 가로지르는 좌에서 우로의 이미지 모션에 대응하는 예시적인 파형을 나타낸다. 도 22 및 23에 도시된 예시적인 파형들은 순전히 y 방향에서의 타겟 모션에 대응한다. 이상적으로, 순전히 y 방향의 타겟 모션에 대한 X 값은 0이다. 그러나, 실제로는, 세그먼트화된 센서가 LED(11)에 의해 비대칭으로 조명됨으로 인해 통상적으로 소정의 0이 아닌 값이 결정된다. 도 22에 도시된 파형은 양의 0이 아닌 값을 나타내지만, 시간이 지남에 따라 양, 음, 0 또는 소정 조합일 수 있는 소정의 사소한 0이 아닌 값을 표현하는 것을 의도한다.
z 방향에서의 제스처를 결정하기 위하여, x 또는 y 방향에서의 벡터의 검출 없이 Z 또는 VSUM, 신호 (A+B+C+D)의 충분한 증가를 찾아야 하다.
도 20 및 23을 참조하면, 양 및 음의 0점들은 세그먼트화된 센서의 일측으로부터 타측으로 이동하는 이미지와 부합된다. 따라서, 타겟이 더 빠르게 이동할수록, 이미지는 세그먼트화된 센서의 일측으로부터 타측으로 더 빠르게 가로지르며, 따라서 파형의 0점들이 시간상 더 가까이 이격되게 한다. 이것은 정확히 속도와 상관된다. 도 24-27은 도 24-27에서의 파형들에 대응하는 타겟 모션이 도 20-23에서의 파형들에 대응하는 타겟 모션보다 빠르다는 점 외에는 도 20-23의 파형들과 각각 유사한 파형들을 나타낸다. 도 24-27의 파형들은 각각 도 20-23의 파형들과 유사한 관계를 갖는다. 도 24-27에 도시된 파형들과 같이 더 빠른 타겟 모션에 대응하는 파형들은 도 20-23에 도시된 파형들과 같이 유사하지만 더 느린 타겟 모션에 대응하는 파형들에 비해 더 짧은 기간을 갖거나 압축된다.
반사광은 사전 결정된 레이트로, 예를 들어 밀리초마다 한 번씩 샘플링된다. 도 20에 도시된 바와 같이, 시간 0에서, X 값은 양이 되기 시작한다. 30 밀리초와 같은 더 늦은 시간에, X 값은 0과 교차하고 음이 된다. 0점들 간의 시간으로 샘플링 레이트를 나누면, 그 결과는 속도에 비례하는 값이다. 이것은 센서로부터의 타겟의 거리와 같은 다른 기여 팩터들이 존재하므로 타겟 속도의 대략적인 추정치이지만, 이 추정치는 다른 방향에 대한 정확한 상대 속도, 예를 들어 y 방향에 대한 x 방향에서의 상대 속도를 제공하는데, 그 이유는 x 및 y 양 방향에서의 추정 속도가 각각의 0점들을 이용하여 계산된 후에 서로 비교될 수 있기 때문이다. 예시적인 응용은 추정된 속도 결정을 코스-레벨 명령으로 사용하는 것이며, 상이한 추정 속도에 기초하여 상이한 명령들이 결정된다. 예를 들어, 표시된 객체는 결정된 추정 속도가 높은 임계치보다 큰 경우에는 빠른 레이트로, 결정된 추정 속도가 높은 임계치와 낮은 임계치 사이인 경우에는 중간 레이트로, 또는 결정된 추정 속도가 낮은 임계치보다 낮은 경우에는 느린 레이트로 회전하도록 지시될 수 있다.
위의 것은 순전히 x 또는 y 방향에서의 제스처들 또는 타겟 모션으로부터 발생하는 파형들의 예들이다. 그러나, 많은 제스처는 대각선 타겟 모션과 같이 양방향의 성분들을 포함할 수 있으며, 제스처 파형 진폭들이 사례마다 다를 수 있다. 따라서, 양과 음 사이의 상대적 변화, 특히 0점들을 찾고, 좌-우 및 상-하 채널들 양자에 대해 동시에 그렇게 하는 것이 적합하다. 타겟 모션이 순전히 좌-우 또는 상-하가 아닌 경우, 결과적인 X 및 Y 신호 파형들은 진폭 및 주기 모두에서 변할 수 있다.
합성 신호 X 및 합성 신호 Y에서 획득된 정보를 이용하여 이차원 벡터가 결정될 수 있다. 좌-우 또는 상-하 채널들 상에서 제스처를 식별하기 위해 0점이 반대 방향에서의 0점에 의해 이어져야 하는 것으로 지정되고, 제1 0점이 시간 t1에서 발생하고, 제2 0점이 시간 t2에서 발생하는 경우, x 또는 y 방향을 따른 속도는 1/(t2-t1)에 비례한다. 방향은 제1 0점이 음인지 또는 양인지에 의해 결정된다. 좌-우 및 상-하 채널들 모두에 대해 이를 행하는 것은 x 방향 속도(Vx) 및 y 방향 속도(Vy)가 데카르트 좌표들을 이용하여 Vxi + Vyj의 형태로 이차원 벡터 내에 중첩될 수 있게 한다. 데카르트 좌표들은 벡터 각도를 포함하는 극 좌표들로 쉽게 변환된다. 결과적으로, 타겟 모션은 x,y 평면에서 임의의 각도 및 임의의 속도를 따라 검출될 수 있으며, 샘플링 레이트에 의해서만 제한된다. 샘플링 레이트가 클수록, 벡터 각도의 해상도는 더 높다. 예를 들어 결정된 속도 Vx가 속도 Vy보다 큰 경우, 타겟은 상-하 방향보다 좌-우 방향으로 더 많이 이동하고 있는 것으로 결정될 수 있다.
일부 실시예들에서, 다양한 각도 임계치들이 정의될 수 있으며, 벡터 각도가 각도 임계치들과 비교된다. 예를 들어, +45도와 +135도 사이의 벡터 각도는 위쪽 타겟 모션인 것으로 결정되고, +45도와 -45도 사이의 벡터 각도는 우측 타겟 모션인 것으로 결정된다. 알고리즘은 또한 비대칭으로 가중될 수 있다. 예를 들어, 60도의 벡터 각도는 벡터가 위쪽 타겟 모션에 대응하는 90도로 더 많이 향하더라도 우측 타겟 모션으로 결정될 수 있다. 그러한 예는 알고리즘이 균일하거나 불균일할 수 있는 이전의 제스처 분포들을 고려하도록 프로그래밍될 수 있는 일반적 개념을 예시한다.
이러한 개념은 타겟 모션이 특정한 정의된 방향에 있다는 신뢰를 꾀하기 위해 벡터들을 한 세트의 확률 함수들과 함께 이용함으로써 확장될 수 있다. 이러한 방식으로, 사용자는 제스처가 좌, 우, 상, 하와 같은 정의된 타겟 모션 방향들 중 하나로서 인식될 만큼 정확하게 제스처를 행할 필요가 없다. 이것은 또한 발생했을 수 있는 소정의 잡음을 보상할 수 있다. 예를 들어, 사용자가 좌에서 우로, 위에서 아래로, 우에서 좌로 그리고 아래에서 위로의 방향들만을 인식하기를 원하는 경우, 최대치가 각각의 원하는 벡터에 중심을 갖고, 최대치의 절반이 이웃하는 원하는 벡터들 사이의 (방사상) 정확히 중간에 위치하는 가우스 분포들과 같은 4개의 확률 함수가 정의될 수 있다. 도 28은 인식된 방향 좌, 우, 상, 하에 대응하는 4개의 가우스 분포를 나타낸다. 이 예에서, 최대치는 0도(우), +90도(상), -90도(하) 및 180도(좌)에서 발생하며, 최대치의 절반은 ±45도 및 ±135도에서 발생한다. 이 예에서, 각각의 방향은 동일하게 발생할 수 있다. 소정의 벡터가 주어지면, 0도(양의 x 방향)에 대한 벡터 각도가 결정되고, 4개의 확률 분포 모두에 대응할 벡터의 확률이 계산된다. 따라서, 이러한 값들의 최대가 "가장 가능성 있는" 것이며, 타겟 모션인 것으로 결정된다. 2개의 예시적인 벡터가 도 28에 도시되며, 각각의 벡터는 측정된 타겟 모션에 대응한다. 벡터 1은 90%의 신뢰도를 갖는 좌에서 우로의 모션인 것으로 결정된다. 벡터 2는 위에서 아래로 그리고 우에서 좌로의 모션인 것으로 불명확하게 결정되는데, 그 이유는 벡터가 좌측 원 및 아래 원 내에 있을 가능성이 동일하기 때문이다. 일부 실시예들에서, 알고리즘은 각각의 그러한 불명확한 경우에 사전 정의된 결과를 제공하도록 프로그래밍된다. 다른 실시예들에서, 알고리즘은 불명확한 결과에 응답하지 않거나 에러 메시지 또는 지시자를 생성하도록 프로그래밍된다.
전술한 바와 같이, 알고리즘은 4개의 세그먼트화된 센서에 적용된다. 세그먼트화된 센서 및 알고리즘은 4개보다 많은 세그먼트, 예를 들어 세그먼트들의 NxN 또는 NxM 어레이를 갖는 센서와 함께 사용되도록 적응될 수 있다. 도 29는 포토다이오드 세그먼트들의 예시적인 4x4 어레이를 나타낸다. 벡터는 9개의 상이한 4-세그먼트 배열 각각에 대해 결정될 수 있다. 예를 들어, 제1 4-세그먼트 배열은 세그먼트 1, 2, 5, 6을 포함하고, 제2 4-세그먼트 배열은 세그먼트 6, 7, 10, 11을 포함하고, 제3 4-세그먼트 배열은 세그먼트 11, 12, 15, 16을 포함하고, 기타 등등이다. 9개의 4-세그먼트 배열 각각에 대해 알고리즘을 적용함으로써, 더 복잡한 타겟 모션 정보를 획득하는 데 사용될 수 있도록 벡터 필드가 집성될 수 있다.
제스처 감지 장치는 도 3의 LED(11)와 같은 단일 조명 소스를 사용하는 것으로 설명된다. 그러나, 일부 실시예들에서, 단일 조명 소스는 도 1의 전통적인 장치에서와 같이 직렬로 펄싱(pulsing)되는 다수의 조명 소스와 달리 동시에 펄싱되는 하나 이상의 조명 소스를 나타내는 것을 의도한다. 동시에 펄싱되는 다수의 조명 소스를 사용함으로써, 더 넓은 커버리지 영역이 얻어질 수 있다. 주어진 조명 소스의 커버리지 영역은 커버리지 영역 내에 있는 타겟으로부터 반사된 광이 센서에 충돌하는 조명 소스 위의 영역으로서 정의된다. 커버리지 영역은 세그먼트화된 센서의 시야와 일치한다. 조명 소스로부터 광이 커버리지 영역 밖의 영역들에서 타겟과 충돌할 수 있지만, 반사광은 타겟이 커버리지 영역 내에 있는 동안에만 세그먼트화된 센서에 충돌하도록 기울어질 것이다. 커버리지 영역 밖에서, 반사광은 세그먼트화된 센서에 충돌하도록 적절히 기울어지지 않는다. 동시에 펄싱되는 둘 이상의 조명 소스는 커버리지 영역을 증가시키도록 기능한다.
둘 이상의 조명 소스는 조명 소스들이 동시에 펄싱되지 않는 경우에도 세그먼트화된 센서와 함께 사용될 수 있다. 이러한 방식으로, 다수의 x 채널 및 다수의 y 채널이 구현될 수 있으며, 제1 x 채널 및 제1 y 채널은 제1 조명 소스에 대응하고, 기타 등등이다.
제스처 감지 장치 및 알고리즘은 조명 소스 없이 사용되도록 적응될 수도 있다. 조명 소스로부터 생성되는 반사광에 대응하는 이미지를 검출하는 대신에, 주변광이 검출되고, 통과하는 타겟으로부터 유발되는 주변광의 감소가 결정된다. 이러한 방식으로, 통과하는 타겟은 세그먼트화된 센서 위에 그림자를 투영하며, 그림자는 주변광의 감소로서 측정된다. 주변광 구성에서의 그림자는 조명 소스 구성에서의 이미지와 역으로 유사하다. 주변광 구성에서는, 3개의 합성 신호 X, Y, Z의 극성이 반전된다.
제스처 감지 장치 및 알고리즘은 손가락 추적 응용으로 사용될 수도 있다. 합성 신호들 X, Y의 순간 값들을 분석함으로써, 손가락과 같은 타겟의 현재 위치가 결정될 수 있다. 예를 들어, 합성 신호 X의 값이 양이거나, 소정의 사전 결정된 X의 양의 임계치보다 큰 소정 값이고, 합성 신호 Y의 값이 0이거나, 소정의 Y의 근사 0 임계치를 초과하지 않은 소정의 근사 0 값인 경우, 사용자의 손가락은 세그먼트화된 센서의 좌측에 위치하는 것으로 결정된다. 유사하게, 합성 신호 X의 값이 0이거나, 소정의 X의 근사 0 임계치를 초과하지 않은 소정의 근사 0 값이고, 합성 신호 Y의 값이 음이거나, 소정의 사전 결정된 Y의 음의 임계치보다 큰 소정 값인 경우, 사용자의 손가락은 센서 아래에 위치하는 것으로 결정된다. 합성 신호 X의 값이 양이고, 합성 신호 Y의 값이 음인 경우, 사용자의 손가락은 센서의 좌측 하단 코너 근처에 위치하는 것으로 결정된다. 이러한 방식으로, 9개의 위치가 결정될 수 있다. 위치들 중 8개는 둘레 주위에 있고, 이는 4개의 코너, 좌, 우, 상, 하이다. 9 번째 위치는 세그먼트화된 센서의 중심이며, 이는 합성 신호 X의 값 및 합성 신호 Y의 값이 모두 0이지만, Z 또는 VSUM, 신호 (A+B+C+D)가 0이 아닐 때와 대응한다. 연속적인 손가락 위치들의 추적은 또한 벡터를 결정한다. 예를 들어, 센서의 좌측, 센서의 중앙 및 센서의 우측에 대응하는 3개의 연속적인 손가락 위치는 우에서 좌로의 타겟 모션을 지시한다. 이러한 방식으로, 벡터 결정을 유도하는 손가락 추적은 타겟 모션 벡터를 결정하는 더 복잡한 방법이다. 손가락 추적은 명령을 지시하는 연속적인 손가락 위치들의 시퀀스 대신에 단일 손가락 위치와 같은 더 간단한 응용들에도 이용될 수 있다.
본원은 제스처들을 검출하기 위한 제스처 감지 장치 및 방법의 구성 및 동작의 원리들의 이해를 돕기 위한 상세들을 포함하는 특정 실시예들과 관련하여 설명되었다. 다양한 도면들에 도시되고 설명된 컴포넌트들 중 다수는 필요한 결과들을 달성하도록 교환될 수 있으며, 본 설명은 그러한 교환도 포함하는 것으로 해석되어야 한다. 따라서, 본 명세서에서의 특정 실시예들 및 그의 상세들에 대한 언급은 첨부된 청구항들의 범위를 한정하는 것을 의도하지 않는다. 본원의 사상 및 범위로부터 벗어나지 않고, 설명을 위해 선택된 실시예들에 대한 변경들이 이루어질 수 있다는 것이 이 분야의 기술자들에게 명백할 것이다.
Claims (36)
- 장치로서,
적어도 하나의 포토 센서; 및
광을 상기 적어도 하나의 포토 센서로 중계하기 위한 광 변경 구조
를 포함하고,
상기 광 변경 구조는 상기 광의 일부를 선택적으로 차단하도록 구성되고,
상기 광 변경 구조는 계단 구조(stair-step) 구조로 형성된 복수의 층을 포함하는 장치. - 제1항에 있어서,
광을 전송하기 위한 조명 소스를 더 포함하는 장치. - 제1항에 있어서,
상기 적어도 하나의 포토 센서는 포토다이오드를 포함하는 장치. - 제1항에 있어서,
상기 적어도 하나의 포토 센서는 개별 광센서들의 어레이를 포함하는 장치. - 제1항에 있어서,
상기 적어도 하나의 포토 센서는 복수의 세그먼트로 분할된 단일 광센서를 포함하는 장치. - 제1항에 있어서,
상기 적어도 하나의 포토 센서는 복수의 셀 구조를 포함하고, 각각의 셀 구조는 2개의 포토다이오드를 포함하고,
셀당 하나씩 복수의 벽 구조를 포함하는 기계 구조를 더 포함하고, 상기 벽 구조는 상기 2개의 포토다이오드 사이에 배치되는 장치. - 제6항에 있어서,
상기 광 변경 구조의 상층은 상기 2개의 포토다이오드 중 어느 것과도 오버랩되지 않은 외측 둘레를 갖는 장치. - 제6항에 있어서,
상기 광 변경 구조의 상층은 상기 2개의 포토다이오드 각각을 부분적으로 커버하는 외측 둘레를 갖는 장치. - 제6항에 있어서,
상기 광 변경 구조는 복수의 금속 층 및 복수의 유전층을 포함하고, 유전층이 각각의 금속 층을 분리하고, 각각의 유전층은 상기 유전층의 어느 한쪽 상의 금속 층들에 결합하는 복수의 금속 관통 비아를 포함하는 장치. - 제8항에 있어서,
각각의 벽 구조는 상기 2개의 포토다이오드의 상면에 수직인 장치. - 제4항에 있어서,
각각의 광센서는 복수의 셀 구조를 포함하고, 각각의 셀 구조는 하나 이상의 포토다이오드를 포함하고,
셀당 하나씩, 복수의 벽 구조를 포함하는 기계 구조를 더 포함하고, 상기 벽 구조는 상기 하나 이상의 포토다이오드의 상면에 대해 수직이 아닌 각도를 갖는 장치. - 제1항에 있어서,
상기 복수의 층의 제1 층과 상기 복수의 층의 제2 층 사이에 배치된 벽 구조를 더 포함하는 장치. - 제12항에 있어서,
상기 벽 구조는 비아를 포함하는 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161483034P | 2011-05-05 | 2011-05-05 | |
| US61/483,034 | 2011-05-05 | ||
| US13/304,603 US8716649B2 (en) | 2011-05-05 | 2011-11-25 | Optical gesture sensor using a single illumination source |
| US13/304,603 | 2011-11-25 | ||
| US13/352,299 US9229581B2 (en) | 2011-05-05 | 2012-01-17 | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources |
| US13/352,299 | 2012-01-17 | ||
| PCT/US2012/036351 WO2012151417A2 (en) | 2011-05-05 | 2012-05-03 | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140022404A KR20140022404A (ko) | 2014-02-24 |
| KR101765771B1 true KR101765771B1 (ko) | 2017-08-07 |
Family
ID=47855732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137029375A KR101765771B1 (ko) | 2011-05-05 | 2012-05-03 | 다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR101765771B1 (ko) |
| CN (1) | CN102981608B (ko) |
| TW (1) | TWI573045B (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014210502A1 (en) * | 2013-06-28 | 2014-12-31 | Chia Ming Chen | Controlling device operation according to hand gestures |
| CN110045824B (zh) | 2014-02-10 | 2022-06-17 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| KR102062840B1 (ko) | 2014-10-31 | 2020-02-11 | 삼성전자주식회사 | 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법 |
| TWI554248B (zh) * | 2015-02-25 | 2016-10-21 | 國立交通大學 | 光偵測裝置及使用該光偵測裝置之影像重建方法 |
| WO2016192076A1 (en) * | 2015-06-04 | 2016-12-08 | Huawei Technologies Co., Ltd. | Input device, user equipment and method for determining movement |
| US9454259B2 (en) * | 2016-01-04 | 2016-09-27 | Secugen Corporation | Multi-level command sensing apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080006762A1 (en) | 2005-09-30 | 2008-01-10 | Fadell Anthony M | Integrated proximity sensor and light sensor |
| US20100255600A1 (en) | 2007-11-20 | 2010-10-07 | Isaac Farr | Liquid handling device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4093971B2 (ja) * | 2004-02-12 | 2008-06-04 | シャープ株式会社 | 光学式移動情報検出装置および移動情報検出システムおよび電子機器およびエンコーダ |
| US8094129B2 (en) * | 2006-11-27 | 2012-01-10 | Microsoft Corporation | Touch sensing using shadow and reflective modes |
| CN101558367A (zh) * | 2006-12-05 | 2009-10-14 | 索尼爱立信移动通讯有限公司 | 用于检测物体移动的方法和系统 |
| US7884871B2 (en) * | 2007-06-15 | 2011-02-08 | Aptina Imaging Corporation | Images with high speed digital frame transfer and frame processing |
| JP2009128686A (ja) * | 2007-11-26 | 2009-06-11 | Sony Corp | 表示装置および電子機器 |
| TW201007531A (en) * | 2008-08-01 | 2010-02-16 | Yu-Hsiang Huang | Gesture detecting method of capacitive touch pad is disclosed |
| CN101819498B (zh) * | 2009-02-27 | 2013-06-05 | 瞬联讯通科技(北京)有限公司 | 面向触摸屏滑动体的屏幕显示控制方法 |
| TW201106614A (en) * | 2009-08-10 | 2011-02-16 | Holtek Semiconductor Inc | Low-frequency amplifier and PIR detector |
-
2012
- 2012-05-03 KR KR1020137029375A patent/KR101765771B1/ko active IP Right Grant
- 2012-05-04 TW TW101115988A patent/TWI573045B/zh active
- 2012-05-07 CN CN201210225546.8A patent/CN102981608B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080006762A1 (en) | 2005-09-30 | 2008-01-10 | Fadell Anthony M | Integrated proximity sensor and light sensor |
| US20100255600A1 (en) | 2007-11-20 | 2010-10-07 | Isaac Farr | Liquid handling device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102981608B (zh) | 2018-02-16 |
| KR20140022404A (ko) | 2014-02-24 |
| TW201308127A (zh) | 2013-02-16 |
| TWI573045B (zh) | 2017-03-01 |
| CN102981608A (zh) | 2013-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10521017B1 (en) | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources | |
| US10429236B2 (en) | Optical gesture sensor having a light modifying structure | |
| KR101765771B1 (ko) | 다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법 | |
| US20140035812A1 (en) | Gesture sensing device | |
| US9702690B2 (en) | Lens-less optical position measuring sensor | |
| CN104755874B (zh) | 具有多个光源的运动传感器装置 | |
| CN102782616A (zh) | 用于检测和跟踪触摸对象的方法 | |
| TWI391847B (zh) | 具有光學舉升偵測之運動評估方法及光學導航系統 | |
| US20090296991A1 (en) | Human interface electronic device | |
| JP2010257089A (ja) | 光学式位置検出装置 | |
| JPS60501676A (ja) | 電子光学マウスのための検知器 | |
| KR102074857B1 (ko) | 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법 | |
| CN104049811A (zh) | 使用结构化光图像的交互检测 | |
| US10704904B2 (en) | Distance detection device | |
| KR101304948B1 (ko) | 센서장치 및 이를 이용한 위치인식장치 | |
| KR20130101347A (ko) | 3차원 공간인식 센서모듈 | |
| CN201741135U (zh) | 触摸屏、触摸系统和显示器 | |
| TWI497036B (zh) | 光線尋跡方法與裝置 | |
| KR20160051070A (ko) | 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법 | |
| CN103092430A (zh) | 光学触控系统及其定位方法 | |
| JP6220653B2 (ja) | 光学式位置検出装置およびそれを用いた電子機器 | |
| KR101405252B1 (ko) | 모션 감지 스위치 | |
| JP6236150B2 (ja) | 光線追跡方法及びその装置 | |
| TW201317864A (zh) | 光學觸控系統及其定位方法 | |
| CN103677434A (zh) | 光学触控装置以及可调式导光装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |