KR20120019453A - 감지 어셈블리를 갖는 전자 장치 및 오프셋 제스처를 해석하는 방법 - Google Patents

Abstract

전자 장치를 제어하는 방법은 적어도 하나의 광 수신기 및 전자 장치로부터 먼쪽으로 상이한 각도로 적외선 광을 방출하는 복수의 광 송신기를 제공하는 단계를 포함한다. 외부 물체가 감지 어셈블리에 대해 일반적으로 중앙에 있는 위치로부터 오프셋되어 있는 패턴으로 움직일 때 복수의 기간의 각각의 기간 동안 광 송신기 각각에 의한 적외선 광의 방출이 제어되고, 측정된 신호가 발생된다. 물체의 움직임 패턴을 식별하고 기준 오프셋 위치를 검출하기 위해 측정된 신호가 평가된다. 가운데 맞춤 동작이 수행되고, 기준 오프셋 위치에 대한 물체의 대응하는 결정된 위치에 따라 디스플레이 화면 상의 표시자의 순차적인 위치가 제어된다.

Description

감지 어셈블리를 갖는 전자 장치 및 오프셋 제스처를 해석하는 방법{ELECTRONIC DEVICE WITH SENSING ASSEMBLY AND METHOD FOR INTERPRETING OFFSET GESTURES}

관련 출원의 상호 참조

본 출원은 2009년 5월 22일자로 출원된, 발명의 명칭이 "Sensing Assembly For Mobile Device(모바일 장치의 감지 어셈블리)"인 미국 특허 출원 제12/471,062호(참조 문헌으로서 본 명세서에 포함됨)의 일부 계속 출원으로서 그 이익을 주장한다.

발명의 분야

본 발명은 일반적으로 전자 장치에 관한 것이며, 보다 상세하게는, 전자 장치의 감지 어셈블리 및/또는 디스플레이 화면으로부터 오프셋되어 있는 물체에 의해 수행되는 제스처를 검출하고 해석하는 적외선 감지 어셈블리를 갖는 전자 장치에 관한 것이다.

휴대폰, 스마트폰과 같은 모바일 장치, 및 PDA(personal digital assistant), 헤드셋, MP3 플레이어 등과 같은 기타 핸드헬드 또는 휴대용 전자 장치가 보편화되고 널리 보급되었다. 모바일 장치에 점점 더 많은 기능이 추가됨에 따라, 많은 사용자 명령을 수용하고 및/또는 많은 사용자 거동에 반응하는 입/출력 메커니즘을 이들 모바일 장치에 구비하라는 요망이 점점 증가해 왔다. 예를 들어, 많은 모바일 장치가 이제는 버튼 또는 키/키패드 뿐만 아니라 용량성 터치 스크린 - 이 터치 스크린에 의해 사용자는, 단순히 모바일 장치의 표면을 터치하고 및/또는 모바일 장치의 표면을 따라 사용자의 손가락을 움직임으로써, 각종의 메시지 또는 명령을 모바일 장치로 전달할 수 있음 - 을 구비하고 있다.

모바일 장치가 모바일 장치의 외부에 위치하는 물리적 물체의 존재를 검출하고 그의 위치를 어떤 정확도로 결정할 수 있는 것과, 보다 상세하게는, 모바일 장치를 사용하거나 다른 방식으로 모바일 장치 근방에 위치하는 사람(또는 머리 또는 손과 같은 그의 신체의 일부분)의 존재 및 위치를 검출 및 결정할 수 있는 것이 점점 관심을 끌고 있다. 이러한 기능에 의해, 모바일 장치는 사람 및/또는 기타 물리적 물체의 존재(또는 부존재) 및 위치가 주어진 경우 적절한 각종의 방식으로 그의 거동을 조정할 수 있다.

용량성 터치 스크린과 같은 종래 기술의 장치가 전화기에 대한 입/출력 장치로서 유용하지만, 이러한 터치 스크린은 고가이고 전화기의 큰 표면 영역에 걸쳐 있는 위치에 분포되어 있는 많은 수의 감지 장치를 필요로 하는 상당히 복잡한 전자 장치이다. 또한, 이러한 터치 스크린은 사용자가 터치 스크린을 실제로 물리적으로 터치하고 있는 경우에만 입력 신호를 제공할 수 있기 때문에 한계가 있다. 게다가, 적외선(또는 보다 정확하게는, 근적외선) 송수신기와 같은 원격 감지 장치가 과거에 일부 모바일 장치에서, 심지어 모바일 장치와 물리적으로 접촉하지 있지 않을 때에도, 사람 및/또는 물리적 물체의 존재 및/또는 위치의 검출을 가능하게 해주기 위해 이용되었지만, 이러한 감지 장치는 다양한 측면에서 한계가 있다.

상세하게는, 어떤 이러한 모바일 장치에서의 어떤 이러한 근적외선 송수신기는 주어진 송수신기로부터 특정 거리 내에서 사람/물리적 물체의 존재 또는 부존재를 검출(사람/물리적 물체가 송수신기로부터 소정의 거리 내에 또는 그에 근접해 있는 것을 이진적으로 검출)할 수 있을 뿐이고, 송수신기에 대해 3차원 공간 내의 사람/물리적 물체의 3차원 위치를 검출할 수 없다. 또한, 어떤 이러한 모바일 장치에서의 어떤 이러한 송수신기는 동작하기 위해 바람직하지 않게도 복잡하거나 많은 수의 구성요소를 필요로 하며, 이는 차례로 이러한 장치를 지나치게 고가로 만든다.

따라서, 상기한 이유로, 상기한 한계 및/또는 하나 이상의 다른 한계 중 하나 이상을 극복한, 하나 이상의 유형의 전자 장치에 적합한 새로운 감지 장치 또는 감지 장치들이 개발될 수 있으면 유리할 것이다.

도 1은 본 발명의 일 실시예에 따른, 예시적인 외부 물체(일부가 절단되어 도시됨)의 위치를 감지하는 것을 가능하게 해줄 수 있는 예시적인 피라미드형 감지 어셈블리를 이용하는 예시적인 전자 장치의 정면도.
도 2는 도 1의 전자 장치의 예시적인 구성요소를 나타낸 블록도.
도 3은 도 1의 피라미드형 감지 어셈블리의 구성요소를 더 상세히 나타낸 정면 사시도.
도 4는 본 발명의 다른 실시예에 따른, 도 1 및 도 3의 감지 어셈블리와 상이한 피라미드형 감지 어셈블리의 대안의 실시예의 구성요소를 나타낸 정면 사시도.
도 5는 본 발명의 또 다른 실시예에 따른, 도 1, 도 3 및 도 4의 감지 어셈블리와 상이한 피라미드형 감지 어셈블리의 부가적인 대안의 실시예의 구성요소를 나타낸 정면 사시도.
도 6은 외부 물체의 위치가 감지되는 방식에 대해 더 설명하는, 도 1의 전자 장치, 감지 어셈블리 및 외부 물체(다시 말하지만, 일부가 절단되어 도시됨)의 측면도.
도 7은 본 발명의 적어도 일부 실시예에 따른, 감지 어셈블리(및 그와 관련하여 동작하는 처리 장치)의 예시적인 동작 단계를 나타낸 플로우차트.
도 8 및 도 9는 도 3, 도 4 또는 도 5의 피라미드형 감지 어셈블리를 이용할 수 있는 2개의 예시적인 전자 장치의 정면도.
도 10은, 피라미드형 감지 어셈블리인 것이 아니라, 감지 어셈블리가 렌즈를 이용하고 그 결과 감지 어셈블리가 도 4의 피라미드형 감지 어셈블리가 경험하는 것과 유사한 동작 거동을 경험한다는 점에서, 도 4의 감지 어셈블리와 상이한 감지 어셈블리의 추가적인 대안의 실시예를 나타낸 도면.
도 11은 서로로부터 떨어져서 그리고 프리즘/거울 구조물의 위치로부터 떨어져서 각자의 위치에 배치되어 있는 복수의 상이한 각자의 광송신기로부터 광을 수신하는 프리즘/거울 구조물을 포함하는, 도 1 내지 도 6 및 도 8 내지 도 10의 감지 어셈블리와 상이한 감지 어셈블리의 부가적인 대안의 실시예를 나타낸 도면.
도 12 내지 도 14는 손을 전자 장치 쪽으로 움직이는 것에 의해 수행되는 밀기 제스처를 순차적으로 나타낸 도면.
도 15 내지 도 17은 손을 전자 장치를 가로질러 움직이는 것에 의해 수행되는 슬라이드 제스처를 순차적으로 나타낸 도면.
도 18은 제스처를 검출하는 예시적인 방법을 나타낸 도면.
도 19는 밀기 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 20은 당기기 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 21은 마이너스 x 방향으로의 슬라이드 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 22는 마이너스 y 방향으로의 슬라이드 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 23은 수평 스와이프 인식 분석을 나타내는 그래프.
도 24는 수평 스와이프와 수직 스와이프를 구별하기 위한 분석을 나타낸 그래프.
도 25는 V자 구성(peace sign configuration)의 손가락으로 수행되는 플러스 x 방향으로의 슬라이드 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 26은 밀기 제스처 후에 발생하는 허버링(hover)에 대한 세기 대 시간의 예시적인 그래프.
도 27은 틸트 제스처에 대한 세기 대 시간의 예시적인 그래프.
도 28 내지 도 31은 밀기 제스처, 틸트 제스처, 및 슬라이드 제스처를 포함하는 연속적인 제스처를 나타낸 도면.
도 32 및 도 33은 오프셋 제스처를 사용하여 제어될 수 있는 전자 장치를 나타낸 도면.

적외선 감지 어셈블리는 하나 이상의 제스처의 검출을 가능하게 해주며, 여기서 제스처는 감지 어셈블리와 통신하고 있는 프로세서를 역시 포함하고 있는 전자 장치에 대한 외부 물체의 소정의 패턴의 움직임이다. 이들 제스처는 3차원 공간에서 수행되는 것으로 정의될 수 있고, 예를 들어, 밀기/당기기(push/pull) 제스처(z 축을 따라 전자 장치 쪽으로 또는 전자 장치로부터 멀어지게 물체를 움직이는 것), 슬라이드(slide) 제스처(전자 장치를 가로질러 xy 평면에서 물체를 움직이는 것), 허버링(hover) 제스처(소정의 시간 동안 물체를 움직이지 않은 채로 두는 것), 및 틸트(tilt) 제스처[롤(roll), 피치(pitch) 또는 요(yaw) 축을 중심으로 물체를 회전시키는 것]를 포함할 수 있다. 이들 제스처의 검출은 다양한 방식으로 전자 장치를 제어하는 데 사용될 수 있다. 적외선 감지 어셈블리는 다양한 형태로 구성될 수 있고, 외부 물체에 의해 반사되게 하기 위해 전자 장치로부터 바깥쪽으로 멀리 적외선 광을 방출하도록 제어되는 하나 이상의 광 송신기(phototransmitter), 및 광 송신기(들)로부터 방출되어 외부 물체로부터 반사된 광을 수신하는 하나 이상의 광 수신기(photoreceiver)를 포함한다.

예를 들어, 감지 어셈블리는 적어도 하나의 광 수신기 및 다수의 광 송신기를 포함할 수 있고, 여기서 각각의 광 송신기는 대응하는 중심 전송축(central transmission axis)을 중심으로 전자 장치로부터 먼쪽으로 적외선 광을 방출하도록 배치되어 있으며, 각각의 중심 전송축은 다른 중심 전송축에 대해 상이한 방향으로 배향되어 있다. 프로세서는, 외부 물체가 지정된 움직임 패턴으로 이동함에 따라, 각각의 광 송신기가 복수의 순차적인 기간의 각각의 기간의 각자의 부분에서(또는 이하에서 더 기술되는 바와 같이 각각의 기간 동안에 동시에) 적외선 광을 방출하도록 광 송신기를 제어한다. 각각의 광 송신기에 대해 그리고 각각의 순차적인 기간에 대해, 그 기간 동안 그 광 송신기로부터 나왔고 광 수신기에 의해 수신되기 전에 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호가 발생된다. 측정된 신호는 측정된 신호 집합(measured signal set)으로 나누어질 수 있고, 각각의 집합은 광 송신기들 중 각자의 광 송신기에 대응하고 시간에 따른(다수의 기간에 걸친) 세기 값을 포함한다. 다수의 시점에서 외부 물체의 대응하는 위치를 결정하고 소정의 패턴의 움직임을 검출하기 위해 이들 집합이 분석될 수 있는데, 그 이유는 각각의 측정된 신호 집합이 물체가 적외선 광이 도달가능한 3차원 공간의 대응하는 부분에 있는지에 관한 정보를 제공할 수 있기 때문이다. 전자 장치가 이어서 식별된 움직임의 위치 또는 패턴에 기초하여 제어될 수 있다.

다른 일례로서, 감지 어셈블리는 하나의 광 송신기 및 다수의 광 수신기를 포함할 수 있고, 여기서 광 수신기는 대응하는 중심 수신축(central receiving axis)을 중심으로 적외선 광을 수신하도록 배열되어 있으며, 각각의 중심 수신축은 다른 중심 수신축에 대해 상이한 방향으로 배향되어 있다. 이 경우에, 광 송신기는 복수의 순차적인 기간의 각각의 기간 동안 광을 방출하도록 제어되고, 각각의 광 수신기에 대해 그리고 각각의 기간에 대해, 그 기간 동안 그 광 송신기로부터 나와서 그 광 수신기에 의해 수신되기 전에 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호가 발생된다. 다시 말하지만, 측정된 신호는 측정된 신호 집합으로 나누어질 수 있고, 각각의 집합은, 이 경우에, 광 수신기들 중 각자의 광 수신기에 대응하고 시간에 따른(다수의 기간에 걸친) 세기 값을 포함한다. 다수의 시점에서 외부 물체의 대응하는 위치를 결정하여 소정의 움직임 패턴을 검출하고 그에 따라 전자 장치를 제어하기 위해 이들 집합이 분석될 수 있다.

특정의 제스처가 일반적으로 감지 어셈블리 상부에 중심을 둔 위치에 대해 오프셋 방식으로 수행되는 것이 바람직할 수 있으며, 감지 어셈블리가 디스플레이 화면에 아주 근접해 있고 제스처가 디스플레이 화면 상의 표시자(커서 또는 기타 항목 등)를 제어하는 데 사용되는 경우에 특히 그렇다. 예를 들어, 디스플레이 화면 상에서의 표시자의 위치 및/또는 배향을 제어하는 제스처가, 디스플레이 화면이 제스처의 수행 동안에 방해받지 않은 채로 있을 수 있도록, 감지 어셈블리 및 디스플레이 화면에 대해 측면으로 벗어나서 수행되는 것이 유익할 수 있다. 오프셋 제스처 해석(offset gesture interpretation) 루틴은 오프셋 제스처를 검출하도록 동작할 수 있고, 물체의 제1 지정된 움직임 패턴에 의해 트리거될 수 있다.

도 1을 참조하여, 그의 다양한 구성요소 중에서, 예시적인 감지 어셈블리(104)를 포함하는 예시적인 전자 장치(102)가 도시되어 있다. 도시된 바와 같이, 전자 장치(102)는 PDA(personal digital assistant)와 같은 모바일 장치이지만, 전자 장치는 또한, 예를 들어, 휴대폰, 스마트폰, 기타 핸드헬드 또는 휴대용 전자 장치(노트북 또는 랩톱 컴퓨팅 장치 등), 헤드셋, MP3 플레이어 및 기타 휴대용 비디오 및 오디오 플레이어, 내비게이션 장치(예를 들어, 미국 캔자스주 올라쓰 소재의 Garmin International, Inc.에 의해 판매되는 것 등), 터치 스크린 입력 장치, 펜-기반 입력 장치, 기타 모바일 장치 및 심지어 방향 제어 또는 하나 이상의 외부 물체(예를 들어, 텔레비전, 키오스크, ATM, 자동 판매기, 자동차 등)의 감지된 존재 및 위치에 기초한 제어를 이용하거나 그로부터 이득을 볼 수 있는 아주 다양한 장치를 포함하는 기타 장치를 비롯하여 본 발명의 범위 내에 포괄되는 각종의 다른 장치를 나타내기 위한 것이다. 게다가, 도 1에 나타낸 바와 같이, 비디오 화면(106), 다수의 키를 갖는 키패드(108), 및 탐색 키 클러스터[이 경우에, "5-방향(five-way) 탐색 영역"](110)가 전자 장치(102)의 구성요소에 포함되어 있다.

도 3과 관련하여 더 상세히 기술될 것인 바와 같이, 본 실시예에서의 감지 어셈블리(104)는 전자 장치(102)의 외부에 있는(그리고 감지 어셈블리 자체의 외부에 있는) 물체(또는 물체의 집합체)의 존재를 검출하는 데 사용될 수 있는 피라미드형 감지 어셈블리의 제1 실시예이다. 상황에 따라, 감지되는 물리적 물체(또는 물체들)는 각종의 무생물 물체 및/또는, 적어도 어떤 상황에서, 전자 장치를 사용하는(또는 다른 방식으로 전자 장치에 근접해 있는) 사람의 신체의 하나 이상의 부분[사람의 머리 또는, (일부가 절단되어) 도시된 바와 같이, 사람의 손(111) 등]을 포함할 수 있다. 본 실시예에서, 감지 어셈블리(104)는 이러한 물체가 감지 어셈블리(및/또는 전자 장치)에 충분히 근접해 있는지의 점에서 이러한 물체의 존재를 검출할 뿐만 아니라, 3차원 공간에서 그리고 시간에 따라 다양한 지점에서 전자 장치(102)에 대한 물체의 3차원 위치도 검출한다.

본 실시예에서, 감지 어셈블리(104)는 감지 어셈블리 밖으로 하나 이상의(통상적으로 다수의) 적외선 신호(113)를 전송하는 동작을 하고, 적외선 신호(113)는 하나 이상의 적외선 광 송신기[예를 들어, 포토-발광 다이오드(포토-LED)]에 의해 발생된다. 보다 상세하게는, 광 송신기는 대략 850 내지 890 나노미터의 범위에 있는 파장(들)을 갖는 광을 전송하는 근적외선 포토-LED일 수 있지만, 꼭 그럴 필요는 없다. 적외선 신호(들)(113)의 일부분이 이어서 하나 이상의 반사된 신호(115)를 구성하기 위해 손(111)과 같은 존재하는 물체(또는 2개 이상의 물체)에 의해 반사된다. 반사된 신호(115)는 차례로, 보다 상세하게는, 상기한 범위 내의 파장(들)을 갖는 근적외선 광을 수신하는 데 적합할 수 있는(그렇지만, 꼭 그럴 필요는 없음) 하나 이상의 적외선 광 감지 장치 또는 광 수신기(예를 들어, 포토다이오드)에 의해 감지된다. 이하에서 더 상세히 기술할 것인 바와 같이, 다수의 광 송신기 또는 다수의 광 수신기를 이용함으로써, 감지 어셈블리에 대한(따라서 전자 장치에 대한) 손(111)의 3차원 위치가 정확하게 결정될 수 있다.

도 2를 참조하면, 블록도는 본 발명에 따른 전자 장치(102)의 모바일 장치 구현의 예시적인 내부 구성요소(200)를 나타내고 있다. 예시적인 실시예는 무선 송수신기(202), 프로세서(204)[예를 들어, 마이크로프로세서, 마이크로컴퓨터, ASIC(application-specific integrated circuit) 등], 메모리 부분(206), 하나 이상의 출력 장치(208), 및 하나 이상의 입력 장치(210)를 포함한다. 적어도 일부 실시예에서, 하나 이상의 출력 장치(208) 및 하나 이상의 입력 장치(210)를 포함하는 사용자 인터페이스가 존재한다. 내부 구성요소(200)는 부가적인 또는 향상된 기능에 대한 보조 구성요소 또는 액세서리로의 직접 연결을 제공하기 위해 구성요소 인터페이스(212)를 추가로 포함할 수 있다. 내부 구성요소(200)는 바람직하게는 또한 다른 내부 구성요소에 전력을 제공하는 배터리와 같은 전원 공급 장치(214)를 포함한다. 더 상세히 설명할 것인 바와 같이, 본 실시예에서 내부 구성요소(200)는 도 1의 감지 어셈블리(104)와 같은 센서(228)를 추가로 포함한다. 내부 구성요소(200) 모두는 서로 결합되어 있을 수 있고, 하나 이상의 내부 통신 링크(232)(예를 들어, 내부 버스)를 통해 서로 통신할 수 있다.

각각의 무선 송수신기(202)는 아날로그 통신(AMPS를 사용함), 디지털 통신(CDMA, TDMA, GSM, iDEN, GPRS, EDGE 등을 사용함), 및 차세대 통신(UMTS, WCDMA, LTE, IEEE 802.16 등을 사용함) 또는 이들의 변형과 같은 셀룰러-기반 통신 기술, 또는 HomeRF, Bluetooth 및 IEEE 802.11(a, b, g 또는 n)과 같은 피어-투-피어 또는 애드혹 통신 기술, 또는 적외선 기술과 같은 기타 무선 통신 기술(이들로 제한되지 않음)과 같은 무선 통신 기술을 이용한다. 본 실시예에서, 무선 송수신기(202)는 셀룰러 송수신기(203) 및 WLAN(wireless local area network) 송수신기(205) 둘다를 포함하지만, 다른 실시예에서, 이들 유형의 무선 송수신기 중 단지 하나만이 존재한다(어쩌면 이들 유형의 무선 송수신기 및/또는 다른 유형의 무선 송수신기 중 어느 것도 존재하지 않음). 또한, 무선 송수신기의 수가 0부터 임의의 플러스 숫자까지 변할 수 있고, 일부 실시예에서, 단지 하나의 무선 송수신기가 존재하고, 더욱이 본 실시예에 따르면, 각각의 무선 송수신기(202)는 수신기 및 송신기 둘다, 또는 이들 장치 중 한쪽 또는 다른 한쪽만을 포함할 수 있다.

전자 장치(102)의 내부 구성요소(200)의 다른 것들과 관련하여 무선 송수신기(202)의 예시적인 동작은 다양한 형태를 취할 수 있고, 예를 들어, 무선 신호의 수신 시에, 내부 구성요소가 통신 신호를 검출하고 송수신기(202)가 무선 신호에 의해 전송되는 들어오는 정보(음성 및/또는 데이터 등)를 복원하기 위해 통신 신호를 복조하는 동작을 포함할 수 있다. 송수신기(202)로부터 들어오는 정보를 수신한 후에, 프로세서(204)는 하나 이상의 출력 장치(208)에 대해 들어오는 정보를 형식 지정(format)한다. 이와 마찬가지로, 무선 신호의 전송을 위해, 프로세서(204)는 입력 장치(210)에 의해 활성화되거나 활성화되지 않을 수 있는 나가는 정보를 형식 지정하고, 통신 신호로 변조하기 위해 나가는 정보를 무선 송수신기들(202) 중 하나 이상의 무선 송수신기로 전달한다. 무선 송수신기(들)(202)는 변조된 신호를 셀 타워 또는 원격 서버(도시 생략)와 같은 원격 장치로 전달한다.

이 실시예에 따르면, 내부 구성요소(200)의 입력 및 출력 장치(208, 210)는 각종의 시각적, 오디오, 및/또는 기계적 출력을 포함할 수 있다. 예를 들어, 출력 장치(들)(208)는 액정 디스플레이 및 발광 다이오드 표시기와 같은 시각적 출력 장치(216), 스피커, 알람, 및/또는 부저(buzzer)와 같은 오디오 출력 장치(218), 및/또는 진동 메커니즘과 같은 기계적 출력 장치(220)를 포함할 수 있다. 시각적 출력 장치(216)는, 그 중에서도 특히, 도 1의 비디오 화면(106)을 포함할 수 있다. 이와 마찬가지로, 일례로서, 입력 장치(210)는 광학 센서(예를 들어 카메라)와 같은 시각적 입력 장치(222), 마이크와 같은 오디오 입력 장치(224), 및 홀 효과 센서, 가속도계, 키보드, 키패드, 선택 버튼, 터치 패드, 터치 스크린, 용량성 센서, 움직임 센서, 및/또는 스위치와 같은 기계적 입력 장치(226)를 포함할 수 있다. 기계적 입력 장치(226)는 상세하게는, 그 중에서도 특히, 도 1의 키패드(108) 및 탐색 키 클러스터(110)를 포함할 수 있다. 하나 이상의 입력 장치(210)를 활성화시킬 수 있는 동작은 전자 장치를 여는 것, 장치를 잠금 해제하는 것, 장치를 움직이는 것, 및 장치를 동작시키는 것(이들로 제한될 필요는 없음)을 포함할 수 있다.

내부 구성요소(200)의 센서(228)가, 적어도 어떤 상황에서, 입력 장치(210) 내에 포함되는 것으로 간주될 수 있지만, 본 실시예에 이들 센서(228) 중 하나 이상의 센서가 특별히 중요하다는 것을 고려할 때, 센서가 그 대신에 입력 장치(210)와 독립적으로 기술된다. 상세하게는 도시된 바와 같이, 센서(228)는 근접 센서(229) 및 기타 센서(231) 둘다를 포함할 수 있다. 더 상세히 기술할 것인 바와 같이, 근접 센서(229)는, 그 중에서도 특히, 전자 장치(102)가 도 1의 손(111)과 같은 사람의 신체의 일부분을 비롯한 하나 이상의 외부 물체의 존재(예를 들어, 전자 장치가 외부 물체에 충분히 근접하여 있다는 사실) 및 위치를 검출하는 데 사용할 수 있는 도 1의 감지 어셈블리(104)와 같은 하나 이상의 센서를 포함할 수 있다. 이에 비해, 기타 센서(231)는 전자 장치(102)의 현재 위치 또는 배향을 식별하는 데 도움을 줄 수 있는 가속도계, 자이로스코프, 또는 임의의 다른 센서와 같은 다른 유형의 센서를 포함할 수 있다.

내부 구성요소(200)의 메모리 부분(206)은 각종의 형태[예를 들어, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM) 등] 중 임의의 형태의 하나 이상의 메모리 장치를 포함할 수 있고, 데이터를 저장 및 검색하기 위해 프로세서(204)에 의해 사용될 수 있다. 메모리 부분(206)에 의해 저장되는 데이터는 운영 체제, 응용 프로그램, 및 정보 데이터(이들로 제한될 필요는 없음)를 포함할 수 있다. 각각의 운영 체제는 다양한 내부 구성요소(200) 사이의 상호작용, 무선 송수신기(202) 및/또는 구성요소 인터페이스(212)를 통해 외부 장치와 통신하는 것, 그리고 메모리 부분(206)으로/으로부터 응용 프로그램 및 데이터를 저장/검색하는 것과 같은 통신 장치의 기본 기능을 제어하는 실행가능 코드를 포함한다. 각각의 응용 프로그램은 파일 시스템 서비스와 메모리 부분(206)에 저장된 보호 및 비보호 데이터를 처리하는 것과 같은, 통신 장치에 대한 보다 구체적인 기능을 제공하기 위해 운영 체제를 이용하는 실행가능 코드를 포함한다. 정보 데이터는 통신 장치의 기능을 수행하기 위해 운영 체제 또는 응용 프로그램에 의해 참조 및/또는 조작될 수 있는 비실행가능 코드 또는 정보이다.

도 3을 참조하면, 도 1의 감지 어셈블리(104)의 구성요소가 보다 상세히 도시되어 있다. 도시된 바와 같이, 감지 어셈블리(104)는, 상세하게는, 피라미드형 하우징 구조물(340)을 포함하고, 이 구조물은, 보다 상세하게는, 단면이 원형이고 삼각형 상부면(348)으로부터 아래쪽으로 각각 뻗어 있는 제1, 제2 및 제3 경사면(342, 344, 346)을 가지는 사면체 구조물로 생각될 수 있다. 제1, 제2 및 제3 광 송신기(352, 354, 356) - 상기한 바와 같이, 적외선 광을 방출하는 데 적합한 포토-LED일 수 있음 - 가 경사면(342, 344, 346) 내에 각각 매립되어 있다. 제1, 제2 및 제3 광 송신기(352, 354, 356)는, 상세하게는, 그 각자의 경사면(342, 344, 346)에 대응하는 방식으로 배향되어 있다. 즉, 각자의 광 송신기로부터 뻗어 있는 제1, 제2 및 제3 중심 전송축(362, 364, 366) 각각은 경사면(342, 344, 346)의 각자의 경사면에 수직/직교이다. 게다가, 중심 전송축(362, 364, 366) 각각은 일반적으로 상부면(348)으로부터 수직으로/직교로 뻗어 있는 수직축(350)으로부터 각도 α만큼 오프셋되어 있다. 본 실시예에서, 수직축(350)은 또한 비디오 화면(106)의 표면에 그리고 일반적으로 감지 어셈블리(104), 비디오 화면(106), 키패드(108) 및 탐색 키 클러스터(110) 모두가 탑재되어 있는 전자 장치(102)의 전면 전체에 수직이다.

게다가, 도 3에 도시된 바와 같이, 피라미드형 감지 어셈블리(104)는 또한 광 송신기(352, 354, 356)(이들 자체가 광전 소자임)에 부가하여 부가의 광전 소자, 즉 상부면(348)을 따라 탑재되어 있고, 본 실시예에서, 상세하게는 상부면의 중심 내에 배열되어 있는(예를 들어, 이등변 삼각형면의 중심에 배열되어 있는) 광 수신기(360)를 포함한다. 전술한 바와 같이, 적외선 광을 수신하는 데 적합한 포토다이오드 또는 포토트랜지스터일 수 있는 광 수신기(360)는, 보다 상세하게는, 그의 중심 수신축이 수직축(350)과 일렬로 정렬되도록 배열되어 있다. 따라서, 광 송신기(352, 354, 356)는 일반적으로 3개의 중심 전송축(362, 364, 366)을 중심으로 광을 방출하도록 배향되어 있는 반면, 광 수신기(360)는 일반적으로 수직축(350)을 중심으로 광을 수신하도록 배향되어 있다. 요약하면, 피라미드형 감지 어셈블리(104)는 따라서 3개의 광 송신기 - 광 수신기의 둘레를 따라 가면서 똑같은 간격으로 서로 떨어져 있고 광 수신기의 수직 회전 배향으로부터의 그의 수직 회전 배향의 점에서 동일한 각도 양만큼 오프셋되어 있음 - 에 의해 광 수신기의 측면이 둘러싸여 있는 하나의 광 수신기를 포함하는 것으로 기술될 수 있고, 여기서 이들 구성요소 모두는 광 송신기 및 광 수신기의 회전 배향에 대응하는 표면을 갖는 사면체 형상의 하우징 내에 하우징되어 있다. 다른 경우에, 다수의 광 송신기 및 다수의 광 수신기 둘다가 사용될 수 있고, 이 때 광 송신기는 전술한 바와 같이 배향되어 있고 따라서 광 수신기들 중 하나 이상의 광 수신기가 각자의 광 송신기로부터 방출되었던 반사된 광을 더 잘 수신하도록 배향되어 있다.

광 송신기(352, 354, 356) 및 광 수신기(360)의 특정의 배향으로 인해, 각자의 광 송신기로부터의 광이 일반적으로 중심 전송축(362, 364, 366)에 대응하는 3개의 상이한 방향으로 나아가는 반면(그렇지만, 각자의 광 송신기가 광을 내보내는 범위가 얼마간 중복될 수 있음), 광 수신기(360)는, 그의 중심 위치 및 배향이 수직축(350)을 따라 있는 것으로 인해, 아마도 3개의 광 송신기 각각의 전송 방향과 중복할 수 있는 다양한 방향으로부터 반사된 광을 수신할 수 있다. 보다 상세하게는, 각자의 광 송신기가 광을 내보낼 수 있는 각자의 중심 전송축(362, 364, 366)을 중심으로 한 각도 범위보다 수직축(350)을 중심으로 한 더 넓은 각도 범위로부터 광 수신기(360)가 광을 수신할 수 있기 때문에, 본 실시예에서, 전체 감지 어셈블리(104)는, 비록 반사된 광이 3개의 광 송신기 중 임의의 하나 이상의 광 송신기로부터 나왔을지라도, 광 수신기가 손(111)과 같은 물체로부터 반사되는 광을 수신할 수 있다는 가정에 기초하여 동작한다.

또한, 도 3에 예시된 바와 같이, 상기한 감지 어셈블리(104)의 구성요소는 구성요소(369)와 같은 다른 구성요소가 탑재되어 있는 회로 기판(368) 바로 위에 탑재될 수 있다. 감지 어셈블리(104)를 이와 같이 직접 탑재함으로써, 감지 어셈블리(104)는 비디오 화면(106), 키패드(108) 및 탐색 키 클러스터(110) 모두가 위치해 있는 전자 장치(102)의 전체 표면으로부터 바깥쪽으로 멀리 돌출할 필요가 없다. 도 3의 실시예에서, 감지 어셈블리(104)는 상세하게는 전자 장치(102)의 전면의 상단 가장자리 근방(종종 휴대폰의 스피커의 위치임)에 구현되는 것으로 나타내어져 있다. 그렇지만, 이하에서 더 논의되는 바와 같이, 이러한 감지 어셈블리에 대한 다른 위치도 가능하다.

그 다음에 도 4를 참조하면, 본 발명은 도 3에 도시된 것 이외의 다수의 다른 피라미드형 감지 어셈블리를 포함하기 위한 것이다. 예를 들어, 도 4에 도시된 바와 같이, (도 3의 사면체 형상과 비교하여) 보다 종래적인 4면 피라미드형 형상을 가지는 감지 어셈블리(400)가 이용된다. 보다 상세하게는, 감지 어셈블리(400)는 정사각형 주변부(472)를 형성하는 4개의 가장자리 및 4개의 경사면(474, 476, 478, 480)을 갖는 피라미드형 하우징 구조물(471)을 가진다. 도 3의 감지 어셈블리(104)와 유사하게, 감지 어셈블리(400)의 하우징 구조물(471)은 그에 부가하여 상부면(482)을 포함하며, 이 상부면으로부터 각자의 4개의 경사면(474, 476, 478, 480) 각각이 아래쪽으로 경사져 있다. 감지 어셈블리(104)와 관련하여, 포토-LED와 같은 광 송신기(484, 486, 488, 490) 각각은 경사면(474, 476, 478, 480)의 각자의 경사면을 따라 위치해 있고, 포토다이오드와 같은 광 수신기(492)는 상부면(482) 상에 탑재되어 있다. 따라서, 감지 어셈블리(104)와 유사하게, 감지 어셈블리(400)는 광 송신기들 사이의 중앙에 배치되어 있는 하나의 광 수신기를 중심으로(또한 그를 중심으로 똑같은 간격으로) 배열된 다수의 광 송신기를 포함한다.

게다가, 도 4에 도시된 바와 같이, 광 수신기(492)의 중심 수신축은 다시 말하지만 상부면(482)으로부터 직교로 뻗어 있는 수직축(493)과 일렬로 정렬되어 있으며, 각자의 광 송신기(484, 486, 488, 490)의 각각의 제1, 제2, 제3 및 제4 중심 전송축(494, 496, 498, 499)으로부터 각도 β만큼의 각도 간격으로 떨어져 있다. 다른 실시예에서, 광 송신기들 중 하나 이상의 광 송신기가 다른 광 송신기들과 상이한 연관된 각도를 가지도록 배열될 수 있다. 따라서, 감지 어셈블리(104)에서와 같이, 각자의 광 송신기(484, 486, 488, 490) 각각은 광 송신기와 연관되어 있는 각자의 경사면(474, 476, 478, 480)의 기울기에 대응하는 방식으로 수직축(493)에 대해[따라서 광 수신기(492)의 중심 수신축에 대해] 수직 회전 오프셋(vertically rotationally offset)되어 있다. 또한, 감지 어셈블리(104)에서와 같이, 광 수신기(492)는 각자의 광 송신기(484, 486, 488, 490)가 그 각자의 중심 전송축(494, 496, 498, 499)에 대해 광을 전송하는 것보다 수직축(493)에 대해 훨씬 더 넓은 각도 범위 내에서 광을 수신할 수 있고, 감지 어셈블리(400)의 동작이 다시 말하지만 광 수신기(492)가 광 송신기(484, 486, 488, 490) 중 임의의 하나 이상의 광 송신기에 의해 전송되었을지도 모르는, 외부 물체에서 반사되는 광을 수신할 수 있다는 가정에 기초하고 있다.

그 다음에 도 5를 참조하여, 감지 어셈블리(500)의 추가적인 대안의 실시예가 도시되어 있다. 이 실시예에서, 감지 어셈블리(500)는 다시 말하지만 각각이 경사져 있고 수평 상부면(510)으로부터 아래쪽으로 기울어져 있는 4개의 경사면(502, 504, 506, 508)을 각각 갖는 피라미드형 하우징 구조물(501)을 가진다. 그렇지만, 이 실시예에서, 감지 어셈블리(500)는 경사면(502, 504, 506, 508) 상의 광 송신기를 이용하지 않고, 오히려 그 경사면 상에 제1, 제2, 제3 및 제4 광 수신기(512, 514, 516, 518)를 각각 탑재하고 있다. 게다가, 상부면(510)을 따라 있는 광 수신기를 이용하지 않고, 그 대신에, 광 송신기(520)가 그 상부면을 따라 탑재되어(또는 보다 상세하게는, 그 상부면 내에 함몰되어) 있다. 이 설계의 경우, 도 3 및 도 4의 실시예와 달리, 광 송신기(520)로부터 방출된 광이, 전자 장치의 외부에 있는 물체 또는 물체들[예를 들어, 손(111)]에 의해 반사될 시에, 광 수신기(512, 514, 516, 518) 중 하나 이상의 광 수신기로 반사될 것으로 예상된다.

도 3 내지 도 5에 도시되어 있지는 않지만, 어떤 상황에서, 광 수신기(360, 492 및 512, 514, 516, 518)는 감지 어셈블리/피라미드형 하우징 구조물의 바로 그 외측면까지 뻗어 있을 필요가 없고, 오히려 광 수신기에 대한 보호를 제공하고 및/또는 부가적인 원하는 광학 특성을 제공하는 투명 창 또는 벽과 같은 부가의 구조물이 그 광 수신기 상부에 배치될 수 있다. 어떤 이러한 상황에서, 예를 들어, 이러한 투명 창은 들어오는 반사된 광을 광 수신기 내로 더 잘 보내주는 역할을 하고 및/또는 확대를 위한 렌즈로서 역할하여 이득을 향상시키고 및/또는 로컬 결합을 감소시키는 도광체[또는 "V자 노치" 또는 CPC(Compound Parabolic Concentrator) 도광체]를 구성할 수 있다. 어떤 경우에, 광 수신기를 둘러싸고 있는 표면의 특정 부분이 적외선 광을 광 수신기 쪽으로 반사시키기 위해 은 또는 구리 페인트(또는 기타 광택 물질)로 코팅되어 있을 수 있다. 또한, 어떤 경우에, 광 수신기 자체가 차폐되어(예를 들어, 전기적으로 차폐되어) 있을 수 있거나, 배경 조명 문제, 내부 반사/노이즈 및/또는 감지 어셈블리의 광 송신기로부터의 노이즈를 완화시키기 위해 "블랙 다이오드(black diode)"일 수 있다. 하나의 광 수신기를 포함하는 도 3 및 도 4의 실시예와 같은 실시예와 관련하여 이러한 유형의 특징은 특히 관심을 끌 수 있다.

게다가, 이 실시예에 따르면, 광 수신기는, 예를 들어, 각도-다이버시티(angle-diversity) 수신기 또는 플라이-아이(fly-eye) 수신기를 비롯한 다양한 형태를 가질 수 있다. 이 실시예에 따르면, 원하지 않는 광을 필터링 제거하기 위해 광 수신기 및/또는 광 송신기 상부에서 다양한 필터가 이용될 수 있다. 어떤 상황에서, 예를 들어, 상이한 색의 광이 상이한 구성요소와 연관되거나 그에 의해 전송되거나 그에 의해 수신될 수 있게 해주기 위해 광 송신기들/광 수신기들 중 상이한 광 송신기/광 수신기에 대해 상이한 필터가 이용될 수 있다.

도 3, 도 4 및 도 5에 도시된 감지 어셈블리의 실시예들 각각은 (그들의 차이점에도 불구하고) 다수의 광 송신기 및/또는 광 수신기가 하나의 또는 공유된 작은 영역, 즉 감지 어셈블리가 구현되도록 되어 있는 전자 장치의 전체 표면 크기와 비교하여 작은 영역에 공존한다(즉, 공통으로 위치한다)는 점에서 유사하다. 게다가, 적어도 이들 실시예에서, 이는 그에 부가하여 단지 하나의 광 수신기(다수의 광 송신기가 존재하는 경우) 또는 단지 하나의 광 송신기(다수의 광 수신기가 존재하는 경우)가 사용되는 경우이지만, 본 발명은 또한 다수의 광 송신기는 물론 다수의 광 수신기가 동일 위치에 있는 다른 실시예를 포함하기 위한 것이다. 또한, 도 3과 관련하여 이미 언급한 바와 같이, 이들 실시예 각각에서, 광 송신기(들)/광 수신기(들) 및 연관된 피라미드형 하우징 구조물이 다른 회로 구성요소와 함께 회로 기판 상에 탑재되어 있을 수 있다(그렇지만, 꼭 그럴 필요는 없음).

도 3 내지 도 5의 실시예와 같은 실시예에 따른, 피라미드형 하우징 구조물에 탑재된 광 송신기(들)/광 수신기(들)이 동일 위치에 있는 것은 몇가지 점에서 유익하다. 첫째, 도시된 특정의 배향[예를 들어, 수직축(350, 493)에 대해]을 비롯한 도시된 방식으로 광 수신 소자 및 광 전송 소자가 동일 위치에 있는 것으로 인해, 각자의 감지 어셈블리가 외부 물체의 존재(즉, 물체가 감지 어셈블리에 대해 주어진 거리 내에 또는 근접해 있다는 사실을 검출하기 위한 것임) 뿐만 아니라, 3차원 공간에서 감지 어셈블리에 대한 손(111)과 같은 외부 물체의 위치도 감지할 수 있게 해주는 것이 가능하다. 실제로, 도 3 내지 도 5의 실시예 각각에서, 광 송신기 또는 광 수신기 중 하나만이 있더라도 이것이 달성될 수 있으며, 이에 대해서는 이하에서 도 6을 참조하여 더 상세히 논의한다. 게다가, 피라미드형 하우징 구조물에서 도시된 방식으로 광 수신 소자 및 광 전송 소자가 동일 위치에 있는 것으로 인해, 얻어지는 감지 어셈블리가 설계면에서 견고하고 (분산되어 있기 보다는) 집중되어 있다. 따라서, 감지 어셈블리가 어쩌면, 많은 다른 유형의 기존의 전자 장치와 관련하여, 간단한 설치 프로세스를 통해 부가 소자 또는 심지어 수리용품 소자로서 구현될 수 있는 개별 구조물일 수 있다.

주목할 점은, 상기한 감지 어셈블리와 같은 감지 어셈블리와 연관된 상이한 광 송신기 및 광 수신기에 의한 광의 전송 또는 수신과 연관된 특정의 각도 범위가 실시예에서 의도된 목적에 따라 변할 수 있다는 것이다. 앞서 살펴본 바와 같이, 통상적으로 광 수신기는 광 송신기의 전송 범위(예를 들어, 20도 범위)보다 큰 수신 범위(예를 들어, 연관된 일체형 렌즈 방식에 기초하여 60도 범위와 같은 아주 넓은 범위부터 좁은 범위까지)를 가질 수 있다. 그럼에도 불구하고, 모든 실시예에서 이러할 필요는 없다. 그렇다고 해도, 또한 주목할 점은, 특정의 구현에서, 주어진 광 수신기가 광을 수신할 수 있는 각도 범위가 광 송신기가 광을 전송할 수 있는 각도 범위보다 상당히 더 큰 것이 통상적이고 도 5의 실시예에서 광 수신기의 이러한 더 엄격한 틸팅(tilting)이 반사된 광 신호를 구별할 필요가 있는 한, 도 3 및 도 4의 실시예가 도 5의 실시예보다 우수할 수 있다고 예상된다는 것이다. 또한, 도 3 및 도 4의 실시예에서와 같이 다수의 광 송신기로부터 나오는 반사된 광을 수신하기 위해 하나의 광 수신기를 사용하는 것은 통상적으로 보다 간단한 감지 회로가 사용될 수 있게 해주는데, 그 이유는 수신기 회로가 보통 전송 회로보다 더 복잡하기 때문이다.

도 6을 참조하면, 광 송신기들과 하나의 광 수신기가 동일 위치에 있는 감지 어셈블리(104)가 손(또는 손의 일부분, 예를 들어, 손가락)의 존재 및 위치를 어떻게 검출할 수 있는지를 추가적으로 설명하기 위해 도 1의 전자 장치(102) 및 손(111)의 측면도가 제공되어 있다(다시 말하지만, 손이 일부가 절단되어 도시되어 있음). 예시된 바와 같이, 손(111)이 존재하고 감지 어셈블리(104)에 충분히 근접하여 배치되어 있을 때, 통상적으로(또는 항상) 그렇지는 않지만, 손이 감지 어셈블리(104)의 광 송신기(352, 354, 356) 중 3개 전부는 아니지만 적어도 2개의 광의 전송 범위 내에 위치에 배치될 경우가 있다. 따라서, 이 일례에서, 광이 2개 이상의 광 송신기[예를 들어, 도시된 바와 같이, 광 송신기(352, 354)]로부터 전송될 때, 각자의 광 송신기로부터 방출된 광(672, 674)은 어떤 각도로 손에 도달하고 손에서 반사되어, 각각 대응하는 양의 반사된 광(676, 678)을 발생한다. 광 수신기(360)가 광 송신기(352, 354) 사이에 배치되는 경우, 도시된 바와 같이, 이들 양의 반사된 광(676, 678) 둘다가 광 수신기에 도달하고 광 수신기에 의해 감지된다.

그에 부가하여 도 7을 참조하면, 외부 물체[예를 들어, 손(111)]의 위치를 결정하기 위해 감지 어셈블리(104)의 구성요소를 동작시키는 한 예시적인 방식을 더 상세히 보여주는 플로우차트가 제공되어 있으며, 여기서 광 송신기 각각은 하나 이상의 순차적인 기간의 각각의 기간 동안에 광을 방출하도록 제어된다. 보다 구체적으로는, 도 7과 관련하여, 단계(780)에서 동작을 시작한 후에, 단계(782)에서 감지 어셈블리(104)의 광 송신기들 중 제1 광 송신기[예를 들어, 광 송신기(352)]가 선택된다. 이어서, 단계(784)에서, 선택된 광 송신기가, 그 광 송신기로부터 적외선 광이 방출되도록, 활성화된다. 그 광은 이어서 [예를 들어, 도 6의 방출된 광(672)으로서] 외부 물체 쪽으로 나아갈 수 있고, 외부 물체에 도달할 때, 그 광의 일부가 [예를 들어, 반사된 광(676)으로서] 외부 물체에 의해 반사된다. 단계(786)에서, 그 반사된 광은 차례로 광 수신기[예를 들어, 광 수신기(360)]에 의해 수신되고, 광 수신기는 그에 대응하여 신호를, 수신된 정보를 기록하는 처리 장치(및/또는 메모리)로 전송한다. 단계(788)에서, 또한 모든 광 송신기가 활성화되었는지가 판정된다. 그렇지 않은 경우, 나머지 광 송신기들 중 다른 광 송신기[예를 들어, 광 송신기(354)]가 단계(790)에서 선택되고 이어서 단계(784, 786, 788)가 반복된다[예를 들어, 방출된 광(674)이 전송되고 반사된 광(678)이 광 수신기에 의해 수신된다]. 그렇지만, 단계(788)에서, 모든 광 송신기가 활성화되었고, 그 결과 대응하는 기간 동안 그 광 송신기들 각각에 의해 방출된 광과 관련하여 반사된 광 신호가 광 수신기에 의해 수신된 것으로 판정되는 경우, 단계(792)에서, 3차원 공간에서의 외부 물체의 위치를 결정하기 위해, 광 수신기로부터의 정보가 처리된다.

다음과 같이 외부 물체의 위치를 결정하기 위해, 광 수신기로부터의 신호 정보가 처리될 수 있다. 도 7에서 설명된 예시적인 동작 방식은 사실상 다양한 광 송신기가 직렬 방식으로 한번에 하나씩 켜지고 꺼지는 시분할 다중화의 한 형태를 구성하며, 그로써 연속적인 시간 창 또는 상이한 광 송신기의 활성화와 연관된 각각의 기간의 각자의 부분이 있다. 감지되는 외부 물체가 송신기 및 광 수신기에 비교적 가깝게 배치되는 경우, 이들 연속적인 시간 창은 상이한 광 송신기가 활성화되는 각자의 창을 구성할 뿐만 아니라, 각자의 광 송신기에서 나오는 광이 방출되고 외부 물체에서 반사되며 광 수신기에 수신되는 각자의 창도 구성한다. 따라서, 임의의 주어진 시간 창 동안 광 수신기에 의해 수신되는 광의 세기/양을 나타내는 광 수신기로부터 제공되는 신호가 그 시간 창 동안 광을 방출한 것으로 알려진 광 송신기에 의해 방출된 광의 세기/양에 대해 비교될 수 있고, 이러한 비교는 주어진 광 송신기에 의해 방출된 광 중에서 외부 물체에 의한 반사로 인해 광 수신기로 실제로 되돌아오는 광의 비율의 측정치로서 역할할 수 있다. 이러한 측정치는 차례로 각자의 광 송신기 및 광 수신기 - 이들 사이에서 광이 전달됨 - 와 외부 물체 사이의 근접성의 표시로서 역할한다.

따라서, 도 7에서, 각각의 광 송신기가 하나 이상의 기간 각각의 각자의 비중복 부분 동안 광을 방출하도록 광 송신기가 제어되고, 광 수신기는 측정된 신호를 검출하며, 각각의 측정된 신호는 타이밍에 기초하여 광 송신기들 중 대응하는 광 송신기와 연관되어 있을 수 있다. 그렇지만, 다른 경우에, 광 송신기는, 각각이 하나 이상의 순차적인 기간의 각각의 기간 동안에 동시에 광을 방출하게 제어될 수 있도록, 상이한 주파수(파장) 또는 대역폭에서 그리고 어쩌면 상이한 색으로 광을 방출할 수 있다. 이 경우에, 각각의 측정된 신호가 광 송신기들의 각자의 송신기와 연관될 수 있도록 주파수별로 측정된 신호를 전자적으로 필터링하기 위해 수신기 회로가 제공될 수 있다. 감지 어셈블리가 광 송신기에 의해 방출되는 상이한 색의 광을 사용할 때 측정된 신호를 구별하는 다른 방식은 상이한 색의 광 파장을 분리할 수 있는 광학 필터의 사용을 수반하며, 이 때 각각의 색에 대해 대응하는 정합된 광 수신기가 사용된다.

어느 경우든지, 이러한 측정이 보다 정확하기 위해서는, 보다 상세하게는, 특정의 부가 정보가 고려될 수 있거나, 적어도 하나 이상의 가정이 행해질 수 있다. 예를 들어, 외부 물체의 물리적 반사성에 관해 정확하게 가정할 수 있는 경우, 이러한 측정은 특히 근접성의 표시로서 더 정확하게 되며, 얼마간 이는 통상적으로 실제로는 충분히 높은 정도로 가능하다. 참작할 부가의 고려사항은 표면 텍스처, 크기, 형상, 일관성, 물질, 물체 배향/방향을 포함할 수 있다. 절대적인 반사 레벨을 예측하는 것은 이러한 환경에서 어려울 수 있고, 보정 절차를 필요로 할 수 있다. 또한, 물체 범위를 보다 정확하게 측정하고 그 정보를 프로세서에 피드백하여 감지 어셈블리 성능을 최적화하고 추적 능력을 향상시키기 위해, 상기 인자들에 본질적으로 영향을 덜 받는 다른 기술(초음파 감지 등)에 의존하는 것이 바람직할 수 있다. 그에 부가하여, 광 송신기 및 광 수신기의 물리적 위치/배향도 역시 측정에 영향을 주며, 고려되어야만 한다. 게다가, 광 송신기 및 광 수신기의 전송 및 수신에서의 각도 변동도 역시 고려되어야만 한다. 이와 관련하여, 이미 논의한 바와 같이, 각각의 광 송신기는 각자의 중심 전송축을 가지며, 광 수신기도 마찬가지로 각자의 중심 수신축을 가진다. 광 송신기로부터의 전송 세기는 그 중심 전송축과 실제의 전송 방향 사이의 각도가 증가함에 따라 변하고(통상적으로 감소하고), 마찬가지로 광 수신기의 수신 능력도 역시 중심 수신축과 실제의 수신 방향 사이의 각도가 증가함에 따라 변한다(통상적으로 감소한다). 통상적으로, 중심 전송축 또는 중심 수신축으로부터 멀어짐에 따라 이들 양이 변하는 정도는 광 송신기 및 광 수신기와 연관된 기지의 특성이다.

이어서, 처리 장치가 이들 유형의 정보 모두를 가지거나 적어도 이들 문제에 관한 타당한 가정에 의존할 수 있는 것으로 가정할 때, 광 수신기로부터 신호를 수신하는 처리 장치[예를 들어, 광 송신기의 활성화도 역시 제어할 수 있는 도 2의 프로세서(204)]는 외부 물체와 적외선 감지 어셈블리 사이의 거리를 결정할 수 있을 뿐만 아니라, 보다 상세하게는, 한 유형의 삼각측량 계산(또는 계산들)에 의해 외부 물체의 3차원 위치도 결정할 수 있다. 보다 상세하게는, 처리 장치가 다수의 광 송신기가 제각기 광을 전송하기 위해 활성화된 상이한 시간 창 동안에 일어나는 광 수신기에 의해 표시되는 다수의 진폭(세기) 레벨을 연관시킨 후에, 처리 장치는 각각의 광 송신기로부터 방출하여 광 수신기로 다시 반사되는 적외선 광의 양/세기를 결정할 수 있을 뿐만 아니라, 상이한 광 송신기에서 나와서 광 수신기로 다시 반사되는 적외선 광의 상대적 양/세기를 비교하여, 적외선 감지 어셈블리에 대한 외부 물체의 위치를 결정할 수 있다. 일반적으로 말하면, 광 수신기로 다시 반사되는 적외선 광의 양/세기가 적외선 광이 나오는 광 송신기에 기초하여 서로 다른 경향이 있기 때문에, 이것은 외부 물체가 적외선 감지 어셈블리의 측면들 중 하나 또는 다른 하나로 이동했다는 것을 나타내는 경향이 있다.

예를 들어, 외부 물체가 도 3에 도시된 바와 같은 감지 어셈블리(104) 바로 앞에 있는 경우, 광 수신기(360)에 의해 수신되는 광의 세기가 광 송신기 중 어느 것[예를 들어, 광 송신기(352, 354, 356) 중 어느 것]이 활성화되었는지에 상관없이 대략 동일해야 한다(그렇지만, 그처럼 가까운 범위에서, 반사된 신호는 강하고 수신기를 포화시키는 경향이 있다). 그에 대응하여, 광 수신기(360)로부터 수신된 신호가 3개의 광 송신기가 연속적으로 활성화되는 3개의 연속적인 시간 창 각각 동안 동일하거나 거의 동일한 경우, 이 정보의 처리는 외부 물체가 감지 어셈블리(104)의 전방에 있는 것으로 판정해야만 한다. 이와 달리, 광 송신기(352)의 활성화에 대응하는 시간 창 동안 광 수신기(360)에 의해 제공되는 수신된 광 세기가 광 송신기(354, 356)의 활성화에 대응하는 시간 창 동안 광 수신기에 의해 제공되는 수신된 광 신호보다 훨씬 더 높은 경우, 이 정보의 처리는 외부 물체가 다른 2개의 광 송신기 중 어느 하나보다 광 송신기(352)에 더 가까운 감지 어셈블리(104)의 측면에 있는 것으로 판정해야만 한다.

삼각측량을 통해 어떻게 외부 물체의 위치를 결정하는지에 대한 상기 설명이 상세하게는 (예를 들어, 도 3 및 도 4에 도시된 적외선 감지 어셈블리의 실시예에서와 같이) 다수의 광 송신기에서 나와서 하나의 광 수신기에 수신되는 광에 관한 정보를 사용하는 것을 생각하고 있지만, (예를 들어, 도 5에 도시된 실시예에서와 같이) 하나의 광 송신기에서 나온 반사된 광의 다수의 상이한 성분을 수신하기 위해 다수의 광 수신기가 사용되는 경우에 유사한 프로세스가 똑같이 적용될 수 있다. 이들 실시예 모두에서, 연속적인 시간 창 동안에 다수의 반사된 광 샘플이 획득되는 한, 통상적으로 외부 물체가 모든 관심의 시간 창을 포함하는 전체 기간 동안 상당히 이동할 가능성이 없을 정도로 시간 창이 충분히 짧은 것으로 가정된다. 또한, 한 세트의 시간 창 동안의 샘플링(예를 들어, 단지 한 세트의 광 방출이 일어나고 각각의 광 송신기가 단지 한번만 활성화된 경우)이 외부 물체의 위치를 결정하는 데 적절할 수 있는 반면, 또한, (예를 들어, 처리 장치가 각각의 광 송신기가 연속적인 시간 창 동안 연속적으로 활성화될 때 일어나는 수신된 광의 다수의 샘플링을 고려할 뿐만 아니라, 광 송신기가 부가의 횟수만큼 연속적으로 활성화될 때 수신된 광의 추가적인 샘플링도 고려하는 경우) 외부 물체의 위치를 결정하기 위해 다수의 반복적인 반사된 광 샘플이 획득되고 이용되는 것이 가능하다.

마지막으로, 외부 물체의 위치를 결정하기 위해 어떻게 반사된 광 정보가 이용되는지에 대한 상기 전반적인 설명에도 불구하고, 물체 위치를 결정하거나 보다 가깝게 추정하기 위해 다른 부가적인 또는 상이한 처리 단계도 역시 이용될 수 있다는 것을 잘 알 것이다. 예를 들어, 어떤 상황에서, 반사된 광 세기를 측정하기 전에(예를 들어, 상기한 바와 같이 연속적인 시간 창 이전에 또는 그 사이에서) 배경 광 결정이 행해지고, 따라서 그의 계산에서 배경 노이즈가 처리 장치에 의해 평가되고 고려될 수 있으며, 및/또는 처리 장치가 광 송신기 및/또는 광 수신기의 동작 파라미터(이득, 기타 등등)를 조정할 수 있는 것이 바람직하다. 이와 관련하여, 예를 들어, 2008년 12월 29일자로 출원된, 발명의 명칭이 "Portable Electronic Device Having Self-Calibrating Proximity Sensors(자체 보정 근접 센서를 갖는 휴대용 전자 장치)"인 미국 특허 출원 제12/344,760호, 및 2008년 12월 31일자로 출원된, 발명의 명칭이 "Portable Electronic Device Having Directional Proximity Sensors Based on Device Orientation(장치 배향에 기초한 방향 근접 센서를 갖는 휴대용 전자 장치)"인 미국 특허 출원 제12/347,146호에 있는 개시 내용을 고려할 수 있으며, 이들 출원 각각은 참조 문헌으로서 본 명세서에 포함되고, 이들 출원 각각은 본 출원과 동일한 수익권 양수인에게 양도되어 있다.

또한, 주목할 점은, 적어도 일부 실시예에서, 이용가능한 광 송신기의 특정 부분집합(들)으로부터만 나오는 반사된 광을 고려하기 위해 감지 어셈블리의 동작이 제한될 수 있다는 것이다. 감지 어셈블리가 휴대폰 또는 PDA에 구현되는 어떤 이러한 실시예에서, 위치 오프셋의 결과로서 차단되는 감지 어셈블리의 측면에 있는 광 송신기로부터 나오는 어떤 신호도 적외선 추적으로부터 제거함으로써 전자 장치 상부의 측면에서의 손 추적/제스처링 오프셋이 가능하게 된다. 예를 들어, 도 4의 실시예와 관련하여, 감지 어셈블리의 차단된 측면에 있는 광 송신기들 중 하나의 광 송신기로부터 나오는 반사된 광이 외부 물체의 존재/위치를 결정하는 데 고려되지 않을 것이다(또는 어쩌면 그 광 송신기가 광을 방출하기 위해 활성화되지 않을 것이다). 이러한 동작 방식이 실행가능한 이유는, 사람 사용자가 터치 스크린 상에서 우측으로 오프셋되게 손을 위치시킴으로써 손이 터치 스크린을 보는 것을 방해하지 않는 경우, 감지 어셈블리의 좌측 LED로부터의 반사가 거의 존재하지 않고(손 위치의 반대쪽을 가리키고) 다른 3개의 LED가 손 추적에 사용되며, 그 반대도 마찬가지이다(그 결과, 손을 측면에 위치시킴으로써 손을 추적하는 것이 가능하다).

도 8 및 도 9를 참조하면, 도 3 내지 도 6의 감지 어셈블리(104, 400, 500)와 같은 감지 어셈블리의 위치 결정은 실시예 및/또는 전자 장치에 따라 달라질 수 있다. 도 8에 도시된 바와 같이, 예를 들어, 감지 어셈블리(400)와 같은 감지 어셈블리가 전자 장치(800)와 같은 전자 장치의 전면의 가운데에 있는 위치에 배치될 수 있다. 어떤 이러한 실시예에서, 감지 어셈블리(400)가 탐색 키 클러스터를 대체할 수 있으며, 그로써 감지 어셈블리의 피라미드형 하우징 구조물이 광 송신기(들)/광 수신기(들)을 하우징하는 역할을 할 뿐만 아니라, 눌러질 수 있고 및/또는 전자 장치의 전면에 대해 틸트/회전될 수 있는 버튼/작동기로서도 역할함으로써, 핸즈프리 및/또는 터치-기반 제어를 가능하게 해준다.

또한, 도 1 및 도 6의 실시예에도 불구하고, 감지 어셈블리가 실시예에 따라 임의의 주어진 전자 장치의 어느 한쪽 단부에 또는 임의의 가장자리를 따라 구현될 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 도 3 내지 도 5의 감지 어셈블리와 같은 감지 어셈블리(104, 400, 500)가 도 1 및 도 6에 도시된 단부(예를 들어, 전면의 상단 근방)보다는 전자 장치(900)의 반대쪽 단부(예를 들어, 전면의 하단 근방)에 구현될 수 있다. 전자 장치(900)는 또한 전면 전체가 유리 또는 플라스틱/투명한 비디오 화면 또는 터치 스크린인 전자 장치 상에서 상기한 감지 어셈블리들 중 임의의 것과 같은 감지 어셈블리가 어떻게 구현될 수 있는지를 설명하기 위한 것이다. 주목할 점은, 감지 어셈블리가 도 9에 도시된 바와 같이 터치 스크린의 하단에 있을 때 상기한 유형의 방해 문제점(예를 들어, 손 위치 결정을 포함함)이 통상적으로 일어나지 않지만, 이러한 실시예에서, 감지 어셈블리를 전화기의 중앙에 더 가까운 지점으로 약간 기울이는 것(또는 이러한 효과를 달성하기 위해 렌즈를 사용하는 것)이 바람직할 수 있다는 것이다.

상기한 실시예 모두가 피라미드형 구조물의 상이한 벽을 따라 있는(또는 그 벽 내에 함몰되어 있는) 하나 이상의 광 수신기 및 광 송신기의 구현 - 여기서, 그 광 수신기(들)/광 송신기(들)의 각자의 배향은 그 장치가 구현되어 있는 피라미드형 구조물의 각자의 표면의 배향에 대응함 - 을 생각하고 있지만, 본 발명은 또한 특정 측면에서 상기한 실시예와 상이한 다수의 부가적인 실시예를 포함하는 것으로 이해되어야 한다. 예를 들어, 적어도 일부 실시예에서, 광 수신기(들)/광 송신기(들)이, 다양한 장치가 상기한 것과 동일한(또는 그와 유사한) 상대 각도 위치를 유지하는 방식으로 함께 보유되어 있지만, 그럼에도 불구하고 상기한 바와 같은 특정의 벽을 갖는 임의의 특정의 피라미드형 하우징 구조물 내에 하우징되어 있지 않다. 실제로, 본 발명은 서로에 조립되지만 그 장치들 사이에 어떤 벽 또는 구조물도 배치되어 있지 않은 단지 몇개의 광 수신기(들)/광 송신기(들)가 있는 실시예를 포괄하기 위한 것이다.

또한, 상기한 실시예가 상세하게는 다른 유형의 하나의 장치(예를 들어, 광 수신기 또는 광 송신기)를 둘러싸고 있는 한 유형의 다수의(예를 들어, 3개 이상의) 장치(예를 들어, 광 송신기 또는 광 수신기)의 구현 - 여기서, 한 유형의 장치는 다른 유형의 장치 둘레에서 서로로부터 똑같은 간격으로 떨어져 있고, 한 유형의 장치 모두는 다른 유형의 장치로부터 똑같은 간격으로 떨어져 있으며, 한 유형의 장치는 그의 배향에서 다른 유형의 장치의 배향에 대해 일정한 각도 양만큼(예컨대, 각도 α 또는 β만큼) 각도 오프셋되어 있음 - 을 생각하고 있지만, 다른 실시예도 가능하다. 예를 들어, 어떤 대안의 실시예에서, 한 유형의 장치들 모두가 다른 유형의 장치를 중심으로 서로로부터 똑같은 간격으로 떨어져 있을 필요가 없고, 그 모두가 다른 유형의 장치로부터 등간격으로 있을 필요가 없으며, 및/또는 그 모두가 그의 배향에서 다른 장치의 배향에 대해 동일한 양만큼 오프셋되어 있을 필요가 없다.

이와 관련하여, 감지 어셈블리(1000)의 한 예시적인 대안의 실시예가 도 10에 도시되어 있다. 도시된 바와 같이, 이 실시예에서, 도 4의 감지 어셈블리(400)와 같은 감지 어셈블리(1000)는 하나의 광 수신기(1004) 둘레에 일정 간격으로 떨어져 있는 4개의 광 송신기(1002)를 가지고 있다. 그렇지만, 감지 어셈블리(400)와 달리, 광 송신기(1002) 각각은 광 수신기(1004)의 중심 수신축과 평행한 중심 전송축을 갖도록 수직으로 배향되어 있다. 즉, 광 송신기(1002)가 그의 회전 배향에서 광 수신기에 대해 전혀 오프셋되어 있지 않다. 게다가, 광 송신기(1002) 및 광 수신기(1004)가 지지되어 있는 하우징(1006)이 꼭 임의의 경사면을 갖는 피라미드 형상을 가질 필요는 없다.

감지 어셈블리(1000)와 감지 어셈블리(400) 사이의 이들 차이점에도 불구하고, 감지 어셈블리(1000)는 그럼에도, 감지 어셈블리(1000)가 그에 부가하여 감지 어셈블리 밖으로의 광의 전송 및 그 내로의 광의 수신 모두가 감지 어셈블리(400)에서 경험하는 것과 실질적으로 동일한 방식으로 진행하도록 감지 어셈블리/렌즈를 빠져나가는 전송된 광을 굴절/굴곡시키고 및/또는 감지 어셈블리/렌즈에 입사하는 수신된 광을 굴절/굴곡시키는 광 송신기 및 광 수신기 상부에(또는 그 장치들 중 하나 이상의 상부에만) 제공된 피라미드형 렌즈 또는 프리즘(1008)(또는 어쩌면 피라미드형 형상으로 된 다수의 렌즈)을 포함하고 있는 한, 광 송신기가 광 수신기에 대해 회전 오프셋되어 있는 것처럼, 광을 전송하고 (외부 물체에 의해 반사되는) 반사된 광을 수신할 수 있다. 어떤 상황에서, 렌즈(1008)는, 특히 필요한 각도가 작고(예를 들어, 10 내지 5도) 포토-LED가 비교적 좁은 전송 범위(예를 들어, ± 30도)를 가지는 경우, 빔 굴곡용 마이크로필름일 수 있다. 렌즈(1008)가 렌즈의 정점부(tip)(이 경우에, 이 정점부는 렌즈의 중심면으로 간주될 수 있음)로부터 경사져 있는 4개의 경사면을 포함하는 피라미드형 형태를 가지는 것으로 도시되어 있지만, 다른 실시예에서, 렌즈는, 경사면이 그로부터 경사져 있는 보다 넓은 중앙면[예를 들어, 상부면(348, 482, 510)]이 존재하도록 피라미드의 정점 부분이 없는, 도 3 내지 도 5와 관련하여 전술한 피라미드형 구조물의 형태와 더 유사한 형태를 취할 수 있다.

본 발명은 또한 특정 유형의 전자 장치에서 구현하는 데 특히 유용한 감지 어셈블리의 부가의 실시예를 포괄하기 위한 것이다. 특히 도 11을 참조하면, 예를 들어, 도 9의 전자 장치(900)를 비롯한 특정 유형의 전자 장치에서 통상적인 것처럼, 추가의 감지 어셈블리(1100)가 유리(또는 투명 플라스틱) 비디오 화면 또는 터치 스크린(1102)와 관련하여 구현되는 것으로 도시되어 있다. 도시된 바와 같이, 도 11의 실시예에서, 감지 어셈블리(1100)는 4개의 송수신기(1104)를 포함하며, 그 각각은 각자의 광 송신기 및 각자의 광 수신기를 포함하고, 각자의 송수신기는 제각기 스크린(1102)의 4개의 측면 가장자리 각각의 중간점에 각각 배치되어 있다. 또한, 도시된 바와 같이, 감지 어셈블리(1100)는 또한 스크린(1102)의 일부로서 형성되는(또는 그 바로 아래에 배치되는) 피라미드형 형성물(pyramid-type formation)(1114)을 포함하고 있다. 피라미드형 형성물(1114)은 정사각형 상부면(수평면)(1106)의 4개의 측면으로부터 뻗어 있는 4개의 경사면(1108)을 포함하고 있고, 각각의 경사면은 상부면으로부터 스크린(1102)의 각자의 가장자리 중 하나의 가장자리 쪽으로 아래로 경사져 있다.

도 11의 감지 어셈블리(1100)는 다음과 같이 동작한다. 제1 동작 방식에서, 광이 각자의 송수신기(1104)의 각각의 광 송신기로부터 각자의 광학 도광체(1110)를 거쳐 스크린(1102)을 지나서(또는 스크린의 바로 아래에서 스크린의 표면에 평행하게) 그 각자의 송수신기에 가장 가까운 경사면들(1108)의 각자의 경사면 쪽으로 전송된다. 경사면에 도달할 시에, 광은 감지 어셈블리(1100)로부터(따라서 감지 어셈블리가 구현되어 있는 전자 장치로부터) 바깥쪽으로, 경사면(1108)의 기울기에 따라 다양한 각도로 반사되고, 이 때 광 전송은 각자의 중심 전송축(1112)을 중심으로 집중되어 있다. 따라서, 전송된 광은 광이 도 4에 도시된 바와 같은 피라미드형 구조물의 측면을 따라 배열된 광 송신기로부터 직접 방출된 경우와 거의 동일한 방식으로 감지 어셈블리(1100)로부터 방사된다. 광이 중심 전송축(1112)을 중심으로 방출된 후에, 광은 이어서 도 1의 손(111)과 같은 외부 물체에서 반사될 수 있다. 반사된 광의 일부분은 궁극적으로 각자의 송수신기(1104)와 연관된 광 수신기들 중 하나 이상의 광 수신기에 의해 수신되고, 그로써 반사된 광이 감지된다.

게다가, 감지 어셈블리(1100)의 변형도 역시 가능하다. 예를 들어, 한 대안의 실시예에서, 감지 어셈블리 밖으로 전송될 광을 반사시키기 보다는, 피라미드형 형성물(1114)의 경사면(1108)은 그 대신에 들어오는 반사된 광을 각자의 광 수신기가 위치해 있는 송수신기(1104) 쪽으로 다시 반사시키기 위한 것이다. 이러한 실시예에서, 송수신기(1104)의 광 송신기는 송수신기의 위치에서 광을 직접 바깥쪽으로[예를 들어, 스크린(1102)의 표면에 수직으로] 전송하도록 구성될 수 있고, 이 때 그 광은 차례로 부분적으로 또는 전체적으로 외부 물체에 의해 다시 피라미드형 형성물(1114) 쪽으로 반사된다. 추가적인 대안의 실시예에서, 각각이 각자의 광 송신기 및 각자의 광 수신기를 가지는 4개의 송수신기를 이용하기 보다는, 도 11에 도시된 송수신기(1104)의 위치에 4개의 광 송신기 또는 4개의 광 수신기만이 제공된다. 이러한 실시예에서, 4개의 광 송신기가 스크린(1102)의 가장자리에 배치되어 있는 경우, 광 수신기는 피라미드형 형성물의 상부면을 따라 배치될 수 있고, 4개의 광 수신기가 스크린의 가장자리를 따라 배치되어 있는 경우, 광 송신기가 피라미드형 형성물의 상부면을 따라 배치될 수 있다.

도 11과 관련하여 전술한 각각의 실시예는 전술한 감지 어셈블리(104, 400, 500)의 피라미드형 형성물의 높이보다 상당히 작은 높이를 가지는 피라미드형 형성물(1114)과 같은 피라미드형 형성물을 사용할 수 있게 해주는 한 특히 유리하다. 따라서, 전자 장치의 표면으로부터 바깥쪽으로 돌출하는 하우징 구조물을 가질 필요가 없다(또는 필요가 아주 적다). 게다가, 피라미드형 형성물(1114)은 투명할 수 있고, 따라서 외관이 스크린(1102)의 나머지와 실질적으로 동일하다. 따라서, 형성물(1114)과 같은 이러한 피라미드형 형성물을 사용하는 것은 장치의 전면이, 비디오 스크린 또는 터치 스크린이 정보를 디스플레이할 수 없는 범프 또는 영역에 의해 방해받지 않는, 대형 평판 비디오 스크린 또는 터치 스크린이어야 하는 것이 요망되는 전자 장치에서 사용하는 데 특히 유리할 수 있다.

도 10 및 도 11의 감지 어셈블리 실시예와 관련하여 주목할 점은, 비록 이용되는 구조물이 도 1 내지 도 6에 도시된 구조물과 어느 정도 상이할지라도, 이들 실시예 각각이 그럼에도 불구하고 도 7을 참조하여 기술된 것과 본질적으로 동일한 방식으로 동작될 수 있다는 것이다. 게다가, 도 10의 렌즈(1008) 및 도 11의 피라미드형 형성물(1114)이 4면 피라미드형 구조물이지만, 다른 실시예에서, 다른 피라미드형 구조물(예를 들어, 사면체 구조물)도 역시 이용될 수 있다. 어떤 경우에, 피라미드 구조물이 필요하지 않은데, 그 이유는, 광이 원하는 방향으로 방출되도록, 광 송신기 및/또는 광 수신기가 적절히 틸트될 수 있기 때문이다.

이상의 설명에도 불구하고, 본 발명은 많은 다른 실시예도 역시 포함하기 위한 것이다. 예를 들어, 어떤 다른 실시예에서, 단지 2개의 광 송신기(및 하나 이상의 광 수신기) 또는 단지 2개의 광 수신기(및 하나 이상의 광 송신기)가 있다. 다른 실시예에서, 5개 이상의 광 송신기(및 하나 이상의 광 수신기) 또는 5개 이상의 광 수신기(및 하나 이상의 광 송신기)가 있다. 본 발명의 많은 실시예에서, 감지 어셈블리가 고정된/움직이지 않는 방식으로 전자 장치 상에 탑재되기 위한 것이지만 - 이는 이러한 탑재 방식이 많은 복잡한 구성요소를 필요로 하지 않고 쉽게 달성될 수 있기 때문에 유리할 수 있음 -, 어떤 다른 실시예에서, 감지 어셈블리가 전자 장치의 나머지에 대해 틸트하는 것, 회전하는 것 및/또는 병진 운동하는 것을 가능하게 해주기 위해(통상적으로, 이러한 틸트, 회전 및/또는 병진 운동이, 예를 들어, 감지 어셈블리가 탐색 키 클러스터를 대체하는 일례에서 전술한 바와 같이, 사실상 제한될 것임), 감지 어셈블리가 저장 장치에 틸트가능하게, 회전 방식으로 또는 병진 운동 방식으로 탑재되는 것이 가능하다. 그에 부가하여, 도 3 및 도 4의 실시예와 같은 전술한 일부 실시예에서, 광 수신기(포토다이오드)가 피라미드형 구조물 내에(예를 들어, 구조물의 중심에) 배치되어 있지만, 대안의 실시예에서, 광 수신기(포토다이오드)는 피라미드형 구조물의 상부에 또는 그 외부에 또는 그의 중심에 배치될 수 있다.

게다가, 전술한 실시예들이 하나의 적외선 감지 어셈블리가 주어진 전자 장치 상에 구현되는 것을 생각하고 있지만, 또한 어떤 다른 실시예에서 다수의 적외선 감지 어셈블리가 주어진 전자 장치 상에 구현되는 것도 가능하다. 예를 들어, 전자 장치의 일부 실시예에서, 전자 장치의 양측면에서 외부 물체의 존재 및 위치를 검출하는 것을 가능하게 해주기 위해, 전자 장치의 정반대쪽에 있는(diametrically-opposed) 외측면에 배치된 2개의 감지 어셈블리가 이용될 수 있다. 그에 부가하여, 특정의 사면체 및 4면 피라미드 구조물이 전술되어 있지만, 다수의 경사면 등을 갖는 유사한 구조물을 이용하는 다른 실시예가 또한 본 발명 내에 포함된다는 것을 잘 알 것이다. 게다가, 광을 굴곡/굴절시키기 위해 렌즈/피라미드 구조물을 사용하는 것이 특정 실시예와 관련하여 전술되어 있지만, 광을 굴곡/굴절시키는 것이 또한 광학 다이오드를 틸트된 패키지에 배치하거나 틸트된 렌즈를 패키지에 부착함으로써 달성될 수 있다[실제로, 어떤 상황에서, 광 송신기 또는 광 수신기로서 사용하기 위한 적외선 포토-LED 또는 포토다이오드는 이러한 틸트 특성을 갖도록 공급업체에 의해 제조될 것이며, 이러한 틸트된 특성(tilted characteristic)이란, 예를 들어, 그 중에서도 특히, "상부 조명(top shoot)", "측면 조명(side shoot)", 또는 "틸트 조명(tilted shoot)"이라고도 할 수 있음].

또한, 전술한 실시예에서, 감지 어셈블리가 전자 장치 또는 기타 장치 - 전자 장치 또는 기타 장치는 감지 어셈블리의 광 송신기(들)의 활성화를 제어하고, 광 수신기(들)에 의해 반사된 광을 수신하는 것을 나타내는 신호를 수신하며, 그 수신된 신호에 기초하여 외부 물체(들)의 존재 및 위치를 결정하는 프로세서 및/또는 기타 구성요소를 포함할 것임 - 와 관련하여 구현되는 것이 생각되고 있지만, 다른 실시예에서, 감지 어셈블리가 그의 광 송신기(들)의 활성화를 제어하는 것, 그의 광 수신기(들)의 동작을 모니터링하는 것, 존재/위치 결정을 하는 것, 및 이러한 존재/위치 정보를 다른 외부 장치로 전달하는 것과 관련하여 그 자체적으로 동작할 수 있게 해주는 데 적절한 프로세서 및/또는 기타 구성요소[예를 들어, 메모리 장치(들), 배터리/전원 공급 장치(들), 및 입/출력 단자(들) 등]를 감지 어셈블리 자체가 포함하는 것이 가능하다. 어떤 이러한 실시예에서, 감지 어셈블리 자체는 감지 어셈블리가 유선 또는 무선 네트워크를 통해(인터넷 유형 네트워크를 통하는 것을 포함함) 원격 장치와 통신할 수 있게 해주는 데 적합한 하나 이상의 단자/포트/인터페이스를 가진다.

본 발명의 실시예는 적절한 감지 어셈블리를 갖는 전자 장치가 외부 물체(들)의 존재 및 위치에 관해 획득된 정보에 기초하여 유익한 동작 방식을 달성할 수 있게 해준다. 예를 들어, 휴대폰과 같은 일부 전자 장치에서, 사람 사용자의 전화기의 존재 및 위치가 관심 대상이고, 전화기의 하나 이상의 동작을 조절하거나 그에 영향을 주는 데 사용될 수 있다. 먼저, 전술한 것과 같은 감지 어셈블리를 사용함으로써 휴대폰은 사람 사용자의 손 또는 귀가 전화기의 우측 또는 전화기의 좌측에 근접해 있는지를 검출할 수 있고, 그로써 전화기 동작에 대해 적절한 조절을 할 수 있다. 게다가, 예를 들어, 전화기 스피커의 볼륨이 감지된 사람 사용자의 머리의 위치에 기초하여 자동으로 조절될 수 있다. 전술한 것과 같은 감지 어셈블리는 또한, 전화기의 좌측 또는 우측으로부터 오프셋된 상태로 전화기 상에 손을 위치시킬 때/전화기 상에서 손을 추적할 때, 방해 없이 움직임을 추적하는 것을 가능하게 해줄 수 있다.

또한, 예를 들어, 전술한 것들 중 하나 이상과 같은 감지 어셈블리를 사용함으로써, 전자 장치가 사용자 선택 또는 명령을 나타내는 손 제스처를 감지하고 인식할 수 있게 해주는 것이 가능하다. 게다가, 예를 들어, 이와 관련하여, 전자 장치의 전면 상에서의 사람 사용자의 손의 감지된 움직임은 전자 장치 상에 디스플레이되는 이미지 또는 콘텐츠가 일시정지/동결(paused/frozen)(예를 들어, 이미지/콘텐츠의 전송 또는 공유를 용이하게 해주기 위한 것임), 변경, 해제/선택(예를 들어, 다른 페이지의 정보가 디스플레이되도록 어떤 페이지의 정보가 넘겨지는 것), 공유되거나 기타가 행해져야 한다는, 또는 스크린 상에 디스플레이되는 커서가 이동되어야 한다는(예를 들어, "마우스"에 의해 종종 제공되는 것과 같은 명령), 또는 이미지(예를 들어, 지도 또는 사진)에 관한 줌 레벨 또는 패닝 설정이 수정되어야 한다는 사람 사용자에 의한 명령을 나타낼 수 있다. 이러한 방식으로, 이러한 적외선 제스처링이 터치 스크린에 대한 대체물로서 역할할 수 있으며, 이 때 사용자는 명령을 실행하기 위해 전자 장치의 표면을 실제로 터치할 필요가 없다(그렇지만, 시스템은 또한 터치가 일어날 때 명령이 인식될 수 있게 해주는 방식으로 여전히 구현될 수 있다). 스크린을 터치할 필요가 없게 해줌으로써, 어쩌면 터치하는 것과 연관된 단점(예를 들어, 지문 및 비디오 디스플레이 화면의 기타 더러워짐 또는 세균 전달)이 감소될 수 있다.

어떤 상황에서, 전자 장치의 감지 어셈블리를 통해 감지된 상이한 손 움직임 또는 반복된 손 움직임이 특정의 가변 동작 특성이 선택되어야 한다는(예를 들어, 볼륨 조절 아이콘이 전자 장치의 비디오 화면 상에 나타나야 한다는) 제1 명령과 그에 뒤이은 가변 동작 특성의 설정을 수정하는(예를 들어, 볼륨이 특정의 레벨로 설정되어야 한다는) 제2 명령을 구성하는 것으로 이해될 수 있다. 상세하게는, 이와 관련하여, 예를 들어, 전술한 유형의 적외선 감지 어셈블리가 어셈블리를 가로지르는 움직임(예를 들어, 수평 xy-평면 움직임)은 물론, 어셈블리 쪽으로의 또는 어셈블리로부터 멀어지는 움직임(예를 들어, 수직 z-축 움직임)도 검출할 수 있기 때문에, 특정의 명령의 표시로서 수평-평면 제스처에 뒤이어서 수직축 제스처가 올 수 있다. 게다가, 예를 들어, 이러한 제스처를 사용하면, 수평 제스처는 볼륨(또는 줌) 조절기 아이콘가 이용가능하게 되도록 할 수 있는 반면, 수직 제스처는 실제로 볼륨(또는 줌)이 원하는 레벨로 조절되게 할 수 있다. 다른 대안으로서, 다수의 반복된 손 움직임이 예상되는 경우, 제2 또는 연속적인 손 움직임이 일어나지 않는 것은 어떤 다른 동작이 취해져야 한다는(예를 들어, 커서 또는 이미지가 다시 중심에 오게 되거나 다른 방식으로 재배치되어야 한다는) 명령으로서 해석될 수 있다.

다수의 상기한 고려사항을 포괄하는 동작의 일례는 다음과 같을 것이다. 사용자가 터치 스크린으로부터 대략 6 인치 위쪽에서 적외선 감지 어셈블리가 제공되어 있는 휴대폰의 우측에 손을 위치시킨 것으로 가정한다. 이 경우에, 즉각적으로, 전화기는 손 위치에 대응하는 터치 스크린의 우측 가장자리 상에 커서를 위치시키는 것으로 반응할 수 있다. 그렇지만, 사용자 손이 그 위치에서 1초 동안 움직이지 않은 채로 있다고 가정할 때, (손이 전화기의 우측 근방에 있는 것에 대응하여) 전화기는 추가적으로 커서를 터치 스크린의 가운데로 다시 오게 하는/매핑하는 동작을 할 수 있다. 앞서 논의된 바와 같이, 손이 전화기의 우측에 위치하는 경우, 전화기는 반사된 광의 특정 부분만[예를 들어, 광 송신기들 중 특정 광 송신기(예를 들어, 전화기의 좌측 쪽으로 향하고 있는 광 송신기가 아닌 도 4의 감지 어셈블리의 4개의 광 송신기 중 3개의 광 송신기)에 의해 발생된 것]이 고려되도록 감지 어셈블리를 동작시킴으로써 손을 추적하는 동작을 할 수 있다. 사용자가 관심의 동작(예를 들어, 패닝 또는 줌)을 완료하면, 사용자의 손은 또다시 움직이지 않은 채로 있을 수 있고, 이것은 현재의 이미지가 일시정지/동결되어야만 한다는 것을 나타낼 수 있다.

일부 실시예에서, 전자 장치의 기존의 다른 센서(예를 들어, 탐색 키 클러스터의 물리적 탭핑을 검출할 수 있는 가속도계)의 동작이 전술한 것과 같은 적외선 감지 어셈블리의 동작을 사용하여 조정될 수 있다. 실제로, 이 실시예에 따르면, 적외선 감지 어셈블리에 부가하여 각종의 다른 센서가 탐색 동작 모드에서의 명령을 검출하는 데 및/또는 적외선 감지 동작 모드와 터치-기반 동작 모드 사이에서 전환할 때 그에 따라 적외선 범위(infrared range)를 조절하는 데 이용될 수 있다. 예를 들어, 감지 어셈블리가 탐색 키 클러스터로서 구현되는 일부 실시예에서, 탐색은 감지 어셈블리 상부에서의 손 제스처(감지 어셈블리를 터치하지 않음)와 그에 뒤이어 선택을 달성하기 위해 탐색 소자의 중앙을 누르는 것에 의해 달성될 수 있다. 이러한 경우에, 적외선 수신은 최대 레벨(손가락이 감지 어셈블리 근방에 있는 경우)에서 최소 레벨(손가락이 수신을 완전히 차단하는 경우)까지 갈 것이고, 이러한 최대에서 최소까지가 일어나는 것은 선택 입력을 구성하는 것으로 해석될 것이다. 다른 대안으로서, 예를 들어, 다른 센서에 의해 감지되는 탭핑은 전자 장치가 적외선 감지 어셈블리를 통해 감지될 임박한 사용자 명령을 예상하게 해줄 수 있다. 또한, 어떤 상황에서, 손가락과 같은 외부 물체가 감지 어셈블리를 따라 직접 슬라이딩하는 것(터치하는 것을 포함함)이 명령으로서 인식될 수 있다.

전술한 것과 같은 감지 어셈블리를 구현하는 전자 장치가 다른 상황에서도 이용될 수 있다. 예를 들어, 전자 장치가 표면(예를 들어, 데스크톱) 상에 위치되어 이동될 때 마우스로서 이용될 수 있도록, 감지 어셈블리를 구현하는 전자 장치가 전자 장치에 대한 표면의 근접성을 인식하도록 동작될 수 있다. 이와 관련하여, 전자 장치 상의 적외선 감지 어셈블리에 대한 사람 사용자의 손의 배치/틸트를 감지함으로써, 마우스-유형 명령도 역시 전자 장치에 제공될 수 있다. 이러한 응용에서, 사용자의 손의 틸트를 검출하는 데 높은 감도를 가능하게 해주기 위해 좁은 전송 각도 범위를 갖는 광 송신기를 이용하는 것이 특히 바람직할 수 있다.

또한, 일부 실시예에서, 감지 어셈블리 자체의 동작이 외부 물체(들)의 위치에 관한 감지된 정보에 기초하여 제어될 수 있다. 예를 들어, 어떤 경우에, 사용자의 근접성에 기초하여 위치 검출의 감도를 조정하기 위해, [예를 들어, 감지 어셈블리(104)와 같은 감지 어셈블리의 다양한 광 송신기가 광을 방출하도록 활성화되는 주파수의 점에서의] 샘플링 레이트가 사용자의 근접성에 기초하여 수정될 수 있다. 실제로, 도 7과 관련하여 기술된 동작 방식이 주어진 감지 어셈블리의 상이한 광 송신기가 동시에 보다는 연속적으로 활성화되는 것을 생각하고 있지만, 어떤 경우에, 감지 어셈블리에 의해 방출되는 광의 전체 세기를 증가시키기 위해 모든 광 송신기를 동시에 활성화시키는 것 - 이는 광 수신기로 다시 가는 반사된 광의 전체 양을 증가시킬 수 있고 그로써 물체가 감지 어셈블리로부터 꽤 멀리 떨어져 있더라도 외부 물체의 근접성을 감지할 수 있음 - 이 바람직할 수 있다. 예를 들어, 감지 어셈블리의 근접성 검출의 범위가 광 송신기가 연속적으로 활성화되는 경우의 6 인치로부터 모든 광 송신기가 동시에 활성화되는 경우[이것은 "초범위 근접성 검출(super-range proximity detection)"이라고 할 수 있음]의 2 피트로 증가될 수 있다.

보다 구체적으로는, 제스처의 검출과 관련하여, 감지 어셈블리(104, 400 또는 500)와 같은 감지 어셈블리는, 프로세서(204)와 같은 프로세서와 관련하여, 다양한 기본 제스처 중 하나 이상의 제스처 - 각각의 제스처는 전자 장치에 대한 외부 물체(사용자의 손 또는 엄지 손가락 또는 손가락 등)의 사전 정의된 움직임임 - 를 검출하고 검출된 제스처에 기초하여 전자 장치의 동작을 제어하는 데 사용될 수 있다. 전자 장치의 동작이 또한 제스처 동안 다양한 때에서의 물체의 위치의 결정에 기초할 수 있다. 감지 어셈블리 및 프로세서는 감지 어셈블리 부근의 3차원 공간에서 물체의 존재 및 움직임을 검출할 수 있고, 따라서 여러가지 상이한 제스처가 1차원 또는 2차원 공간에서 보다는 이 3차원 공간에서의 움직임으로서 정의될 수 있다.

검출될 다양한 사전 정의된 기본 제스처는, 예를 들어, 밀기/당기기 제스처(마이너스 또는 플러스 z-축 움직임), 슬라이드 제스처(xy 평면 움직임), 허버링 제스처(움직이지 않는 배치), 및 틸트 제스처[대응하는 피치, 롤, 또는 요 축을 중심으로 한 외부 물체의 회전]는 물론, 이들 4개의 기본 제스처의 다른 조합도 포함할 수 있다. 감지 어셈블리 및 프로세서는 이들 제스처 중 대응하는 제스처를 검출하기 위해 및/또는 2개 이상의 사전 정의된 제스처를 검출하고 구분하기 위해 특정의 루틴을 실행하는 동작을 할 수 있다. 각각의 사전 정의된 제스처(조합 제스처를 포함함)가 전자 장치의 각자의 소정의 제어 동작과 연관될 수 있다. 어떤 경우에, 제스처의 대응하는 때에 결정된 물체의 위치는 제어 동작의 특정의 설정을 제어하는 등을 위해 사용될 수 있다.

앞서 언급한 바와 같이, 제스처가 터치리스(touchless) 방식으로(즉, 전자 장치의 디스플레이 화면 등을 터치하지 않고) 수행되도록 정의될 수 있지만, 어떤 제스처는 전자 장치를 터치하는 것을 수반할 수 있다. 게다가, 제스처가 전자 장치 또는 감지 어셈블리에 대해 소정의 시작 또는 종료 위치, 또는 다른 배향을 가지도록 정의될 수 있다. 예를 들어, 디스플레이 화면이 물체의 움직임에 의해 방해를 받지 않기 위해, 특정의 제스처가 디스플레이 화면에 대해 "오프셋" 방식으로 수행되도록 정의될 수 있다.

사전 정의된 제스처의 일례와 관련하여, 도 12 내지 도 14는 감지 어셈블리(400)와 같은 감지 어셈블리를 갖는 전자 장치(1200)(모바일 장치 등) 쪽으로의 물체[이 경우에, 사용자의 손(111)]의 움직임에 의해 수행되는 밀기 제스처를 순차적으로 나타내고 있다. 보다 구체적으로는, 예시된 3차원(3D) 좌표계를 사용하여, 밀기 제스처는 제1 위치(도 12에 도시됨)로부터 감지 어셈블리(400)에 더 가까운 제2 위치(도 14에 도시됨)로 마이너스 z 방향으로의 물체의 움직임으로 정의될 수 있다. 이 경우에, 사용자의 손은 일반적으로 감지 어셈블리(400) 상부에 중심을 두고 있지만, 이것이 밀기 제스처를 검출하는 데 필요한 것은 아니다. 이와 유사하게, 당기기 제스처는 감지 어셈블리에 가까운 제1 위치로부터 감지 어셈블리로부터 더 멀리 떨어져 있는 제2 위치로 플러스 z 방향으로의 물체의 움직임으로 정의될 수 있다. 이하에서 기술하는 바와 같이, 하나 이상의 밀기 또는 당기기 제스처의 기간 동안 물체와 전자 장치 사이의 대략적인 거리를 결정하기 위해 z 거리 계산 루틴이 이용될 수 있다.

일반적으로, 슬라이드 또는 스와이프(swipe) 제스처는, 바람직하게는 전자 장치로부터(통상적으로 전자 장치 위쪽으로) 일반적으로 일정한 거리만큼 떨어져서, 정의된 평면에서 전자 장치를 가로지르는 물체의 움직임으로 정의될 수 있다. 예를 들어, 도 15 내지 도 17은 xy 평면에서 전자 장치(1200)의 제1 측면(1504)으로부터 전자 장치를 가로질러, 바람직하게는 감지 어셈블리(400)를 가로질러 전자 장치(1200)의 제2 측면(1506)으로 마이너스 x 방향으로[화살표(1502)로 나타냄]의 사용자의 손(111)의 움직임에 의해 수행되는 좌우로의 슬라이드 제스처(side-to-side slide gesture)를 순차적으로 나타내고 있다. 이와 유사하게, 위에서 아래로의(top-to-bottom)[또는 아래에서 위로의(bottom to top)] 슬라이드 제스처는 전자 장치의 위쪽으로부터 전자 장치의 아래쪽으로 마이너스 y 방향으로 또는 아래에서 위로의 플러스 y 방향으로와 같이 감지 장치를 가로지르는 물체의 움직임에 의해 정의될 수 있다. 정의된 xy 평면에서 지정된 방향으로 일어나는 다양한 다른 슬라이드 제스처도 역시 정의될 수 있다. 부분 슬라이드 제스처(partial slide gesture)는 전자 장치를 부분적으로만 가로질러 연장되는 움직임으로 정의될 수 있다. 슬라이드 제스처의 상이한 기간에서 전자 장치에 대한 물체의 일반적인 xy 위치가 결정될 수 있다.

허버링 제스처는, 1초 이상과 같은 특정 기간 동안 아래쪽으로 향해 있는 손과 같은 물체의 움직임이 없는 것으로 정의될 수 있다. 덮기(cover) 제스처는, 오므린 손과 같은 물체가 전자 장치를 터치하고 있으면서 감지 어셈블리를 실질적으로 덮고 있는 경우와 같이, 허버링 제스처의 특수한 경우로 정의될 수 있다. 틸트 제스처는 롤 축(x 축), 요 축(y 축) 또는 피치 축(z 축)을 중심으로 손 등의 물체의 회전으로 정의될 수 있다.

다이빙(dive) 또는 낚아채기(swoop) 제스처와 같은 조합 제스처는 밀기 제스처 직후에 틸트 제스처가 오는 것으로 정의될 수 있다. 예를 들어, 다이빙 제스처는 손가락을 처음에 일반적으로 전자 장치 쪽으로 뻗은 상태에서 감지 어셈블리에 더 가까와지게 움직이고(-z 방향으로의 밀기 제스처) 이어서 (xy-평면에서 x 축에 평행인 축을 중심으로 한 것과 같은 틸트 제스처를 통해) 전자 장치에 일반적으로 평행하게 뻗은 손가락으로 변하는 손과 같은 물체로 정의될 수 있다.

특정 제스처는 특정의 손 또는 손가락 구성의 손에 의해 수행되는 것으로 정의될 수 있고, 감지 어셈블리 및 프로세서는 또한 특정 상황에서 사전 정의된 제스처와 관련하여 특정의 손 구성을 검출하는 동작을 할 수 있다. 예를 들어, 한가지 이러한 제스처는 손바닥 쪽이 감지 어셈블리와 마주한 상태에서 (V자 구성에서와 같이) 2개의 뻗은 손가락을 사용하여 수행되는 슬라이드 제스처일 수 있다. 다양한 다른 제스처 및 손 구성도 역시 정의될 수 있다.

기본적으로, 제스처를 검출하기 위해, 제스처가 수행되고 있을 때, 감지 어셈블리의 하나 이상의 광 송신기가 순차적인 기간에 걸쳐 광을 방출하도록 프로세서에 의해 제어되고, 감지 어셈블리의 하나 이상의 광 수신기는 대응하는 광 송신기로부터 방출되고 이어서 (광 수신기에 의해 수신되기 전에) 물체에 의해 반사되는 임의의 광을 수신하여, 측정된 신호를 발생한다. 바람직하게는 아날로그-디지털 변환기를 포함하는 프로세서는 하나 이상의 광 수신기로부터 이들 측정된 신호를 수신하고, 이를 10 비트 디지털 측정된 신호와 같은 디지털 형태로 변환한다. 프로세서는 이어서, 사전 정의된 제스처를 검출하기 위해, 그리고 아마도 특정의 손 구성을 결정하기 위해, 그리고 아마도 제스처의 하나 이상의 대응하는 때 동안 물체의 하나 이상의 상대 위치 또는 배향을 결정하기 위해, 시간에 따라 이들 디지털 측정된 신호의 전부 또는 일부를 분석한다. 측정된 신호 집합 또는 수정되거나 계산된 신호 집합 중 하나 이상의 신호 집합에서 특정의 패턴 또는 특징을 결정함으로써 분석이 완수될 수 있다. 어떤 경우에, 측정된 신호 집합에서의 검출된 패턴 또는 특징의 타이밍이 다른 측정된 신호 집합에서의 검출된 패턴 또는 특징의 타이밍과 비교될 수 있다. 어떤 경우에, 검출된 패턴 또는 특징의 z 축을 따른 거리, xy 위치, 및/또는 진폭이 결정될 수 있다. 다른 데이터 처리도 역시 수행될 수 있다. 사전 정의된 기본 제스처가 개별적으로 검출될 수 있거나 사전 정의된 조합으로 검출될 수 있으며, 그로써 전자 장치의 직관적이고 복잡한 제어를 가능하게 해준다.

도 18은 사전 정의된 기본 제스처를 검출하는 예시적인 방법이고, 다수의 광 송신기 및 적어도 하나의 광 수신기를 갖는 감지 어셈블리, 또는 다수의 광 수신기 및 적어도 하나의 광 송신기를 갖는 감지 어셈블리, 또는 다수의 송수신기를 갖는 감지 어셈블리를 비롯하여, 전술한 감지 어셈블리들 중 임의의 것과 같은 감지 어셈블리(피라미드 구조물을 갖거나 갖지 않음)에서 사용될 수 있다. 이상에서 기술한 바와 같이, 하나의 광 수신기를 둘러싸고 있을 수 있는 다수의 광 송신기의 경우에, 각각의 광 송신기가 대응하는 중심 전송축을 중심으로 전자 장치로부터 바깥쪽으로 멀어지게 적외선 광을 방출하도록 배향되어 있고, 각각의 중심 전송축은 감지 어셈블리 및 전자 장치에 대해 상이한 방향으로 뻗어 있다. 이러한 방식으로, 방출된 적외선 광이 전자 장치에 인접한 영역의 대부분에 도달할 수 있게 됨으로써 이 영역에 걸쳐 물체의 움직임이 추적될 수 있게 된다. 하나의 광 송신기를 둘러싸고 있을 수 있는 다수의 광 수신기를 갖는 감지 어셈블리에 또는 다수의 송수신기(각각의 송수신기는 기본적으로 광 수신기와 동일 위치에 있는 광 송신기를 포함함)를 갖는 감지 어셈블리에 물체의 움직임을 추적하는 유사한 기능이 존재한다.

상세하게는, 예시적인 방법은 제스처 검출 루틴이 시작되어야 한다는 것을 나타내는 개시인 단계(1800)에서 시작한다. 사용자가 전자 장치 상의 특정의 응용 프로그램, 응용 프로그램의 특정의 부분 또는 단계를 시작하거나 그에 포커스를 둘 때, 또는 전자 장치의 다양한 입력 장치들 중 하나의 입력 장치를 소정의 방식으로 사용하여 사용자가 제스처 검출이 시작되어야만 한다는 것을 나타낼 때, 또는 이들 단계의 조합에 의하는 등과 같이 다수의 방식으로 개시가 달성될 수 있다. 프로세서는 다양한 제스처 검출 루틴을 개별적으로 또는 동시에 수행할 수 있다.

단계(1802)에서, 프로세서는 광 송신기(들)에 의해 방출되는 적외선 광의 타이밍 및 세기를 제어하기 위해 광 송신기(들)를 제어한다. 예를 들어, 감지 어셈블리가 하나의 광 송신기를 포함하는 경우, 외부 물체가 지정된 움직임 패턴으로 움직일 때 다수의 순차적인 기간의 각각 기간 동안에 광을 방출하도록 광 송신기가 제어된다. 감지 어셈블리가 다수의 광 송신기를 포함하는 경우, 외부 물체가 지정된 움직임 패턴으로 움직일 때 다수의 순차적인 기간의 각각의 기간의 각자의 비중복 부분 동안에 광을 방출하도록 각각의 광 송신기가 제어될 수 있다. 이러한 방식으로, 광 수신기에 의해 발생되는 각각의 측정된 신호가 광 송신기들의 각자의 광 송신기와 연관될 수 있다. 기간의 길이는 바람직하게는 기간 동안에 물체가 움직이는 양이 전체 제스처에 대한 물체의 총 움직임과 비교하여 무시할 정도가 되도록 선택된다. 어떤 경우에, 전술한 바와 같이, 광 송신기 각각은 상이한 주파수(파장) 또는 대역폭으로 광을 방출할 수 있고, 이들 광 송신기가 이어서 각각의 기간 동안에 동시에 광을 전송하도록 제어될 수 있다. 광 송신기들이 동시에 전송하는 것의 이점은 향상된 속도이다.

단계(1804)에서, 수신된 광의 세기를 나타내는 측정된 신호가 광 수신기(들)에 의해 발생된다. 예를 들어, 감지 어셈블리가 다수의 광 송신기 및 적어도 하나의 광 수신기를 포함하는 것으로 가정할 때, 각각의 광 송신기에 대해 그리고 각각의 기간에 대해, 그 대응하는 기간 동안 그 대응하는 광 송신기로부터 나왔고 광 수신기에 의해 수신되기 전에 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호가 광 수신기에 의해 발생될 수 있다. 광 송신기가 동시에 광을 전송하는 경우, 상이한 광 송신기 각각으로부터 어느 신호가 나왔는지를 구분하기 위해 측정된 신호가 주파수 필터링 등에 의해 디코딩될 수 있다. 이것은 또한 다수의 광 수신기를 사용하여 달성될 수 있다.

감지 어셈블리가 다수의 광 수신기 및 적어도 하나의 광 송신기를 포함하는 다른 일례에서, 복수의 광 송신기 각각에 대해 그리고 복수의 순차적인 기간 각각에 대해, 그 대응하는 기간 동안 광 송신기로부터 나왔고 대응하는 광 수신기에 의해 수신되기 전에 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호가 발생될 수 있다.

이하에서 기술하는 바와 같이, 측정된 신호가 유용한 정보를 제공하도록 광 수신기가 포화되지 않게 하기 위해 방출된 적외선 광의 세기가 제어될 수 있다.

측정된 신호는 바람직하게는 디지털 측정된 신호 집합을 제공하기 위해 A/D 변환기에 의해 디지털화되고, 여기서 각각의 디지털 측정된 신호 집합은 (다수의 광 송신기 및 하나의 광 수신기의 경우에서와 같이) 각자의 광 송신기 또는 (다수의 광 수신기 및 하나의 광 송신기의 경우에서와 같이) 각자의 광 수신기에 대응한다. 대응하는 광 송신기가 광을 방출하지 않을 때 획득된 영이 아닌 값을 고려하기 위해 디지털 신호가 또한 보정될 수 있다. 이것은 어떤 광 송신기도 전송하지 않을 때 하나 이상의 측정된 신호를 획득하는 것 및 디지털 값에서 이 값을 감산하여 보상된 디지털 신호 값을 생성하는 것을 필요로 한다. 예를 들어, 4개의 광 송신기(484, 486, 488, 490)에 의해 둘러싸여 있는 하나의 광 수신기(492)를 포함하는 도 4에 도시된 감지 어셈블리(400)와 같은 감지 어셈블리의 사용을 가정하여, 어떤 광 송신기도 전송하지 않을 때 광 수신기(492)로부터의 배경 수치(background reading)가 먼저 획득될 수 있고, 이어서 각각의 광 송신기가 한번에 하나씩 펄스를 공급받아 켜지고 하나의 기간에 대응하여 4개의 대응하는 측정된 세기 신호 또는 수치가 얻어진다. 배경 수치를 감산함으로써 이들 4개의 수치가 보상될 수 있고, 각각의 후속 기간에 대해 이 절차가 반복될 수 있다.

가능한 물체 위치의 전체 범위에 걸쳐 의미있는 측정치를 제공하기 위해, 단계(1802)에서 방출된 적외선 광의 세기를 제어하여 광 수신기(들)의 포화를 방지하기 위해 자동 전력 제어 방식이 구현될 수 있다. 이하의 설명이 도 4에 도시된 바와 같은, 즉 다수의 송신기 및 하나의 광 수신기를 갖는 감지 어셈블리(400)의 사용을 또다시 가정하고 있지만, 유사한 동작이 다른 감지 어셈블리 실시예에 적용된다. 기본적으로, 전력 제어 방식은 적어도 하나의 기간 동안 다양한 전력 설정 중 하나의 전력 설정에서 동작하는 광 송신기를 사용하여 대응하는 측정된 신호를 획득하고 광 수신기가 이 기간 동안 출력 범위의 상단에서 신호를 생성하지 않는지를 검사함으로써 동작한다. 예를 들어, 광 송신기에 대해 3개의 상이한 전력 설정 - 높음 설정, 중간 설정, 및 낮음 설정 - 이 이용될 수 있다. 어떤 기간 동안 높음 설정에서 광을 방출하도록 제어되는 광 송신기를 사용하여 각각의 광 송신기에 대응하는 광 수신기로부터의 각자의 측정된 신호가 먼저 획득된다(이 때, 광 송신기들이 동일한 주파수 또는 대역폭에서 광을 방출하는 경우, 그 기간의 각자의 부분에서 광을 방출하도록 광 송신기가 제어될 수 있고, 광 송신기들이 상이한 주파수에서 또는 상이한 대역폭에서 광을 방출하는 경우, 그 기간 동안 동시에 광을 방출하도록 광 송신기가 제어될 수 있음). 측정된 신호가 포화를 나타내지 않는 경우, 이들 신호가 그 기간에 대응하는 차후의 계산에서 사용된다. 높음 설정에 대응하는 측정된 신호가 포화되는 경우, 차후의 기간에서의 부가적인 측정치는 중간 전력 설정에서 얻어진다. 중간 설정에 대응하는 측정된 신호가 포화를 나타내지 않는 경우, 이들 신호가 차후의 계산에서 사용된다. 중간 설정에 대응하는 측정된 신호가 광 수신기가 포화되는 것을 나타내는 경우, 차후의 기간에서 부가적인 측정치는 낮음 전력 설정에서 얻어지고, 이들이 차후의 계산에서 사용된다. 광 수신기가 감지 어셈블리의 표면에 있는 물체에 의해 완전히 덮여 있을 때 포화 바로 아래에서 측정된 신호를 생성하도록 낮음 전력 설정이 설정된다. 제스처를 검출하는 데 필요한 기간들의 각각의 기간에 대해 이 절차가 반복될 수 있다.

살펴본 바와 같이, 측정된 디지털 신호가 반사된 적외선 광의 세기의 척도이다. 상이한 전력 레벨로부터의 측정된 신호가 표준 스케일로 변환될 수 있음으로써 연속적인 곡선으로 서로 결합될 수 있도록 레벨들 사이에 어떤 중복을 제공하기 위해 전력 레벨이 선택될 수 있다. 예를 들어, (예컨대, 몇개의 밀기 또는 당기기 제스처에 대응하는) 중복 영역에 대한 데이터가 얻어질 수 있고, 근사 곡선 구하기(curve fit)가 수행될 수 있다. 한 일례에서, 다양한 전력 레벨에서 획득된 측정치를 I로 나타낸 표준 세기 스케일로 변환하는 이하의 방정식이 얻어진다.

I = I_{PowerLevel=high}

I = I2 * I_{PowerLevel=medium} + 38

I = 128 * I_{PowerLevel=low} + 3911

상기 방식에서, 상이한 방향으로 광을 방출하는 상이한 광 송신기에 대응하는 또는 상이한 방향으로부터 광을 수신하는 상이한 광 수신기에 대응하는 시간에 따른 세기 값을 제공하는 측정된 신호 집합이 획득될 수 있다. 각각의 디지털 측정된 신호 집합은 감지 어셈블리와 관련하여 각자의 광 송신기 또는 광 수신기에 대응하는 각자의 영역에서의 물체의 존재 여부에 관한 관련 정보를 제공할 수 있다.

단계(1806)에서, 사전 정의된 제스처를 검출하기 위해 그리고 제스처 동안 다양한 때에 물체의 대응하는 위치를 결정하기 위해 측정된 신호 집합들 중 하나 이상의 신호 집합이 평가된다. 예를 들어, 이하에서 더 기술되는 바와 같이, 측정된 신호 집합의 특정의 특징이 조사될 수 있고, 제스처를 검출하기 위해 이 특징의 타이밍이 다른 측정된 신호 집합들 중 하나 이상의 신호 집합에서의 대응하는 특징의 타이밍과 비교될 수 있다. 게다가, 역시 이하에서 기술되는 바와 같이, 하나 이상의 측정된 신호 집합 또는 그의 일부분이 특정의 방식으로 결합될 수 있고, 제스처의 발생에 관한 관련 정보를 추출하기 위해 평가될 수 있다.

단계(1807)에서, 제스처가 검출되었는지가 판정된다. 검출된 경우, 처리는 단계(1808)로 진행하고, 검출되지 않은 경우, 처리는 단계(1809)로 진행한다. 단계(1809)에서, 사용자에 대해 제스처를 반복하라는 요청이 발생되고, 이어서 처리가 단계(1802)로 진행한다.

단계(1808)에서, 검출된 제스처에 응답하여, 전자 장치의 특정의 기능을 제어하거나 전자 장치에 저장된 콘텐츠의 선택을 제어하는 등에 의해, 전자 장치의 동작이 제어된다. 다양한 사전 정의된 제스처 각각이 다양한 전자 장치 동작 중 임의의 동작과 연관될 수 있지만, 바람직하게는 사전 정의된 제스처 각각은 직관적 방식으로 전자 장치의 동작 또는 작용을 제어한다. 예를 들어, 음악 플레이어의 볼륨을 줄이는 것과 같이 기능을 감소시키거나 제한하기 위해, 또는 전자 장치의 카메라 특징에 대한 줌 동작을 수행하기 위해, 밀기 제스처의 검출이 사용될 수 있고, 여기서 지정된 때에 물체와 전자 장치 사이의 거리가 볼륨 또는 줌 동작이 변화되는 양에 상관될 수 있다. 이와 유사하게, 그에 대응하여 기능을 증대시키기 위해 당기기 제스처가 사용될 수 있다. 밀기 및 당기기 제스처는 또한 선택하기 위해 적층형 메뉴, 사진, 또는 기타 항목을 탐색하는 데 사용될 수 있다.

다른 일례로서, 디스플레이 화면 상에서 위에서 아래로의 슬라이드 제스처는 응용 프로그램의 삭제 또는 닫기를 나타낼 수 있는 반면, 디스플레이 화면의 좌우로의 슬라이드 제스처는 스크롤 기능 등을 나타낼 수 있고, 여기서 슬라이드 제스처 동안의 물체의 상대적 xy 위치는 전자 장치의 디스플레이 화면 상에서의 커서의 위치에 링크된다. 허버링 제스처는, 특히 항목을 찾아내는 다른 제스처와 관련하여, 항목을 찾아낸 후의 항목의 선택(특정의 파일, 이미지, 노래, 또는 기타 항목의 선택 등)을 의미할 수 있다. 예를 들어, y 축을 중심으로 한 틸트 제스처는 전자책 또는 사진 앨범의 페이지 넘기기를 나타낼 수 있다.

유익하게도, 전자 장치의 디스플레이 화면 상에 디스플레이되는 하나 이상의 항목을 터치리스 방식으로 쉽고 빠르게 선택하기 위해 특정의 제스처(특정의 조합 제스처를 포함함)가 사용될 수 있다. 사전 정의된 제스처가 3차원 공간에서 검출될 수 있기 때문에, 이것은 연락처 또는 사진과 같은 항목의 다양한 메뉴 또는 디스플레이가 전자 장치의 디스플레이 화면 상에 준3차원(quasi three dimensional) 방식으로 정렬될 수 있게 해준다. 항목들의 3차원 배열을 통해 대응하는 커서 또는 기타 선택 장치의 움직임을 제어하는 하나 이상의 사전 정의된 제스처(밀기/당기기, 슬라이드, 틸트, 및 허버링 제스처를 포함함)를 사용하여 특정의 항목이 선택될 수 있다. 예를 들어, 2개 이상의 적층된 창(또는 사진 또는 문서 또는 기타 항목)으로 된 몇개의 그룹이 전자 장치의 디스플레이 화면 상에 나타내어져 있는 경우, 사용자는 원하는 그룹을 선택하기 위해 하나 이상의 슬라이드 제스처를 수행하고 이어서 적층된 것을 탐색하기 위해 밀기 제스처를 할 수 있다. 다른 대안으로서, 사용자는 하나 이상의 상부 창을 방해가 되지 않도록 밀어내기 위해 슬라이드 제스처를 수행할 수 있거나, 사용자는 하나 이상의 상부 창을 넘어 다이빙하고 하부 창을 더 잘 보이도록 측면으로 슬라이딩시키기 위해 밀기 제스처와 그에 뒤이은 틸트 제스처에 의해 화면 쪽으로 손을 뻗을 수 있다.

앞서 언급한 바와 같이, 측정된 신호를 평가하기 위해 다양한 처리 단계를 포함하는 다양한 제스처 검출 루틴이 수행될 수 있다. 예를 들어, 도 4에 도시된 바와 같은 감지 어셈블리(400)의 사용을 가정할 때, 도 19는 밀기 제스처에 대한 각자의 광 송신기(484, 486, 488, 490)에 대응하는 디지털 측정된 신호 집합을 나타내는 세기 대 시간 곡선(1900, 1902, 1904, 1906)의 예시적인 그래프를 나타낸 것이다. 기본적으로, 물체가 감지 어셈블리(400)에 더 가깝게 움직일 때, (복수의 순차적인 기간을 포함하는) 동일한 시간 프레임 동안 각각의 집합에서의 대응하는 세기 값이 증가하고, 제스처가 수행될 때 물체가 일반적으로 감지 어셈블리 상부에 중심을 두고 있는 경우, 그 시간 프레임에 걸쳐 각각의 값 집합이 증가되는 정도가, 도 19에 나타낸 바와 같이, 일반적으로 동일하다.

물체가 감지 어셈블리로부터 얼마간 오프셋되어 있는 경우, 측정된 신호 집합의 최소 세기 값과 최대 세기 값(각각 물체가 먼 거리에 있을 때와 물체가 가까운 거리에 있을 때에 대응함)이 대략 동일한 각자의 시간에서 여전히 나타날 것이지만, 상이한 집합 사이에서와 같이 동일한 각자의 시간에서 상이한 값(진폭)을 가질 것이다. 예를 들어, 도 20은 당기기 제스처에 대한 각자의 송수신기(484, 486, 488, 490)에 대응하는 디지털 측정된 신호 집합을 나타내는 세기 대 시간 곡선(2000, 2002, 2004, 2006)의 예시적인 그래프이고, 물체가 감지 어셈블리로부터 더 멀리 움직임에 따라, 측정된 신호 집합의 대응하는 세기 값 모두가 동일한 시간 프레임 동안 감소한다. 제스처가 수행될 때 물체가 일반적으로 감지 어셈블리 상부에 중심을 두고 있는 경우, 각각의 값 집합이 시간 프레임에 걸쳐 감소되는 정도가 일반적으로 동일한 정도이다. 그렇지만, 도 20에 도시된 바와 같이, 물체가 일반적으로 감지 어셈블리(400)의 우측에 중심을 두는 것 등에 의해 감지 어셈블리로부터 얼마간 오프셋되어 있는 경우에, 각각의 측정된 신호 집합에 대응하는 최대 및 최소 세기 값이 여전히 대략 동일한 각자의 시간에 나타날 것이지만, 상이한 값을 가질 것이다. 이 경우에, 물체가 일반적으로 감지 어셈블리(400)의 우측에 중심을 두고 있는 경우, 우측에 있는 광 송신기, 즉 광 송신기(486)에 대응하는 측정된 신호 집합이 최대 값을 가질 것이고, 광 송신기(484, 488)에 대응하는 측정된 신호 집합은 일반적으로 함께 추적될 것이며, 물체로부터 가장 멀리 있고 광을 물체로부터 먼쪽으로 지향시키는 광 송신기(490)에 대응하는 측정된 신호 집합은 다른 것에 비해 작은 값을 가질 것이다. 주목할 점은, 세기가 거리와 역비선형(inverse, non-linear) 방식으로 관련되어 있고, 밀기 또는 당기기 제스처가 대략 일정한 속도로 수행되는 것으로 가정할 때, 세기 값이 비선형 방식으로 증가 또는 감소할 것이라는 것이다.

따라서, 밀기(또는 당기기) 제스처를 검출하는 제스처 검출 루틴은 측정된 신호 집합들 중 하나 이상의 신호 집합을 평가하여 대응하는 세기 값이 시간에 따라 증가하는지(또는 감소하는지)를 판정하는 단계를 포함할 수 있고, 하나 이상의 시간에서 이들 집합의 진폭을 서로에 대해 비교하는 단계를 포함할 수 있다. 평가될 상이한 측정된 신호 집합의 수는 다른 제스처가 검출되고 구별될 필요가 있는지 및 이들이 어떤 다른 제스처일 수 있는지에 기초할 수 있다. 예를 들어, 밀기 제스처만이 검출되어야 하는 경우, 세기 값이 순차적으로 증가하는지를 판정하기 위해 하나의 측정된 신호 집합을 평가하는 것으로 충분할 수 있는 반면, 일반적으로 중앙에서의 밀기 제스처(centered push gesture)와 오프셋 밀기 제스처(offset push gesture)를 구분하는 것이 요망되는 경우, 측정된 신호 집합들 중 2개 이상의 신호 집합이 분석에 포함될 필요가 있을 것이다.

세기 값을 대응하는 거리로 변환하기 위해 디지털 측정된 신호 집합에 대해 처리 단계가 수행될 수 있다. 상세하게는, 프로세서가 밀기 또는 당기기 제스처 동안 하나 이상의 상이한 시간에서 중심면(또는 전자 장치 상의 다른 기준면) 상에서의 물체의 상대 거리를 결정하기 위해 측정된 디지털 신호를 사용하여 Z 거리 결정 루틴을 수행하도록 프로그램될 수 있다. 측정된 반사된 광의 세기(즉, 측정된 신호)가 물체의 크기, 색깔, 및 표면 텍스처/반사율에 의존하기 때문에, 수신된 세기에만 기초해서는 정확한 거리의 값이 구해질 수 없지만, 전자 장치가 펴진 중간 크기의 손과 같은 특정의 물체의 사용에 기초한 대략적인 거리를 제공하도록 보정될 수 있다. 다른 대안으로서, 사용자는 사용자 개개의 좌측 또는 우측 손에 맞게 개인화하기 위해 보정 루틴을 수행할 수 있다.

구체적으로는, 반사된 광 세기가 1/거리²의 함수로서 변한다. 각각의 광 송신기에 대응하는 얻어진 거리 또는 Z 값이 이어서 계산되고, 측정된 세기 값에 기초한 특정 범위 내에 있도록 스케일링될 수 있다. 예를 들어, 4개의 광 송신기를 가정할 때, 각자의 광 송신기에 대응하는 거리 값 Z₁, Z₂, Z₃ 및 Z₄는 측정된 세기 I를 사용하는 하기 방정식을 사용하여 0 내지 1000의 값(1000을 초과하는 임의의 결과는 1000으로 설정됨)과 같은 소정의 범위 내의 10 비트 값으로서 계산될 수 있다:

Z = 10000/sqrt( I )

어떤 경우에, 거리를 나타내는 평균 Z 값이 이어서 다음과 같이 다수의 광 송신기에 대응하여 계산된 Z 값 모두를 평균함으로써 계산될 수 있다.

Z_avg = (Z₁ +Z₂ + Z₃ + Z₄)/4

어떤 경우에, 모든 광 송신기(또는 광 수신기)의 부분집합으로부터의 대응하는 측정된 신호를 사용하여 거리가 계산될 수 있다.

일 실시예에서, 프로세서는 밀기 또는 당기기 제스처의 순차적인 기간들 각각에 대한 대응하는 거리를 계산하도록 프로그램될 수 있다. 밀기 제스처의 경우, 이들 거리는 시간에 따라 순차적으로(일정한 속도의 밀기 제스처를 가정할 때 일반적으로 선형적 방식으로) 감소하고, 당기기 제스처의 경우, 이들 거리는 시간에 따라 순차적으로 증가한다. 이러한 방식으로, 전자 장치의 디스플레이 화면 상의 항목의 적층물에서 특정의 항목을 찾아내는 등을 위해 대응하는 계산된 거리를 커서의 위치와 연관시키거나, 대응하는 계산된 거리를, 볼륨 또는 줌 제어 함수 등에 대한 제어 설정의 특정의 변화 또는 변화의 정도와 연관시키는 것이 가능하다.

슬라이드 제스처와 관련하여, 물체와 감지 어셈블리 사이의 z-축 거리가 비교적 일정하게 유지되는 것으로 가정할 때, 다른 측정된 신호 집합들 중 하나 이상의 신호 집합에 대한 대응하는 측정된 신호 집합에서의 세기 피크의 발생의 타이밍을 검사함으로써 슬라이드 제스처의 발생 및 그의 방향이 결정될 수 있다. 물체가 특정의 광 송신기의 중심 전송축에 더 가까워짐에 따라, 그 송신기로부터의 더 많은 광이 반사되고 도 4에 도시된 감지 어셈블리(400)의 광 수신기(492)와 같은 광 수신기에 의해 수신될 것이다. 다른 측정된 신호 집합에 대한 각각의 측정된 신호 집합에서의 세기 피크의 타이밍은 물체의 이동 방향에 관한 정보를 제공한다. 예를 들어, 도 21은 도 4의 감지 어셈블리(400) 상부에서 움직이는 손과 같은 물체에 의해 수행되는 슬라이드 제스처에 대한 각자의 광 송신기(486, 484, 488, 490)에 대응하는 측정된 신호 집합을 나타내는 세기 대 시간 곡선(2100, 2102, 2104, 2106)의 예시적인 그래프이고, 전자 장치를 가로질러 우측에서 좌측으로 움직이는 물체의 슬라이드 제스처를 구체적으로 나타낸 것이다. 따라서, 물체는 먼저 광 송신기(486)에 가장 가깝고, 이어서 대략 동시에 광 송신기(484, 488)를 가로질러 움직이며, 이어서 광 송신기(490)에 가장 가깝다.

이와 유사하게, 도 22는 감지 어셈블리(400)를 가로질러 위에서 아래로 움직이는 물체에 의한 슬라이드 제스처(여기에서 수직 제스처라고 함)에 대한 세기 대 시간 곡선(2200, 2202, 2204, 2206)의 예시적인 그래프이고, 여기서 곡선(2200, 2202, 2204, 2206)은 각자의 광 송신기(484, 486, 490, 488)에 대응하는 측정된 신호 집합을 나타낸다. 이 경우에, 물체는 먼저 광 송신기(484)를 가로질러, 이어서 광 송신기(486, 490)를 대략 동시에 가로질러, 이어서 광 송신기(488)를 가로질러 위에서 아래로 움직이고, 이 움직임은 일반적으로 광 송신기(486, 490)에 대해 중앙에 있다. 도 22에 나타낸 바와 같이, 광 송신기(484)에 대응하는 측정된 신호 집합에서의 세기 피크는 광 송신기(486, 490)에 대응하는 측정된 신호 집합에서의 세기 피크 이전에 발생하고, 광 송신기(488, 490)에 대응하는 측정된 신호 집합에서의 세기 피크는 광 송신기(488)에 대응하는 측정된 신호 집합에서의 세기 피크 이전에 발생한다. 도시되어 있지는 않지만, 위에서 아래로의 슬라이드 제스처가 수행되지만 물체가 광 송신기(486)에 더 가까운 것과 같이 광 송신기(486, 490) 사이의 중앙으로부터 약간 오프셋되어 있는 경우, 곡선(2200)[광 송신기(484)], 곡선(2204)[광 송신기(490)], 및 곡선(2206)[광 송신기(488)]에 대응하는 피크가 더 작을 것이고 곡선(2202)[광 송신기(486)]에 대응하는 피크가 더 클 것이라는 점에서 도 22에 도시된 그래프가 수정될 것이다.

도 23은 감지 어셈블리(400)를 사용하여 전자 장치의 우측에서 좌측으로 물체의 좌우로의 슬라이드 제스처(역시 여기에서 수평 슬라이드 제스처라고 함)를 인식하기 위한 분석을 나타내는 그래프이다. 상세하게는, 도 23은 광 송신기(486)에 대응하는 측정된 신호 집합을 나타내는 제1 세기 곡선(2300), 광 송신기(490)에 대응하는 측정된 신호 집합을 나타내는 제2 세기 곡선(2302), 차이 세기 값(difference intensity value), 예를 들어, 각자의 기간에서 '우측 광 송신기(486)에 대응하는 세기 값 - 좌측 광 송신기(490)에 대응하는 세기 값'을 나타내는 계산된 제3 곡선(2304), 및 평균 세기 값, 예를 들어, 각자의 기간에서 광 송신기(486) 및 광 송신기(490)에 대응하는 세기 값의 평균에 대응하는 세기 값을 나타내는 계산된 제4 곡선(2306)을 나타내고 있다.

슬라이드 제스처 동안 물체가 우측에서 좌측으로 움직이는 경우, 계산된 차이 값은, 곡선(2304)으로 나타낸 바와 같이, 처음에 플러스일 것이고, 이어서 마이너스일 것이다. 슬라이드 제스처 동안 물체가 좌측에서 우측으로 움직이는 경우, 계산된 차이 값은 처음에 마이너스일 것이고, 이어서 플러스일 것이다. 따라서, 차이 값의 계산 및 분석은 슬라이드 제스처의 존재 및 방향에 관한 정보를 제공할 수 있다. 어떤 경우에, 제스처 검출 루틴은 '우측 광 송신기(486)에 대응하는 세기 값 - 좌측 광 송신기(490)에 대응하는 세기 값'을 나타내는 제1 차이 곡선을 계산할 수 있고, 또한 '좌측 광 송신기(490)에 대응하는 세기 값 - 우측 광 송신기(486)에 대응하는 세기 값'을 나타내는 제2 차이 곡선을 계산할 수 있다. 제1 차이 곡선에서 플러스 신호 이후에 마이너스 신호가 오는 것으로부터 슬라이드 제스처가 우측에서 좌측으로 발생했음이 판정되고, 제2 차이 곡선에서 플러스 신호 이후에 마이너스 신호가 오는 것으로부터 슬라이드 제스처가 좌측에서 우측으로 발생했음이 판정된다.

차이 신호의 크기는 제스처가 발생할 때 물체가 감지 어셈블리에 얼마가 가까운지에 의존한다. 일 실시예에서, 대응하는 검출 임계값(2308)이 선택되고 차이 신호가 적절한 양만큼 플러스로 되었는지를 판정하는 데 사용되고, 인식 임계값(2310)이 선택되고 차이 신호가 적절한 양만큼 마이너스로 될 때 제스처가 발생한 것으로 판정하는 데 사용된다. 이들 임계값은 슬라이드 제스처가 실제로 발생했다는 부가의 보장을 제공할 수 있다.

그에 부가하여, 슬라이드 제스처 검출 루틴은 또한 중심에서 벗어난 광 송신기(486, 490)에 대응하는 측정된 신호 집합의 평균 세기 값[곡선(2306)으로 나타냄]을 이용하여, 이들 평균 세기 값에 대한 곡선(2306) 상에 나타낸 것과 같은 소거 임계값(clearing threshold)(2312)을 설정할 수 있다. 제스처의 인식이 행해지기 전에 계산된 평균 세기 신호가 이 소거 임계값 밑으로 떨어지는 경우, 이 루틴은 리셋되고 새로운 제스처의 시작이 탐색된다.

슬라이드 제스처 검출 루틴은 또한 상이한 때의 물체의 대략적인 xy 위치를 결정할 수 있다. 예를 들어, 도 21을 참조하면, 시각 A에서, 제스처를 수행하는 물체는 일반적으로 광 송신기(486) 상부에 있고, 시각 B에서, 물체는 일반적으로 광 송신기(484, 488) 상부에 있으며, 시각 C에서, 물체는 일반적으로 광 송신기(490) 상부에 있다. 보간을 사용하여 다양한 다른 위치도 역시 결정될 수 있다.

도 23과 관련하여 전술한 것과 유사한 제스처 검출 루틴이 좌우로의 제스처 대신에 위에서 아래로의 제스처를 검출하는 데 이용될 수 있다. 게다가, 유사한 분석이, 일반적으로 x=y 라인을 따르는 것과 같은 다른 방향으로의 슬라이드 제스처의 판정에 적용될 수 있다.

수직(위에서 아래로 또는 아래에서 위로) 슬라이드 제스처 및 수평(좌우) 슬라이드 제스처 둘다를 검출하는 제스처 검출 루틴이 동시에 동작하도록 전자 장치가 동작될 수 있다. 이러한 경우에, 각각의 유형의 슬라이드 제스처에 대응하는 소정의 검출 및 인식 임계값이 단일 제스처 검출 루틴이 동작할 때의 임계값보다 증가될 수 있다.

다른 방향으로의 슬라이드 제스처를 구분하기 위해, 예를 들어, 수직(위에서 아래로 또는 아래에서 위로) 슬라이드 제스처와 수평(우측에서 좌측으로 또는 좌측에서 우측으로) 슬라이드 제스처를 구분하기 위해 보다 복잡한 루틴도 역시 이용될 수 있다. 이들은 슬라이드가 한 방향으로 수행되지만 다른 방향으로의 슬라이드도 역시 수행되었음을 나타내는 경향이 있는 충돌하는 신호가 또한 생성될 때 특히 도움이 될 수 있다. 예를 들어, 이것은 손 또는 엄지손가락이 물체이고 손목 또는 손의 일부가 활성 감지 영역(active sensing volume) 내로 뻗어 있고 측정된 신호 집합에 영향을 줄 때 일어날 수 있다. 수평 슬라이드와 수직 슬라이드를 더 잘 구분하기 위해, 영 교차 지점에서 의도된 슬라이드 방향에 대응하는 시간에 따른 차이 세기 값 집합의 기울기가 의도되지 않은 슬라이드 방향에 대응하는 차이 세기 값 집합의 기울기보다 큰 것이 인식된다.

구체적으로는, 도 24을 참조하면, 곡선(2400)으로 나타낸 제1 수직 차이 세기 값은 수직으로 정렬된 광 송신기[예를 들어, 광 송신기(484, 488)]에 대해 계산되고, 곡선(2402)으로 나타낸 제2 수평 차이 세기 값은 수평으로 정렬된 광 송신기[예를 들어, 광 송신기(486, 490)]에 대해 계산된다. 제1 차이 세기 값 집합의 제1 기울기는 영 교차 지점(2403)에서 계산되고, 제2 차이 세기 집합의 제2 기울기도 역시 계산된다. 제1 기울기의 계산은 영 교차 지점 이후에서 3개의 값을 취하고 이전에서 하나의 값을 취하며 이들 값 중 최대값과 최소값 사이의 차이를 계산함으로써 달성될 수 있다. 유사한 방식으로, 제2 차이 세기 값에 대응하는 제2 기울기도 역시 구해질 수 있다. 도 24의 경우에서와 같이 제1 기울기가 제2 기울기보다 큰 경우, 수직 슬라이드 제스처가 발생한 것으로 판정되는 반면, 제2 기울기가 제1 기울기보다 큰 경우, 수평 슬라이드 제스처가 발생한 것으로 판정된다.

각자의 곡선(2404, 2406)으로 표시된 수직 및 수평 평균 세기 신호 집합 둘다를 계산하는 것, 및 가장 큰 평균 값이 수직 신호 집합에 대응하는지 또는 수평 신호 집합에 대응하는지를 판정하는 것 - 가장 큰 평균 값은 의도된 제스처가 대응하는 수직 또는 수평 방향으로 발생했음을 나타냄 - 을 비롯한, 의도된 제스처가 수평 또는 수직 방향으로 발생했는지를 판정하는 다양한 다른 방식도 역시 이용될 수 있다. 다른 방법은 검출 임계값에서 광 송신기들 중 하나의 광 송신기에 대응하는 가장 큰 세기 값 - 이로부터 제스처의 시작점이 추론될 수 있음 - 을 구하는 것을 포함한다. 또 다른 방법은 수평 평균 신호와 수직 평균 신호 사이에서와 같이 플러스 피크와 마이너스 피크 사이의 차이의 크기를 검사한다.

도 25는 감지 어셈블리(400)의 광 송신기(486)와 같은 광 송신기에 대응하는 측정된 신호 집합을 나타내는 곡선(2500)의 예시적인 그래프이고, 여기서 수평 슬라이드 제스처가 V자 구성의 손 - 손가락들이 일반적인 y 방향을 가리키고 있음 - 으로 수행된다. 이 경우에, 하나 이상의 측정된 신호 집합에서 2개의 인접한 피크의 존재를 판정함으로써 손 구성이 검출될 수 있다. 이전에 기술한 바와 같이, 이들 2개의 인접한 피크의 타이밍과 [광 송신기(490)와 같은] 다른 상이한 광 송신기들 중 하나 이상의 광 송신기의 대응하는 피크의 타이밍의 비교는 슬라이드 제스처의 방향에 관한 정보를 제공한다.

도 26은 소정의 기간 동안 움직임의 일시정지이고, 예를 들어, 펴진 손과 같은 물체가 일반적으로 감지 어셈블리(400) 상에 중심을 둔 위치로부터 감지 어셈블리에 더 가까운 위치로 움직인 다음에 그곳에서 사전 정의된 기간 동안 머물러 있을 때 수행되는 허버링 제스처에 대한 광 송신기(484, 486, 488, 490)에 대응하는 측정된 신호 집합을 나타내는 곡선(2600, 2602, 2604, 2606)의 예시적인 그래프이다. 도시된 바와 같이, 곡선(2600, 2602, 2604, 2606)은 각각의 측정된 신호 집합에 대해 세기가 몇 초와 같은 소정의 시간 동안 변하지 않은 채로 있는 대응하는 평평한 부분(leveling out)에 의해 허버링 제스처를 나타낸다. 허버링 제스처와 감지 어셈블리 사이의 대응하는 거리가 상기한 바와 같이 구해질 수 있다.

도 27은 틸트 제스처에 대한 각자의 광 송신기(490, 484, 488, 486)에 대응하는 측정된 신호 집합을 나타내는 곡선(2700, 2702, 2704, 2706)의 예시적인 그래프이다. 이 경우에, 틸트 제스처는, 틸트된 좌측 배향으로부터 시작하여 모바일 장치에 일반적으로 수직인 손의 배향을 지나 회전한 다음에 틸트된 우측 배향으로 회전하는, y-축에 일반적으로 평행한 축을 중심으로 한 (감지 어셈블리 상에 위치하고 +y 방향을 가리키고 있는 손가락과 일렬로 정렬된 펴진 손 등) 물체의 회전이다. 도시된 바와 같이, 광 송신기(490)에 대응하는 세기 피크는 틸트된 좌측 배향[시간 프레임(2708)] 동안 다른 것들보다 큰 최대 크기를 가지고, 광 송신기(486)에 대응하는 세기 피크는 틸트된 좌측 배향[시간 프레임(2708)] 동안 다른 것들보다 작은 크기를 가진다. 손이 모바일 장치에 일반적으로 수직인 배향으로 움직일 때, 모든 광 송신기는 일반적으로 유사한 세기 값을 가진다[시간 프레임(2710)]. 틸트된 우측 배향[시간 프레임(2712)] 동안, 광 송신기(486)에 대응하는 세기 피크는 다른 것들보다 크고, 광 송신기(490)에 대응하는 세기 피크는 다른 것들보다 작다. 측정된 신호 집합에서 이러한 패턴을 인식함으로써, 틸트 제스처가 검출될 수 있다. 게다가, 제스처 동안 다양한 때에 손의 대략적인 배향이 결정될 수 있다.

다른 사전 정의된 제스처 또는 다른 손 구성과 관련하여, 이들 다른 제스처는, 상기한 것들과 유사한 기법을 사용하여, 즉 대응하는 측정된 신호 집합과 관련하여 식별된 특정의 패턴 또는 특징(다른 집합들 중 하나 이상의 집합에서의 세기 피크에 대한 한 집합에서의 세기 피크의 타이밍 등)을 검출함으로써, 검출될 수 있다.

2개 이상의 연속적인 제스처의 사용 및 그의 검출은 전자 장치에 대한 부가적인 제어 방법을 제공할 수 있다. 동일하거나 상이한 제스처를 포함할 수 있는 많은 상이한 연속적인 제스처 집합이 가능하고, 많은 상이한 동작이 이들 상이한 집합과 연관될 수 있다. 일반적으로, 연속적인 제스처의 검출은 상기한 것들과 동일하거나 유사한 기법을 이용한다. 주목할 점은, 연속적인 제스처가 조합 제스처와 동등한 것은 아니라는 것이다. 조합 제스처는 모든 신호 집합이 제스처 동안 언제든지 영에 가까운 것으로서 측정되지는 않을 것이다. 모든 신호 집합이 영에 가까운 것으로 측정되는 경우, 이것은 어떤 제스처도 현재 발생되고 있지 않다는 것을 나타내고, 따라서 이러한 잠잠함(lull)은 연속적인 제스처를 분리시킨다.

전자 장치의 다단계 제어를 제공하기 위해 일련의 제스처가 유리할 수 있다. 예를 들어, 항목을 찾아내기 위해 하나 이상의 제1 제스처가 수행될 수 있고 항목을 선택하거나 시작하기 위해 제2 제스처가 수행될 수 있도록 전자 장치가 동작할 수 있다. 구체적으로는, 하나 이상의 연속적인 슬라이드 제스처는, 한번에 문서 또는 파일의 일부분만이 디스플레이 화면 상에 디스플레이될 수 있을 때, 사용자가 문서 내에서 또는 복수의 파일 사이에서 스크롤할 수 있게 해줄 수 있다. 사용자가 문서의 특정의 원하는 부분 또는 원하는 파일을 찾아낼 때, 그 대응하는 부분 또는 파일을 선택하거나 시작하기 위해 허버링 제스처가 수행될 수 있다.

일련의 연속적인 제스처의 다른 일례가 도 28 내지 도 31에 나타내어져 있다. 상세하게는, 이들은 모바일 장치(2802)와 같은 전자 장치에 대해 움직이는 물체(2800)를 나타내고 있다. 모바일 장치(2802)는 도 4의 감지 어셈블리(400)와 같은 감지 어셈블리를 포함한다. 예시된 바와 같이, 도 28에 화살표(2804)로 나타낸 바와 같이 밀기 제스처가 먼저 수행될 수 있고, 이어서 도 29에 화살표(2902, 2904)로 나타낸 바와 같이, x-축에 평행한 축을 중심으로 한 물체(2800)의 회전과 같은 틸트 제스처가 올 수 있다. 그 후에, 도 30에 화살표(3000)로 나타낸 바와 같이 슬라이드 제스처가 수행될 수 있고, 그 결과 도 31에 나타낸 바와 같은 물체(2800)의 위치 및 배향이 얻어진다. 물체(2800)의 위치가 처음에 모바일 장치(2802)의 디스플레이 화면 상의 커서의 위치를 제어하기 위해 링크되어 있는 것으로 가정할 때, 이 일련의 제스처는, 예를 들어, 먼저 밀기 제스처를 사용하여 항목의 적층물 내의 특정의 항목을 식별하고, 이어서 틸트 제스처를 사용하여 식별된 항목을 선택하며, 선택된 항목을 슬라이드 제스처를 사용하여 디스플레이 화면 상의 다른 영역으로 슬라이드시키는 데 사용될 수 있다. 이들 연속적인 제스처가 각각의 기본 제스처 사이에서 물체(2800)를 제거하는 일 없이 연달아서 수행되는 경우, 이들은 하나의 조합 제스처가 될 것이다.

특정의 경우에, 물체가 감지 어셈블리에 대해 일반적으로 중앙에 있는 위치로부터 오프셋되어 있을 때 수행되는 제스처를 해석하기 위해 오프셋 해석 루틴을 사용하여 전자 장치가 제어되는 것이 유리하다. 전술한 바와 같이, 감지 어셈블리의 측면 등에 대해 오프셋 방식으로 수행되는 제스처는, 전자 장치의 디스플레이 화면이 방해받지 않는 채로 있고 오프셋 제스처가 디스플레이 화면 상의 표시자의 대응하는 움직임을 제어할 수 있다는 점에서, 유리할 수 있다.

도 32 및 도 33은 오프셋 제스처를 사용하여 전자 장치(3200)를 제어하는 방식을 설명하는 데 도움을 준다. 도시된 바와 같이, 전자 장치(3200)는 디스플레이 화면(3202) 및 감지 어셈블리(400)를 포함할 수 있다. 먼저, 전자 장치는 어떤 시점에서 손(111)과 같은 물체의 위치가 디스플레이 화면(3202) 상의 표시자(3204)(커서 등)의 대응하는 위치를 제어하도록 전술한 것과 같은 제스처 검출 루틴을 실행한다. 손(111)이 움직이지 않고 일반적으로 감지 어셈블리(400) 상에 중심을 두고 있을 때, 표시자(3204)는 대응하는 소정의 기준 위치(3206)에 배향되어 있고, 일반적으로 감지 어셈블리(400) 상에 중심을 둔 위치에 대한 손(111)의 움직임은 이어서 기준 위치(3206)에 대한 디스플레이 화면 상의 표시자(3204)의 대응하는 움직임을 제어한다. 수행되고 검출될 때, 오프셋 제스처 해석 루틴이 실행되게 하는 제1 지정된 움직임 패턴이 정의될 수 있다. 전자 장치가 오프셋 제스처 해석 루틴을 실행할 때, 이하에서 기술하는 바와 같이, 검출된 기준 오프셋 위치에 따라 디스플레이 화면 상에서 표시자(3204)를 다시 중앙에 오도록 하기 위해 가운데 맞춤(centering) 동작이 수행되고, 그에 따라 손(111)이 검출된 기준 위치에 대해 새로운 위치로 움직이는 것은 기준 위치(3206)에 대한 대응하는 새로운 위치로 디스플레이 화면 상의 표시자(3204)의 대응하는 움직임을 제어할 것이다.

예를 들어, 제1 지정된 움직임 패턴은 슬라이드 제스처와 그에 뒤이은 허버링 제스처를 포함하는 조합 제스처일 수 있다. 전자 장치가 제스처 검출 루틴을 실행하고 있는 것으로 가정할 때, 도 32에 화살표(3208)로 나타낸 바와 같이, 슬라이드 제스처를 수행하기 위해 손(111)이 움직일 때, 표시자(3204)는, 화살표(3210)로 나타낸 바와 같이, 손을 따라 움직이도록 제어된다. 손(111)이 3302로 나타낸 것과 같은 원하는 기준 오프셋 위치에 도달할 때, 허버링 제스처가 소정의 기간(1 또는 2초 등) 동안 수행될 수 있다. 전자 장치(3200)는 허버링 제스처를 식별하고 허버링 제스처 동안 손(111)의 대응하는 위치(3302)를 검출하는 동작을 한다. 식별된 슬라이드 제스처 이후에 허버링 제스처를 식별한 것에 응답하여, 표시자(3204)는 기준 위치(3206)에 대해 다시 중앙으로 온다. 디스플레이 화면 상의 기준 위치(3206)는 이제 허버링 제스처의 검출된 기준 오프셋 위치(3302)에 링크되어 있으며, 그로써 위치(3302)로부터의 손의 부가적인 움직임이 기준 지점(3206)으로부터의 표시자(3204)의 대응하는 움직임을 제어할 수 있다. 예를 들어, xy 평면에서 축(3304)을 따른 방향에서의 오프셋 슬라이드 제스처는 이어서 디스플레이 화면(3202) 상에서 평행한 축(3306)을 따라 표시자(3204)의 대응하는 움직임을 제어할 것이다. 이러한 방식으로, 오프셋 제스처 동안 상이한 때에 물체의 대응하는 위치를 결정함으로써, 디스플레이 화면 상에서의 표시자(3204)의 대응하는 순차적인 위치가 제어될 수 있다.

물체의 기준 오프셋 위치(3302)는 또한 배향 또는 틸트 성분을 포함할 수 있다. 따라서, (3차원 공간에서 기준 오프셋 위치에 대한) 상대적 위치 변화가 추적될 뿐만 아니라, (롤, 피치 또는 요 축을 중심으로 한 배향에서의 기준 오프셋 위치에 대해) 상대 배향 변화도 추적될 수 있다. 따라서, 오프셋 제스처를 사용할 때의 각도로 물체(사용자의 손 등)를 유지하고 있는 것이 더 편안한 경우, 그 각도가 기준 오프셋 위치(3302)에 포함될 수 있다. 게다가, 기울이기가 틸트 제스처로서 기능하는 반면, 가운데 재맞춤(recentering) 절차 동안 측정된 틸트로 유지되는 것은 "평탄"한 것으로 취급된다. 환언하면, 가운데 재맞춤 측정 시의 외부 물체의 위치 및 배향은 장래의 물체 추적 및 제스처 검출을 위해 사용되는 새로운 기준 위치 및 배향[x=0, y=0, z=0, 틸트=0]이다.

4개 이상의 대응하는 광 송신기 또는 광 수신기를 갖는 감지 어셈블리[감지 어셈블리(400) 등]는 오프셋 제스처를 검출하는 데 이용될 수 있다. 도 32 및 도 33의 예시된 일례에서, 감지 어셈블리(400)의 우측에서 오프셋 제스처가 수행되는 경우, 비록 가장 좌측의 광 송신기(3308)에 대응하는 측정된 신호 집합이 손(111)의 위치 또는 배향에 관련한 정보를 거의 또는 전혀 제공하지 않을 것이지만(왜냐하면 손에 의해 반사되는 방출된 광을 수신하지 않을 것이기 때문임), 3개의 다른 광 송신기는 움직임을 검출하고 오프셋 제스처 동안 시간에 따른 물체의 대응하는 위치를 결정하는 데 충분한 정보를 제공하는 발생된 측정된 신호 집합에 대응한다.

감지 어셈블리(400) 및 프로세서는 또한 오프셋 제스처가 수행되는 경우 다양한 때에 물체의 대응하는 배향을 검출할 수 있다. 예를 들어, 표시자(3204)는 비디오 게임에서의 비행기와 같은 항목일 수 있고, 디스플레이 화면 상에서의 비행기의 배향은 오프셋 방식으로 수행되는 다양한 틸트 제스처(도 27과 관련하여 이상에서 기술한 것과 유사한 방식으로 수행되고 검출될 수 있음)를 사용하여 제어될 수 있다. 따라서, 오프셋 제스처는 시간에 따른 디스플레이 화면 상에서의 표시자의 위치 및 배향을 제어하는 동작을 할 수 있다.

가운데 재맞춤 동작을 지원함으로써, 사용자는, 사용자가 전자 장치의 디스플레이 화면을 보는 것을 방해하지 않고, 전자 장치의 동작을 제어하기 위해 오프셋 제스처를 수행할 수 있다. 따라서, 감지 어셈블리에 중심을 두지 않은 기준 위치(선택적으로, 기준 배향)와 관련하여 제스처가 검출될 수 있다. 일부 구현에서, 오프셋 제스처가 디스플레이 화면의 특정 부분에 직교하는 영역을 벗어난 3차원 공간에서 수행된다. 이 구현에서, 사용자가 디스플레이를 보는 것이 제스처하는 물체에 의해 방해받지 않을 것이다.

구체적으로는, 본 발명이 본 명세서에 포함된 실시예 및 예시로 제한되지 않고 실시예의 일부분 및 이하의 특허청구범위의 범위 내에 속하는 다른 실시예의 요소들의 조합을 포함하는 그 실시예의 수정된 형태를 포함하는 것으로 보아야 한다.

Claims (19)

1. 전자 장치를 제어하는 방법으로서,
   콘텐츠를 디스플레이하는 디스플레이 화면과, 적어도 하나의 광 수신기(photoreceiver) 및 복수의 광 송신기(phototransmitter)들을 포함하는 감지 어셈블리(sensing assembly)를 상기 전자 장치의 일부로서 제공하는 단계 - 각각의 광 송신기는 대응하는 중심 전송축을 중심으로 상기 전자 장치로부터 먼쪽으로 적외선 광을 방출하도록 배치되어 있고, 각각의 중심 전송축은 다른 중심 전송축들에 대해 상이한 방향으로 배향되어 있음 -,
   외부 물체가 상기 감지 어셈블리에 대해 일반적으로 중앙에 있는 위치로부터 오프셋되어 있는 제1 지정된 움직임 패턴으로 움직일 때, 복수의 기간들의 각각의 기간 동안 상기 광 송신기들 각각에 의한 적외선 광의 방출을 제어하는 단계,
   상기 광 송신기들 각각에 대해 그리고 상기 복수의 기간들의 각각의 기간에 대해, 그 기간 동안 그 광 송신기로부터 나왔고 광 수신기에 의해 수신되기 전에 상기 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호를 발생하는 단계,
   상기 물체의 상기 제1 지정된 움직임 패턴을 식별하고 상기 물체의 상기 제1 지정된 움직임 패턴의 끝에 대응하는 기준 오프셋 위치(reference offset location)를 검출하기 위해 상기 측정된 신호들을 평가하는 단계,
   상기 제1 지정된 움직임 패턴을 식별한 것에 응답하여 가운데 맞춤 동작(centering operation)을 수행하는 단계 - 상기 가운데 맞춤 동작은 표시자를 상기 디스플레이 화면 상의 소정의 기준 위치로 이동시키고, 상기 소정의 기준 위치는 이어서 상기 기준 오프셋 위치와 연관됨 -, 및
   상기 기준 오프셋 위치에 대한 상기 물체의 추가적인 결정된 위치들에 따라 상기 디스플레이 화면 상의 상기 표시자의 순차적인 위치들을 후속하여 제어하는 단계
   를 포함하는 전자 장치 제어 방법.
2. 제1항에 있어서, 상기 후속하여 제어하는 단계는,
   일군의 기간들(a group of time periods)의 각각의 기간에 대해, 상기 감지 어셈블리에 대한 상기 물체의 대응하는 위치를 결정하기 위해 상기 측정된 신호들을 평가하는 단계, 및
   상기 대응하는 결정된 위치들에 따라 상기 디스플레이 화면 상의 상기 표시자의 순차적인 위치들을 제어하는 단계
   를 포함하는 전자 장치 제어 방법.
3. 제1항에 있어서, 상기 평가하는 단계는,
   상기 제1 지정된 움직임 패턴의 끝에서 상기 물체의 기준 배향(reference orientation)을 검출하기 위해 상기 측정된 신호들을 평가하는 단계를 더 포함하는 전자 장치 제어 방법.
4. 제3항에 있어서, 상기 후속하여 제어하는 단계는,
   상기 기준 배향에 대한 상기 물체의 차후의 배향들을 결정하는 단계를 더 포함하는 전자 장치 제어 방법.
5. 제4항에 있어서, 상기 후속하여 제어하는 단계는,
   상기 기준 배향에 대한 상기 물체의 상기 차후의 배향들에 따라 상기 디스플레이 화면 상의 상기 표시자의 배향들을 제어하는 단계를 더 포함하는 전자 장치 제어 방법.
6. 제1항에 있어서, 상기 제1 지정된 움직임 패턴은 슬라이드 제스처(slide gesture)와 그에 뒤이은 허버링 제스처(hover gesture)를 포함하는 전자 장치 제어 방법.
7. 제6항에 있어서, 상기 기준 오프셋 위치는 상기 허버링 제스처 동안 상기 물체에 대응하는 위치인 전자 장치 제어 방법.
8. 제6항에 있어서, 기준 배향은 상기 허버링 제스처 동안 상기 물체에 대응하는 배향인 전자 장치 제어 방법.
9. 제1항에 있어서, 상기 후속하여 제어하는 단계는,
   오프셋 볼륨(offset volume)에서 제2 움직임 패턴으로 된 상기 물체의 움직임을 검출하는 단계를 포함하고,
   상기 제2 움직임 패턴은 밀기/당기기 제스처, 슬라이드 제스처, 및 틸트 제스처(tilt gesture) 중 적어도 하나를 포함하는 전자 장치 제어 방법.
10. 제9항에 있어서, 상기 오프셋 볼륨은, 상기 디스플레이 화면 내의 영역에 의해 규정되고 상기 디스플레이 화면으로부터 멀어지는 법선 벡터를 따라 뻗어 있는 3차원 볼륨을 포함하지 않는 전자 장치 제어 방법.
11. 전자 장치를 제어하는 방법으로서,
    콘텐츠를 디스플레이하는 디스플레이 화면과, 적어도 하나의 광 송신기 및 복수의 광 수신기들을 포함하는 감지 어셈블리를 상기 전자 장치의 일부로서 제공하는 단계 - 상기 광 송신기는 중심 전송축을 중심으로 상기 전자 장치로부터 먼쪽으로 적외선 광을 방출하도록 배치되어 있고, 각각의 광 수신기는 대응하는 중심 수신축을 중심으로 적외선 광을 수신하도록 배치되어 있으며, 각각의 중심 수신축은 다른 중심 수신축들에 대해 상이한 방향으로 배향되어 있음 -,
    외부 물체가 제1 지정된 움직임 패턴으로 움직일 때 복수의 기간들의 각각의 기간 동안 상기 광 송신기에 의한 적외선 광의 방출을 제어하는 단계 - 상기 제1 지정된 움직임 패턴의 끝은 상기 감지 어셈블리에 대해 일반적으로 중앙에 있는 위치로부터 오프셋되어 있음 -,
    상기 복수의 광 수신기들 각각에 대해 그리고 상기 복수의 기간들의 각각의 기간에 대해, 대응하는 기간 동안 상기 광 송신기로부터 나왔고 대응하는 광 수신기에 의해 수신되기 전에 상기 외부 물체에 의해 반사되었던 각자의 적외선 광의 양을 나타내는 대응하는 측정된 신호를 발생하는 단계,
    상기 물체의 상기 제1 지정된 움직임 패턴을 식별하고 상기 제1 지정된 움직임 패턴의 끝에 대응하는 기준 오프셋 위치를 검출하기 위해 상기 측정된 신호들을 평가하는 단계,
    상기 제1 지정된 움직임 패턴을 식별한 것에 응답하여 가운데 맞춤 동작을 수행하는 단계 - 상기 가운데 맞춤 동작은 표시자를 상기 디스플레이 화면 상의 소정의 기준 위치로 이동시키고, 상기 소정의 기준 위치는 이어서 상기 기준 오프셋 위치와 연관됨 -, 및
    상기 기준 오프셋 위치에 대한 상기 물체의 추가적인 결정된 위치들에 따라 상기 디스플레이 화면 상의 상기 표시자의 순차적인 위치들을 후속하여 제어하는 단계
    를 포함하는 전자 장치 제어 방법.
12. 제11항에 있어서, 상기 후속하여 제어하는 단계는,
    일군의 기간들의 각각의 기간에 대해, 상기 감지 어셈블리에 대한 상기 물체의 대응하는 위치를 결정하기 위해 상기 측정된 신호들을 평가하는 단계, 및
    상기 대응하는 결정된 위치들에 따라 상기 디스플레이 화면 상의 상기 표시자의 순차적인 위치들을 제어하는 단계
    를 포함하는 전자 장치 제어 방법.
13. 제11항에 있어서, 상기 평가하는 단계는,
    상기 감지 어셈블리에 대한 상기 물체의 기준 배향을 결정하기 위해 상기 측정된 신호들을 평가하는 단계를 더 포함하는 전자 장치 제어 방법.
14. 제13항에 있어서, 상기 후속하여 제어하는 단계는,
    상기 기준 배향에 대한 상기 물체의 차후의 배향들에 따라 상기 디스플레이 화면 상의 상기 표시자의 배향들을 제어하는 단계를 더 포함하는 전자 장치 제어 방법.
15. 제11항에 있어서, 상기 제1 지정된 움직임 패턴은 슬라이드 제스처와 그에 뒤이은 허버링 제스처를 포함하는 전자 장치 제어 방법.
16. 제15항에 있어서, 상기 기준 오프셋 위치는 상기 허버링 제스처 동안 상기 물체에 대응하는 위치인 전자 장치 제어 방법.
17. 제11항에 있어서, 상기 후속하여 제어하는 단계는,
    오프셋 볼륨에서 제2 움직임 패턴으로 된 상기 물체의 움직임을 검출하는 단계를 포함하고,
    상기 제2 움직임 패턴은 밀기/당기기 제스처, 슬라이드 제스처, 및 틸트 제스처 중 적어도 하나를 포함하는 전자 장치 제어 방법.
18. 제17항에 있어서, 상기 오프셋 볼륨은, 상기 디스플레이 화면 내의 영역에 의해 정의되고 상기 디스플레이 화면으로부터 멀어지는 법선 벡터를 따라 뻗어 있는 제1 3차원 볼륨을 포함하지 않는 전자 장치 제어 방법.
19. 제11항에 있어서,
    제3 움직임 패턴을 검출하는 단계, 및
    상기 제3 움직임 패턴에 기초하여 상기 전자 장치를 제어하는 단계
    를 더 포함하는 전자 장치 제어 방법.
    

Images