KR102011163B1

KR102011163B1 - 광학 태블릿 스타일러스 및 실내 네비게이션 시스템

Info

Publication number: KR102011163B1
Application number: KR1020147011806A
Authority: KR
Inventors: 안드레아스 지 노와지크; 찰스 피 대커
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2011-11-02
Filing date: 2012-11-02
Publication date: 2019-08-14
Also published as: EP2590057A2; KR20140088545A; JP6129863B2; US8872800B2; WO2013067232A1; JP2015501499A; EP2590057B1; US20130106782A1; CN102999177A; EP2590057A3; CN102999177B

Abstract

광학 사용자 입력 기술은 3차원(3D) 공간에서의 고정밀도 입력을 가능하게 하기 위해 3D 입력 센서 및 3D 로케이션 에미터를 포함하되, 상기 3D 로케이션 에미터는 스타일러스이거나 혹은 다른 필기 또는 포인팅 디바이스일 수 있다. 소정의 구현예는 3D 공간 내의 로케이션에 부가하여 3D 로케이션 에미터의 배향을 전송하기 위한 배향 어셈블리를 포함할 수 있고, 또한 일부 구현예는 하나의 3D 로케이션 에미터를 다른 3D 로케이션 에미터와 구별하고 3D 로케이션 에미터로부터 3D 로케이션 센서로 다른 데이터를 전송하기 위해, 또는 3D 로케이션 센서와 관련하여 3D 로케이션 에미터에 대한 배향 정보를 제공하는 수단으로서, 3D 로케이션 에미터로부터 3D 입력 센서로의 선택적으로 식별가능한 시그널링을 사용할 수도 있다. 또한, 포지션 고정, 실내 네비게이션, 및 3D 입력 센서 및/또는 3D 로케이션 에미터를 사용하는 다른 대체 애플리케이션이 개시되어 있다.

Description

광학 태블릿 스타일러스 및 실내 네비게이션 시스템{OPTICAL TABLET STYLUS AND INDOOR NAVIGATION SYSTEM}

크고 작은 다수의 모바일 컴퓨팅 디바이스는 사용자 입력의 주요 수단으로서 종래의 키보드 대신에 터치스크린 인터페이스를 이용한다. 그러나, 통상의 터치스크린 인터페이스 단독으로는 세밀한 그림 및/또는 글씨, 예를 들어 필기체 서체, 주석, 스케치, 또는 다른 세밀하거나 비표준적인 그래픽 입력을 캡처하는 데 필요한 정밀성이 일반적으로 부족하다. 보다 선명한 고성능의 사용자 입력을 가능하게 하기 위해, 이러한 모바일 컴퓨팅 디바이스에 대한 터치스크린 인터페이스의 정밀성을 개선하는 데 스타일러스(또는 다른 필기형(writing-type) 디바이스)가 이용될 수 있다. 스타일러스는 저항식(resistive) 터치스크린 인터페이스, 정전식(electrostatic)(또는 용량식(capacitive)) 터치스크린 인터페이스, 또는 전자기식 터치스크린 인터페이스에 쉽게 사용될 수 있다.

그러나, 단독으로 사용되거나 스타일러스와 조합해서 사용되는 현재의 터치스크린 인터페이스는 3차원(3D) 사용자 입력을 가능하게 하는 능력이 부족하다. 따라서, 종래의 터치스크린은, 다수의 다른 잠재적 활용들 중에서, 3D 비디오 게임의 플레이, 3D CAD(computer aided design) 프로그램의 사용, 다른 3D 사용자 인터페이스의 보완, 또는 MRI 및 CAT 스캔으로부터 얻어진 의학 영상과 같은 용적 영상(volumetric images)의 조작을 위한 3D 상호작용을 지원할 수 없다. 게다가, 기존의 2차원(2D) 터치스크린 사용자 인터페이스는 위치 고정적인 실내(indoor) 네비게이션과 같은 보완형의 모바일 디바이스 애플리케이션의 제공을 위한 보다 폭넓은 활용을 지원할 수 없는 기술을 이용하고 있다.

본 명세서에 개시된 다양한 구현예는 3D 공간에서 고정밀도의 사용자 입력을 가능하게 하는 하나 이상의 3D 로케이션 에미터(location emitters) 및 하나 이상의 3D 포지션 센서(position sensors)를 포함하는 광학 사용자 입력 기술에 관한 것이다. 다수의 구현예에 있어서, 3D 입력 센서는 모바일 컴퓨팅 디바이스의 2D 또는 3D 슬레이트 타입(slate-type)의 디스플레이 디바이스("슬레이트")와 같은 특정한 입력/출력 평면에 대하여 배향될 수 있다. 이들 구현예는 또한, 소정의 구현예에서 스타일러스 또는 다른 필기형 디바이스 또는 포인팅 디바이스 상에 배치될 수 있는 하나 이상의 3D 로케이션 에미터의 사용을 포함할 수 있다. 이에 의해, 그러한 구현예는, 하나의 3D 로케이션 에미터를 다른 3D 로케이션 에미터와 구별하기 위해 3D 로케이션 에미터로부터 3D 포지션 센서로의 선택적으로 식별가능한(예를 들어, 비교적 고유의) 시그널링을 사용하여, 3D 공간 내에서 3D 로케이션 에미터의 위치 및 배향 둘 다를 판정할 수 있다. 게다가, 이 디지털 시그널링은, 3D 로케이션 에미터로부터 3D 포지션 센서로, 그 3D 로케이션 에미터의 공지된 로케이션을 포함해서 추가적인 데이터를 전송하는 데 사용될 수도 있다.

또한, 본 명세서에 개시된 다수의 구현예는 하나 이상의 3D 포지션 센서와 함께 하나 이상의 3D 로케이션 에미터를 이용하는 사용자 입력 디바이스에 관한 것이다. 소정의 이러한 구현예는 또한 디스플레이 디바이스의 원래 제조 후에 일정 시점에서 그 디스플레이 디바이스에 추가될 수 있는 사용자 입력 디바이스에 관한 것이다. 또한, 본 명세서에 개시된 다양한 구현예는 하나 이상의 3D 입력 센서, 하나 이상의 3D 로케이션 에미터, 및/또는 다른 보완형의 디바이스 구성요소들뿐만 아니라 그 밖의 다른 유사한 기능의 다른 모바일 컴퓨팅 디바이스들 사이의 상호작용을 이용할 수 있는 다른 보완형의 애플리케이션 및 실내 네비게이션에 관한 것이다.

이 개요는 이하 상세한 설명에서 추가로 설명되는 개념들의 선택을 단순화된 형태로 도입하기 위해 제공된다. 이 개요는 청구대상의 주요한 특징들 또는 필수적인 특징들을 확인하기 위한 것도 아니며, 청구대상의 범위를 제한하기 위해 사용되는 것도 아니다.

본 개시내용 및 다양한 구현예를 설명하고 이에 대한 이해를 쉽게 하기 위해, 예시적인 특징부 및 구현예가 개시되고, 이는 첨부 도면과 함께 판독될 때에 보다 잘 이해되지만, 본 개시내용은 개시된 수단, 정밀한 구성 및 특정한 방법으로 제한되는 것이 아님을 이해한다. 동일한 참조문자는 여러 도면에 걸쳐 동일한 요소를 표시한다.
도 1은 본 명세서에 개시된 다수의 구현예가 이용될 수 있는 예시적인 네트워크 컴퓨터 환경을 도시한다.
도 2는 본 명세서에 개시된 다수의 구현예를 나타내는 광학 3D 추적 시스템을 이용하는 예시적인 컴퓨팅 디바이스를 도시한다.
도 3(a)는 본 명세서에 개시된 다수의 구현예를 나타내는 광학 3D 추적 시스템에서 사용될 수 있는 예시적인 포지션 감지 다이오드(PSD; position sensitive diode)의 동작을 도시하는 투시 뷰의 하이브리드 블록 및 전기 도면이다.
도 3(b)는 도 3(a)에 대한 사이드 뷰의 하이브리드 블록 및 전기 도면이다.
도 4(a)는 본 명세서에 개시된 다수의 구현예를 나타내는 광학 3D 추적 시스템을 포함하는 예시적인 모바일 컴퓨팅 디바이스의 투시도이다.
도 4(b)는 도 4(a)에 도시된 예시적인 모바일 컴퓨팅 디바이스의 측면도이다.
도 5는 본 명세서에 개시된 다수의 구현예를 나타내는 실내 네비게이션을 위한 PSD 센서 및 고정형의 IR-LED 비콘의 예시적 사용을 나타낸다.
도 6은 본 명세서에 개시된 다수의 구현예를 나타내는 실내 네비게이션을 위한 PSD 센서 및 동적 비콘의 예시적 사용을 나타낸다.
도 7(a)는 본 명세서에 개시된 다수의 구현예에 이용되는 터치형 입력 디바이스의 로케이션 및 배향을 결정하기 위한 예시적 프로세스를 설명하는 프로세스 흐름도이다.
도 7(b)는 본 명세서에 개시된 다수의 구현예를 나타내는 모바일 컴퓨팅 디바이스 비콘 네비게이션(즉, 비콘을 이용하여 로케이션을 결정함)을 위한 예시적 프로세스를 설명하는 프로세스 흐름도이다.
도 7(c)는 본 명세서에 개시된 다수의 구현예를 나타내는 모바일 컴퓨팅 디바이스 레이저 포지셔닝(즉, 관련 로컬 네비게이션/로케이션 정보를 도출함)을 위한 예시적 프로세스를 설명하는 프로세스 흐름도이다.
도 8은 예시적인 컴퓨팅 환경을 나타낸다.

도 1은 본 명세서에 개시된 다수의 구현예가 이용될 수 있는 예시적인 네트워크 컴퓨터 환경(100)을 도시한다. 네트워크 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호 연결된 복수의 컴퓨팅 디바이스를 포함한다. 하나 이상의 네트워크(180)는 특정한 컴퓨팅 디바이스가 다른 컴퓨팅 디바이스와 연결되며 통신할 수 있도록 해준다. 도시된 컴퓨팅 디바이스는 모바일 디바이스(110, 120, 140), 랩탑 컴퓨터(130), 및 애플리케이션 서버(150)를 포함한다.

일부 구현예에서, 컴퓨팅 디바이스는 도 8에 도시된 컴퓨팅 디바이스(800)와 같이 네트워크(180)와 직접적으로 또는 간접적으로 인터페이싱할 수 있는 데스크탑 PC, 워크스테이션, 랩탑, 넷탑, 태블릿 컴퓨터, PDA, 핸드폰, 스마트폰, 혹은 임의의 WAP 가능한 디바이스 또는 임의의 다른 컴퓨팅 디바이스를 포함할 수 있다. 각 컴퓨팅 디바이스는, 컴퓨팅 디바이스의 사용자로 하여금 서버(150)에서 자신이 이용할 수 있는 정보에 액세스할 수 있게 하거나 정보를 서버(150)에 제공할 수 있게 하면서, 핸드폰, 태블릿 컴퓨터, PDA, 또는 다른 무선 디바이스 등의 경우에 HTTP 클라이언트(예를 들어, 웹 브라우징 프로그램) 또는 WAP 가능한 브라우저를 구동할 수 있다. 다른 애플리케이션은 예를 들어 서버(150)로 정보를 제공하거나 액세스하기 위해 컴퓨팅 디바이스에 의해 사용될 수도 있다. 일부 구현예에서, 서버(150)는 도 8에 도시된 컴퓨팅 디바이스(800)와 같은 하나 이상의 범용 컴퓨팅 시스템을 사용하여 구현될 수 있다. 비록 단지 하나의 서버(150)가 도시되지만, 이는 제한적인 것으로 의미되지 않으며, 다수의 서버가 구현될 수 있다.

일부 구현예에서, 컴퓨팅 디바이스는 도시되지 않은 다른 컴퓨팅 디바이스를 포함할 수 있다. 일부 구현예에서, 컴퓨팅 디바이스는 도 1에 도시된 다수의 컴퓨팅 디바이스보다 많이 또는 보다 적게 포함할 수 있다. 하나 이상의 네트워크(180)는 엔터프라이즈 비밀 네트워크와 같은 안전한 네트워크, 무선 오픈 네트워크와 같은 안전하지 못한 네트워크, LAN, WAN 및 인터넷을 포함할 수 있다. 하나 이상의 네트워크 중 각 네트워크는 허브, 브리지, 라우터, 스위치, 및 유선 네트워크 또는 다이렉트 유선(direct-wired) 접속과 같은 유선 전송 매체를 포함할 수 있다.

애플리케이션 서버(150)와 같은 서버는 클라이언트가 서버로부터 정보(예를 들어, 텍스트, 오디오, 이미지, 및 비디오 파일)를 다운로드하게 하거나 또는 서버 상에 저장된 특정 정보에 관한 검색 질의를 수행하게 할 수 있다. 일반적으로, "서버"는 클라이언트-서버 관계에서 호스트로서 동작하는 하드웨어 디바이스, 또는 하나 이상의 클라이언트에 대한 작업을 수행하거나 리소스를 공유하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트-서버 관계에 있어서 컴퓨팅 디바이스들 간의 통신은, 특정한 리소스에 대한 액세스 또는 수행되어야 할 특정한 작업을 찾고 있는 서버로 요청을 전송하는 클라이언트에 의해 개시될 수 있다. 서버는 후속해서 요청되는 동작을 수행하고 클라이언트로 다시 응답을 전송할 수 있다.

네트워크 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스를 위한 클라우드 컴퓨팅 환경을 제공할 수 있다. 클라우드 컴퓨팅은 공유되는 리소스, 소프트웨어, 및/또는 정보가 인터넷(또는 다른 글로벌 네트워크)을 거쳐 요구시에 하나 이상의 컴퓨팅 디바이스에 제공되는 인터넷 기반의 컴퓨팅을 말한다. "클라우드"란, 그것이 나타내는 근본적인 인프라스트럭처의 추상적 개념으로서 인터넷을 묘사하기 위해 컴퓨터 네트워크 도면에서 사용되는 클라우드 그림에 기초하여, 인터넷에 대한 비유로서 사용된다.

모바일 디바이스(140)의 하나의 구현예는 터치 기반의 입력 시스템(148)(여기서는 스타일러스 시스템으로 도시됨), 디스플레이(149), 네트워크 인터페이스(145), 프로세서(146), 메모리(147)를 포함하고, 이들 모두는 서로 통신하고 있다. 디스플레이(149)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(149)는 터치스크린 사용자 인터페이스를 포함할 수 있다. 터치 기반의 입력 시스템(148)은 디스플레이(149)의 표면에 관하여 스타일러스(141)와 같은 터치 기반의 입력 디바이스의 위치 및 배향을 판정할 수 있다. 네트워크 인터페이스(145)는 모바일 디바이스(140)가 하나 이상의 네트워크(180)에 접속할 수 있게 하게 한다. 네트워크 인터페이스(145)는 유선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 본 명세서에서 논의되는 프로세스들을 수행하기 위해 모바일 디바이스(140)로 하여금 메모리(147)에 저장된 컴퓨터 판독가능 인스트럭션을 실행하도록 하게 한다.

터치형 입력 디바이스는 비디스플레이(non-displaying) 표면 상의 디지타이저(dizitizers)로서 사용하기 위해 원래 개발되었지만, 후속해서는 사용자가 디스플레이 디바이스 상에 디스플레이되는 출력과 (마우스, 키보드, 또는 유사한 입력 디바이스를 사용하여 간접적으로가 아니라) 직접적으로 상호동작할 수 있도록 하기 위해 전문화된 디스플레이 디바이스에 이용되도록 구성되었다. 가장 일반적인 터치형 입력 디바이스는 손가락, 스타일러스, 또는 필기 도구이며, 본 명세서에서 사용되는 용어 "스타일러스"는 제한 없이 광범위한 터치형 입력 디바이스를 아우르기 위한 것이다. 포지션 분해능(position resolution), 정밀도, 및 속도를 달성하기 위해, 터치형 입력 디바이스(또는 본 명세서에서 사용되는 바와 같이 "스타일러스 시스템")는 일반적으로 저항식, 정전식, 또는 전자기식 터치스크린을 갖는 디스플레이 디바이스를 포함한다.

저항식 터치스크린은 스타일러스와 터치스크린 사이에서 발생하는 저항의 변화를 검출하고, 그에 따라 스타일러스가 터치스크린의 표면과 접촉하게 되는 위치를 감지하는 것이다. 저항식 터치스크린 패널은 좁은 갭에 의해 분리된 얇고 유연한 한 쌍의 층을 덮어씌운 고체이지만 유연한 표면(예를 들어, 출력 디스플레이)을 포함한다. 이들 2개의 층은 표면 바로 아래의 정확한 위치에 대응하는 교차 지점을 형성하기 위해 전기적으로 도전성의 수평선 및 수직선을 각각 포함한다. 터치형 입력 디바이스(예를 들어, 스타일러스)가 터치스크린 화면 상의 지점에 압력을 가하면(즉, 누르면), 전기적으로 도전성의 2개의 층은 이 터치 지점 아래에서 접촉되고 그에 따라 터치의 위치를 결정할 수 있게 된다.

정전식(또는 "용량식") 터치스크린은 전기적으로 도전성의 터치형 입력 디바이스와 터치스크린 사이에서 발생하는 캐패시턴스의 변화를 검출하는 것이다. 정전식 터치스크린은 터치형 입력 디바이스가 터치스크린의 표면과 어디서 접촉이 이루어졌는지(또는 매우 가까이 다가왔는지)를 감지한다. 통상, 정전식 터치스크린은 터치형 입력 디바이스를 감지하기 위해 디스플레이의 앞쪽에 제공된 전기적으로 도전성의 투명한 트레이스들 사이의 용량성 결합을 사용한다.

그러나, 전자기식 터치스크린은 오늘날 가장 일반적으로 사용되는 터치스크린이며, 디스플레이 패널의 바로 뒤쪽에 형성된 2차원(2D) 센서 어레이를 사용하여 종종 구현된다. 2D 센서 어레이를 형성하는 메쉬(mesh)의 수평 및 수직 와이어 루프들(wire loops)은, 센서 어레이에서 순차적으로 활성화되는 루프와 스타일러스에 위치한 공진 인덕터/캐패시터(LC) 회로와의 사이의 전자기 결합을 통해, 터치형 입력 디바이스, 특히, 특별한 스타일러스의 위치를 결정하는 데 사용된다. 게다가, 와이어 루프들의 물리적 간격(때때로 "루프 안테나 어레이"라고 불림)은 임의의 단일 와이어 루프가 포지셔닝을 위한 적절한 분해능을 단독으로 제공하는 것을 방해하는 반면에, 와이어 루프들은 안정된 기준 측정을 스타일러스에 제공하며, 이에 의해 다음에 스타일러스가 초당 133 샘플의 업데이트 레이트로 X 및 Y 방향 둘다에서 0.1mm 정확도로 실제 위치를 보간하는 데 사용될 수 있다.

그러나, 전자기식 터치스크린의 하나의 단점은 (와이어 루프를 포함하는) 2D 센서 어레이가 터치스크린에 직접 형성되어야 한다는 것이고, 그에 따라 표준 디스플레이 디바이스에 나중에 추가될 수 없다. 표준 디스플레이는 저항식 및 정전식 터치스크린으로 변환하기도 어렵다. 게다가, 이들 디바이스의 어떤 것도 풀(full) 3D 입력을 지원하지 않으며 2D 입력 이용에 상당히 제한적이다.

이에 반해, 본 명세서 개시된 다양한 구현예는 광학 사용자 입력 기술에 기초한 근본적으로 상이한 방안을 사용한다. 보다 구체적으로, 본 명세서에 개시된 다양한 구현예는 3D 공간에서의 입력을 터치형 입력 디바이스로부터 수신하기 위해 2D 또는 3D 디스플레이 디바이스와 협력하여 구동하는 광학 3D 추적 시스템에 관한 것이다. 이들 다양한 구현예에 있어서, 터치형 입력 디바이스(예를 들어, 스타일러스)의 위치는 디스플레이 디바이스 앞쪽의 대용량의 공간을 커버하는 3D 포지션 센서 시스템을 이용하여 검출된다. 다수의 이러한 구현예에 있어서, 3D 포지션 센서 시스템은 (a) 검출된 스타일러스의 3D 로케이션 및 배향을 도출하기 위해 공지된 상대적 포지션들로부터 함께 동작하는 둘 이상의 2D 포지션 센서와, (b) 하나 이상의 포지션 에미터를 갖는 적어도 하나의 3D 로케이션 에미터를 포함할 수 있다. 소정의 이러한 구현예에 있어서, 2D 포지션 센서는 PSD(position sensitive diodes)을 포함할 수 있고, 포지션 에미터는 하나 이상의 적외선 발광 다이오드(IR-LED)를 포함할 수 있다.

다수의 구현예에 있어서, 광학 사용자 입력 기술은 하나 이상의 3D 포지션 센서 및 하나 이상의 3D 로케이션 에미터를 포함한다. 마찬가지로, 다수의 이러한 구현예에 사용되는 터치 기반의 입력 디바이스(예를 들어 스타일러스)는 로케이션 결정 및 배향 결정의 양쪽을 허용하도록 셋 이상의 IR-LED를 가지며, 스타일러스에 내장된 3D 로케이션 에미터를 포함할 수 있다.

소정의 구현예에서, 광학 3D 추적 시스템은 3D 모드에서 동작하는 경우 및 심지어 2D 모드에서 동작하는 경우 둘 다에서 특정 배향(배향의 변경을 포함함)에 기초하여 적어도 하나의 추가 사용자 입력을 제공하기 위해, 즉 디스플레이 디바이스와의 보다 풍부한 상호작용(즉, "터치" 이상의 것)을 가능하게 하기 위해, (스타일러스의 포지션에 추가하여) 스타일러스의 자세(attitude)(또는 배향)를 캡처할 수도 있다. 예컨대, 스타일러스를 회전시키는 것은 그래픽 애플리케이션에서 페인트 붓 배향의 제어를 제공할 수 있거나, 또는 그래픽 기반의 글쓰기 또는 그리기 애플리케이션에서 사용될 때 서예 펜의 날카로운 두께의 특성을 모방하도록 선 두께의 직접적인 제어를 제공할 수 있다.

도 2는 본 명세서에 개시된 다수의 구현예를 나타내는 광학 3D 추적 시스템을 이용하는, 도 1의 모바일 컴퓨팅 디바이스와 같은 예시적인 컴퓨팅 디바이스(200)를 묘사한다. 컴퓨팅 디바이스(200)는 모바일이거나 비-모바일(non-mobile)일 수 있으며, 본 명세서에 개시된 기술은 모바일 컴퓨팅 디바이스 및 비-모바일 컴퓨팅 디바이스의 양쪽에 적용될 수 있다. 컴퓨팅 디바이스(200)는 디스플레이 디바이스(210) 및 물리적 제어 버튼(222)을 포함한다. 소정의 구현예에 있어서, 디스플레이 디바이스(210)는 터치스크린을 포함하는 반면에, 다른 구현예에서 디스플레이 디바이스는 비-디스플레이(non-display) 표면으로 교체될 수 있다. 디스플레이 디바이스(210)는 컴퓨팅 디바이스(200)와 연관된 신호 세기, 시간, 배터리에 관한 정보를 제공하는 상태 영역(212)을 포함한다.

스타일러스(250)와 같은 터치형 입력 디바이스는 스타일러스 팁(252)으로 디스플레이 디바이스(210)를 직접 터치함으로써 또는 디스플레이 디바이스(210)의 표면 위에 스타일러스(250)를 위치시킴으로써 컴퓨팅 디바이스(200)에 입력 정보를 제공하는 데 이용될 수 있다. 예시적인 컴퓨팅 디바이스(200)는 둘 이상의 2D 포지션 센서(260, 262)를 더 포함할 수 있다. 소정의 구현예에 있어서, 각각의 2D 포지션 센서(260, 262)는 예를 들어 디스플레이 디바이스(210) 위의(또는 넘어의) 3D 공간의 120도 반원뿔형(semi-conic) 체적을 제공하기 위해 광각 렌즈의 초점면에 위치된 PSD를 더 포함할 수 있고, 이에 따라 각 PSD의 체적은 디스플레이 디바이스 위의 3D 공간에 상당히 오버랩된다. 마찬가지로, 이러한 구현예에 있어서의 스타일러스(250)는 포지션 에미터(270)를 다같이 구성하는 하나 이상의 IR-LED(272)를 포함할 수 있다.

PSD는 IR-LED로부터, 예를 들어 고정적이며 사전 결정된 구성으로 스타일러스에 장착된 IR-LED로부터 또는 정지형이거나 동적인 기준 비콘(reference beacons)(본 명세서에서 추후에 논의됨)으로서 사용되는 IR-LED로부터, 방출되는 광의 입사각을 감지할 수 있다. (컴퓨팅 디바이스에 공지된) IR-LED의 구성을 특징으로 하는 스타일러스에 관하여, 각 IR-LED의 상대적 포지션은 광이 적어도 2개의 PSD 센서로부터 관찰될 때에 삼각 측량(triangulation)을 통해 판정될 수 있다. 게다가, 스타일러스 상의 임의의 쌍의 IR-LED의 상대적 위치가 컴퓨팅 디바이스에 공지되어 있기 때문에, 스타일러스 본체 상의 임의의 3개 이상의 IR-LED의 포지션을 측정하는 것은, 입력을 위한 공간의 특정 지점을 정의하는 스타일러스 팁을 포함해서 스타일러스 그 자체의 포지션 및 배향 모두를 계산할 수 있게 한다. 일부 IR-LED 에미터가 임의의 주어진 시간에 (예를 들어, 스타일러스를 쥐고 있는 사용자의 손가락에 의해) 가려질 수 있기 때문에, 다수의 스타일러스 구현예는 적어도 3개의 IR-LED가 가려지지 않고 임의의 주어진 시간에 PSD 센서에 의해 관찰될 수 있는 확률을 높이기 위해 3개 이상의 IR-LED를 사용할 수 있다.

PSD는 전류가 측정될 수 있는 정밀도에 의해서만 제한되는 매우 우수한 분해능을 갖는 아날로그 디바이스이다. 이와 같이, PSD 센서는 대락 1,000,000에서 1 파트의 입증된 분해능을 갖는다. 또한, PSD는 측정된 광이 완벽하게 초점이 맞추어지는 것을 요구하지 않으며, 대신에 PSD는 에미터로부터의 광이 감지 표면의 경계 내에 완벽히 들어가는 것만을 요구한다. 게다가, PSD는 초당 10,000 샘플을 초과하여 포지션 획득을 가능하게 할 만큼 고속이다. 또한, PSD는 비용면에서 효율적으로 대량으로 생산될 수 있는 상당히 단순한 디바이스이다. 본 명세서에서 설명되는 다수의 구현예에 있어서, PSD 센서는 예를 들어 IR-LED 신호를 검출하기 위한 120도 원뿔형 체적의 3D 공간을 제공하기 위해 광각 렌즈의 초점면에 위치될 수 있다.

도 3(a)는 본 명세서에 개시된 다수의 구현예를 나타내는 광학 3D 추적 시스템에 사용될 수 있는 예시적인 PSD(300)의 동작을 도시하는 투시 뷰의 하이브리드 블록 및 전기 도면이고, 도 3(b)는 도 3(a)의 사이드 뷰의 하이브리드 블록 및 전기 도면이다. 도면들에서, PSD(여기서는 노르웨이의 OSI Optoelectronics AS에 의해 개발된 것과 같은 선형 PSD로서 도시됨)는 심하게 도프된 p-형 반도체 "캐소드"(312)(포지티브에 대해 "P"로 주석이 붙여짐), 넓게 약하게 도프된 거의 진성의 반도체("진성 영역")(314)(진성에 대해 "I"로 주석이 붙여짐), 및 심하게 도프된 n-형 반도체 "애노드"(316)(네거티브에 대하 "N"으로 주석이 붙여짐)가 특징인 실리콘 광검출기 PIN 다이오드("포토다이오드")(310)를 포함한다. 캐소드(312) 및 애노드(316) 각각은 도시된 바와 같이 포토다이오드(310)의 마주보는 면들을 커버하는 2개의 컨택트(312a, 312b 및 316a, 316b)를 개별적으로 갖는다. 이러한 구성에서, 4개의 컨택트(312a, 312b, 316a, 316b) 사이의 특정 저항(또는 광전류(photocurrent)의 비율)은, 캐소드(312)로부터 애노드(316)로의 전기 흐름(318)을 야기하는 포토다이오드(310)의 표면(310') 상에 초점이 맞추어져 분배되는 광(330)의 포지션에 기초하여 변하고, 예를 들어 옴미터(340)의 구성에 의해 측정될 수 있다. 옴미터(340)의 구성 중에서 분배된 광전류의 비율을 측정함으로써, 센서 표면 상에서 광 스폿(light spot)의 중심을 결정할 수 있다.

본 명세서에 개시된 일부 구현예는 광 방출시에 하나의 IR-LED를 가짐으로써 PSD 센서가 각 IR-LED 에미터의 포지션을 순차적으로 획득할 수 있게 하는 방안을 채택할 수 있다. 그러나, 다수의 다른 구현예는, 예컨대, 다수의 IR-LED 에미터의 포지션을 동시에 감지하기 위해 직접 시퀀스 확산 스펙트럼 신호(direct sequence spread specturm signals)에 기초하며, 각 IR-LED의 디지털 신호가 (극도로 선형인 디바이스로 알려진) PSD 센서에 의해 서로 인식될 수 있도록 하는 고유하게 식별가능한 상이한 인코딩 시퀀스를 각각 이용하여 모든 IR-LED가 광을 동시에 방출하는 다른 방안을 이용할 수 있다. 또한, PSD 센서의 이러한 형태의 확산 스펙트럼 검출은 상기 센서에 도달하는 임의의 주변(ambient) IR 광을 (그것은 고유하게 식별가능한 인코딩 품질이 부족할 것이기 때문에) 걸러 내는 이점을 제공한다. 게다가, 다수의 이러한 구현예에 있어서의 PSD 센서는 비-IR 광이 포토다이오드에 도달하지 못하도록 하는 필터를 포함할 수 있다.

이상을 감안해서, 본 명세서에 개시된 소정의 구현예는 모바일 컴퓨팅 디바이스를 위한 3D 터치형 입력 시스템에 관한 것으로, 상기 시스템은 적어도 (a) 3개의 식별가능한 IR 신호를 방출하는 터치형 입력 디바이스에 고정적으로 결합된 제1의 공지된 구성에 있어서의 3개의 IR 로케이션 에미터와; (b) 3개의 IR 로케이션 에미터로부터 방출된 3개의 식별가능한 IR 신호를 감지하는 제2의 공지된 구성에 있어서의 모바일 컴퓨팅 디바이스에 고정적으로 결합된 2개의 포지션 센서 - 상기 감지는 3개의 식별가능한 IR 신호에 기초하여 2개의 포지션 센서의 각각에 관련된 3개의 IR 로케이션 에미터의 각각에 대한 2개의 2D 방향(IR 로케이션 에미터마다 2개씩, 전부 6개의 2D 방향)을 결정하는 것을 포함함 - 와; (c) (예를 들어, 6개의) 2D 방향, 제1의 공지된 구성, 및 제2의 공지된 구성을 사용하여 모바일 컴퓨팅 디바이스에 관련된 터치형 입력 디바이스의 포지션 및 배향을 판정하는 프로세서를 포함한다.

도 4(a)는 본 명세서에서 설명된 다수의 구현예를 나타내는 광학 3D 추적 시스템(400)을 포함하는 예시적인 모바일 컴퓨팅 디바이스의 투시도이다. 도 4(b)는 도 4(a)에 도시된 예시적인 모바일 컴퓨팅 디바이스의 측면도이다. 이들 도면에서, 슬레이트(410) 형태의 디스플레이 디바이스는 포인팅/기록(pointing/writing) 디바이스, 여기서는 슬레이트(410)와 협력하여 이용되는 스타일러스(420)(및 이것의 팁(420') 상에 탑재된 복수의 IR-LED(422)로부터 확산 스펙트럼 신호(424)(파선을 사용하여 도 4(a)에서 표시됨)를 수신하도록 구성된 2개의 PSD 센서(412, 414)를 포함한다.

도시된 바와 같이, PSD 센서(412, 414)는 슬레이트(예를 들어, 태블릿 컴퓨터의 디스플레이 디바이스)의 2개의 모서리 부근에 탑재될 수 있다. 게다가, 도 4(b)에 도시된 바와 같이, PSD 센서(412)와 같은 각 PSD 센서의 광각 렌즈는 시야(430)(여기서는 120도의 각도를 이루는 파선으로 표시됨)가 슬레이트(410)의 표면 앞쪽의 공간(432)의 3D 체적을 커버하도록 포지셔닝될 수 있다.

다수의 이러한 구현예에 있어서, IR-LED(422)에 의해 방출되고 PSD 센서(412, 414)에 의해 수신되는 확산 스펙트럼 디지털 신호(424)는 각 IR-LED(422)의 상대각(relative angle)을 시야(430) 내에서(즉, 방해받지 않고 검출됨) 결정하는 하나 이상의 디지털 신호 프로세서(DSP)(도시되지 않음)에 의해 처리될 수 있다. 이 정보는 각 IR-LED의 포지션을 삼각형으로 만드는 데 사용되며, 임의의 주어진 순간에 적어도 3개의 이러한 IR-LED(422)의 상대적 로케이션에 기초하여, 스타일러스(420) 및 그 팁(420')의 로케이션 및 배향이 결정될 수 있다. 즉, 스타일러스의 포지션 및 배향은 스타일러스의 기하학 구조에 관한 그것들의 공지된 구성에 기초해 감지된 에미터 포지션에 근거하여 계산될 수 있다. 광학 3D 추적 시스템(400)은 예를 들어 스타일러스(420)(또는 다른 터치형 입력 디바이스)로부터의 입력을 정확하게 검출하기에 충분한 분해능 및 정밀도를 제공한다.

사실상, 2개의 PSD 센서(412, 414)는, 3개의 IR-LED(422) - 각 PSD 센서(412, 414)로부터 각 IR-LED(422)로의 방향을 차례로 정의하고 그에 따라 이 특정한 예에 있어서는 6개의 방향 전체를 정의하는 신호들(424)의 수평각 및 수직각으로서 측정됨 - 를 감지함에 있어서 관점의 근소한 차이가 디스플레이 디바이스(또는 플레이트)의 정의된 평면에 대해 IR-LED(422)의 로케이션 및 배향의 기하학적 결정을 가능하게 할 수 있는 스테레오비전(stereovision)에 견줄만한 것을 슬레이트(410)에 제공한다.

일부 구현예에서, 종래의 PSD 기반의 포지션 센서는 각 IR-LED가 연속적으로 켜지고, PSD가 IR-LED 어레이에 대한 주기를 순서대로 계속 반복하여 각 IR-LED의 포지션을 한번에 하나씩 결정하도록 각 광 에미터로의 방향을 순차적으로 획득하는 데 사용될 수 있다. 그러나, 다수의 다른 구현예에 있어서 어레이에서의 둘 이상의 IR-LED는 동시에 방출할 수 있고, 각 IR-LED가 자신의 식별가능한 패턴을 방출할 수 있게 하는, 즉 각 IR-LED가 비교적 고유의 패턴을 방출하는 시퀀서를 이용할 수 있다. 예컨대, 250Kb/초의 레이트를 실행하는 각 IR-LED에 512비트 의사 랜덤 비트 시퀀스가 할당될 수 있다. 이는, 차례로, 선형 PSD 센서가 함께 방출하는(co-emitting) IR-LED로부터 혼합 신호를 수신하고 그 후에 직접 시퀀스 확산 스펙트럼 송신의 맥락에서 IR-LED 어레이로부터 수신하는 처리 이득(processing gain)에 기초하여 각 에미터로부터 비교적 고유의 신호를 격리하는 것을 허용한다. 따라서, 이러한 구현예는 각 에미터를 (시간 순서대로가 아니라) 동시에 추적하면서 비상관(uncorrelated) 신호에 비교적 영향을 받지 않는다고 하는 이점을 갖는 확산 스펙트럼 방안을 포함한다.

다수의 구현예에 있어서, IR-LED(또는 "IR-LED 어레이")의 구성은 배터리로 작동될 수 있다. IR-LED의 구성에 스타일러스를 이용하고 그 스타일러스(즉, IR-LED)가 배터리로 구동되는 다양한 구현예에 있어서, 이러한 구현예는 스타일러스가 언제 이용되고 있는지를 검출할 수 있고 또한 스타일러스가 예를 들어 저전력 모드에 진입하고 IR-LED를 턴오프함으로써 이용되고 있지 않을 때에 배터리 전력을 아낄 수 있는 터치 센서와 같은 사용 검출 수단을 더 포함할 수 있다.

스타일러스가 IR-LED를 위한 배터리를 사용할 수 있는 경우, 전체 요구되는 전력은 광학 마우스의 전력보다 낮아질 것으로 예상되고 그에 따라 긴 배터리 수명에 대한 가능성을 표시한다. 실제로, 광학 마우스와는 달리 예컨대, IR-LED 방출은 미공지된 알베도(albedo)를 갖는 표면으로부터 반사될 필요가 없지만, 대응하는 PSD 센서에 의해 직접 수신되도록 의도된다. 따라서, 다수의 이러한 구현예에 있어서, 수집되었을 때의 방출된 광이 허용 개구(acceptable aperture)를 갖는(예를 들어, 적어도 한 방향에서 120도 최소 개구를 갖는) PSD 센서를 사용하는 경우 IR-LED 출력 전력은 매우 낮아질 수 있다. 이는, 차례로, 부적절하게 주변 객체들(예를 들어 IR-LED가 배치된 스타일러스를 쥐고 있는 사용자의 손가락)을 조명함으로써 PSD 센서 성능을 떨어뜨려서 PSD 센서에 의해 검출되고 있는 거짓(false) 신호를 야기할 수 있는 IR-LED로부터의 과도한 광 방출에 대한 요구를 방지한다.

또한, 소정의 구현예는 버튼 누름 이벤트, 코드 휠 또는 선형 슬라이더의 포지션, 팁 표면 접점 압력 데이터, 배터리 상태 등과 같은 추가적인 정보를 전송하는 데 사용될 수 있는 슬레이트(예를 들어, 태블릿 컴퓨터)에 낮은 레이트의 무선 디지털 통신 채널을 갖는 스타일러스를 제공하기 위해 IR-LED의 방출된 광을 변조할 수 있다.

본 명세서에서 설명된 광학 3D 추적 시스템, 특히 PSD와 IR-LED의 사용에 대한 다양한 구현예의 추가적인 이점은 실내 네비게이션 특징(또는 "포지션/로케이션 인지")을 제공하기에도 적합하다는 것이다. 보다 구체적으로, PSD 센서는 PSD 센서에 관해 상대적으로 고정된 포지션에서 또는 정지 포지션에서 추가적인 IR-LED의 사용시에 태블릿이 동작하고 있는 방에 대해 태블릿의 포지션을 감지하는 데 사용될 수 있다.

예컨대, 소정의 구현예에 있어서, 광학 3D 추적 시스템을 포함하는 PSD 센서는 예를 들어 방, 복도, 자동자, 또는 다른 밀폐된 장소 내의 디바이스 부근의 고정된 IR-LED 비콘으로부터 방출하는 적외선 시그널링을 감지하는 데 사용될 수 도 있다. 이들 비콘은 적외선 신호를 통해 자신들의 포지션 및 다른 보조 정보를 광고할 수 있어, 컴퓨팅 디바이스가 실내 포지션 로케이팅, 네비게이션 등과 같은 다양한 목적을 위해 디바이스의 포지션 및 자세를 계산하기 위해 사용할 수 있다. 감지 시스템의 고정밀도 때문에, 밀폐된 장소 내의 (서브센티미터(sub-centimeter) 정밀도를 갖는) 완전한 슬레이트 포지션 및 자세가 달성될 수 있다. 또한, 기준 비콘은 (고정된 기준점을 제공하기 위해) 정적이거나 (상대적 기준점을 제공하기 위해) 동적일 수 있다. 소정의 구현예에 있어서, 기준 비콘은 방출된 적외선 신호를 통해 자신들의 포지션 및 다른 보조 정보를 광고할 수 있다.

이와 같이, 본 명세서에 개시된 소정의 구현예는 모바일 컴퓨팅 디바이스의 광학 네비게이션을 위한 시스템에 관한 것으로, 상기 시스템은 적어도 (a) 공지된 로케이션을 갖는 3개의 IR 로케이션 에미터로부터 방출된 3개의 식별가능한 적외선(IR) 신호를 감지하는 공지된 구성에 있어서 모바일 컴퓨팅 디바이스에 고정적으로 결합된 2개의 포지션 센서 - 상기 감지는 3개의 식별가능한 IR 신호에 기초하여 2개의 포지션 센서의 각각에 관련된 3개의 IR 로케이션 에미터의 각각에 대한 2개의 2D 방향(IR 로케이션 에미터마다 2개의 2D 방향)을 결정하는 것을 포함함 - 와; (b) (예를 들어, 6개의) 2D 방향, 2개의 포지션 센서의 공지된 구성, 및 3개의 IR 로케이션 에미터의 공지된 로케이션을 사용하여 3개의 IR 로케이션 에미터에 대한 모바일 컴퓨팅 디바이스의 포지션 및 배향을 결정하는 프로세서를 포함한다.

도 5는 본 명세서에 개시된 다수의 구현예를 나타내는 실내 네비게이션을 위한 PSD 센서(512) 및 정지형의 IR-LED 비콘(514)의 예시적 사용을 도시한다. 각 정지형 비콘(514)은 관련 모바일 컴퓨팅 디바이스(510), 예를 들어 태블릿 컴퓨터에서 PSD 센서(512)에 의해 수신가능하고 DSP(도시되지 않음)에 의해 복호가능한 확산 시퀀스 디지털 신호(516)(파선으로 표시됨)를 방출하는 적어도 하나의 IR-LED를 포함한다. 소정의 구현예에서, 예를 들어 방의 천장(518)에 탑재될 수 있는 각 정지형 비콘(514)은 IR-LED의 적외선 방출을 2차 부호화로 변조함으로써 비교적 고유한 아이덴티티 및 공지된 로케이션을 전송할 수 있다. 소정의 다른 구현예에서, 각 비콘의 공지된 로케이션(및 가능하게는 다른 추가적인 정보)은 컴퓨팅 디바이스(510)에 의해 수용가능하며 국부적으로 액세스가능한 통신 시스템(예를 들어, 영역을 커버하는 Wi-Fi 시스템)을 통해 공개될 수도 있다. 3 이상의 정지형 비콘(514)으로부터 신호를 수신함으로써, 컴퓨팅 디바이스(510)는 검출가능한 정지형 비콘(514)의 공지된 로케이션에 기초하여 자신의 포지션 및 배향(예를 들어, 자세)을 계산한다.

또다시, 2개의 PSD 센서(512)는 3개의 비콘(514)을 감지하는 관점에서의 약간의 차이 - 각 PSD 센서로부터 각 IR-LED 비콘(514)으로의 방향을 차례로 정의하고 그에 따라 이 특정 예에서는 전체 6개의 방향을 정의하는 신호들(516)의 수평각 및 수직각으로서 측정됨 - 가 디스플레이 디바이스(또는 슬레이트)의 정의된 평면에 관련하여 IR-LED 비콘(514)에 대한 모바일 컴퓨팅 디바이스(510)의 로케이션 및 배향의 기하학적 결정을 가능하게 할 수 있는 스테레오비전에 견줄만한 것을 모바일 컴퓨팅 디바이스에 제공한다.

또한, 본 명세서에 개시된 소정의 구현예는 관련 광학 포지셔닝을 위한 시스템에 관한 것으로, 각 모바일 컴퓨팅 디바이스에 대한 상기 시스템은 적어도 (a) 3D 공간에서 복수의 IR 소스로부터 방출하는 복수의 식별가능한 IR 신호를 감지하는 공지된 구성에 있어서 모바일 컴퓨팅 디바이스에 고정적으로 결합된 2개의 포지션 센서 - 상기 감지는 2개의 포지션 센서의 각각에 관해 대응하는 IR 신호 소스에 대한 식별가능한 IR 신호의 2개의 2D 방향의 각각에 대한 결정을 포함함 - 와; (b) 3D 공간에서 충돌 지점의 간섭 장애물에 의해 반사 및 분산되었을 때에, 2개의 포지션 센서에 의해 감지될 수 있는 충돌 지점으로부터 나오는 식별가능한 IR 신호를 생산하는 식별가능한 IR 레이저를 방출하기 위한 제1의 공지된 배향에 있어서 제 1 모바일 컴퓨팅 디바이스에 고정적으로 결합된 IR 레이저 에미터 - 상기 방출된 IR 레이저는 모바일 컴퓨팅 디바이스로부터 다른 모바일 컴퓨팅 디바이스로의 디지털 통신 채널을 제공하기 위해 변조됨 - 와; (c) 2개의 2D 방향, 2개의 포지션 센서의 공지된 구성, 및 IR 레이저에 대한 공지된 로케이션 및 공지된 방출 방향에 기초하여 충돌 지점으로부터 IR 소스에 관련된 모바일 컴퓨팅 디바이스의 포지션을 추정하는 프로세서를 포함한다.

여러 구현예에 있어서, IR 레이저 에미터는 본 명세서에서 초반에 개시된 IR-LED와 유사한 전용 코드 시퀀스로 변조될 수 있다. 또한, 다양한 구현예는, 이러한 보이지 않는 방출이 통상의 레이저 포인터로부터 사람 눈을 보호하는 눈깜박 반사를 촉발하지 않음에 따라 사람 눈에 대한 증대된 위험성 때문에, 예를 들어 비가시적인 레이저 방출과 관계가 있는 OSHA(Occupational Safety and Health Administration) 규정에 따라 저전력 IR 레이저를 이용할 수 있다. 저전력 IR 레이저에 있어서, 소정의 구현예는 눈의 동공 구멍 내에서 방출을 1마이크로와트로 제한함으로써 레이저 방출이 무조건적으로 눈에 안전하다는 것을 보장할 수 있다.

도 6은 상기한 시스템을 포함해서 본 명세서에 개시된 여러 구현예를 나타내는 실내 네비게이션을 위한 PSD 센서(612) 및 동적 비콘(614)의 예시적 사용을 도시한다. 제 1 컴퓨팅 디바이스(610)는 PSD 센서(612)의 세트에 부가하여 적어도 하나의 동적 비콘(614)을 포함할 수 있다. 적외선 레이저 포인터로서 구현될 수 있는 동적 비콘(614)은 비교적 고유의 확산 스펙트럼 시퀀스를 갖는 변조된 적외선 신호(615)(점선으로 표시됨)를 방출할 수 있다. 그 후에 신호(615)는 그 신호가 표면(617)에 부딪힌 지점에서의 반사된 신호(616)(파선으로 표시됨)와 같이 반사 및 분산되고, 그에 따라 비콘(614)의 PSD 센서에 의해 검출가능하다.

동적 비콘(614)이 그 비콘(614)의 PSD 센서에 대해 정확하게 공지된 포지션, 방향, 각도로부터 적외선 레이저 신호(616)를 방출하기 때문에, 컴퓨팅 디바이스(610)는 적외선 레이저 방출(예를 들어, 신호(616)의 차단 지점을 예를 들어 그 컴퓨팅 디바이스가 위치되는 방의 벽(도시되지 않음) 또는 천장(518)으로 결정할 수 있다. 이 정보는 컴퓨팅 디바이스를 둘러싸는 방의 구조에 대한 다양한 추정(예를 들어, 천장이 수평 레벨임, 벽이 수직임, 등)에 기초하여 컴퓨팅 디바이스의 포지션 및/또는 자세를 추론하는 데 어느 정도 사용될 수 있다. 어쨌든, 방출의 방향이 컴퓨팅 디바이스에 공지되어 있기 때문에, 레이저 빔이 반사면에 충격을 주는 로케이션을 결정하는 데 단일의 PSD 센서만이 사용될 수 있다.

또한, 제 1 컴퓨팅 디바이스(610)가 동일하게 구성된 하나 이상의 추가적인 컴퓨팅 디바이스와 상호작용할 수 있는 경우 - PSD 센서(622) 및 동적 비콘(624)을 포함하는 제 2 컴퓨팅 디바이스(620)가 변조된 적외선 신호(625)(점선으로 표시됨), 표면(627)에 부딪히는 지점에서의 반사/분산(626)(파선으로 표시됨)을 방출함 - 에, 각 컴퓨팅 디바이스(610, 620)는 적외선 시그널링을 통해 현재 통신할 수 있는 다른 컴퓨팅 디바이스에 대한 가능한 상대적 포지션을 결정할 수 있다. 보다 구체적으로, 이 레이저 충돌 로케이션 정보를 공유함으로써, 컴퓨팅 디바이스들의 세트는 서로에 대한 상대적 로케이션을 각 컴퓨팅 디바이스에 의해 검출가능한 공통적으로 볼 수 있는 3개의 레이저 충돌만으로 결정할 수 있다.

실내 네비게이션은 예를 들어 상이한 로케이션에서의 사진 및 비콘(정적 또는 동적)에 대한 방향을 획득하는 것을 포함해서, 이미지 통합, 3D 재구축, 3D 모델링, 맵핑, 및 다른 사용을 지원할 수 있는 컴퓨팅 디바이스의 다수의 새로운 애플리케이션을 가능하게 한다. 또한, 다수의 모바일 디바이스와 그들의 주변 장치들 사이의 상호작용 사용자 인터페이스(UI)를 지원할 수 있어, 제 1 컴퓨팅 디바이스의 스타일러스가 고정형의 스크린 및 주변의 프로젝션 디스플레이 디바이스(제 1 컴퓨팅 디바이스 또는 제 1 컴퓨팅 디바이스와 통신하는 제 2 컴퓨팅 디바이스)에서 나오는 투사된 이미지와 상호작용할 수 있다. 또한, 이들 UI는 예를 들어 고정형의 대형 스크린 상에 투사된 라이브 프레젠테이션 상의 부분들을 가리키는 것과 주석을 추가하는 것과 같은 특정한 제스처 입력을 포함할 수 있다.

또한, 활성 비콘 프로젝터를 구비한 모바일 컴퓨팅 디바이스는 노출된 활성 기록 상태의 슬레이트를 열린 공간을 통해 이동시킴으로써 빌딩의 정확한 평면도를 캡처할 수 있는 애플리케이션을 가능하게 한다. 마찬가지로, 이러한 디바이스는 3D 모델링, 3D CAD, 또는 다른 목적을 위해 조각품, 자동차, 등과 같은 대형 객체의 정확한 3D 형상을 캡처하는 데 사용될 수 있다.

또한 추가적인 디바이스간 능력은 하나의 컴퓨팅 디바이스로부터 다른 컴퓨팅 디바이스로 메시지를 선택적으로 전송하는 것을 포함할 수 있다. 예컨대, 이들 컴퓨팅 디바이스(610, 620)는 투사된 이미지로의 추가적인 주석을 허용하거나 정보를 가리키는 - 투사된 이미지를 공유되는 상호작용의 작업면으로 변형하는 - 한에 있어서 참여하는 모든 컴퓨팅 디바이스에 의해 프로젝터가 사용될 수 있는 애드혹 좌표계(ad-hoc coordinate system)를 확립할 수 있다. 마찬가지로, 이들 로케이션 특징부는 상호작용 게임, 3D 모델링, 및 여러 다른 애플리케이션에 사용될 수 있다.

또 다른 구현예에서, 2 이상의 기준 비콘에 대한 2개의 디바이스의 포지션 및 자세는 하나의 디바이스가 다른 디바이스에 의해 또한 그 반대로 디스플레이되는 출력과 직접 상호작용할 수 있도록 사용될 수 있다. 예컨대, 제 1 디바이스로부터의 스타일러스는 제 2 디바이스의 투사 디스플레이에서(즉, 기준 비콘, 및 그에 따른 2개의 디바이스에 대한 공지된 고정 로케이션에서의 투사 스크린 상에서) 포인팅될 수 있고, 제 2 디바이스를 통해 투사 디스플레이와 직접 상호작용할 수 있다.

특히, 이는 동일하게 구비된 컴퓨팅 디바이스와 포지션 및 자세 정보를 교환할 수 있는 능력을 포함하고, 이에 따라 결국 새로운 형태의 사용자 인터페이스를 가능하게 한다. 예컨대, 다른 유닛으로의 모바일 컴퓨팅 디바이스의 포인팅은 이들 디바이스들 사이의 통신을 확립하기 위한 제스처로서 또한 이들 디바이스들 단독으로 사용될 수 있다.

도 7(a)는 본 명세서에 개시된 다양한 구현예에 이용되는 터치형 입력 디바이스의 로케이션 및 배향을 결정하기 위한 예시적인 프로세스(700)를 도시하는 흐름도이다. 702에서, 모바일 컴퓨팅 디바이스는 IR 포지션 센서를 이용하여 복수의 IR 신호를 감지하고, 각 IR 신호에 대한 2D 방향이 IR 포지션 센서마다 결정된다. 704에서, 각 IR 신호에 대한 소스(예를 들어, 터치형 입력 디바이스 상의 특정한 IR-LED)가 식별되고, 즉 각 IR 신호 소스(IR-LED)가 스타일러스 상의 특정한 IR 로케이션 에미터, 모바일 컴퓨팅 디바이스에 이미 공지된 구성과 매칭된다(또는, 이와 달리, 어쩌면 각 IR 신호에 대한 변조된 데이터로서 스타일러스에 의해 전송될 수 있음). 706에서, 터치 기반의 입력 디바이스의 로케이션 및 배향은, IR 신호를 위해 도출된 방향 및 IR 포지션 센서(및 그것들의 판독의 차이)와 (IR 신호가 발생된) IR 로케이션 에미터 둘 다의 공지된 구성에 기초하여 결정된다.

도 7(b)는 본 명세서에 개시된 다양한 구현예를 나타내는 모바일 컴퓨팅 디바이스 비콘 네비게이션(즉, 비콘을 이용하여 로케이션을 결정함)을 위한 예시적인 프로세스(730)를 도시하는 프로세스 흐름도이다. 732에서, 모바일 통신 디바이스는 IR 로케이션 방출을 (2개의 IR 센서를 사용하여) 적어도 3개의 비콘(각 IR 포지션 센서)으로부터 감지하고, 각 IR 신호에 대한(각 비콘에 대한) 2D 방향은 IR 포지션 센서마다 결정된다. 734에서, 각 IR 신호 소소는 일부 구현예에서 공지된 비콘의 검색에 의해 그것의 로케이션에 매칭되는 반면에, 다른 구현예에서는 이 정보가 IR 신호 자체로 인코딩(변조)될 수 있으며, 또한 이들 로케이션은 각 IR 포지션 센서에 의해 결정된 관련 방향에 매칭된다. 736에서, 모바일 컴퓨팅 디바이스의 로케이션 및 배향은, IR 신호를 위해 도출된 방향, IR 포지션 센서의 공지된 구성(및 IR 포지션 센서의 판독의 차이), 및 (IR 신호가 발생된) 비콘의 공지된 로케이션에 기초하여, 비콘과 관련하여 결정된다.

도 7(c)는 본 명세서에 개시된 다양한 구현예를 나타내는 모바일 컴퓨팅 디바이스 레이저 포지셔닝(즉, 관련 로컬 네비게이션/로케이션 정보를 도출함)을 위한 예시적인 프로세스(760)를 도시하는 프로세스 흐름도이다. 762에서, 모바일 통신 디바이스는 간섭 객체와의 충돌시에 그 자신의 IR 신호의 분산을 생성하는 레이저를, 예를 들어 IR 포지션 검출기와 관련하여 공지된 로케이션 및 배향을 갖는 IR 레이저 디바이스로부터 방출하고, 자신의 IR 신호는 비콘에 의해 및/또는 동일할 수 있는 다른 모바일 컴퓨팅 디바이스에 의해 방출될 수도 있는 임의의 다른 IR 신호와 함께 IR 포지션 검출기로 감지된다. 764에서, 감지된 IR 신호는 레이저 충돌 지점(레이저가 간섭 객체에 부딪히는 로케이션에 대응함), IR 신호에서의 비콘(로케이션 정보 및 다른 인코딩된(즉, 변조된) 데이터를 전송할 수 있음)을 포함하는 각각의 소스에 레이저 충돌 지점으로부터 생겨나는 IR 신호로부터 다른 모바일 컴퓨팅 디바이스에서 매칭된다. 각 모바일 컴퓨팅 디바이스는 레이저의 연속적인 빔에서의 레이저 충돌 지점에 관한 로케이션 정보를 인코딩(변조)하고, 또한 변조된 레이저를 다른 모바일 디바이스와의 통신 매체로서 사용할 수 있다. 766에서, 각 IR 신호, (각 IR 포지션 센서에 의해 결정된 바와 같은) 그 IR 신호의 방향, 및 임의의 대응하는 로케이션 정보(예를 들어, 다른 컴퓨팅 디바이스 또는 비콘에 의해 제공된 것)가 수신된 IR 신호에 관한 로컬 로케이션 정보를 도출하기 위해 처리된다.

도 8은 구현예 및 측면이 구현될 수 있는 예시적인 컴퓨팅 환경을 나타낸다. 컴퓨팅 시스템 환경은 적합한 컴퓨팅 환경의 일례일 뿐이며, 사용 또는 기능의 범위에 관해 어떤 제한을 제안하기 위한 것이 아니다. 다수의 다른 일반적인 목적 또는 특수한 목적의 컴퓨팅 시스템 환경 또는 구성이 사용될 수 있다. 사용에 적합할 수 있는 널리 알려진 컴퓨팅 시스템, 환경, 및/또는 구성의 예로는 PC, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 네트워크 퍼스널 컴퓨터, 미니컴퓨터, 메인프레임 컴퓨터, 임베디드 시스템, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산형 컴퓨팅 환경을 포함하지만, 이에 제한되진 않는다.

컴퓨터에 의해 실행되는 컴퓨터 실행가능한 인스트럭션, 예를 들어 프로그램 모듈이 사용될 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추상 데이터 형태를 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함한다. 통신 네트워크 또는 다른 데이터 전송 매체를 통해 링크되어 있는 원격 프로세싱 디바이스들에 의해 태스크가 수행되는 곳에 분산형 컴퓨팅 환경이 사용될 수 있다. 분산형 컴퓨팅 환경에서, 메모리 저장 장치를 포함하는 로컬 컴퓨터 저장 매체 및 원격 컴퓨터 저장 매체의 양쪽에 프로그램 모듈 및 다른 데이터가 위치될 수 있다.

도 8을 참조하여, 본 명세서에서 설명된 측면을 구현하기 위한 예시적인 시스템은 컴퓨팅 디바이스, 예를 들어 컴퓨팅 디바이스(800)를 포함한다. 가장 기본적인 구성에서, 컴퓨팅 디바이스(800)는 통상 적어도 하나의 프로세싱 유닛(802) 및 메모리(804)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 형태에 따라, 메모리(804)는 휘발성(예를 들어, RAM), 비휘발성(예를 들어, ROM, 플래쉬 메모리 등), 또는 이 둘에 대한 일부 조합일 수 있다. 이러한 가장 기본적인 구성은 파선 806으로 도 8에서 도시되어 있다.

컴퓨팅 디바이스(800)는 추가적인 특징/기능을 가질 수 있다. 예컨대, 컴퓨팅 디바이스(800)는 이에 제한되진 않지만 자기 또는 광학 디스크 또는 테이프를 포함하는 (분리가능한 및/또는 분리불가능한) 추가적인 저장소를 포함할 수 있다. 이러한 추가적인 저장소는 분리가능 저장소(808) 및 분리불가능 저장소(810)로 도 8에서 도시되어 있다.

컴퓨팅 디바이스(800)는 통상 다수의 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체는 디바이스(800)에 의해 액세스될 수 있으며 휘발성 및 비휘발성 매체, 분리가능 및 분리불가능 매체 모두를 포함하는 임의의 이용가능한 매체일 수 있다.

컴퓨터 저장 매체는 정보 저장을 위한 임의의 방법 또는 기술, 예를 들어 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 다른 데이터에서 구현되는 휘발성 및 비휘발성, 및 분리가능 및 분리불가능 매체를 포함한다. 메모리(804), 분리가능 저장소(808), 및 분리불가능 저장소(810)는 컴퓨터 저장 매체의 모든 예들이다. 컴퓨터 저장 매체는 이에 제한되진 않지만 RAM, ROM, EEPROM, 플래쉬 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 디바이스(800)에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 이러한 임의의 컴퓨터 저장 매체는 컴퓨팅 디바이스(800)의 일부일 수 있다.

컴퓨팅 디바이스(800)는 이 디바이스가 다른 디바이스와 통신할 수 있도록 하는 통신 연결부(812)를 포함할 수 있다. 또한 통신 디바이스(800)는 입력 디바이스(814), 예를 들어 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등을 가질 수 있다. 또한, 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(816)가 포함될 수 있다. 이들 모든 디바이스들은 당업계에서 잘 알려져 있으며 여기서 상세히 논의될 필요가 없다.

본 명세서에서 설명된 다양한 기술들이 하드웨어 또는 소프트웨어와 관련해서, 또는 적절한 곳에서는 이 둘의 조합과 관련해서 구현될 수 있음을 이해해야 한다. 따라서, 본 개시된 청구대상의 방법 및 장치, 또는 그것의 소정의 측면 또는 부분은 유형 매체, 예를 들어 플로피 디스켓, CD-ROM, 하드 드라이브, 또는 프로그램 코드가 컴퓨터와 같은 머신에 로드되어 실행될 때에 그 머신이 본 개시된 청구대상을 실행하기 위한 장치로 되는 임의의 머신 판독가능 저장 매체에 포함된 프로그램 코드(즉, 인스트럭션)의 형태를 취할 수 있다.

구현예가 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 본 개시된 청구대상의 측면을 이용하는 것을 가리킬 수 있지만, 청구대상은 그렇게 제한되는 것이 아니라 임의의 컴퓨팅 환경, 예를 들어 네트워크 또는 분산형 컴퓨터 환경과 관련하여 구현될 수 있다. 또한, 본 개시된 청구대상의 측면은 복수의 칩 또는 디바이스에서 또는 그에 걸쳐서 구현될 수 있고, 저장소는 유사하게 복수의 디바이스에 걸쳐서 영향을 받을 수 있다. 이러한 디바이스는 예컨대 PC, 네트워크 서버, 핸드헬드 디바이스를 포함할 수도 있다.

청구대상이 구조적 특징 및/또는 방법론적 동작에 특수한 언어로 설명되었지만, 첨부된 청구범위에서 정의된 청구대상이 상기한 특수한 특징 및 동작에 반드시 제한되지 않음을 이해해야 한다. 또한, 상기한 특수한 특징 및 동작은 청구범위를 구현하는 예시적 형태로서 개시된다.

Claims

컴퓨팅 디바이스를 위한 3차원(3D) 터치형 입력 시스템으로서,
입력 디바이스에 고정적으로 결합되며, 3개의 IR 신호를 방출하는 3개의 적외선(IR) 에미터와,
상기 컴퓨팅 디바이스에 고정적으로 결합되어 상기 3개의 IR 에미터로부터 방출된 상기 3개의 IR 신호를 수신하도록 구성된 2개의 포지션 센서 - 상기 2개의 포지션 센서 각각은 상기 입력 디바이스로부터 방출된 상기 3개의 IR 신호 각각에 대한 2개의 2차원(2D) 방향을 감지하도록 구성되고, 상기 2개의 포지션 센서는 총 6개의 2D 방향을 감지함 - 와,
상기 2개의 포지션 센서에 의해 감지된 상기 6개의 2D 방향을 사용하여, 상기 입력 디바이스의 배향(orientation) 및 상기 컴퓨팅 디바이스의 주 표면 위의 공간 내 상기 입력 디바이스의 팁의 3D 위치 중 적어도 하나를 결정하도록 구성된 프로세서
를 포함하는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 IR 신호는 상기 입력 디바이스로부터 상기 컴퓨팅 디바이스로 디지털 통신 채널을 제공하도록 변조되는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 2개의 포지션 센서 각각은 애노드 및 캐소드를 구비한 포지션 감지 다이오드를 포함하며, 상기 애노드 및 상기 캐소드 각각은 2개의 접촉부를 가지며, 이에 따라 상기 2개의 포지션 센서 각각의 2쌍의 대향 면에 총 4개의 접촉부가 배치되며, 상기 4개의 접촉부는 상기 2개의 포지션 센서 각각의 표면에 입사하는 광의 중심을 나타내는 광전류의 감지를 수용하도록 구성된
3D 터치형 입력 시스템.
제1항에 있어서,
상기 컴퓨팅 디바이스의 상기 주 표면 위의 공간 내에 초점 면을 제공하는 광각 렌즈를 더 포함하되, 상기 2개의 포지션 센서 중 적어도 하나는 상기 광각 렌즈에 결합되는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 입력 디바이스는 스타일러스형 디바이스인
3D 터치형 입력 시스템.
제1항에 있어서,
상기 입력 디바이스는 상기 컴퓨팅 디바이스로부터 분리되어 있고, 배터리로 작동되며, 또한 상기 입력 디바이스가 사용되지 않을 때를 위한 전력 절약 기능을 갖는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 2개의 포지션 센서는 3개의 IR 비컨으로부터 방출된 3개의 IR 비컨 신호를 감지하며, 상기 감지는 상기 3개의 IR 비컨 신호에 기초하여 상기 2개의 포지션 센서 각각에 대한 상기 3개의 IR 비컨 각각에 대한 상기 2개의 2D 방향을 결정하는 것을 포함하고, 상기 감지는 상기 3개의 IR 비컨 각각에 대한 로케이션 데이터를 수신하기 위해 상기 IR 비컨 신호를 복조하는 것을 포함하며,
상기 프로세서는 상기 2D 방향, 상기 2개의 포지션 센서의 알려진 구성, 및 상기 3개의 비컨의 알려진 로케이션에 기초하여 상기 3개의 IR 비컨에 대한 상기 컴퓨팅 디바이스의 상기 포지션 및 배향을 결정하는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 컴퓨팅 디바이스는 모바일 컴퓨팅 디바이스 또는 비-모바일(non-mobile) 컴퓨팅 디바이스인
3D 터치형 입력 시스템.
제1항에 있어서,
상기 컴퓨팅 디바이스의 주 표면은 비-디스플레이(non-display) 표면 또는 터치스크린인
3D 터치형 입력 시스템.
제9항에 있어서,
상기 프로세서는 또한, 상기 팁이 상기 비-디스플레이 표면 또는 상기 터치스크린과 접촉하는 경우, 상기 2개의 포지션 센서에 의해 감지된 상기 6개의 2D 방향을 사용하여 상기 입력 디바이스의 상기 팁의 포지션을 판정하도록 구성되는
3D 터치형 입력 시스템.
제1항에 있어서,
상기 프로세서는 또한, 상기 2개의 포지션 센서에 의해 감지된 상기 6개의 2D 방향을 사용하여 상기 입력 디바이스의 배향의 변화를 판정하도록 구성되는
3D 터치형 입력 시스템.
컴퓨팅 디바이스의 광학 네비게이션을 위한 시스템으로서,
3개의 IR 에미터로부터 방출된 3개의 적외선(IR) 신호를 수신하도록 구성된 2개의 포지션 센서 - 상기 2개의 포지션 센서 각각은 상기 3개의 IR 신호 각각에 대한 2개의 2차원(2D) 방향을 감지하도록 구성되고, 상기 2개의 포지션 센서는 총 6개의 2D 방향을 감지함 - 와,
상기 2개의 포지션 센서에 의해 감지된 상기 6개의 2D 방향을 사용하여, 상기 3개의 IR 에미터에 대해, 상기 컴퓨팅 디바이스의 배향 및 상기 컴퓨팅 디바이스의 3차원(3D) 포지션 중 적어도 하나를 결정하도록 구성된 프로세서
를 포함하는
시스템.
제12항에 있어서,
상기 IR 신호는 상기 IR 에미터로부터 상기 컴퓨팅 디바이스로 디지털 통신 채널을 제공하도록 변조되는
시스템.
제13항에 있어서,
상기 디지털 통신 채널로부터 로케이션 정보가 도출되는
시스템.
제12항에 있어서,
상기 2개의 포지션 센서 각각은 애노드 및 캐소드를 구비한 포지션 감지 다이오드를 포함하며, 상기 애노드 및 상기 캐소드 각각은 2개의 접촉부를 가지며, 상기 2개의 포지션 센서 각각의 4개의 면에 배치되는 4개의 접촉부를 제공하며, 상기 4개의 접촉부는 상기 2개의 포지션 센서 각각의 표면에 입사하는 광의 중심을 나타내는 광전류의 감지를 수용하도록 구성된
시스템.
제12항에 있어서,
상기 프로세서는 또한 상기 2개의 포지션 센서에 의해 감지된 상기 6개의 2D 방향을 사용하여 상기 3개의 IR 에미터에 대한 상기 컴퓨팅 디바이스의 배향의 변화를 판단하도록 구성된
시스템.