KR20140043058A - 유니버설 스타일러스 장치 - Google Patents

유니버설 스타일러스 장치 Download PDF

Info

Publication number
KR20140043058A
KR20140043058A KR1020137021066A KR20137021066A KR20140043058A KR 20140043058 A KR20140043058 A KR 20140043058A KR 1020137021066 A KR1020137021066 A KR 1020137021066A KR 20137021066 A KR20137021066 A KR 20137021066A KR 20140043058 A KR20140043058 A KR 20140043058A
Authority
KR
South Korea
Prior art keywords
image
stylus device
display
focus
stylus
Prior art date
Application number
KR1020137021066A
Other languages
English (en)
Other versions
KR101953403B1 (ko
Inventor
안드레아스 노와치크
찰스 피 대커
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140043058A publication Critical patent/KR20140043058A/ko
Application granted granted Critical
Publication of KR101953403B1 publication Critical patent/KR101953403B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Abstract

스타일러스 장치는, 스타일러스 장치의 이미지 센서 상에 형성되는 이미지의 필드 곡률을 증가시키도록 구성된 광학 요소를 통해 디스플레이로부터의 광을 수신한다. 이미지의 초점 내의 부분의 크기와 모양에 기초하여, 디스플레이에 대한 스타일러스 장치의 거리, 방향 및/또는 방위각이 결정될 수 있다. 또한, 각각의 픽셀 또는 픽셀 그룹에 대응하는 위치가 디스플레이의 각각의 픽셀 또는 픽셀 그룹에 의해 발산되는 청색광으로 인코딩된다. 초기화 시에, 또는 동기화 상실 후에, 스타일러스 장치는 인코딩된 위치를 디코딩함으로써 픽셀에 대한 그의 위치를 결정할 수 있다. 그 위치를 디스플레이와 동기화한 후에, 스타일러스 장치는 디스플레이의 픽셀을 추적함으로써 그의 후속 위치를 결정할 수 있다.

Description

유니버설 스타일러스 장치{UNIVERSAL STYLUS DEVICE}
보통 태블릿 컴퓨팅 장치에 의해 입력을 위해 사용되는 스타일러스(stylus) 장치는 통상 초음파, 표면 탄성파(surface acoustic waves), 전자기 및 정전(electro-static) 시스템 중 하나 이상을 이용하여 구현된다. 전자기 시스템에서, 보통 센서 어레이가 태블릿 장치의 디스플레이 뒤에 설치된다. 디스플레이에 대한 스타일러스 장치의 위치는 센서 어레이로부터 수신된 신호에 기초하여 결정된다. 정전 시스템은 스타일러스 장치로부터 발산되는 신호를 감지하기 위해 투명 전극의 어레이를 이용할 수 있다. 이들 시스템이 효과적이기는 하지만, 센서 어레이가 디스플레이 안에 설치되어야 하고 따라서 나중에 사용자가 추가할 수 없다.
스타일러스 장치의 이미지 센서 상에 형성된 이미지의 필드 곡률(field curvature)을 증가시키도록 구성되는 광학 요소를 통해 디스플레이로부터 광을 수신하는 스타일러스 장치가 제공된다. 이미지의 초점 내의(in-focus) 부분의 크기와 모양에 기초하여, 디스플레이에 대한 스타일러스 장치의 거리, 방향 및 방위각(azimuth)이 결정될 수 있다. 또한, 각각의 픽셀 또는 픽셀 그룹에 대응하는 위치가 디스플레이의 각각의 픽셀 또는 픽셀 그룹에 의해 발산되는 청색 광으로 인코딩된다. 초기화시에, 또는 동기화 상실 후에, 스타일러스 장치는 인코딩된 위치를 디코딩함으로써 픽셀에 대한 그 위치를 결정할 수 있다. 그 위치를 디스플레이와 동기화한 후에, 스타일러스 장치는 디스플레이의 픽셀을 추적함으로써 그 후속 위치를 결정할 수 있다.
일 구현에서, 디스플레이로부터 발산되는 광이 스타일러스 장치의 이미지 센서에서 수신된다. 광은 이미지 센서 상에 형성되는 이미지의 필드 곡률을 증가시키는 광학 요소를 통해 수신된다. 이미지의 초점 내의 부분이 이미지 센서에 의해 결정된다. 이미지의 초점 내의 부분의 크기가 이미지 센서에 의해 결정된다. 스타일러스 장치 및 디스플레이의 위치와 자세가 결정된 크기에 기초하여 결정된다.
일 구현에서, 디스플레이의 복수 픽셀로부터 발산되는 광은 스타일러스 장치의 이미지 센서에서 수신된다. 각각의 픽셀은 디스플레이 상에 관련 위치를 갖는다. 픽셀 중 적어도 하나의 위치는 스타일러스 장치의 이미지 센서에 의해 수신된 광에 기초하여 결정된다. 적어도 하나의 픽셀의 결정된 위치에 기초하여 스타일러스 장치의 이미지 센서에 의해 디스플레이 대해 스타일러스 장치의 위치가 결정된다.
본 개요는 아래의 상세한 설명에서 더 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요한 특징을 식별하려는 것이 아니고, 청구된 주제의 범위를 제한하는데 이용하려는 것도 아니다.
앞의 개요뿐만 아니라 예시적 실시형태의 다음의 상세한 설명은 첨부된 도면과 함께 읽을 때 더 잘 이해된다. 실시형태를 예시하기 위해, 실시형태의 예시적 구성이 도면에 도시된다; 그러나, 실시형태는 개시된 구체적인 방법 및 수단으로 제한되지 않는다.
도 1은 스타일러스 장치를 이용하기 위한 예시적인 환경의 도면이다.
도 2는 스타일러스 장치의 센서 상에서 형성되는 이미지의 도면이다.
도 3은 스타일러스 장치의 센서 상에서 형성되는 이미지의 다른 도면이다.
도 4는 스타일러스 장치의 센서 상에서 형성되는 이미지의 다른 도면이다.
도 5는 픽셀 쿼드를 이용하여 위치를 인코딩하는 예시적인 인코딩 방식의 도면이다.
도 6은 스타일러스 장치의 거리, 방향 및 방위각을 결정하기 위한 방법의 일 구현의 동작 흐름이다.
도 7은 스타일러스 장치의 위치와 자세를 결정하기 위한 방법의 일 구현의 동작 흐름이다.
도 8은 스타일러스 장치의 위치를 결정하기 위한 방법의 일 구현의 동작 흐름이다.
도 9는 본 시스템의 일 구현에 따른 연산 시스템 환경의 블록도이다.
도 1은 스타일러스 장치(101)를 이용하기 위한 예시적 환경(100)의 도면이다. 도시된 바와 같이, 환경(100)은 컴퓨팅 장치(110)에 결합된 디스플레이(180) 및 스타일러스 장치(101)를 포함한다. 디스플레이(180)는 액정 디스플레이(LCD)를 포함하지만 이에 제한되지 않는 다양한 디스플레이 유형을 포함할 수 있다. 디스플레이(180)는, 각각의 픽셀이 디스플레이(180) 상의 위치와 연관되는 복수의 픽셀을 포함할 수 있다. 컴퓨팅 장치(110)는 디스플레이(180)를 구동할 수 있고, 예를 들어 도 9에 대해 설명되는 컴퓨팅 장치(900)와 같은 하나 이상의 범용 컴퓨팅 장치를 이용하여 구현될 수 있다.
스타일러스 장치(101)는 바디 부분(106)에 결합되는 노즈 부분(105)을 포함할 수 있다. 스타일러스 장치(101)는 바디 부분(106)을 사용자가 잡도록 구성될 수 있고 노즈 부분(105)을 이용하여 디스플레이(180)에 의해 표시되는 이미지와 상호작용하는데 사용될 수 있다. 예를 들어, 사용자는, 바디 부분(106)을 잡고 디스플레이(180)에 대해 노즈 부분(105)의 위치를 변화시킴으로써 디스플레이(180) 상에 표시되는 커서를 제어하기 위해, 또는 디스플레이(180)에 의해 표시되는 이미지의 일부인 하나 이상의 아이콘이나 그래픽과 상호작용하기 위해, 스타일러스 장치(101)를 사용할 수 있다. 스타일러스 장치(101)는 예를 들어 배터리와 같은 전원(125)에 의해 전원이 공급될 수 있다. 전원(125)은 바디 부분(106)에 위치될 수 있다.
스타일러스 장치(101)는 스타일러스 장치(101)의 노즈 부분(105)에 결합된 접촉 센서(107)를 포함할 수 있다. 접속 센서(107)는, 예를 들어 사용자가 스타일러스 장치(101)의 노즈 부분(105)을 디스플레이(180)에 대고 누르는 때에 구동될 수 있는 압력 감지 스위치 또는 버튼을 포함할 수 있다. 예를 들어, 사용자는 디스플레이(180)에 의해 표시된 아이콘의 선택을 나타내기 위해 접속 센서(107)를 구동할 수 있거나, 또는 사용자가 선의 이미지가 디스플레이(180)에 그려지게 하기를 원한다는 것을 나타내기 위해 접속 센서(107)를 구동할 수 있다.
스타일러스 장치(101)는 전자기기(120)를 더 포함할 수 있다. 전자기기(120)는 바디 부분(106)에서 구현될 수 있고 디스플레이(180)로부터 발산되고 스타일러스 장치(101)에 의해 수신되는 광에 기초하여 스타일러스 장치(101)의 위치를 결정할 수 있는 프로세스나 기타 전자 컴포넌트를 포함할 수 있다. 스타일러스의 위치는 디스플레이 평면(180)과 스타일러스 축의 교점의 평면 내(in-plane) 좌표로 구성되며, 호버(hover) 거리를 포함할 수 있다. 호버 거리는 접촉 센서(107)와 디스플레이(180) 사이의 거리일 수 있다. 일부 구현에서, 전자기기(120)는 스타일러스 자세(attitude)를 더 결정할 수 있는데, 이는 디스플레이(180)에 대한 스타일러스 장치(101)의 3개의 각, 방위각, 고도(elevation) 및 회전으로 설명된다.
스타일러스 장치(101)는 송신기(123)를 더 포함할 수 있다. 송신기(123)는 바디 부분(106)에 구현될 수 있고 컴퓨팅 장치(110)에서 대응 수신기(112)로 스타일러스 장치(101)로부터의 데이터를 송신할 수 있다. 송신된 데이터는 스타일러스 장치(101)의 결정된 위치와 자세를 포함할 수 있다. 송신된 데이터는 접촉 센서(107)의 구동 및/또는 사용자가 구동한 버튼이나 터치 센서와 연관된 여하한 데이터를 더 포함할 수 있다. 송신기는 블루투스 송신기와 같은 무선 송신기일 수 있다. 그러나, 여하한 유형의 무선 또는 유선 송신 수단이 사용될 수 있다.
수신기(112)는 스타일러스 드라이버(111)에 송신된 데이터를 제공할 수 있다. 스타일러스 드라이버(111)는 스타일러스 장치(101)로부터 수신된 데이터에 따라 컴퓨팅 장치(110)에 의해 표시되는 하나 이상의 커서나 아이콘을 이동 또는 조정할 수 있다. 스타일러스 드라이버(111)는 컴퓨팅 장치(110)에 의해 실행되는 소프트웨어 애플리케이션일 수 있다. 아래에 더 설명되는 바와 같이, 스타일러스 드라이버(111)는 또한, 하나 이상의 신호나 패턴을, 스타일러스 장치(101)의 위치를 결정하기 위해 전자기기(120)에 의해 사용될 수 있는 디스플레이(180)의 픽셀에 의해 표시되는 광으로 인코딩할 수 있다.
스타일러스 장치(101)는 렌즈(130)를 더 포함할 수 있다. 렌즈(130)는 노즈 부분(105)에서 구현될 수 있고 노즈 부분(105)을 통해 디스플레이(180)로부터 발산되는 광을 수신할 수 있다. 일부 실시형태에서, 렌즈(130)는 고정 초점 렌즈일 수 있다. 그러나, 다른 유형의 렌즈가 사용될 수 있다.
스타일러스 장치(101)는 이미지 센서(135)를 더 포함할 수 있다. 이미지 센서(135)는 노즈 부분(105)에서 구현될 수 있고 렌즈(130)를 통과하는 디스플레이(180)의 하나 이상의 픽셀로부터 발산되는 광을 수신할 수 있다. 수신된 광은 스타일러스 장치(101)의 위치 및/또는 고도를 결정하기 위해 전자기기(120)에 의해 사용될 수 있는 이미지 센서(135) 상에 이미지를 형성할 수 있다. 일부 실시형태에서, 이미지 센서(135)는 256 픽셀 X 256 픽셀 이미지 센서일 수 있다. 그러나 다른 크기의 이미지 센서도 사용될 수 있다.
스타일러스 장치(101)는 광학 요소(185)를 더 포함할 수 있다. 광학 요소(185)는 노즈 부분(105)에서 구현될 수 있고 디스플레이(180)로부터 발산되는 광을 수신할 수 있다(도 1에서 광선 141a, 141b 및 141c로 파선을 이용하여 도시됨). 수신된 광선(141a-c)은 광학 요소(185)를 통과할 수 있고 렌즈(130)를 통해 이미지 센서(135)로 지향될 수 있다.
광학 요소(185)는 렌즈(130)를 통해 이미지 센서(135)로 투사되는 이미지의 필드 곡률을 증가시키기 위해 스타일러스 장치(101)에 의해 사용될 수 있다. 필드 곡률은 이미지가 취해지는 범위의 편평함의 척도이다. 일반적으로, 렌즈(130)와 같은 렌즈는 필드 곡률을 감소시키거나 최소화하도록 구성된다. 그러나, 고정 초점 렌즈에 대한 필드의 깊이에 대한 물리적 제한 때문에, 이런 렌즈를 이용하는 스타일러스 장치(101)에 대한 실현가능한 호버 거리는 통상의 애플리케이션에 대해 불충분할 수 있다. 광학 요소(185)를 이용하여 투사된 이미지의 필드 곡률을 증가시킴으로써, 렌즈(130)의 필드의 유효 깊이가 검출가능한 호버 거리 및/또는 위치의 범위와 함께 증가된다. 그러나, 필드의 깊이의 이러한 증가는 투사된 이미지의 초점 내의 양을 대가로 한다.
예를 들어, 실선으로 도시된 광선(143a, 143b 및 143c)은 광학 요소(185)를 이용하지 않고 렌즈(130)를 통과하는 디스플레이(180)로부터 발산된 광의 가상적 광선을 나타낸다. 광선(143a, 143b 및 143c)에 의해 이미지 센서(135) 상에 형성된 이미지에 대한 필드의 결과적인 깊이는 박스(191)로 도시된다. 필드의 깊이는 거리(192)이다. 이 경우, 이미지 센서(135)가 디스플레이(180)의 인포커스(in-focus) 이미지를 획득할 수 있는 박스(191)로 표시된 부피 내에 디스플레이(180)의 일부가 있는 이상 스타일러스 장치(101)는 그 위치를 추적할 수 있다. 박스(191)로 표시되는 부피 밖에서는 이미지 센서(135) 상에 형성되는 이미지에서 디스플레이(180)의 어떤 픽셀도 초점이 맞지 않으므로, 이러한 렌즈(130)에 대한 검출가능한 호버 거리의 범위는 거리(192)로 제한된다.
반면, 광학 요소(185)를 통과하는 광선(141a, 141b 및 141c)에 의해 이미지 센서(135) 상에 형성되는 이미지에 대한 필드의 깊이는 박스(194)에 의해 도시된다. 이미지 센서(135) 상에 형성되는 이미지의 필드 곡률을 증가시킴으로써, 검출가능한 호버 거리의 범위가 거리(192)로부터 거리(193)로 증가된다. 그러나, 여하한 주어진 거리에서 이미지 센서(135) 상의 이미지의 초점 내의 부분은 유사하게 감소된다.
일부 구현에서, 광학 요소(135)는 렌즈(130)의 필드 곡률을 증가시킬 수 있는 여하한 광학 요소를 포함할 수 있다. 예를 들어, 광학 요소는 프리즘 굴절 요소(prismatic refractive element) 또는 회전 대칭 바이코니컬 요소(rotationally symmetric bi-conical element)와 같은 굴절 요소를 포함할 수 있다. 다른 예에서, 광학 요소(135)는 거울과 같은 반사 요소를 포함할 수 있다. 또한, 일부 구현에서, 광학 요소(135)는 예를 들어 복수의 편평한 패싯(facet)이나 표면과 같은 복수의 광학 요소를 포함할 수 있다.
전자기기(120)는 이미지 센서 상에 형성된 이미지의 초점 내의 부분의 면적이나 모양에 기초하여 스타일러스 장치(101)의 호버 거리를 결정할 수 있다. 구체적으로, 전자기기(120)는 이미지 센서(135) 상에 형성된 이미지의 초점 내의 부분의 반지름 대 초점이 맞지 않은 이미지 센서(135) 상에 형성된 이미지의 부분의 면적에 기초하여 스타일러스의 호버 장치를 결정할 수 있다.
예를 들어, 도 2는 이미지 센서(135) 상에 형성된 이미지(200)의 도시이다. 이미지(200)는 인-포커스 부분(206)과 아웃-오브-포커스 부분(207)을 포함한다. 도시된 예에서, 광학 요소(185)는 회전 대칭 굴절 광학 요소(185)로 링 모양 타원 영역인 인-포커스 부분(206)을 가져온다. 인-포커스 부분(206)은 음영으로 도시되고 아웃-오브-포커스 부분(207)은 음영 없이 도시된다. 인-포커스 부분(206)의 모양과 개수는 사용된 광학 요소(185)의 유형에 의존하여 달라질 수있다.
스타일러스 장치(101)가 디스플레이에 가까이 움직임에 따라, 인-포커스 부분(206)의 반지름이 감소한다. 유사하게, 스타일러스 장치(101)가 디스플레이(180)로부터 멀어짐에 따라, 인-포커스 부분(206)의 반지름이 증가한다. 그러므로, 호버 거리는 인-포커스 부분(206)의 반지름에 비례한다. 일부 구현에서, 인-포커스 부분(206)의 반지름은 인-포커스 부분(206)에 의해 형성되는 링 모먕의 내부 반지름과 외부 반지름 사이의 차이에 기초하여 결정될 수 있다. 따라서, 스타일러스 장치(101)의 전자기기(120)는 인-포커스 부분(206)의 반지름에 기초하여 스타일러스 장치(101)의 호버 거리를 결정할 수 있다.
전자기기(120)는 유사하게 이미지 센서(135) 상에 형성된 이미지의 초점 내의 부분의 이심율(eccentricity)에 기초하여 스타일러스 장치(101)의 방향을 결정할 수 있다. 예를 들어, 도 3은 이미지 센서(135) 상에 형성된 이미지(300)의 도면이다. 이미지(300)는 인-포커스 부분(306)과 아웃-오브-포커스 부분(307)을 포함한다. 인-포커스 부분(306)은 음영으로 도시되고 아웃-오브-포커스 부분(307)은 음영 없이 도시된다. 광학 요소(185)가 회전 대칭 굴절 광학 요소(185)인 경우, 스타일러스 장치(101)의 방향은 링 모양 인-포커스 부분(306)의 바깥쪽으로 형성되는 타원의 이심률에 따라 측정될 수 있다. 스타일러스 장치(101)의 사용자가 스타일러스 장치(101)와 디스플레이(180) 사이에 형성되는 각을 감소시킴에 따라, 타원의 이심률이 증가한다. 광학 요소(185)가 비-회전 대칭 광학 요소이거나 복수의 광학 요소를 포함하는 경우, 인-포커스 부분 또는 부분들의 이심률은, 인-포커스 부분(306)이 기준 또는 베이스라인 인-포커스 부분(306)에 비해 얼마나 뒤틀리거나(warped) 변형되었는지의 측정일 수 있다.
전자기기(120)는 유사하게 이미지 센서(135) 상에 형성된 이미지의 초점 내의 부분의 방향에 기초하여 스타일러스 장치(101)의 방위각이나 회전을 결정할 수 있다. 예를 들어, 도 4는 이미지 센서(135) 상에 형성된 이미지(400)의 도면이다. 이미지(400)는 인-포커스 부분(406)과 아웃-오브-포커스 부분(407)을 포함한다. 인-포커스 부분(406)은 음영으로 도시되고 아웃-오브-포커스 부분(407)은 음영 없이 도시된다. 스타일러스 장치(101)가 접촉 센서(107)와 바디 부분(106)을 통과하는 축에 대해 회전함에 따라, 인-포커스 부분(406)이 유사하게 회전한다. 광학 요소(185)가 회전 대칭 굴절 광학 요소인 경우, 스타일러스 장치(101)의 방위각은 인-포커스 부분(406)의 바깥쪽 링에 의해 형성되는 타원의 선택된 법선에 대한 회전에 따라 측정될 수 있다. 인-포커스 부분(406)이 다수의 부분이면, 스타일러스 장치(101)의 방위각은 선택된 법선 주위의 부분 중 하나의 회전에 따라 측정될 수 있다.
전자기기(120)는 디스플레이(180)에 대한 스타일러스 장치(101)의 위치를 더 결정할 수 있다. 스타일러스 장치(180)의 위치는, 그 광이 이미지 센서(135) 상에 형성된 이미지의 인-포커스 부분을 형성하는 디스플레이(180) 상의 픽셀의 위치를 결정함으로써 전자기기(120)에 의해 결정될 수 있다.
일부 구현에서, 스타일러스 드라이버(111)는 각 픽셀의 위치를 디스플레이(180)에 의해 픽셀로부터 발산되는 광으로 인코딩할 수 있다. 전자기기(120)는 그 후 이미지 센서(135)에 의해 수신되는 광에서의 인코딩된 위치에 기초하여 스타일러스 장치(101)의 위치를 결정할 수 있다. 일부 구현에서, 디스플레이(180)의 각각의 픽셀은 각 요소가 청, 녹 또는 적 광 중 하나를 발산할 수 있는, 요소의 트라이어드(triad)를 포함할 수 있다. 픽셀의 위치는 트라이어드의 요소에 의해 발산되는 광의 3색 중 하나로 인코딩될 수 있다. 일반적으로, 사람의 눈의 공간 해상도는 적색광이나 녹색광에 비해 청색광에 대해 낮다. 그러므로, 픽셀의 위치를 청색광으로 인코딩함으로써 사용자가 인코딩된 위치를 인식할 가능성이 낮아진다.
일부 구현에서, 상술한 인코딩 방식을 용이하게 하기 위해, 스타일러스 장치(101)는 렌즈(130)와 이미지 센서(135) 사이에 위치한 필터(133)를 더 포함할 수 있다. 필터(133)는 고역통과(high-pass) 필터일 수 있고 광의 하나 이상의 파장이 이미지 센서(135)에 도달하는 것을 차단할 수 있다. 각각의 픽셀의 위치가 청색광을 이용하여 광으로 인코딩되는 경우, 필터(133)는 디스플레이(180)의 픽셀로부터 발산되는 청색광만이 이미지 센서(135)에 도달하도록 할 수 있다. 각 픽셀의 적색광과 녹색광을 차단함으로써, 각각의 픽셀에 대해 겉보기(apparent) 픽셀 대비가 증가되고, 광학 요소(185)에 의해 도입되는 색수차(chromatic aberration)가 감소된다.
도 5는 픽셀 쿼드(quad)를 이용하여 픽셀의 위치를 인코딩하기 위한 예시적인 인코딩 방식(500)의 도면이다. 도시된 예에서, 픽셀은 4개의 픽셀의 쿼드로 그룹지어지는데 디스플레이(180) 상의 위치에 픽셀의 각 쿼드가 대응한다. 이들 4개 픽셀에 대한 강도는 그들의 원래 값의 평균으로 설정될 수 있는데, 이는 저역통과(low-pass) 필터 동작과 균등하다. 그들의 위치를 운반하기 위해, 각 픽셀 쿼드는 그들의 대응하는 청색 요소에 의해 발산되는 청색광의 강도를 인코딩 방식(500)의 패턴 501, 503, 505, 507, 509, 511, 513, 515, 517, 519, 521, 523, 525, 527, 529, 531, 533, 535 및 537에 따라 교호(alternate)시킬 수 있다. 각각의 픽셀 쿼드는 전자기기(120)에 의해 검출될 수 있고 디스플레이(180) 상의 픽셀 쿼드(및 스타일러스 장치(101))의 위치를 결정하는데 사용될 수 있는 패턴(510-537)의 고유한 시퀀스를 표시할 수 있다.
인코딩 방식(500)에서, 쿼드 내 픽셀의 청색 컴포넌트의 강도는 19개 패턴 501-537에 따라 변한다. 사분면의 "0" 심볼은 청색 광에 대한 픽셀의 강도가 변화되지 않음을 나타낸다. 사분면의 "+" 심볼은 청색 광에 대한 픽셀의 강도가 증가됨을 나타낸다. 사분면의 "-" 심볼은 청색 광에 대한 픽셀의 강도가 감소됨을 나타낸다. 픽셀의 강도는, 예를 들어 10%와 같은 작은 양만큼 증가되거나 감소될 수 있다. 각각의 픽셀에 대해, 픽셀 쿼드에 의해 발산되는 광의 총량은 변하지 않고 유지된다.
사용자에 의한 인코딩 방식의 인식을 피하기 위해, 강도가 증가되거나 감소되는 쿼드 내 픽셀의 수는 균형이 맞춰진다. 예를 들어, 패턴 501은 강도가 증가되거가 감소되는 픽셀이 없고, 패턴 503은 강도가 증가되는 픽셀 하나와 강도가 감소되는 픽셀 하나를 갖고, 패턴 519는 강도가 증가되는 픽셀 두 개와 강도가 감소되는 픽셀 두 개를 갖는다. 위에서 약술하고 도 5에 도시된 균형 요건과 인코딩 방식(500)을 만족하는 19개의 패턴(510-537)이 있다.
전자기기(120)가 픽셀 쿼드에 대한 디스플레이(180) 내 위치를 식별하면, 전자기기(120)는 쿼드 내 각각의 픽셀의 위치를 추론하기 위해 위치 정보를 사용할 수 있다. 이 때문에, 2,048 X 2,048 픽셀까지의 디스플레이는 각 픽셀 쿼드의 위치를 인코딩하기 위해 20 비트 숫자를 사용할 수 있다. 인코딩 스킴(500) 내 19 개 패턴 501-537이 주어지면, 이들 20비트 숫자는 디스플레이(180)에 의해 6개 프레임에서 표시될 수 있다. 19개 패턴 501-537으로 6 프레임 인코딩을 이용하는 것은 196 개의 가능한 코드를 산출하고, 이는 약 25 비트와 같다. 이들 잉여 비트는 스타일러스 드라이버(111)에 의해, 예를 들어 신뢰도 및/또는 노이즈 감소를 증가시키기 위한 중복(redundant) 인코딩을 위해 사용될 수 있다.
일부 구현에서, 전자기기(125)는, 동기화 페이즈라고 불리는 것 동안에 인코딩 방식(500)에 기초하여 디스플레이(180)에 대한 초기 스타일러스 장치(101) 위치를 결정하기 위하여 비터비(Viterbi) 알고리즘과 같은 표준 디코딩 알고리즘을 사용할 수 있다. 동기화 페이즈 동안에, 전자기기(125)는 스타일러스 장치(101)의 위치를 상실하였거나 스타일러스 장치(101)가, 예를 들어, 최근에 초기화되었을 수 있다. 전자기기(125)가 스타일러스 장치(101)의 위치를 결정한 후에, 전자기기(125)는 이미지 센서(135)를 이용하여 스타일러스 장치(101)가 지나가는 디스플레이 장치의 픽셀을 추적함으로써 스타일러스 장치(101)의 후속 위치를 결정할 수 있다. 스타일러스 장치(101)가 픽셀 추적에 기초하여 그 위치를 결정할 수 없게 되면, 전자기기(125)는 스타일러스 장치(101)의 위치를 결정하기 위하여 동기화 페이즈로 다시 들어갈 수 있다. 예를 들어, 사용자가 스타일러스 장치(101)를 내려놓았을 수 있고, 또는 디스플레이(180)로부터 너무 멀리에서 잡고 있을 수 있다.
일부 구현에서, 전자기기(125)는 스타일러스 장치(101)가 동기화 페이즈에 있는 때에 스타일러스 드라이버(111)에 신호를 보낼 수 있다. 스타일러스 장치(101)는 그 후 픽셀의 위치를 동기화 페이즈 동안 픽셀에 의해 발산되는 광으로 인코딩할 수 있고, 전자기기(125)가 자신이 스타일러스의 위치를 성공적으로 결정하였다고(즉, 동기화 페이즈를 빠져나갔다고) 신호한 후에 픽셀의 위치를 광으로 인코딩하는 것을 중단할 수 있다. 동기화 페이즈 동안만 인코딩함으로써, 사용자가 인코딩된 패턴을 검출하거나 그에 의해 방해될 가능성이 낮아진다.
도 6은 스타일러스 장치의 거리, 방향 및 방위각을 결정하기 위한 방법의 일 구현의 동작 흐름이다. 방법(600)은 예를 들어 스타일러스 장치(101)와 컴퓨팅 장치(110) 중 하나 또는 둘 모두에 의해 구현될 수 있다.
601에서, 디스플레이로부터 발산되는 광은 스타일러스 장치의 이미지 센서에서 수신된다. 광은 광학 요소(185)를 통하여 이미지 센서(135)에 의해 수신될 수 있고 이미지 센서(135) 상에 이미지를 형성할 수 있다. 광학 요소(185)는 이미지 센서(135) 상에 형성된 이미지의 필드 곡률을 증가시킬 수 있다. 광학 요소(185)는 굴절 또는 반사 광학 요소(185)일 수 있다. 또한, 광학 요소(185)는 복수의 광학 요소를 이용하여 구현될 수 있다.
603에서 이미지의 초점 내의 부분이 결정된다. 이미지의 초점 내의 부분은 전자기기(120)와 이미지 센서(135)에 의해 결정될 수 있다. 상술한 바와 같이, 광학 요소(185)는 이미지 센서(135) 상에 형성된 이미지의 필드 곡률을 증가시킨다. 그러나, 필드 곡률의 증가는 이미지 초점을 대가로 한다. 사용되는 광학 요소의 유형에 따라, 이미지의 연속적인 초점 내의 부분 또는 이미지의 다수의 비연속적인 초점 내의 부분이 있을 수 있다.
605에서 이미지의 초점 내의 부분의 모양이 결정된다. 부분의 크기는 전자기기(120)나 이미지 센서(135)에 의해 결정될 수 있다. 초점 내의 부분의 모양은 이미지의 초점 내의 면적을 결정함으로써 결정될 수 있다. 예를 들어, 그 부분이 원형 링 모양 영역이면, 면적은 링 모양 영역의 지름에 기초하여 결정될 수 있다. 이미지의 다수의 초점 내의 부분이 있는 경우, 이미지의 초점 내의 부분의 모양은 각각의 인-포커스 부분의 면적을 합하여 결정될 수 있다.
607에서 스타일러스 장치와 디스플레이 사이의 거리가 결정된다. 거리는 호버 거리일 수 있고 이미지의 초점 내의 부분의 반지름이나 모양에 기초하여 전자기기(120)에 의해 결정될 수 있다.
609에서 이미지의 초점 내의 부분의 이심률이 결정된다. 이미지의 초점 내의 부분의 이심률은 이미지 센서(135) 및 전자기기(120)에 의해 결정될 수 있다. 이미지의 초점 내의 부분이 대체로 타원 링인 경우, 이심률은 링의 바깥쪽으로 형성되는 타원이 원과 얼마나 다른지의 척도일 수 있다. 이미지의 부분이 대체로 타원이 아닌 경우, 또는 다수의 부분을 포함하는 경우, 이심률은 이미지의 초점 내의 부분 또는 부분들이 기준 부분 또는 부분들에 비해 얼마나 뒤틀렸는지의 척도일 수 있다.
611에서 결정된 이심률에 기초하여 스타일러스 장치의 경사도(inclination)가 결정된다. 경사도는 스타일러스 장치와 디스플레이 사이의 각의 척도일 수 있고 전자기기(120)와 이미지 센서(135)에 의해 결정될 수 있다. 일반적으로, 이심률이 클수록 스타일러스 장치의 기울기가 크고, 그 역도 성립한다.
613에서, 이미지의 초점 내의 부분의 방향이 결정된다. 방향은 전자기기(120)와 이미지 센서(135)에 의해 결정될 수 있다. 방향은 법선에 대한 이미지의 부분의 회전의 각 측정일 수 있다. 이미지의 인-포커스 부분이 다수의 부분을 포함하는 경우, 부분 중 하나의 방향이 결정될 수 있다.
615에서, 결정된 방향에 기초하여 스타일러스 장치의 방위각이 결정된다. 방위각은 전자기기(120)와 이미지 센서(135)에 의해 결정될 수 있다. 일반적으로, 결정된 방향의 각이 클수록 방위각이 크고, 그 역도 성립한다.
617에서, 결정된 거리, 경사도 및 방위각은 스타일러스 장치에 결합된 컴퓨팅 장치로 제공된다. 결정된 거리, 경사도 및 방위각은 스타일러스 장치(101)의 송신기(123)에 의해 컴퓨팅 장치(110)의 수신기(112)로 제공된다. 제공된 데이터는 스타일러스 드라이버(111)에 의해, 예를 들어 스타일러스 장치(101)에 대응하는 커서나 아이콘을 업데이트하는데 사용될 수 있다.
도 7은 스타일러스 장치의 위치와 자세를 결정하기 위한 방법(700)의 일 구현의 동작 흐름이다. 방법(700)은 예를 들어 스타일러스 장치(101)와 컴퓨팅 장치(110) 중 하나 또는 양자 모두에 의해 구현될 수 있다.
701에서 이미지 센서로부터 이미지가 결정된다. 이미지는 스타일러스 장치(101)의 이미지 센서(135) 상에 형성되는 이미지일 수 있다.
703에서 하나 이상의 픽셀을 결정하기 위해 이미지가 처리된다. 이미지는 스타일러스 장치(101)의 전자기기(120)에 의해 처리될 수 있다. 일부 구현에서, 이미지는 어두운 영역에 의해 둘러싸인 밝은 스폿의 위치를 정하는 연산자(예를 들어, 작은 커널(kernel)을 갖는 컨볼루션(convolution))을 이용하여 처리될 수 있다. 충분한 대비가 주어지면, 영역의 중심이 디스플레이(180)로부터의 픽셀의 중심이라고 결정될 수 있다. 픽셀의 대비는 픽셀이 얼마나 초점이 맞았는지(in-focus)의 척도일 수 있다. 픽셀이 초점 내에 있으면, 높은 대비를 가질 것이다. 픽셀이 필드의 깊이의 한 끝 근처에 있으면, 대비는 낮을 것이다. 픽셀이 필드의 깊이 위에 있으며, 대비가 전혀 없을 것이고 픽셀이 발견되지 않을 것이다.
705에서 스타일러스 장치의 위치와 자세가 추정된다. 스타일러스 장치(101)의 위치와 자세는 전자기기(120)에 의해 추정될 수 있다. 픽셀의 상당한 숫자가 획득된 이미지에서 식별되었다면, 픽셀 좌표와 대비(초점) 정보가 디스플레이(180)에 대한 스타일러스 장치(101)의 위치를 추정하기 위해 초기에 사용될 수 있다. 일부 구현에서, 이는 최소 제곱 오차 합(least squred error sum)(예를 들어, 최소 제곱 법(least squqre fit))을 이용하여 방적식을 풀어 전자기기(120)에 의해 이루어질 수 있다. 다른 방법이 사용될 수 있다.
707에서 픽셀 위치가 매핑된다. 픽셀 위치는 전자기기(120)에 의해 매핑될 수 있다. 일부 구현에서, 703에서 결정된 픽셀이 스타일러스 장치 광학의 모양(geometry)에 기초하여 디스플레이(180) 상의 픽셀 위치로 매핑될 수 있다.
709에서 위치와 자세 추정이 교정(refine)된다. 추정은 픽셀 위치의 매핑에 기초하여 전자기기(120)에 의해 교정될 수 있다. 일부 구현에서, 추정은 x, y, z 위치 좌표와 방위각, 거리, 및 회전 각도에 대응하는 6개 변수를 갖는 방적식을 풀어 픽셀 위치의 매핑에 기초하여 교정될 수 있다.
711에서 교정된 추정이 오류 체크된다. 교정된 추정은 전자기기(120)에 의해 오류 체크될 수 있다. 이미지 센서(135)와 디스플레이(180) 내의 결정된 픽셀사이의 매핑 때문에 추정이 오류를 가질 수 있다. 가능한 매핑의 수가 작기 때문에, 전자기기(120)는 가능한 모든 매핑을 시도하고 최소 에러를 갖는 위치와 자세의 추정을 선택할 수 있다.
713에서, 추적 루프가 개시될 수 있다. 추적 루프는 전자기기(120)에 의해 개시될 수 있다. 추적 루프 동안, 시작 픽셀 위치에 대해 스타일러스 위치와 자세가 연속적으로 결정될 수 있다.
715에서 스타일러스 장치가 동기화된다. 스타일러스 장치(101)는 절대 위치 디코딩 알고리즘을 이용하여 전자기기(120)에 의해 동기화될 수 있다. 일부 구현에서, 절대 위치 디코딩 알고리즘은 디스플레이(180)에 대한 절대 위치의 결정을 가져올 수 있다. 절대 위치 디코딩 알고리즘은 추적 동안에 디스플레이(180)의 충분히 큰 영역이 관찰되었거나 충분한 수의 디스플레이(180) 프레임이 분석된 때에 완료될 수 있다.
717에서 절대 위치 정보가 제공된다. 절대 위치 정보는 전자기기(120)에 의해 컴퓨팅 장치(110)로 제공될 수 있다. 스타일러스 장치(101)가 움직임에 따라, 절대 위치 정보는 전자기기(120)에 의해 추적될 수 있고 연속적으로 컴퓨팅 장치(110)에 제공될 수 있다.
도 8은 스타일러스 장치의 위치를 결정하기 위한 방법의 일 구현의 동작 흐름이다. 방법(800)은 스타일러스 장치(101)와 컴퓨팅 장치(110) 중 하나 이상에 의해 구현될 수 있다.
801에서, 디스플레이의 복수의 픽셀로부터 발산되는 광은 스타일러스 장치의 이미지 센서에서 수신된다. 광은 디스플레이(180)의 복수의 픽셀로부터 스타일러스 장치(101)의 이미지 센서(135) 상에서 수신될 수 있다. 스타일러스 장치(101)는 예를 들어 디스플레이를 향해 유지되었을 수 있고, 이미지 센서(135)에 의해 광이 수신되는 디스플레이 상의 픽셀의 위치를 결정함으로써 디스플레이 앞에서의 그 위치를 결정하려 하고 있을 수 있다. 일부 구현에서, 수신된 광은 필터(133)를 통해 수신될 수 있다.
803에서, 수신된 광에 기초하여 픽셀 중 적어도 하나의 위치가 결정된다. 위치는 스타일러스 장치(101)의 이미지 센서(135)와 전자기기(120)에 의해 결정될 수 있다. 일부 구현에서, 위치는 스타일러스 드라이버에 의해 발산된 광으로 인코딩된 코드나 패턴에 기초하여 결정될 수 있다. 예를 들어, 일부 구현에서, 스타일러스 드라이버(111)는 디스플레이의 픽셀을 4개 픽셀의 쿼드로 그룹지울 수 있다. 각각의 4개 픽셀 쿼드는, 쿼드 내 각각의 픽셀에 의해 표시되는 청색광의 양을 증가시키거나, 감소시키거나 또는 변경시키지 않음으로써 패턴의 고유한 시퀀스를 표시할 수 있다. 각각의 쿼드에 의해 표시되는 패턴의 각 시퀀스가 고유하기 때문에, 전자기기(120)는 패턴의 고유한 시퀀스에 기초하여 쿼드 내 픽셀 중 적어도 하나의 위치를 결정할 수 있다. 이러한 패턴은 예를 들어 도 5에 대해 설명된다.
805에서, 디스플레이에 대한 스타일러스 장치의 위치가 적어도 하나의 픽셀의 위치에 기초하여 결정된다. 위치는 스타일러스 장치(101)의 전자기기(120)에 의해 결정될 수 있다.
807에서, 스타일러스 장치의 결정된 위치가 제공된다. 결정된 위치는 스타일러스 장치(101)의 송신기(123)에 의해 컴퓨팅 장치(110)의 수신기(112)에 제공될 수 있다. 스타일러스 드라이버(111)는 예를 들어 스타일러스 장치(101)에 대응하는 커서나 아이콘을 업데이트하기 위해 제공된 위치를 사용할 수 있다.
도 9는 예시적인 실시형태 및 태양이 구현될 수 있는 예시적인 연산 환경을 도시한다. 연산 시스템 환경은 적당한 연산 환경의 일 예일 뿐이고 사용이나 기능의 범위에 관한 여하한 제한도 시사하려는 것이 아니다.
많은 다른 범용 또는 전용 연산 시스템 환경이나 구성이 사용될 수 있다. 예를 들어, 사용에 적당할 수 있는 잘 알려진 연산 시스템, 환경 및/또는 구성은 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 스마트폰, 네트워크 퍼스널 컴퓨터(PC), 미니컴퓨터, 메인프레임 컴퓨터, 임베디드 시스템, 상기 시스템이나 장치 중 여하한 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만 이에 제한되지 않는다.
프로그램 모듈과 같이, 컴퓨터에 의해 실행되는 컴퓨터 실행가능 명령이 사용될 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크를 수행하거나 특정한 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 분산 컴퓨팅 환경은, 통신 네트워크나 기타 데이터 송신 매체를 통해 링크된 원격 처리 장치들에 의해 태스크가 수행되는 경우에 사용될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈 및 기타 데이터는 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치될 수 있다.
도 9를 참조하면, 여기 설명된 태양을 구현하기 위한 예시적인 시스템은 컴퓨팅 장치(900)와 같은 컴퓨팅 장치를 포함한다. 가장 기초적인 구성에서, 컴퓨팅 장치(900)는 통상 적어도 하나의 처리 유닛(902)과 메모리(904)를 포함한다. 컴퓨팅 장치의 정확한 구성과 유형에 따라, 메모리(904)는 휘발성(RAM(random access memory)과 같은), 비휘발성(ROM(read-only memory), 플래시 메모리 등과 같은), 또는 둘의 소정 조합일 수 있다. 이 가장 기초적인 구성은 도 9에 점선으로 도시된다.
컴퓨팅 장치(900)는 추가의 특성/기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(900)는, 자기 또는 광 디스크나 테이프를 포함하지만 이에 제한되지 않는 (제거가능(removable) 및/또는 비제거가능) 추가 저장소를 포함할 수 있다. 이러한 추가 저장소는 도 9에 제거가능 저장소(908)와 비제거가능 저장소(910)로 도시된다.
컴퓨팅 장치(900)는 통상 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 장치(900)에 의해 액세스될 수 있는 여하한 가용 매체일 수 있고 휘발성 및 비휘발성 매체, 제거가능 및 비제거가능 매체를 모두 포함한다.
컴퓨터 저장 매체는, 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 여하한 방법이나 기술로 구현되는 휘발성 및 비휘발성 및 제거가능 및 비제거가능 매체를 포함한다. 메모리(904), 제거가능 저장소(908) 및 비제거가능 저장소(910)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM(electrically erasable program read-only memory), 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 기타 자기 저장 장치, 또는 희망 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(900)에 의해 액세스될 수 있는 여하한 기타 매체를 포함하지만 이에 제한되지 않는다. 여하한 이런 컴퓨터 저장 매체는 컴퓨팅 장치(900)의 일부일 수 있다.
컴퓨팅 장치(900)는 장치가 다른 장치와 통신할 수 있도록 하는 통신 접속(들)(912)을 포함할 수 있다. 컴퓨팅 장치는 또한 키보드, 마우스, 펜, 음성 입력 장치, 스타일러스, 터치 입력 장치 등과 같은 입력 장치(들)(914)을 가질 수 있다. 스피커, 프린터 등과 같은 출력 장치(들)(916)이 또한 포함될 수 있다. 이들 장치 모두는 기술분야에서 잘 알려져 있고 여기서 길게 논의할 필요가 없다.
컴퓨팅 장치(900)는 디스플레이(917)를 또한 가질 수 있다. 디스플레이(917)는 액정 디스플레이, 음극선 튜브 디스플레이(cathode ray tube display), 유기 발광다이오드 디스플레이(organic light emitting diode display) 등을 포함하는 다양한 잘 알려진 디스플레이 유형을 포함할 수 있다. 기술분야에 알려진 여하한 유형의 디스플레이가 사용될 수 있다. 예시적 디스플레이는 도 1에 대해 도시된 디스플레이(180)이다.
여기 설명된 다양한 기술은 하드웨어나 소프트웨어 또는, 적당한 경우에는 양자의 조합과 관련하여 구현될 수 있음을 이해하여야 한다. 그러므로, 여기 개시된 주제의 방법이나 장치 또는 그의 특정한 태양이나 부분은, 플로피 디스켓, CD-ROM, 하드 드라이브 또는 여하한 기타 기계 판독가능 저장 매체와 같은 유형의(tangible) 매체에 포함되는 프로그램 코드(즉, 명령)의 형태를 취할 수 있는데, 여기서, 프로그램 코드가 컴퓨터와 같은 기계에 로딩되고 그에 의해 실행되는 때에, 기계는 여기 개시된 주제를 실시하기 위한 장치가 된다.
예시적인 구현이 여기 개시된 주제의 태양을 하나 이상의 독립 컴퓨터 시스템의 맥락에서 사용하는 것을 언급할 수 있지만, 본 주제는 그에 제한되지 않으며 네트워크 또는 분산 컴퓨팅 환경과 같은 여하한 연산 환경과 관련하여 구현될 수 있다. 또한, 여기 개시된 주제의 태양은 복수의 프로세싱 칩 또는 장치에서 또는 그에 걸쳐 구현될 수 있으며, 저장소도 유사하게 복수의 장치에 걸쳐 이루어질 수 있다. 이러한 장치는 예를 들어 퍼스널 컴퓨터, 네트워크 서버 및 핸드헬드 장치를 포함할 수 있다.
주제가 구조적 특성 및/또는 방법적 동작에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제는 상술한 특정한 특성이나 동작으로 제한되어야 하는 것은 아님을 이해할 것이다. 오히려, 상술한 구체적 특성이나 동작은 청구범위를 구현하는 예시적 형태로 개시된다.

Claims (10)

  1. 스타일러스 장치의 이미지 센서에서 디스플레이로부터 발산되는 광을 수신하는 단계-상기 수신된 광은 상기 이미지 센서 상에서 이미지를 형성함-와,
    상기 이미지 센서에 의해 상기 이미지의 초점 내의(in focus) 부분을 결정하는 단계와,
    상기 이미지의 초점 내의 상기 부분의 모양에 기초하여 상기 스타일러스 장치의 위치(position)와 자세(attitude)를 결정하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 광은, 상기 이미지 센서 상에 형성된 상기 이미지의 필드 곡률(field curvature)을 증가시키는 광학 요소를 통해 상기 이미지 센서에 의해 수신되는
    방법.
  3. 제 1 항에 있어서,
    상기 이미지의 초점 내의 상기 부분은 타원 모양 링이고,
    상기 방법은
    상기 타원 모양 링의 이심률(eccentricity)을 결정하는 단계와,
    상기 타원 모양 링의 상기 이심률에 기초하여 상기 스타일러스 장치의 경사도(inclination)를 결정하는 단계를 더 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 이미지의 초점 내의 상기 부분은 타원 모양 링이고,
    상기 방법은
    상기 타원 모양 링의 방향을 결정하는 단계와,
    상기 타원 모양 링의 상기 방향에 기초하여 상기 스타일러스 장치의 방위각(azimuth)을 결정하는 단계를 더 포함하는
    방법.
  5. 컴퓨팅 장치와,
    상기 컴퓨팅 장치에 연결된 디스플레이와,
    스타일러스 장치-상기 스타일러스 장치는 광학 요소와 이미지 센서를 포함함-를 포함하되,
    상기 이미지 센서는
    상기 광학 요소를 통해 상기 디스플레이로부터 발산되는 광을 수신하고-상기 수신된 광은 상기 이미지 센서 상에 이미지를 형성함-,
    상기 이미지의 초점 내의 부분을 결정하고,
    상기 이미지의 초점 내의 상기 부분의 크기를 결정하고,
    상기 결정된 크기에 기초하여 상기 디스플레이와 상기 스타일러스 장치 사이의 거리를 결정하도록 구성되는
    시스템.
  6. 제 5 항에 있어서,
    상기 광학 요소는 상기 이미지 센서 상에 형성되는 상기 이미지의 필드 곡률을 증가시키는
    시스템.
  7. 제 5 항에 있어서,
    상기 광학 요소는 반사 광학 요소 또는 굴절 광학 요소 중 하나인
    시스템.
  8. 제 5 항에 있어서,
    상기 이미지의 초점 내의 상기 부분은 타원 모양 링이고,
    상기 이미지 센서는
    상기 타원 모양 링의 이심률을 결정하고,
    상기 타원 모양 링의 상기 이심률에 기초하여 상기 스타일러스 장치의 경사도를 결정하도록 더 구성되는
    시스템.
  9. 제 5 항에 있어서,
    상기 이미지의 초점 내의 상기 부분은 타원 모양 링이고,
    상기 이미지 센서는
    상기 타원 모양 링의 방향을 결정하고,
    상기 타원 모양 링의 상기 방향에 기초하여 상기 스타일러스 장치의 방위각을 결정하도록 더 구성되는
    시스템.
  10. 제 5 항에 있어서,
    상기 스타일러스 장치는 상기 컴퓨팅 장치로 상기 결정된 거리를 제공하도록 구성되는
    시스템.
KR1020137021066A 2011-02-11 2012-01-18 유니버설 스타일러스 장치 KR101953403B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/025,165 US8619065B2 (en) 2011-02-11 2011-02-11 Universal stylus device
US13/025,165 2011-02-11
PCT/US2012/021783 WO2012108988A2 (en) 2011-02-11 2012-01-18 Universal stylus device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187014201A Division KR101931924B1 (ko) 2011-02-11 2012-01-18 유니버설 스타일러스 장치

Publications (2)

Publication Number Publication Date
KR20140043058A true KR20140043058A (ko) 2014-04-08
KR101953403B1 KR101953403B1 (ko) 2019-02-28

Family

ID=46562061

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137021066A KR101953403B1 (ko) 2011-02-11 2012-01-18 유니버설 스타일러스 장치
KR1020187014201A KR101931924B1 (ko) 2011-02-11 2012-01-18 유니버설 스타일러스 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187014201A KR101931924B1 (ko) 2011-02-11 2012-01-18 유니버설 스타일러스 장치

Country Status (7)

Country Link
US (1) US8619065B2 (ko)
EP (1) EP2673693B1 (ko)
JP (1) JP5964329B2 (ko)
KR (2) KR101953403B1 (ko)
CN (1) CN102622109B (ko)
HK (1) HK1172109A1 (ko)
WO (1) WO2012108988A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139112A (ko) * 2015-04-20 2017-12-18 가부시키가이샤 와코무 스타일러스와 스타일러스 센서 컨트롤러 사이의 쌍방향 통신에 제공되는 시스템 및 방법
KR20200058256A (ko) * 2018-11-19 2020-05-27 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963838B2 (en) * 2011-10-25 2015-02-24 Texas Instruments Incorporated Enhanced projected image interface
KR101991493B1 (ko) * 2012-01-17 2019-06-20 삼성전자주식회사 터치 인터페이스를 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
CN102740020B (zh) * 2012-05-28 2015-01-21 歌尔声学股份有限公司 等离子电视机的控制方法、蓝牙触控笔和等离子电视机
US20140062966A1 (en) * 2012-09-05 2014-03-06 Research In Motion Limited Stylus Having a Flexibly-Resilient Tip
US9921626B2 (en) * 2012-09-28 2018-03-20 Atmel Corporation Stylus communication with near-field coupling
US9348438B2 (en) 2013-02-19 2016-05-24 Dell Products L.P. Advanced in-cell touch optical pen
FR3006757B1 (fr) * 2013-06-11 2016-10-14 Fogale Nanotech Procede pour caracteriser un objet d'interet en interaction avec une interface de mesure, et dispositif mettant en oeuvre le procede
JP5676065B1 (ja) 2013-08-16 2015-02-25 株式会社ワコム 指示体検出装置及び指示体検出方法
CN105122193B (zh) 2013-08-16 2019-01-04 株式会社和冠 指示体检测传感器以及指示体检测装置
US10775901B2 (en) 2014-01-31 2020-09-15 Qualcomm Incorporated Techniques for identifying rolling gestures on a device
CN104932714A (zh) * 2014-03-19 2015-09-23 张云山 笔型光学指示装置及其控制方法
WO2016170888A1 (ja) 2015-04-20 2016-10-27 株式会社ワコム アクティブスタイラス及びセンサコントローラを用いた方法、センサコントローラ、アクティブスタイラス、及びシステム
US10116963B1 (en) * 2017-06-11 2018-10-30 Dot Learn Inc. Vector-based encoding technique for low-bandwidth delivery or streaming of vectorizable videos
JP2019149730A (ja) * 2018-02-27 2019-09-05 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、位置検出装置、表示調整システム、表示方法、位置検出方法、及び表示調整方法
CN117940882A (zh) * 2021-09-17 2024-04-26 谷歌有限责任公司 对显示器的位置进行编码和识别

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020080171A (ko) * 2001-04-12 2002-10-23 삼성전자 주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
JP2004516542A (ja) * 2000-12-15 2004-06-03 フィンガー システム インク． ペン型光マウス装置及びペン型光マウス装置の制御方法
JP2005529395A (ja) * 2002-06-08 2005-09-29 マイケル リップマン，ロバート コンピュータ・ナビゲーション
US20060250381A1 (en) * 2005-05-06 2006-11-09 Geaghan Bernard O Position digitizing using an optical stylus to image a display
KR20070004568A (ko) * 2003-12-15 2007-01-09 아노토 아베 광학 시스템, 분석 시스템 및 전자 펜용 모듈러 유니트

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2244892B (en) * 1990-06-08 1994-12-14 Electronic Graphics Ltd Computer graphics
JPH06506080A (ja) * 1991-04-03 1994-07-07 ヒューレット・パッカード・カンパニー 位置検知装置
WO1995002801A1 (en) 1993-07-16 1995-01-26 Immersion Human Interface Three-dimensional mechanical mouse
GB9516441D0 (en) * 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
US6195618B1 (en) 1998-10-15 2001-02-27 Microscribe, Llc Component position verification using a probe apparatus
JP4200588B2 (ja) 1999-05-28 2008-12-24 株式会社デンソー ２次元情報読取装置
US6970583B2 (en) 2000-05-25 2005-11-29 Black Gerald R Identity authentication device
KR20010016506A (ko) 2000-12-15 2001-03-05 양홍영 광 마우스 장치
US7952570B2 (en) * 2002-06-08 2011-05-31 Power2B, Inc. Computer navigation
GB0223074D0 (en) 2002-10-04 2002-11-13 Motion Touch Ltd Recording writing movements
US20050020303A1 (en) 2003-05-12 2005-01-27 Chan Steven Sunyuen Mobile electronic device with integrated stylus input device
KR100438846B1 (ko) 2003-10-07 2004-07-06 함종훈 펜형 마우스 장치
US7298367B2 (en) * 2003-11-25 2007-11-20 3M Innovative Properties Company Light emitting stylus and user input device using same
US20050156915A1 (en) 2004-01-16 2005-07-21 Fisher Edward N. Handwritten character recording and recognition device
KR100860158B1 (ko) 2004-01-27 2008-09-24 김철하 펜 형의 위치 입력 장치
US7048198B2 (en) * 2004-04-22 2006-05-23 Microsoft Corporation Coded pattern for an optical device and a prepared surface
US20060028457A1 (en) 2004-08-08 2006-02-09 Burns David W Stylus-Based Computer Input System
NO323926B1 (no) * 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
IL176618A0 (en) * 2006-06-29 2006-10-31 Zalman Schwartzman A solar cocentrating device for photovoltaic energy generation
US20100085333A1 (en) * 2007-01-30 2010-04-08 Takayuki Akimoto Input system and method, and computer program
JP5203448B2 (ja) * 2007-03-28 2013-06-05 アノト アクティエボラーク カメラペンのための光学部品
WO2010132588A2 (en) * 2009-05-15 2010-11-18 Polyvision Corporation Electronic display systems having mobile components

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004516542A (ja) * 2000-12-15 2004-06-03 フィンガー システム インク． ペン型光マウス装置及びペン型光マウス装置の制御方法
KR20020080171A (ko) * 2001-04-12 2002-10-23 삼성전자 주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
JP2005529395A (ja) * 2002-06-08 2005-09-29 マイケル リップマン，ロバート コンピュータ・ナビゲーション
KR20070004568A (ko) * 2003-12-15 2007-01-09 아노토 아베 광학 시스템, 분석 시스템 및 전자 펜용 모듈러 유니트
US20060250381A1 (en) * 2005-05-06 2006-11-09 Geaghan Bernard O Position digitizing using an optical stylus to image a display

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
일본 공표특허공보 특표2004-516542호(2004.06.03.) 1부. *
일본 공표특허공보 특표2005-529395호(2005.09.29.) 1부. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139112A (ko) * 2015-04-20 2017-12-18 가부시키가이샤 와코무 스타일러스와 스타일러스 센서 컨트롤러 사이의 쌍방향 통신에 제공되는 시스템 및 방법
KR20200058256A (ko) * 2018-11-19 2020-05-27 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜
WO2020105880A1 (ko) * 2018-11-19 2020-05-28 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜

Also Published As

Publication number Publication date
CN102622109A (zh) 2012-08-01
US8619065B2 (en) 2013-12-31
KR101953403B1 (ko) 2019-02-28
EP2673693A2 (en) 2013-12-18
EP2673693B1 (en) 2018-05-02
EP2673693A4 (en) 2017-04-12
JP2014508355A (ja) 2014-04-03
CN102622109B (zh) 2015-08-19
US20120206349A1 (en) 2012-08-16
JP5964329B2 (ja) 2016-08-03
HK1172109A1 (en) 2013-04-12
WO2012108988A2 (en) 2012-08-16
KR20180057731A (ko) 2018-05-30
KR101931924B1 (ko) 2018-12-21
WO2012108988A3 (en) 2012-10-26

Similar Documents

Publication Publication Date Title
KR101953403B1 (ko) 유니버설 스타일러스 장치
US9202280B2 (en) Position estimation based rotation of switched off light source
US11681366B2 (en) Gaze tracking using mapping of pupil center position
US9891442B2 (en) Variable curvature display device and displaying method thereof
ES2680825T3 (es) Seguimiento de mirada ocular basado en correlación de homografía adaptativa
KR20210058969A (ko) 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US10627633B2 (en) Wearable smart glasses
US20170102768A1 (en) Eye gaze tracking using binocular fixation constraints
CN114761909A (zh) 针对头戴式显示器的内容稳定
US11740695B2 (en) Eye tracking system for use in head-mounted display units
CN110313006B (zh) 一种人脸图像检测方法及终端设备
US9778792B2 (en) Information handling system desktop surface display touch input compensation
US10860032B2 (en) System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping
CN111830969B (zh) 一种基于反光板及二维码的融合对接方法
US10735665B2 (en) Method and system for head mounted display infrared emitter brightness optimization based on image saturation
US10936057B2 (en) System and method for natural three-dimensional calibration for robust eye tracking
US11029798B2 (en) Display apparatus and method of controlling the same
KR20230146658A (ko) 외부 시선 검출을 통한 광샘 감소
JPWO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル
US11899209B2 (en) Eye tracking system for VR/AR HMD units including pancake lens modules
US20230044153A1 (en) Electronic glasses with dynamically extendable and retractable temples
US20230169725A1 (en) Method and apparatus with 3d modeling of human body
CN114652267A (zh) 眼球追踪方法、系统、可读存储介质及电子设备

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)