KR20160146735A - 대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능 - Google Patents

대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능 Download PDF

Info

Publication number
KR20160146735A
KR20160146735A KR1020167029723A KR20167029723A KR20160146735A KR 20160146735 A KR20160146735 A KR 20160146735A KR 1020167029723 A KR1020167029723 A KR 1020167029723A KR 20167029723 A KR20167029723 A KR 20167029723A KR 20160146735 A KR20160146735 A KR 20160146735A
Authority
KR
South Korea
Prior art keywords
light
sensing element
processor
front surface
light source
Prior art date
Application number
KR1020167029723A
Other languages
English (en)
Inventor
존 미쉘 위라스
예브게니 페트로비흐 고세브
루쎌 웨인 그룰케
쿠르시드 시드 아람
자케크 마이탄
린다 스테이시 아이리쉬
예브게니 유리 폴리아코브
토마스 고든 브라운
사미르 쿠마르 굽타
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160146735A publication Critical patent/KR20160146735A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 전자 대화형 디스플레이를 통한 터치 및 제스처 인식에 관련된 시스템들, 방법들 및 장치를 제공한다. 대화형 디스플레이는 뷰잉 영역을 포함하는 전방 표면, 전방 표면에 근접하여 그리고 그 뒤에 배치된 평면 광 가이드, 광원 및 평면 광 가이드와 커플링된 적어도 하나의 광감지 엘리먼트를 갖는다. 평면 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광은 광원에 의해 방출된 광과 전방 표면과 광학적으로 접촉하는 물체 사이의 상호작용으로부터 발생한다. 광감지 엘리먼트는 수신된 산란된 광 중 적어도 일부를 검출하고, 이미지 데이터를 프로세서로 출력하도록 구성된다. 프로세서는 이미지 데이터로부터 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성된다.

Description

대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능{PRESSURE, ROTATION AND STYLUS FUNCTIONALITY FOR INTERACTIVE DISPLAY SCREENS}
관련 출원들에 대한 상호-참조
[0001] 본 개시는, 발명의 명칭이 "PRESSURE, ROTATION AND STYLUS FUNCTIONALITY FOR INTERACTIVE DISPLAY SCREENS"인 2014년 4월 28일에 출원된 미국 가특허 출원 제 61/985,325 호(대리인 참조 번호 제 QUALP250PUS/144464P1), 및 발명의 명칭이 "PRESSURE, ROTATION AND STYLUS FUNCTIONALITY FOR INTERACTIVE DISPLAY SCREENS"인 2014년 9월 30일에 출원된 미국 특허 출원 제 14/502,726 호(대리인 참조 번호 제 QUALP250US/144464)를 우선권으로 주장한다. 이들 이전의 출원들의 개시들은 본 개시의 일부로 고려되고, 이로써 본 개시에 인용에 의해 포함된다.
[0002] 본 개시는 터치 응답 능력들을 디바이스들에 제공하기 위한 기술들에 관한 것이며, 더 상세하게는, 디스플레이와의 터치 상호작용들의 특정 특성들에 반응하여 응답하도록 제어되는 사용자 입력/출력 인터페이스를 제공하는 대화형 디스플레이에 관한 것이다.
[0003] 본 발명의 양수인은 다중-터치 기능을 디스플레이 스크린, 특히 대형 포맷의 것들에 제공하기 위한 광학 기반 기술들을 개발하고 있다. 예를 들면, 모든 목적에 대해 전체 내용이 본 출원에 대한 인용으로 통합되는 출원 일련 번호 제 61/947,971 호, "LARGE AREA INTERACTIVE DISPLAY SCREEN"은, 사용자의 터치 및/또는 다수의 동시 터치들에 반응하도록 제어되는, 사용자 입력/출력 인터페이스를 제공하는 대화형 디스플레이를 포함하는, 대형 디스플레이 스크린들을 디바이스들에 터치 응답 능력들을 제공하기 위한 기술들을 개시한다. PCT(projected capacitive touch) 및 다른 광학 방법들과 같은 다른 접근법들에 관련하여 이러한 기술들의 이점은 적은 수의 컴포넌트들을 갖고서 큰 크기들로의 스케일링 가능성, 전자기 간섭 및 주변 광에 대한 감소된 민감도, 및 디스플레이 커버 유리와 프레임 사이의 에어갭들을 회피할 수 있는 평평한 베즐(flat bezel)을 포함한다.
[0004] 본 발명의 시스템들, 방법들 및 디바이스들 각각은 몇몇의 혁신적인 양상들을 갖고, 그 양상들 중 어떠한 단일의 양상도 본원에 개시된 바람직한 특성들을 단독으로 담당하지 않는다.
[0005] 본 개시에 설명된 요지의 하나의 혁신적인 양상은 장치에서 구현될 수 있고, 상기 장치는 뷰잉(viewing) 영역을 포함하는 전방 표면을 갖는 대화형(interactive) 디스플레이, 전방 표면에 근접하게 그리고 그 뒤에 배치된 평면 광 가이드(planar light guide), 가시광선 및 적외선 중 어느 하나 또는 둘 모두를 방출하는 광원, 및 평면 광 가이드와 커플링되고, 뷰잉 영역의 주변의 외부 또는 근접하게 배치된 적어도 하나의 광감지 엘리먼트(photo sensing element)를 포함한다. 평면 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광은 전방 표면과 광학적으로 접촉하는 물체 및 광원에 의해 방출된 광 사이의 상호작용으로부터 발생한다. 광감지 엘리먼트는 수신된 산란된 광 중 적어도 일부를 검출하고, 이미지 데이터를 프로세서로 출력하도록 구성된다. 프로세서는, 이미지 데이터로부터, 물체의 접촉 압력 및 회전 배향(rotational orientation) 중 하나 또는 둘 모두를 인식하도록 구성된다.
[0006] 일부 구현들에 따라, 장치는 뷰잉 영역을 포함하는 전방 표면을 갖는 대화형 디스플레이, 전방 표면에 근접하게 그리고 그 뒤에 배치된 평면 광 가이드, 가시광선 및 적외선 중 어느 하나 또는 둘 모두를 방출하는 광원, 및 평면 광 가이드와 커플링되고, 뷰잉 영역의 주변의 외부 또는 근접하게 배치된 적어도 하나의 광감지 엘리먼트를 포함한다. 평면 광 가이드는 광을 수신하도록 구성되고, 수신된 광은 전방 표면과 광학적으로 접촉하는 물체에 의한 광원에 의해 방출되는 광의 산란(scattering), 및 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생한다. 광감지 엘리먼트는 수신된 광 중 적어도 일부를 검출하고, 이미지 데이터를 프로세서로 출력하도록 구성된다. 프로세서는, 이미지 데이터로부터, 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성된다.
[0007] 일부 예들에서, 광원은 전방 표면에 실질적으로 직교하는 방향으로 광을 방출할 수 있다. 광원은 액정 또는 필드 순차 컬러 디스플레이(field sequential color display)의 백라이트(backlight), 반사형 디스플레이의 전방-라이트 또는 방출형 디스플레이(emissive display)로부터의 라이트로서 구성되거나 이를 포함할 수 있다.
[0008] 일부 예들에서, 물체는 수동 스타일러스(passive stylus) 또는 사용자의 손가락 또는 부속물(appendage)일 수 있다.
[0009] 일부 예들에서, 물체는 수동 스타일러스일 수 있다. 수신된 광은 수동 스타일러스의 펜촉(nib)에 의해 광원에 의해 방출된 광의 산란으로부터 발생할 수 있다. 펜촉은 압력 하에서 변형되는 탄성 중합체(elastomeric) 특성 및 확산 반사형 표면(diffusely reflective surface)을 가질 수 있다. 프로세서는, 이미지 데이터로부터, 수동 스타일러스의 위치, 접촉 압력 및 각도 배향 중 하나 이상을 인식하도록 구성될 수 있다. 프로세서는, 이미지 데이터 및 특성 정보로부터, 수동 스타일러스의 위치, 접촉 압력 및 각도 배향 각각을 인식하도록 구성될 수 있다.
[0010] 일부 예들에서, 물체는 펜촉을 포함하는 능동 스타일러스일 수 있다. 수신된 광은 펜촉을 통해 능동 스타일러스에 의해 방출된 광으로부터 발생할 수 있다. 펜촉은 압력 하에서 변형되는 탄성 중합체 특성을 가질 수 있다. 펜촉은 실질적으로 등방성(isotropic) 방식으로 펜촉을 통해 능동 스타일러스에 의해 방출된 광을 산란시키도록 구성될 수 있다.
[0011] 일부 예들에서, 물체는 압력 하에서 변형되는 탄성 중합체 특성을 가질 수 있고, 검출된 광의 이미지 데이터는 물체와 전방 표면 사이에 인가되는 접촉 압력에 관련된 특성 정보를 포함할 수 있다. 프로세서는 특성 정보로부터 다수의 터치 포인트들에 대한 개별적인 접촉 압력들을 인식하고 이들 사이를 구별하도록 구성될 수 있다.
[0012] 일부 예들에서, 광감지 엘리먼트는 감광성(photosensitive) 검출기 어레이 또는 카메라를 포함할 수 있다. 광감지 엘리먼트는 평면 광 가이드의 평면 내에 또는 평면 뒤에 배치될 수 있다.
[0013] 일부 예들에서, 프로세서는 스타일러스 터치 및 손가락 둘 모두에 의한 동시의 또는 거의 동시의 터치들을 인식하고 이들 사이를 구별하도록 구성될 수 있다.
[0014] 일부 예들에서, 광감지 엘리먼트는 광학축을 갖는 렌즈를 포함하는 카메라일 수 있고, 카메라는 전방 표면에 대략 평행하는 광학축에 배치된다.
[0015] 일부 구현들에 따라, 전자 디스플레이는 뷰잉 영역을 포함하는 전방 표면, 전방 표면에 근접하여 그리고 그 뒤에 배치되는 평면 광 가이드, 가시광선 및 적외선 중 하나 또는 둘 모두를 방출하는 광원, 및 평면 광 가이드와 커플링되고, 뷰잉 영역의 주변의 외부 또는 근접하여 배치된 적어도 하나의 광감지 엘리먼트를 갖는다. 평면 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광은 광원에 의해 방출된 광 및 전방 표면과 광학적으로 접촉하는 물체 사이의 상호작용으로부터 발생한다. 광감지 엘리먼트는 수신된 산란된 광 중 적어도 일부를 검출하고, 이미지 데이터를 프로세서로 출력하도록 구성된다.
[0016] 일부 예들에서, 프로세서는, 이미지 데이터로부터, 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성될 수 있다. 일부 예들에서, 프로세서는, 이미지 데이터로부터, 물체의 위치, 접촉 압력 및 각도 배향 각각을 인식하도록 구성될 수 있다.
[0017] 일부 예들에서, 물체는 압력 하에서 변형되는 탄성 중합체 특성을 가질 수 있고, 검출된 광의 이미지 데이터는 물체와 전방 표면 사이에 인가되는 접촉 압력에 관련된 특성 정보를 포함할 수 있다.
[0018] 일부 예들에서, 물체는 수동 스타일러스일 수 있고, 수신된 산란된 광은 수동 스타일러스의 펜촉 및 광원에 의해 방출된 광 사이의 상호작용으로부터 발생할 수 있고, 펜촉은 탄성 중합체 특성 및 확산 반사형 표면을 가질 수 있다.
[0019] 일부 구현들에 따라, 장치는 뷰잉 영역을 포함하는 전방 표면을 갖는 대화형 디스플레이, 가시광선 및 적외선 중 하나 또는 둘 모두를 방출하는 광원, 뷰잉 영역의 주변의 외부 또는 근접하게 배치된 적어도 하나의 광감지 엘리먼트, 및 전방 표면에 근접하게 그리고 그 뒤에 배치되고, 적어도 하나의 광감지 엘리먼트와 커플링되어, 광을 수신하기 위한 수단을 포함하고, 수신된 광은 전방 표면과 광학적으로 접촉하는 물체와 광원에 의해 방출된 광 사이의 상호작용, 및 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생한다. 광감지 엘리먼트는 수신된 광 중 적어도 일부를 검출하고, 이미지 데이터를 프로세서로 출력하도록 구성된다. 프로세서는 이미지 데이터로부터, 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성된다.
[0020] 일부 구현들에 따라, 방법은 수신된 광을 광감지 엘리먼트를 통해 검출하는 단계 ― 수신된 광은 대화형 디스플레이의 디스플레이 커버 유리의 전방 표면과 적어도 부분적으로 광학적으로 접촉하는 물체와 광원에 의해 방출된 광 사이의 상호작용, 및 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생함― , 광감지 엘리먼트로부터 이미지 데이터를 프로세서로 출력하는 단계, 및 이미지 데이터로부터, 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를, 프로세서를 통해, 인식하는 단계를 포함한다.
[0021] 일부 예들에서, 프로세서는 이미지 데이터로부터 물체의 위치를 결정하도록 구성될 수 있다.
[0022] 일부 예들에서, 프로세서는 광감지 엘리먼트에 관련하여 물체의 방위각(azimuth angle) 및 범위를 측정하는 것, 복수의 광감지 엘리먼트에 관련하여 물체의 방위각들을 측정하는 것, 및 복수의 광감지 엘리먼트에 관련하여 물체의 범위를 측정하는 것 중 하나 이상에 의해 결정하도록 구성될 수 있다.
[0023] 본 명세서에 설명된 요지의 하나 이상의 구현들의 세부사항들은 첨부한 도면들 및 아래의 설명에서 기재된다. 다른 특성들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 다음의 도면들의 상대적인 치수들이 축적에 맞게 도시되지는 않을 수 있음을 유의한다. 다양한 도면들 내의 동일한 참조 번호들 및 지정들은 동일한 엘리먼트들을 표시한다.
[0024] 도 1은 구현에 따른 대화형 디스플레이의 개략적인 블록도를 예시한다.
[0025] 도 2는 구현에 따른 대화형 디스플레이의 단면 정면도를 예시한다.
[0026] 도 3은 물체로부터 산란된 광이 평면 광 가이드와 어떻게 상호작용할 수 있는지를 예시한다.
[0027] 도 4는 검출된 광의 이미지 데이터가 접촉 압력에 관련된 정보를 어떻게 포함할 수 있는지를 예시한다.
[0028] 도 5는 구현에 따라, 검출된 광의 이미지 데이터가 회전 배향 정보를 어떻게 포함할 수 있는지를 예시한다.
[0029] 도 6은 만화경 효과(kaleidoscope effect)의 예를 예시한다.
[0030] 도 7은 현재 개시된 기술들을 사용하여 획득된 이미지의 예를 예시한다.
[0031] 도 8은 구현에 따른, 검출된 광의 이미지 데이터가 어떻게 회전 배향 정보를 획득하는데 사용될 수 있는지를 예시한다.
[0032] 도 9는 일부 구현들에 따른 평면 광 가이드를 갖는 수동 스타일러스의 상호작용의 예들을 예시한다.
[0033] 도 10은 일부 구현들에 따른 평면 광 가이드를 갖는 능동 스타일러스의 상호작용의 예들을 예시한다.
[0034] 도 11은 능동 스타일러스의 예시적인 구현을 예시한다.
[0035] 도 12는 능동 스타일러스의 추가의 예시적인 구현들을 예시한다.
[0036] 도 13은 능동 스타일러스의 또 다른 예시적인 구현들을 예시한다.
[0037] 도 14는 스타일러스 펜촉이 포물선형 형상을 갖는 예시적인 구현을 예시한다.
[0038] 도 15는 변형 가능한 펜촉을 갖는 능동 스타일러스의 예시적인 구현을 예시한다.
[0039] 도 16은 일부 구현들에서 2 개의 감광성 엘리먼트들 각각에 관련하여 터치 위치의 방위 좌표들이 어떻게 터치 위치의 X-Y 좌표들을 획득하는데 사용될 수 있는지를 예시한다.
[0040] 도 17은 일부 구현들에서 4 개의 감광성 엘리먼트들 각각에 관련하여 터치 위치의 범위 좌표들이 어떻게 터치 위치의 X-Y 좌표들을 획득하는데 사용될 수 있는지를 예시한다.
[0041] 도 18은 대화형 디스플레이와 접촉하는 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를, 이미지 데이터로부터, 인식하기 위한 프로세스 흐름도를 예시한다.
[0042] 다음의 설명은, 본 발명의 혁신적인 양상들을 설명하려는 목적들을 위한 특정한 구현들에 관한 것이다. 그러나, 당업자는, 본 명세서의 교시들이 다수의 상이한 방식들로 적용될 수 있음을 용이하게 인식할 것이다. 설명된 구현들은, 모션(예를 들어, 비디오) 또는 정적(예를 들어, 스틸 이미지)에 있는지에 관계없이, 그리고 텍스쳐, 그래픽 또는 화보인지에 관계없이, 이미지를 디스플레이하도록 구성될 수 있는 임의의 디바이스 또는 시스템에서 구현될 수 있다. 더 상세하게, 설명된 구현들이 모바일 전화기들, 멀티미디어 인터넷 가능한 셀룰러 전화기들, 모바일 텔레비전 수신기들, 무선 디바이스들, 스마트폰들, 블루투스® 디바이스들, 개인 휴대 정보 단말(PDA)들, 무선 전자 메일 수신기들, 핸드-헬드 또는 휴대용 컴퓨터들, 넷북들, 노트북들, 스마트북들, 태블릿들, 프린터들, 복사기들, 스캐너들, 팩시밀리 디바이스들, GPS 수신기들/네비게이터들, 카메라들, MP3 플레이어들, 캠코더들, 게임 콘솔들, 손목 시계들, 시계들, 계산기들, 텔레비전 모니터들, 평판 디스플레이들, 전자 판독 디바이스들(즉, e-리더들), 컴퓨터 모니터들, (오도미터(odometer) 및 속도계 디스플레이들 등을 포함하는) 자동차 디스플레이들, 조정실 제어들 및/또는 디스플레이들, (차량 내의 후면 카메라의 디스플레이와 같은) 카메라 뷰 디스플레이들, 전자 사진들, 전자 빌보드들 또는 표지판들, 프로젝터들, 건축 구조들, 마이크로웨이브들, 냉장고들, 스테레오 시스템들, 카세트 레코더들 또는 플레이어들, DVD 플레이어들, CD 플레이어들, VCR들, 라디오들, 휴대용 메모리 칩들, 세탁기들, 건조기들, 세탁기/건조기들, 주차요금 징수기들, (전자기계 시스템들(EMS), 마이크로전자기계 시스템들(MEMS) 및 비-MEMS 애플리케이션들 내의) 패키징, 심미학적 구조들(예를 들어, 보석의 일부에 대한 이미지들의 디스플레이) 및 다양한 EMS 디바이스들과 같지만 이에 제한되지 않는 다양한 전자 디바이스들에 포함되거나 그와 연관될 수 있다는 것이 고려된다. 본 명세서의 교시들은 또한, 전자 스위칭 디바이스들, 라디오 주파수 필터들, 센서들, 가속도계들, 자이로스코프들, 모션-감지 디바이스들, 자력계들, 소비자 전자기기에 대한 관성 컴포넌트들, 소비자 전자기기 제품들의 부품들, 버랙터, 액정 디바이스들, 전기영동 디바이스들, 구동 방식들, 제조 프로세스들 및 전자 테스트 장비와 같지만 이에 제한되지는 않는 비-디스플레이 애플리케이션들에서 사용될 수 있다. 따라서, 교시들은, 도면들에만 도시된 구현들로 제한되도록 의도되지는 것이 아니라, 대신, 당업자에게 용이하게 명백할 바와 같이 넓은 적용가능성을 갖는다.
[0043] 디스플레이와의 터치 상호작용들의 특정 특성들에 반응하여 제어되는 사용자 입력/출력 인터페이스를 제공하는 대화형 전자 디스플레이를 제공하기 위한 새로운 기술이 본원의 아래에 설명된다. 특성들은 디스플레이의 비용, 크기 및 복잡성에 별로 부가하지 않는 광학 기술들을 사용하여 결정된다. 다양한 구현들에서, 대화형 디스플레이는 접촉 압력 및 사용자의 터치의 각도 배향 중 하나 이상에 응답하도록 구성된다. 대화형 디스플레이는 인간의 손가락의 터치 또는 능동 또는 수동 스타일러스에 의해 이루어지는 터치 중 어느 하나 또는 둘 모두에 응답할 수 있다.
[0044] 본 개시에 설명된 요지의 특정 구현들은 다음의 잠재적인 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 종래 기술에 대해, 현재 개시된 기술들은 더 강인하고 다양한 사용자 인터페이스를 가능하게 한다. 일부 구현들에서, 예를 들면, 대화형 디스플레이 상의 다수의 동시의 터치들의 위치 및 특성들이 구별될 수 있다. 개시된 기술들은 대화형 디스플레이가 터치가 인가되는 힘 또는 압력("접촉 압력") 및 터치의 각도 배향과 같이 디스플레이와의 터치 상호작용들의 특정 특성들을 검출하고 이에 응답하는 것을 가능하게 한다. 터치 위치 이외에, 사용자의 터치의 접촉 압력 및 각도 배향에 대한 응답성은 다수의 애플리케이션들에서 바람직한 개선된 사용자 인터페이스를 제공한다. 일부 구현들에서, 예를 들면, 접속 압력 정보는 드로잉 또는 페인팅 프로그램들, 악기 시뮬레이션 및 게임들과 같이 대화형 디스플레이 상에서 실행되는 소프트웨어 애플리케이션들과 관련하여 사용될 수 있다. 일부 구현들에서, 대화형 디스플레이는 손가락 터치의 회전 배향을 검출하고 이에 응답하도록 구성된다. 회전 배향 정보는, 예를 들면, 사용자가 모바일 디바이스를 홀딩하는 방법에 의존하여 디스플레이 배향을 초상화로부터 풍경으로 회전하기 위해 또한 게임 및 다른 애플리케이션들에서 사용될 수 있다. 이것은 또한 다수의 사용자들 사이를 구별하고 및/또는 온-스크린 물체들과 작업하기 위한 새로운 제스처들의 인식을 가능하게 하는데 사용될 수 있다. 일부 구현들에서, 대화형 디스플레이는 능동(발광) 스타일러스 또는 수동(광 반사) 스타일러스일 수 있는 스타일러스 펜과 동작 가능하다.
[0045] 본 개시에 설명된 요지의 하나의 혁신적인 양상은, 예를 들면, 각각이 디스플레이 커버 유리의 평면 내에 또는 평면 뒤에 장착되는 카메라들과 같은 하나 이상의 광감지 엘리먼트들을 포함하는 대화형 디스플레이에서 구현될 수 있다. 광감지 엘리먼트(들)는 터치 또는 동시의 다수의 터치들의 위치(들), 접촉 압력 및/또는 각도 배향일 결정될 수 있는 이미지 데이터를 출력할 수 있다.
[0046] 일부 구현들에서, 장치 또는 전자 디바이스는 입력/출력(I/O) 인터페이스를 장치의 사용자에게 제공하기 위해 대화형 디스플레이와 협력할 수 있다. 대화형 디스플레이는 뷰잉 영역을 포함하는 전방 표면을 갖는다. 전자 디바이스는 대화형 디스플레이를 포함하거나 대화형 디스플레이에 전기적으로 또는 무선으로 커플링될 수 있다. 상기 장치는 프로세서, 평면 광 가이드, 광원 및 하나 이상의 광감지 엘리먼트들, 광 검출기 어레이들 또는 카메라들을 포함할 수 있다. 평면 광 가이드는 전방 표면에 근접하게 그리고 뒤에 배치될 수 있다. 일부 구현들에서, 평면 광 가이드는 모바일 디바이스 컴퓨터 모니터, 텔레비전 등의 디스플레이 층에 근접하게 그리고 평행하게 배치된 커버 유리 또는 렌즈를 포함할 수 있어서, 평면 광 가이드는 디스플레이 층과 사용자 사이에 배치된다. 용어가 본원 및 청구항들에서 사용될 때, 용어 "평면 광 가이드"의 더 양호한 이해는 본 발명의 양수인에게 양도된 출원 일련 번호 제 13/480,377 호, "FULL RANGE GESTURE SYSTEM"을 참조함으로써 획득될 수 있고, 이로써 상기 출원의 개시는 모든 목적에 대해 전체 내용이 인용에 의해 본 출원에 통합된다.
[0047] 하나 이상의 카메라들은 뷰잉 영역의 주변에 근접하게 배치될 수 있다. 이러한 시스템 내의 카메라들은 본 발명의 양수인에게 양도된 출원 일련 번호 제 61/947,971 호, "LARGE AREA INTERACTIVE DISPLAY SCREEN"에 설명된 바와 같은 터치 위치 감지의 듀얼 목적에서 사용될 수 있고, 이로써 상기 출원의 개시는 모든 목적에 대해 전체 내용이 인용에 의해 본 출원에 통합된다. 사용자의 손가락, 스타일러스, 또는 이미지화되는 다른 사용자-제어되는 물체와 같은 물체가 대화형 디스플레이의 전방 표면을 접촉할 때, 물체로부터 산란된 광은 평면 광 가이드 내에서 TIR(total internal reflection)을 겪을 수 있다. TIR을 겪는 광의 적어도 일부는 하나 이상의 카메라들에 도달할 수 있다. 카메라들은 그러한 TIR을 겪은 광을 검출하고 검출된 TIR을 겪은 광을 나타내는 이미지 데이터를 프로세서로 출력할 수 있다. 프로세서(특수 알고리즘을 사용함)는 이미지 데이터로부터 사용자 터치의 인스턴스 및 위치를 인식할 수 있고, 사용자 터치에 응답하여 대화형 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어할 수 있다.
[0048] 도 1은 구현에 따른, 대화형 디스플레이의 개략적인 블록도를 도시한다. 대화형 디스플레이(100)는, 뷰잉 영역(101)을 포함하는 전방 표면(167)(도 2)을 갖는 디스플레이 커버 유리(165)(도 2)를 포함한다. 전자 디스플레이(100)는, 광을 검출하도록 구성되는 적어도 하나의 광감지 엘리먼트(133)를 포함한다. 본원의 아래에 더 상세히 설명될 바와 같이, 광감지 엘리먼트(133)는, 물체(150)가 전방 표면(167)과 적어도 부분적으로 광학적으로 접촉할 때, 물체(150)(도 2)와의 광의 상호작용으로부터 발생한 산란된 광을 검출할 수 있다.
[0049] 광감지 엘리먼트(133)는 이미지 데이터를 프로세서(1004)에 출력할 수 있다. 몇몇 구현들에서, 예를 들어, 광감지 엘리먼트(133)는 지문 이미지 데이터를 프로세서(1004)로 출력할 수 있다. 일부 구현들에서, 추가의 예로서, 광감지 엘리먼트(133)는 능동 또는 수동 스타일러스의 특징들을 나타내는 이미지 데이터를 출력할 수 있다. 프로세서(1004)는 광감지 엘리먼트(133) 또는 대화형 디스플레이(100)의 다른 엘리먼트들과 통신가능하게 커플링될 수 있다. 몇몇 구현들에서, 프로세서(1004)는 전자 디스플레이(100)의 일체 부분일 수 있다. 다른 구현들에서, 도 1에서 제안된 바와 같이, 프로세서(1004)는 전자 디스플레이(100)와는 별개로 구성될 수 있다. 몇몇 구현들에서, 프로세서는, 예를 들어, 원격 서버에 원격으로 위치될 수 있다.
[0050] 일부 구현들에서, 프로세서(1004)는 이미지 데이터로부터 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성될 수 있다. 일부 구현들에서, 이미지 데이터는 지문 이미지 데이터를 포함하고, 프로세서(1004)는, 본 출원과 동시에 출원된 "DISPLAY-INTEGRATED USER-CLASSIFICATION, SECURITY AND FINGERPRINT SYSTEM"란 명칭의 특허 출원에 개시된 바와 같이, 알려진 및/또는 인가된 사용자들의 지문 이미지 데이터와 광감지 엘리먼트(133)로부터 수신된 지문 이미지 데이터를 비교하도록 구성될 수 있고, 이로써 상기 출원의 개시는 모든 목적에 대해 전체 내용이 인용에 의해 본 출원에 통합된다.
[0051] 일부 구현들에서, 물체는 압력 하에서 변형되는 탄성 중합체(elastomeric) 특성을 갖는다. 예를 들면, 물체는 인간의 손가락 또는 변형 가능한 펜촉을 갖는 스타일러스일 수 있고, 펜촉은 고무 또는 플라스틱과 같은 탄성 중합체 표면 재료를 갖는다. 그러한 구현들에서, 검출된 광의 이미지 데이터는 물체와 전방 표면(167) 사이에 인가된 접촉 압력에 관련된 특성 정보를 포함할 수 있고, 프로세서(1004)는 특성 정보로부터 다수의 터치 포인트들에 대한 개별적인 접촉 압력들을 인식하고 그들 사이를 구별하도록 구성될 수 있다.
[0052] 일부 구현들에서, 프로세서(1004)는 스타일러스 터치 및 손가락 둘 모두에 의한 동시의 또는 거의 동시의 터치들을 인식하고 이들 사이를 구별하도록 구성될 수 있다.
[0053] 도 2는 구현에 따른, 대화형 디스플레이의 단면 정면도를 도시한다. 대화형 디스플레이(100)는, ("커버 렌즈" 또는 "커버 유리"로 본 명세서에서 또한 지칭될 수 있고, 예를 들면, 모바일 디바이스, 모니터, 또는 텔레비전 상의 디스플레이 위에 배치될 수 있는) 제 1 평면 광 가이드(165)를 포함한다. 제 1 평면 광 가이드(165)는, 대화형 디스플레이(100)의 전면 표방(167)에 인접하게 그리고 그 뒤에 배치될 수 있다. 예시된 구현에서, ("광원"으로 본 명세서에서 또한 지칭될 수 있는) 백라이트(135)는 제 1 평면 광 가이드(165) 뒤에 배치될 수 있다. 디스플레이 층(145)은, 제 1 평면 광 가이드(165)와 백라이트(135) 사이에 배치된다. 예시된 구현에서, 백라이트(135)는 전방 표면(167)에 실질적으로 직교하는 방향으로 광(142)을 방출하도록 구성된다. 광(142)은 가시광선 및/또는 적외선을 포함할 수 있다.
[0054] 도시된 구현에서, 광원(135)은 백 라이트로서 구성된다(즉, 광원(135)은, 디스플레이 층(145)이 광원(135)과 제 1 평면형 광 가이드(165) 사이에 배치되도록 디스플레이 층(145) "뒤에" 있음). 그러나, 다른 구현들에서, 광원(135)은 전방 라이트로서 구성된다(즉, 광원(135)은, 광원(135)이 디스플레이 층(145)과 제 1 평면형 광 가이드(165) 사이에 배치되도록 디스플레이 층(145) "위에" 있을 수 있음). 더 일반적으로, 광원(135)은 액정 또는 필드 순차 컬러 디스플레이의 백라이트, 반사형 디스플레이(예를 들어, 간섭측정 변조기(interferometric modulator)(IMOD) 디스플레이)의 전방-라이트, 또는 방출형 디스플레이(예를 들어, 유기 발광 다이오드 디스플레이)에 의해 방출되는 광, 또는 가시광선에 불투명한 커버 유리(165)의 아트-워크(art-work) 영역 아래 그리고 그를 통해 방출된 적외선 광일 수 있거나 그들을 포함할 수 있음을 인식할 것이다.
[0055] 도시된 구현에서, 광원(135)은 외부 발광 엘리먼트(131)로부터 수신된 광을 전방 표면(167)에 직교하는 상당한 컴포넌트를 갖는 방향으로 반사하는 광 터닝 배열을 통합하는 제 2 평면 광 가이드로서 구성될 수 있다. 발광 엘리먼트(131)는, 예를 들어, 발광 다이오드(LED)일 수 있다. 일부 구현들에서, 발광 엘리먼트(131)는 광원(135) 둘레 주변에 배치된 복수의 LED들을 포함할 수 있다. 발광 엘리먼트(131)는, 적외선, 레드, 블루, 그린, 또는 다른 컬러 또는 컬러들의 결합, 또는 백색 광을 방출할 수다.
[0056] 위에 표시된 바와 같이, 대화형 디스플레이(100)는 적어도 하나의 광감지 엘리먼트(133)를 포함한다. 광감지 엘리먼트는, 예를 들면, 렌즈, 핀홀 또는 격자를 갖는 2 차원 픽셀 어레이("카메라들")를 포함할 수 있다. 일부 구현들에서, 광감지 엘리먼트(133)는 렌즈, 핀홀 또는 격자를 갖는 제 1 평면 광 가이드(165)의 동일 평면 방향을 따라 정렬된 1 차원 픽셀 어레이("1D 카메라들")로서 구성될 수 있다.
[0057] 몇몇 구현들에서, 광감지 엘리먼트(133) 중 적어도 하나는 비디오 그래픽 어레이(VGA) 마이크로 카메라이다. 일부 구현들에서, VGA 마이크로 카메라는 대략 500 ㎛의 직경인 렌즈를 포함할 수 있으며, 4mm 직경 미만의 센서 패키지에 포함될 수 있다. 결과로서, 광감지 엘리먼트(133)는, 대화형 디스플레이(100)의 스택 높이에 상당히 부가하지 않으면서 제 1 광 가이드(165)와 동일 평면 배열에 위치될 수 있다.
[0058] 이제 도 2의 세부사항 A를 참조하면, 광(142)은 제 1 평면 광 가이드(165)를 통과하고 물체(150)와 상호작용할 수 있다. 물체(150)는 제 1 평면 광 가이드(165)의 상부 표면과 적어도 부분적으로 광학적으로 접촉한다. 물체(150)는 사용자의 손가락 또는 다른 부속물 또는 스타일러스와 같이 이미지화되는 표면을 갖는 다른 물체, 또는 가시광선 또는 IR 광 카메라에 의해 검출 가능한 바 코드 식별자 또는 암호 워터마크를 포함하는 전자적으로 디스플레이되는 문서 또는 이미지일 수 있다. 산란된 광(146)은 물체(150)와 광(142)의 상호작용으로부터 발생한다. 산란된 광(146) 중 일부는, 광선 트레이스(146(0))에 의해 예시된 바와 같이, 광감지 엘리먼트(133)로 이동하고, 제 1 평면 광 가이드(165)에 의해 내부적으로 반사되지 않고서 광감지 엘리먼트(133)에 의해 검출될 수 있다. 산란된 광(146) 중 적어도 일부는 TIR을 겪을 수 있다. 예를 들면, 광선 트레이스(146(1))에 의해 예시된 바와 같이, 산란된 광 중 일부는 광감지 엘리먼트(133)에 의해 검출되기 전에 단일 내부 반사를 겪을 수 있다. 산란된 광 중 일부가 광감지 엘리먼트(133)에 의해 검출되기 전에 2, 3 또는 그 초과의 내부 반사들을 겪을 수 있다는 것이 인지될 것이다. 광감지 엘리먼트(133)는 검출된 광의 이미지 데이터를 프로세서(1004)(도 1)로 출력할 수 있다.
[0059] 도 2의 세부사항 A을 여전히 참조하면, 광감지 엘리먼트(133)가 광학 축(134)을 갖는 렌즈(132)를 포함하는 카메라일 수 있다는 것이 주목되어야 한다. 일부 구현들에서, 광감지 엘리먼트(133)는, 광학 축(134)이 대략 전방 표면(167)에 평행하도록 배치될 수 있다.
[0060] 도 3은 물체로부터 산란된 광이 어떻게 평면 광 가이드와 상호작용할 수 있는 방법을 예시한다. 예시된 예에서, 물체(150(1))는 전방 표면(167)과 광학적으로 접촉하지 않는다. 결과적으로, 물체(150(1))의 표면 상에 입사되는 광(142(1))이 산란되고, 산란된 광(146(1))은 제 1 평면 광 가이드(165)를 통해 굴절된다. 예시된 예에서, 물체(150(2))는 전방 표면(167)과 광학적으로 접촉하고, 이러한 접촉의 결과로서, 물체(150(2))로부터 산란된 광(146(2))은 제 1 평면 광 가이드(165) 내에서 TIR을 겪고, 하나 이상의 광감지 엘리먼트들(예시되지 않음)을 향해 안내되고, 이에 의해 검출될 수 있다.
[0061] 물체(150)가 인간의 손가락 또는 탄성 중합체 속성들을 갖는 인공 재료 또는 배열과 같이 압력 하에서 변형되는 탄성 중합체 특성을 갖는 경우에, 검출된 광의 이미지 데이터는 물체(150)가 전방 표면을 접촉하는 힘 또는 압력("접촉 압력")에 관련된 정보를 포함할 수 있다. 도 4는 검출된 광의 이미지 데이터가 어떻게 접촉 압력에 관련된 정보를 포함할 수 있는지를 예시한다. 인간의 피부의 리지(ridge) 구조(또는 인공 물체의 표면 거칠기)로 인해, 터치가 최소 접촉 압력(세부사항 B)으로 평면 광 가이드(165)에 인가될 때, 물체(150)의 표면의 비교적 작은 비율만이 유리와 실제로 광학적으로 접촉할 수 있다. 커버 유리에 의해 캡처된 산란된 광의 강도는 접촉 면적에 비례한다. 접촉 압력이 증가할 때(세부사항 C), 에어 갭들이 제거되거나 크기 면에서 감소될 때, 접촉 영역이 또한 증가하고, 캡처된 산란된 광의 강도는 대응하여 증가할 수 있다. 또한, 더 많은 접촉 압력이 인가될 때(세부사항 D), 손가락 또는 탄성 중합체 물체의 부드러운 끝 또는 패드는 압축하고, 전방 표면과 접촉하는 물체 영역의 크기가 증가한다. 결과적으로, 광감지 엘리먼트(133)에 의해 출력된 이미지 데이터에서 더 넓은 "도트"가 관측될 수 있다. 일부 구현들에서, 신호 강도 레벨들 및/또는 관측된 도트들의 크기를 포함하여, 광감지 엘리먼트(133)에 의해 출력된 이미지 데이터는 물체(150)에 의해 인가된 접촉 압력을 결정하는데 사용된다. 프로세서(1004)에 의해 실행되는 컴퓨터 알고리즘은 신호의 강도 및/또는 도트의 크기를 사용하여 하나 이상의 터치 포인트들에 인가된 압력을 결정하기 위해 카메라 이미지들을 해석할 수 있다.
[0062] 일부 구현들에서, 접촉 압력은 다수의 손가락 터치 포인트들에 대해 개별적으로 결정될 수 있다.
[0063] 도 5는 구현에 따른, 검출된 광의 이미지 데이터가 어떻게 회전 배향 정보를 포함할 수 있는지를 예시한다. 예시된 구현에서, 대화형 디스플레이(500)는 다음의 방식으로 회전 배향 감지 능력을 제공하도록 구성된다. 대화형 디스플레이(500)는 제 1 평면 광 가이드(565)(본원에서 "커버 렌즈" 또는 "커버 유리"로 또한 지칭될 수 있고, 예를 들면, 모바일 디바이스, 모니터 또는 텔레비전 상의 디스플레이 위에 배치될 수 있음), 광원 또는 백라이트(535), 및 평면 광 가이드(565)의 둘레 주위에 위치된 하나 이상의 광감지 엘리먼트들(533)을 포함한다. 광감지 엘리먼트들(533)은 렌즈, 핀홀 또는 격자를 갖는 2 차원 픽셀 어레이들을 포함할 수 있다.
[0064] 제 1 평면 광 가이드(565)는 대화형 디스플레이(500)의 전방 표면(567)에 근접하게 그리고 그 뒤에 배치될 수 있다. 예시된 구현에서, 광원(535)(본원에서 "백라이트"로 또한 지칭될 수 있음)은 제 1 평면 광 가이드(465) 뒤에 배치된다. 디스플레이 층(545)은 제 1 평면 광 가이드(565) 및 광원(535) 사이에 배치될 수 있다.
[0065] 광원(535)은 전방 표면(567)에 직교하는 상당한 컴포넌트를 갖는 방향으로 가시광선 및/또는 적외선을 방출할 수 있고, 액정 또는 필드 순차 컬러 디스플레이, 반사형 디스플레이(예를 들어, 간섭측정 변조기(interferometric modulator)(IMOD) 디스플레이)의 전방-라이트, 또는 방출형 디스플레이(예를 들어, 유기 발광 다이오드 디스플레이)에 의해 방출되는 광으로서 구성되거나 이를 포함할 수 있다.
[0066] 여전히 도 5를 참조하면, 광원(535)으로부터의 광(542)은 전방 표면(567)을 접촉하는 물체(550)의 표면과 상호작용할 수 있다. 물체(550)의 표면의 일부가 전방 표면(567)과 광학적으로 접촉하게 될 때, 이것은 광(546)을 광 가이드로 산란하고, 광이 안내되고, 이어서 하나 이상의 광감지 엘리먼트들(533)에 의해 검출된다. 광감지 엘리먼트들(533)은 검출된 광의 이미지 데이터를 프로세서(예시되지 않음)로 출력할 수 있다. 일부 구현들에서, 프로세서는 대화형 디스플레이(500)의 일체 부분일 수 있지만, 이것이 반드시 그렇지는 않다. 다른 배열들에서, 프로세서는, 예를 들면, 원격 서버에 원격으로 위치될 수 있다.
[0067] 물체(550)가 인간의 손가락 또는 엄지 손가락, 또는 유사하게 형상화된 인공 물체인 경우에, 이것은, 도 5의 뷰 A-A에서 관찰될 수 있듯이, 1보다 측정 가능하게 더 큰 길이 대 폭 종횡비를 갖는 타원형 형상 영역에서 전방 표면(567)과 접촉할 것이다. 결과적으로, 물체(550)의 배향과 카메라의 상대적인 배향에 의존하는, 카메라에서 원근 이미지에서 타원형의 사각(skew angle)은, 본원의 아래에 더 상세히 설명될 바와 같이, 식별될 수 있다.
[0068] 도 5의 세부사항 E을 이제 참조하면, 광(542)은 제 1 평면 광 가이드(565)를 통과하고, 물체(550)와 상호작용할 수 있다. 물체(550)는 제 1 평면 광 가이드(565)의 상부 표면(567)과 적어도 부분적으로 광학적으로 접촉한다. 산란된 광(546)은 물체(550)와 광(542)의 상호작용으로부터 발생한다. 산란된 광(546) 중 일부는, 광선 트레이스(546(0))에 의해 예시된 바와 같이, 광감지 엘리먼트(533)로 이동하고, 평면 광 가이드(565) 내에서 내부적으로 반사되지 않고서, 광감지 엘리먼트(533)에 의해 검출될 수 있다. 산란된 IR 광(546) 중 적어도 일부는 TIR을 겪을 수 있다. 예를 들면, 광선 트레이스(546(1))에 의해 예시된 바와 같이, 산란된 광 중 일부는, 광감지 엘리먼트(533)에 의해 검출되기 전에, 단일 내부 반사를 겪을 수 있다.
[0069] 산란된 광 중 일부가 광감지 엘리먼트(533)에 의해 검출되기 전에 2, 3 또는 그 초과의 내부 반사들을 겪을 수 있다는 것이 인지될 것이다. 결과적으로, 물체(550)의 이미지의 다수의 별개의 반사들은 광감지 엘리먼트(533)에 의해 검출될 수 있다. 이러한 다수의 별개의 반사들의 생성은 만화경 효과로 본원에 지칭될 수 있다.
[0070] 도 6은 만화경 효과의 예를 예시한다. 더 구체적으로, 도 6은 광감지 엘리먼트(533)의 시야(610) 내에 등록된 다수의 이미지들 각각이 각각의 가상 물체 위치에 관련될 수 있는 상이한 각도에서 물체(550)로부터 산란되는 광에 어떻게 대응한지를 예시한다. 예를 들면, 이미지(i550)는 물체(550)의 직접적인 이미지에 대응한다. 이미지(iv1)는 단일 내부 반사를 겪는 광선들로부터 발생하고, 가상 물체 위치(v1)에 대응한다. 이미지(iv2)는 2 개의 내부 반사들을 겪는 광선들로부터 발생되고, 가상 물체 위치(v2)에 대응한다. 예시의 명확성을 위해, 단지 3 개의 이미지들, 이미지들(i550, iv1 및 iv2)이 도 6에 도시되지만, 실질적으로 더 많은 수의 이미지들이 정상적으로 만화경 효과로부터 발생하는 것으로 예상될 수 있다.
[0071] 도 7은 현재 개시된 기술들을 사용하여 획득된 이미지의 예를 예시한다. 물체(550)의 타원형 형상 접촉 영역의 검출 가능한 사각(α)의 존재가 주목되어야 한다. 검출된 사각(α)이 물체(550)의 회전 배향과 상관될 수 있다고 고찰된다. 예를 들면, 프로세서(1004)에 의해 실행되는 컴퓨터 알고리즘은 물체(550)의 회전 배향을 결정하기 위해 이미지 데이터를 해석할 수 있다. 일부 구현들에서, 프로세서(1004)는 이미지화된 타원형들에서 우세한 사각을 결정하고, 이를 물체(550)의 회전 배향과 상관시킬 수 있다. 도 8은 구현에 따른, 검출된 광의 이미지 데이터가 회전 배향 정보를 획득하는데 어떻게 사용될 수 있는지를 예시한다. 프로세서(1004)는 또한 회전 제스처에 응답하고 및/또는 디스플레이의 뷰를 회전시키기 위해 감지된 회전 배향을 사용할 수 있다.
[0072] 도 9는 일부 구현들에 따른, 평면 광 가이드와 수동 스타일러스의 상호작용의 예들을 예시한다. 본원의 아래에 더 상세히 설명되는 바와 같이, 스타일러스(980)는 "변형 가능한 펜촉"으로 구성될 수 있다. 본원에서 앞서 설명된 구현들과 마찬가지로, 대화형 디스플레이는 평면 광 가이드(565), 광원(예시되지 않음) 및 평면 광 가이드(565)의 둘레 주위에 위치된 하나 이상의 광감지 엘리먼트들(예시되지 않음)을 포함할 수 있다. 평면 광 가이드(565)는, 예를 들면, 모바일 디바이스, 모니터 또는 텔레비전 상의 디스플레이 위에 배치된 커버-유리(또는 "커버 렌즈")로서 구성될 수 있다.
[0073] 광감지 엘리먼트들은, 예를 들면, 렌즈, 핀홀 또는 격자를 갖는 2 차원 픽셀 어레이들("카메라들"), 렌즈, 핀홀 또는 격자를 갖는 평면 광 가이드(565)의 동일 평면 방향을 따라 정렬된 1 차원 픽셀 어레이("1D 카메라들"), 또는 개별적인 광 검출기들로서 구성될 수 있다.
[0074] 광원은 가시광선 및/또는 적외선을 방출하고, 액정 또는 필드 순차 컬러 디스플레이, 반사형 디스플레이(예를 들어, 간섭측정 변조기(interferometric modulator)(IMOD) 디스플레이)의 전방-라이트, 방출형 디스플레이(예를 들어, 유기 발광 다이오드 디스플레이)로부터의 라이트로서 구성되거나 이를 포함할 수 있다.
[0075] 예시된 구현에서, 스타일러스(980)는, 도 9에 관련하여 설명된 터치 인식 기술이 스타일러스(980)로부터 수동적으로 반사 또는 산란되는 광에 주로 의존하고 스타일러스(980)가 그 자신의 광원을 포함하는 것을 요구하지 않는다는 의미로 "수동" 스타일러스로서 구성된다. 스타일러스(980)는 전통적인 필기구와 유사한 막대 또는 펜 형상 디바이스로서 구성될 수 있고, 펜촉(981)을 포함할 수 있다. 펜촉(981)은 압력 하에서 변형되는 탄성 중합체 특성을 갖도록 구성될 수 있고, 표면에 충돌하는 광을 확산하여 산란시키도록 구성된 표면을 포함할 수 있다. 변형 가능한 펜촉은 스타일러스와 광 가이드 사이의 광학 접촉을 개선하도록 구성될 수 있다.
[0076] 여전히 도 9를 참조하면, 현재 개시된 기술들의 더 양호한 이해는 세부사항 F와 세부사항 G를 비교함으로써 획득될 수 있다. 펜촉(981)에 의해 반사된 광(946)이 평면 광 가이드(565) 내에서 TIR을 겪도록 하기 위해, 그러한 광은 임계각(θ)보다 더 큰 각도로 평면 광 가이드(565)에 진입해야 한다. 세부사항 F는 펜촉(981)이 평면 광 가이드(565)와 광학적으로 접촉하지 않는 예를 예시하고, 반면에 세부사항 G는 펜촉(981)이 평면 광 가이드(565)와 광학적으로 접촉하는 예를 예시한다. 세부사항 F에서, 광(942)이 펜촉(981)과 상호작용할 때, 상호작용으로부터 발생된 산란된 광(946F)은, 자신이 평면 광 가이드(565)에 진입할 때, 상당한 양의 굴절을 겪는다. 결과적으로, 그러한 광 중 대부분 또는 전부는 임계각(θ)(유리 또는 플라스틱/에어 인터페이스에 대해 대략 42 도) 미만의 각도로 평면 광 가이드(565)에 진입하고, 따라서, TIR을 겪지 않지만, 대신에 카메라(예시되지 않음) 또는 광 검출기(예시되지 않음)와 같은 광감지 엘리먼트를 향해 안내되기보다는 평면 광 가이드(565)를 탈출한다. 그러나, 펜촉(981)이 평면 광 가이드와 광학적으로 접촉할 때, 세부사항 G에 예시된 바와 같이, 펜촉(981)으로부터 산란된 광(946G)은 적은 굴절을 경험하거나 아예 굴절을 경험하지 않고, 광(946G) 중 적어도 상당한 부분은 광을 광감지 엘리먼트로 안내할 수 있는 평면 광 가이드(565) 내에서 TIR을 겪는다.
[0077] 탄성 중합체 특성들을 갖는 변형 가능한 펜촉으로서 펜촉(981)을 구성함으로써, 검출되는 산란된 광의 양에서 상당한 증가가 달성될 수 있다. 또한, 스타일러스(980)는, 변형 가능한 펜촉(981)과 함께, 도 2-4와 관련하여 앞서 설명된 바와 같이, 접촉 압력 감지가 요구되는 배열들에서 사용될 수 있다.
[0078] TIR을 겪는 광 중 적어도 일부는 하나 이상의 광감지 엘리먼트들에 도달할 수 있다. 광감지 엘리먼트들은 그러한 TIR을 겪은 광을 검출하고, 검출된 TIR을 겪은 광을 나타내는 이미지 데이터를 프로세서로 출력할 수 있다. 프로세서는 이미지 데이터로부터 스타일러스 터치의 인스턴스 및 위치를 인식할 수 있고, 스타일러스 터치에 응답하여, 대화형 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어할 수 있다.
[0079] 일부 구현들에서, 펜촉(981)은, 평면 광 가이드(565)의 전방 표면(567)과 접촉할 때, 자신의 형상이 전방 표면(567)의 마이크로스코픽 및 마이크로스코픽 표면 기하학적 구조에 맞도록 일정 최소 레벨의 변형 가능성을 제공하도록 구성될 수 있다.
[0080] 일부 구현들에서, 펜촉(981)은, 외부 표면 근처 또는 외부 표면에서, 탄성 중합체 층을 포함한다. 대안적으로 또는 또한, 평면 광 가이드(565)의 전방 표면(567)은 탄성 중합체 층을 포함할 수 있다. 일부 구현들에서, 탄성 중합체 층은 5 미크론 내지 1000 미크론 범위의 두께를 가질 수 있다. 탄성 중합체 층은 펜촉(981)의 본체가 형성되는 더 단단한 재료의 표면 상에 배치될 수 있다. 일부 구현들에서, 펜촉(981)의 본체는 또한 탄성 중합체 재료로 구성될 수 있다.
[0081] 일부 구현들에서, 프로세서는 손가락보다는 스타일러스가 광 가이드(565)를 터치한다고 인식하도록 구성될 수 있는데, 왜냐하면 예를 들면, 스타일러스 터치에 의해 발생된 카메라에 의해 캡처된 이미지의 크기가 손가락 터치로부터 발생한 크기와 상이할 수 있기 때문이다. 예를 들면, 펜촉(981)은 확장된 타원형보다는 작은 밝은 도트처럼 보일 수 있다. 일부 구현들에서, 펜촉(981)은 카메라에 의해 검출될 수 있는 특정 형상(예를 들면, 별 형상)일 수 있다.
[0082] 일부 구현들에서, 프로세서는 스타일러스 터치들 및 손가락 둘 모두에 의한 동시의 또는 거의 동시의 터치들을 인식하고, 이들 사이를 구별하도록 구성될 수 있다.
[0083] 도 10은 일부 구현들에 따른, 평면 광 가이드와 능동 스타일러스의 상호작용의 예들을 예시한다. 예시된 구현에서, 대화형 디스플레이는 광원(1082)을 포함하고 변형 가능한 펜촉(1081)으로 구성될 수 있는 스타일러스(1080)로부터의 터치들을 검출하고 이에 응답하도록 구성될 수 있다. 본원에서 앞서 설명된 구현들과 마찬가지로, 대화형 디스플레이는 평면 광 가이드(565) 및 하나 이상의 광감지 엘리먼트들(예시되지 않음)을 포함할 수 있다. 광감지 엘리먼트들은, 예를 들면, 평면 광 가이드(565)의 둘레 주위에 위치될 수 있다. 평면 광 가이드(565)는, 예를 들면, 모바일 디바이스, 모니터 또는 텔레비전 상의 디스플레이 위에 배치된 커버-유리(또는 "커버 렌즈")로서 구성될 수 있다.
[0084] 광감지 엘리먼트들은, 예를 들면, 렌즈, 핀홀 또는 격자를 갖는 2 차원 픽셀 어레이들("카메라들"), 렌즈, 핀홀 또는 격자를 갖는 평면 광 가이드(565)의 동일 평면 방향을 따라 정렬된 1 차원 픽셀 어레이("1D 카메라들"), 또는 개별적인 광 검출기들로서 구성될 수 있다.
[0085] 예시된 구현에서, 스타일러스(1080)는, 도 10에 관련하여 설명된 터치 인식 기술이 스타일러스(1080)의 광원(1082)에 의해 방출된 광에 주로 의존하고, 대화형 디스플레이가 그 자신의 광원을 포함하는 것을 요구하지 않는다는 의미로, "능동" 스타일러스로서 구성될 수 있다. 일부 구현들에서, 광원(1082)은 발광 다이오드(LED)이거나 이를 포함할 수 있다. 스타일러스(1080)는 막대 또는 펜 형상 디바이스로서 구성되고, 펜촉(1081)을 포함할 수 있다. 펜촉(1081)은 광원(1082)에 의해 방출된 광에 대해 적어도 부분적으로 투명할 수 있다. 더 구체적으로, 펜촉(1081)이 광범위한 각도들에 걸쳐 광원(1082)에 의해 방출된 광을 확산하여 통과시킬 것이라는 것이 고찰된다. 결과적으로, 대화형 디스플레이의 확산층이 광을 광 가이드(565)로 "터닝"할 필요성이 없을 수 있다.
[0086] 일부 구현들에서, 펜촉(1081)은 압력 하에서 변형되는 탄성 중합체 특성을 갖도록 구성될 수 있다. 변형 가능한 펜촉은 스타일러스와 광 가이드 사이에 광학 접촉을 개선하도록 구성될 수 있다. 이것은, 확산된 광이 펜촉(1081)으로부터 평면 광 가이드(565)로 전파될 때, 확산된 광의 방향을 보존하는 광학 커플링을 가능하게 한다. 펜촉(1081)으로부터 방출된 광의 큰 각도 범위는 커버 유리/에어 인터페이스와 연관된 임계각을 초과하는 각도들을 포함할 수 있다. 그러한 광은 내부 전반사로 인해 광 가이드에 트래핑된다(trapped). 이러한 광 중 일부는 스타일러스 기능을 가능하게 하는 주변 센서들에 의해 수집된다.
[0087] 여전히 도 10을 참조하면, 현재 개시된 기술들의 더 양호한 이해는 세부사항 H와 세부사항 I를 비교함으로써 획득될 수 있다. 펜촉(1081)을 탈출한 광이 평면 광 가이드(565) 내에서 TIR을 겪기 위해, 그러한 광은 임계각(θ)보다 더 큰 각도로 평면 광 가이드(565)에 진입해야 한다. 세부사항 H는 펜촉(1081)이 평면 광 가이드(565)와 광학적으로 접촉하지 않는 예를 예시하고, 반면에 세부사항 I는 펜촉(1081)이 평면 광 가이드(565)와 광학적으로 접촉하는 예를 예시한다. 세부사항 H에서, 펜촉(1081)에서 탈출한 광(1046(H))은, 자신이 평면 광 가이드(565)에 진입할 때, 상당한 양의 굴절을 겪는다. 결과적으로, 그러한 광의 대부분 또는 전부는 임계각(θ)(유리 또는 플라스틱/에어 인터페이스에 대해 대략 42 도) 미만의 각도로 평면 광 가이드(565)에 진입하고, 따라서 TIR을 겪지 않지만, 대신에 카메라(예시되지 않음) 또는 광 검출기(예시되지 않음)와 같은 광감지 엘리먼트를 향해 안내되기보다는 평면 광 가이드(565)를 탈출한다. 그러나, 펜촉(1081)이 평면 광 가이드와 광학적으로 접촉할 때, 세부사항 I에 예시된 바와 같이, 광(1046I)은 적은 굴절을 경험하거나 아예 굴절을 경험하지 않고, 광(1046I)의 적어도 상당한 부분은 광을 광감지 엘리먼트로 안내할 수 있는 평면 광 가이드(865) 내에서 TIR을 겪는다.
[0088] 탄성 중합체 특성들을 갖는 변형 가능한 펜촉으로서 펜촉(1081)을 구성함으로써, 검출되는 광(1046)의 양에서 상당한 증가가 달성될 수 있다. 또한, 스타일러스(1080)는, 변형 가능한 펜촉(1081)과 함께, 도 2-4와 관련하여 앞서 설명된 바와 같이, 접촉 압력 감지가 요구되는 배열들에서 사용될 수 있다.
[0089] TIR을 겪는 광 중 적어도 일부는 하나 이상의 광감지 엘리먼트들에 도달할 수 있다. 광감지 엘리먼트들은 그러한 TIR을 겪은 광을 검출하고, 검출된 TIR을 겪은 광을 나타내는 이미지 데이터를 프로세서로 출력할 수 있다. 적절한 알고리즘을 사용하여, 프로세서는 이미지 데이터로부터 스타일러스 터치의 인스턴스 및 위치를 인식할 수 있고, 스타일러스 터치에 응답하여, 대화형 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어할 수 있다.
[0090] 일부 구현들에서, 펜촉(1081)은, 평면 광 가이드(565)의 전방 표면(567)과 접촉할 때, 자신의 형상이 전방 표면(567)의 마이크로스코픽 및 마이크로스코픽 표면 기하학적 구조에 맞도록 일정 최소 레벨의 변형 가능성을 제공하도록 구성될 수 있다.
[0091] 도 11은 능동 스타일러스의 예시적인 구현을 예시한다. 예시된 구현에서, 스타일러스(1080)는 펜촉(1081) 및 광원(1082)을 포함한다. 앞서 설명된 바와 같이, 펜촉(1081)은, 평면 광 가이드(565)의 전방 표면(567)과 접촉할 때, 자신의 형상이 광 가이드 표면의 마이크로스코픽 및 마이크로스코픽 표면 기하학적 구조에 맞도록 일정 최소 레벨의 변형 가능성을 갖는 것으로 고찰된다. 일부 구현들에서, 광원(1082)은 IR LED일 수 있다. 그러한 구현에서, 펜촉(1081)이 적외선 광에 대해 실질적으로 투명한 재료로 형성될 수 있다는 것이 고찰된다. 일부 구현들에서, 재료는, 예를 들면, 실리콘일 수 있다.
[0092] 일부 구현들에서, 펜촉(1081)은, 외부 표면 근처에 또는 외부 표면에, 탄성 중합체 층을 포함한다. 탄성 중합체 층은 펜촉(1081)의 본체를 형성하는 더 단단한 재료의 표면 상에 있는 5-10 마이크로미터만큼 얇고 그리고 1000 미크론만큼의 재료의 얇은 층일 수 있다. 펜촉(1081)의 본체는 또한 대개 탄성 중합체 재료의 더 두꺼운 부피로 구성될 수 있다.
[0093] 도 12는 능동 스타일러스의 추가의 예시적인 구현들을 예시한다. 예시된 구현들에서, 디스플레이의 광 가이드 또는 커버 유리에 트래핑되는 광의 효율을 증가시키고, 임계각 미만의 각도들로 광 가이드로 전달되는 광의 양을 감소시키는 배열들이 고찰된다. 아래에 상세되는 바와 같이, 도 12에 예시된 배열들은 그러한 손실되는 광의 양을 감소시킨다.
[0094] 도 12의 세부사항 J를 이제 참조하면, 펜촉(1281J)의 중심 영역이 제 1 반사기(1284)로서 구성되는 구현이 예시된다. 임계각 미만의 각도들로 광원(1282)으로부터 방출된 광은 제 1 반사기(1284)에 부딪치고, 스타일러스(1280)로 다시 반사된다. 예시된 구현에서, 제 1 반사기는 피라미드 형상을 갖지만, 제 1 반사기(1284)는 다른 형상들을 가질 수 있고, 대안적으로 평평할 수 있다. 제 2 반사기(1286)는, 펜촉(1281J)을 탈출하고 광 가이드(565)에 트래핑되기 위한 제 2 기회에 대해, 제 1 반사기(1284)로부터 반사되는 광을 다시 광 가이드(565)를 향해 터닝하도록 구성될 수 있다.
[0095] 이제 도 12의 세부사항 K를 참조하면, 펜촉(1281J)의 중심 영역이 펜촉(1281K)의 중심에서 피라미드 형상 보이드(1283)(또는 "에어 갭")로 구성되는 구현이 예시된다. 임계각 미만의 각도들로 광원(1282)으로부터 방출된 광은 에어 갭(1283)으로 인해 스타일러스(1280K)로 다시 내부 전반사된다. 따라서, 광은 재사이클링되고, 펜촉(1281K)을 탈출하고 광 가이드(565)에 트래핑되는 제 2 기회를 갖는다.
[0096] 이제 도 12의 세부사항 L을 참조하면, 확산 마이크로구조(1288)가 펜촉(1281L)의 하부 부분으로 엠보싱(embossed)되는 구현이 예시된다. 확산 마이크로구조(1288)에 부딪치는 광원(1282)으로부터 방출된 광은 특정 방향들, 이러한 경우에, 임계각보다 더 큰 각도들인 그러한 방향들로 확산된다. 일부 구현들에서, 광원(1282)에 의해 방출된 광은 시준되고 및/또는 단색일 수 있다. 대안적인 구현(예시되지 않음)에서, 확산 마이크로구조(1288)는 홀로그래픽 막으로 대체될 수 있다.
[0097] 도 13은 능동 스타일러스의 또 다른 예시적인 구현들을 예시한다. 예시된 구현들에서, 스타일러스 내부의 광원에 의해 방출된 광은 렌즈에 의해 포커싱된다. 결과적으로, 광 가이드 또는 커버 유리와의 접촉의 스타일러스 포인트는 더 작을 수 있고, 이로써 더 양호한 공간 해상도를 허용한다. 또한, 광의 다이버전스를 증가시킴으로써(광학 시스템에 대해 작은 f#), 결과적으로 광 가이드(565) 내에서 TIR을 겪을 수 있는 임계각을 초과하는 각도들에서 더 많은 광이 이용 가능할 수 있다.
[0098] 도 13의 세부사항 M을 참조하면, 스타일러스(1380M)는 렌즈(1387)를 포함한다. 렌즈(1387)는 광원(1382M)으로부터 방출된 광을 광 가이드(565)와 접촉하는 펜촉(1381)의 포인트를 향해 포커싱하도록 구성될 수 있다. 대안적인 구현에서, 도 13의 세부사항 N을 참조하면, 스타일러스(1380N)는 오목(negative)(또는 "분기(diverging)") 렌즈(1387) 및 시준된 광의 소스(1382N)를 포함한다.
[0099] 도 14는 스타일러스 펜촉이 포물선형 형상을 갖는 예시적인 구현을 예시한다. 예시된 구현에서, 펜촉(1481)은 광원(1482)에 의해 방출된 광의 집중기(concentrator)로서 작동할 수 있다. 도 14에 도시된 스타일러스 펜촉 기하학적 구조에 대해, 광원(1482)으로부터의 광이 먼저 펜촉(1481)의 광 입구(1481a)에서 입사된다는 것이 관측될 수 있다. 펜촉에 진입하는 광은, 광이 펜촉(1481)의 더 좁은 단부(1481b)에 도달할 때까지 측벽들을 벗어나 반사한다. 좁은 펜촉 단부(1481b)가 광 입구(1481a)의 면적보다 더 작은 면적을 갖기 때문에, 방출각은 알려진 에탄투(etendue) 속성의 결과로서 더 크게 된다. 결과적으로, 펜촉(1481)과 접촉하는 광 가이드(565)에 트래핑되는 광의 양에서 증가가 존재할 수 있다. 또한, 더 작은 스타일러스 접촉 포인트가 예상될 수 있기 때문에, 공간 해상도가 개선될 수 있다.
[0100] 도 10에 관련하여 앞서 설명된 바와 같이, 현재 개시된 기술들의 일부 구현들에서, 능동 스타일러스는 펜촉을 통해 광원으로부터 방출된 광을 확산하여 통과하도록 구성된 변형 가능한 펜촉을 포함한다. 펜촉의 확산 특징의 결과로서, 펜촉을 통해 방출된 광은 실질적으로 등방성으로 분포될 수 있다.
[0101] 도 15는 변형 가능한 펜촉을 갖는 능동 스타일러스의 예시적인 구현들을 예시한다. 그러한 구현들의 특징들 및 이점들은 도 15의 세부사항 P를 먼저 참조함으로써 더 양호하게 이해될 수 있고, 도 15는, 확산 펜촉의 부재 시에, 능동 스타일러스(1580P)가 기울어질 때, 광 가이드(565)로의 광의 방출이 기울어짐에 대응하는 방향으로 바이어싱될 것을 예시한다.
[0102] 이제 도 15의 세부사항 Q를 참조하면, 능동 스타일러스(1580Q)가 스타일러스 기울어짐과 상관없이 광을 등방성으로 산란시키도록 구성될 수 있는 확산 펜촉(1581)을 포함한다는 것이 관측될 수 있다. 일부 구현들에서, 광원(1582)으로부터 입사되고 펜촉을 관통하는 광은 최소의 흡수로 펜촉(1581)에 의해 등방성으로 산란될 수 있다. 클리어 또는 반사형 입자들과 임베딩된 투명한 플라스틱 재료는 이러한 타입의 산란을 달성할 수 있다. 결과적으로, 스타일러스가 기울어질 때조차(세부사항 R), 광은 적어도 거의 등방성 방식으로 펜촉(1581)을 탈출한다. 결과적으로, 광은 광 가이드(565)에서 모두 "동일 평면(in plane)" 방향들로 동일하게 트래핑될 수 있고, 스타일러스가 스크린에 직교하여 홀딩된 것처럼, 광감지 엘리먼트들은 광을 검출한다.
[0103] 앞서 표시된 바와 같이, 프로세서(1004)는 이미지 데이터로부터 사용자 터치의 인스턴스 및 위치를 인식하기 위한 하나 이상의 알고리즘들을 실행할 수 있다. 또한, 프로세서(1004)는 이미지 데이터로부터 사용자 터치 또는 능동 또는 수동 스타일러스의 위치, 접촉 압력 및 각도 배향 중 하나 이상을 인식하기 위해 하나 이상의 알고리즘들을 실행할 수 있다.
[0104] 예를 들면, 일부 구현들에서, 프로세서(1004)는, 적어도 하나의 광감지 엘리먼트로부터 수신된 이미지 데이터를 분석함으로써, 사용자 터치 또는 능동 또는 수동 스타일러스의 위치("터치 위치")를 결정하는 것을 포함하는 알고리즘을 실행할 수 있다. 일부 구현들에서, 다시 도 6을 참조하면, 시야(610) 내의 각각의 이미지들(i550, iv1 및 iv2)의 Y-Z 좌표들은 터치 위치를 결정하는데 사용될 수 있다. 터치 위치는 광감지 엘리먼트에 관련하여 방위각 및 광감지 엘리먼트로부터의 분리 거리("범위")에 관련하여 초기에 측정될 수 있다.
[0105] 더 구체적으로, 각각의 이미지들의 Y-축 위치는 터치 위치의 방위각에 양적으로 관련될 수 있다. 예를 들면, 광감지 엘리먼트가 픽셀 이미지 데이터의 어레이를 출력하는 경우에, 터치 위치의 중심에 대응하는 픽셀은, 예를 들면, 어느 픽셀이 피크 광 강도를 출력하는지를 식별함으로써 결정될 수 있다. 식별된 픽셀은, 예를 들면, 렌즈 시스템과 같은 광감지 엘리먼트의 광학 특성들을 고려하여 터치 위치의 방위각으로 맵핑될 수 있다.
[0106] 여전히 도 6을 참조하면, 알고리즘은 광감지 엘리먼트의 광학 특성들을 고려하여 만화경 이미지들(i550, iv1 및 iv2) 사이의 Z-축 분리를 일정 범위의 터치 위치로 맵핑할 수 있다.
[0107] 원한다면, 알고리즘은 또한 위에서 획득된 (방위각, 범위) 좌표들을 (X, Y) 좌표들로의 좌표 변환을 수행할 수 있다.
[0108] 추가의 예로서, 일부 구현들에서, 프로세서(1004)는 2 개 이상의 광감지 엘리먼트들의 출력들을 사용하여 터치 위치를 결정하는 것을 포함하는 알고리즘을 실행할 수 있다. 도 16은 2 개의 광감지 엘리먼트들 각각에 관련하여 터치 위치의 방위 좌표들이 일부 구현들에서 터치 위치의 X-Y 좌표들을 획득하는데 어떻게 사용될 수 있는지를 예시한다. 광감지 엘리먼트들이 2-D 카메라들(예시됨)이거나, (라인 스캔 카메라에 동등한) 1-D 플롯을 출력하는지와 상관없이, 각각의 광감지 엘리먼트에 관련하여 터치 위치 방위 좌표에 대응하는 픽셀은, 예를 들면, 어느 픽셀이 피크 광 강도를 출력하는지를 식별함으로써 결정될 수 있다. 식별된 픽셀은, 예를 들면, 렌즈 시스템과 같은 각각의 광감지 엘리먼트의 광학 특성들을 고려하여 터치 위치의 방위각으로 맵핑될 수 있다. 알려진 삼각측량 기술들을 사용하여, 터치 위치의 X-Y 좌표들은 겨우 2 개의 광감지 엘리먼트들의 각각의 방위 좌표들로부터 계산적으로 결정될 수 있다.
[0109] 2 개보다 더 많은 광감지 엘리먼트들로부터의 방위 좌표 데이터가 이용 가능한 경우, 더 정확한 터치 위치 결정을 획득하기 위해 피팅(fitting) 기술이 적용될 수 있다.
[0110] 또 다른 예로서, 일부 구현들에서, 프로세서(1004)는 3 개 이상의 광감지 엘리먼트들에 의해 출력된 범위 정보를 사용하여 터치 위치를 결정하는 것을 포함하는 알고리즘을 실행할 수 있다. 도 17은 4 개의 광감지 엘리먼트들 각각에 관련하여 터치 위치의 범위 좌표들이 일부 구현들에서 터치 위치의 X-Y 좌표들을 획득하는데 어떻게 사용될 수 있는지를 예시한다. 범위 정보는 앞서 설명된 바와 같이 만화경 이미지들 사이의 Z-축 분리 또는 신호 레벨의 분석에 의해 결정될 수 있다.
[0111] 도 18은 일부 구현들에 따른, 대화형 디스플레이와 접촉하는 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 이미지 데이터로부터 인식하기 위한 프로세스 흐름도를 예시한다. 대화형 디스플레이는 프로세스(1800)를 실행하도록 구성될 수 있다. 일부 구현들에서, 광감지 엘리먼트(133)를 포함하는 대화형 디스플레이(100)는 프로세서(1004)와 협력하여 프로세스(1800)를 실행하도록 구성될 수 있다. 프로세스(1800)는 수신된 광을 광감지 엘리먼트를 통해 검출하는 블록(1801)에서 시작할 수 있다. 일부 구현들에서, 수신된 광은 대화형 디스플레이(100)의 디스플레이 커버 유리의 전방 표면과 적어도 부분적으로 광학적으로 접촉하는 물체 및 광원에 의해 방출된 광 사이의 상호작용으로부터 발생할 수 있다. 대안적으로, 또는 또한, 수신된 광은 물체의 의해 방출될 수 있고, 여기서, 예를 들면, 물체는 능동 스타일러스이다.
[0112] 블록(1803)에서, 광감지 엘리먼트는 이미지 데이터를 프로세서로 출력할 수 있다. 블록(1805)에서, 프로세서는 물체의 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 이미지 데이터로부터 인식할 수 있다.
[0113] 따라서, 대화형 디스플레이가 대화형 디스플레이와의 터치 상호작용의 특정 특성들을 검출하고 이에 응답하는 것을 가능하게 하기 위한 개선된 기술들이 개시되었다. 앞서 설명된 구현들 중 일부 또는 전부에서, 다음의 기술들 중 하나 이상이 구현될 수 있고, 막 또는 표면 처리는 광학 커플링에 대한 광 가이드의 상부 표면에 적용될 수 있다. 대안적으로 또는 또한, 시스템의 감도를 개선하기 위해 조명 광의 강도에 변조가 적용될 수 있다. 일부 구현들에서, 가령, 레이저에 의해 생성된 코히런트 광은 조명 광을 위해 사용될 수 있다. 결과적인 스페클 패턴(speckle pattern)은 시스템의 감도를 개선하는데 사용될 수 있다. 일부 구현들에서, 카메라 이미지들은 선명화 알고리즘, 기하학적 변환 또는 왜곡 정정, 공간 주파수 필터링(다수의 반사들이 특정 공간 주파수 범위 내에 있을 때, 백그라운드 광 및 잡음을 제거함), 디콘볼루션(deconvolution) 알고리즘(오버랩하는 다수의 반사들을 분리함) 또는 초고 해상도 알고리즘(더 높은 해상도 이미지를 구성하기 위해 다수의 반사들을 사용함)을 사용하여 개선될 수 있다. 이러한 알고리즘들은 초기 터치 임계치를 사용자에 대해 "더 부드럽게" 하는데 사용될 수 있다.
[0114] 본 발명에서 설명된 구현들에 대한 다양한 변형들은 당업자들에게 용이하게 명백할 수 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 설명된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 기재된 본 발명, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0115] 본 명세서에서 사용된 바와 같이, 일 리스트의 아이템들 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그들 아이템들의 임의의 결합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 커버하도록 의도된다.
[0116] 본 명세서에 기재된 구현들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 회로들, 및 알고리즘 프로세스들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 결합들로서 구현될 수 있다. 하드웨어와 소프트웨어의 상호교환가능성은 기능의 관점들에서 일반적으로 설명되었으며, 위에서 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들에서 예시된다. 그러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션, 및 전체 시스템에 부과된 설계 제약들에 의존한다.
[0117] 본 명세서에 개시된 양상들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들 및 회로들을 구현하는데 사용된 하드웨어 및 데이터 프로세싱 장치는, 범용 단일-칩 또는 멀티-칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 결합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 결합, 예를 들어 DSP와 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 몇몇 구현들에서, 특정한 프로세스들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0118] 하나 이상의 양상들에서, 설명된 기능들은, 본 명세서에 기재된 구조들 및 그들의 구조적 등가물들을 포함하는, 하드웨어, 디지털 전자 회로, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 결합으로 구현될 수 있다. 본 명세서에 설명된 사항의 구현들은 또한, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들 상에서 인코딩된 하나 이상의 컴퓨터 프로그램들, 즉 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다.
[0119] 소프트웨어로 구현되면, 기능들은, 비-일시적인 매체와 같은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 이들을 통해 송신될 수 있다. 본 명세서에 기재된 방법 또는 알고리즘의 프로세스들은, 컴퓨터-판독가능 매체 상에 상주할 수 있는 프로세서-실행가능 소프트웨어 모듈로 구현될 수 있다. 컴퓨터 판독가능 매체들은, 일 장소에서 다른 장소로 컴퓨터 프로그램을 전달하도록 인에이블링될 수 있는 임의의 매체들을 포함한 통신 매체들 및 컴퓨터 저장 매체들 둘 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 비-일시적인 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속수단(connection)이 컴퓨터-판독가능 매체로 적절히 지칭될 수 있다. 본 명세서에서 사용된 바와 같이, 디스크(disk) 및 디스크(disc)는 컴팩트 디스크(disc)(CD), 레이저 디스크(disc), 광학 디스크(disc), 디지털 다기능 디스크(digital versatile disc)(DVD), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다. 부가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 물건으로 통합될 수 있는 머신 판독가능 매체 및/또는 컴퓨터 판독가능 매체 상의 코드들 및/또는 명령들 중 하나 또는 그들의 임의의 결합 또는 세트로서 상주할 수 있다.
[0120] 부가적으로, 당업자는, 용어들 "상부" 및 "하부"가 종종 도면들을 설명하려는 용이함을 위해 사용되고, 적절히 배향된 페이지 상의 도면들의 배향에 대응하는 상대적인 포지션들을 표시하며, 구현된 바와 같이 디바이스의 적절한 배향을 반영하지는 않을 수 있음을 용이하게 인식할 것이다.
[0121] 별도의 구현들의 맥락에서 본 명세서에 설명된 특정한 특성들은 또한, 단일 구현의 결합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특성들은 또한, 다수의 구현들에서 별개로 또는 임의의 적절한 서브결합으로 구현될 수 있다. 또한, 특성들이 특정한 결합들에서 동작하는 것으로 위에서 설명되고 심지어 초기에는 그와 같이 청구될 수 있지만, 청구된 결합으로부터의 하나 이상의 특성들은 몇몇 경우들에서, 그 결합으로부터 삭제될 수 있으며, 청구된 결합은 서브결합 또는 서브결합의 변경으로 안내될 수 있다.
[0122] 유사하게, 동작들이 특정한 순서로 도면들에 도시되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행되거나, 모든 도시된 동작들이 수행된다는 것을 요구하는 것으로서 이해되지는 않아야 한다. 추가적으로, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 도시한다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 도시된 예시적인 프로세스들에 포함될 수 있다. 예를 들어, 하나 이상의 부가적인 동작들은, 도시된 동작들 중 임의의 동작 이전, 이후, 그들과 동시에, 또는 그들 사이에서 수행될 수 있다. 특정한 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있음을 이해해야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 존재한다. 몇몇 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다.

Claims (26)

  1. 장치로서,
    뷰잉(viewing) 영역을 포함하는 전방 표면을 갖는 대화형(interactive) 디스플레이,
    상기 전방 표면에 근접하게 그리고 그 뒤에 배치된 평면 광 가이드(planar light guide),
    가시광선 및 적외선 중 어느 하나 또는 둘 모두를 방출하는 광원, 및
    상기 평면 광 가이드와 커플링되고, 상기 뷰잉 영역의 주변의 외부 또는 근접하게 배치된 적어도 하나의 광감지 엘리먼트(photo sensing element)를 포함하고,
    상기 평면 광 가이드는 광을 수신하도록 구성되고, 수신된 광은 상기 전방 표면과 광학적으로 접촉하는 물체에 의한 상기 광원에 의해 방출되는 광의 산란(scattering), 및 상기 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생하고,
    상기 광감지 엘리먼트는 수신된 광 중 적어도 일부를 검출하고, 상기 광감지 엘리먼트의 시야(field of view) 내에서, 상기 물체의 이미지의 다수의 별개의 반사들을 실질적으로 동시에 등록(register)하고, 상기 다수의 별개의 반사들의 이미지 데이터를 프로세서로 출력하도록 구성되고, 그리고
    상기 프로세서는, 상기 이미지 데이터로부터, 상기 물체의 위치, 및 접촉 압력 및 회전 배향(rotational orientation) 중 하나 또는 둘 모두를 인식하도록 구성되는,
    장치.
  2. 제 1 항에 있어서,
    상기 광원은 상기 전방 표면에 실질적으로 직교하는 방향으로 광을 방출하는,
    장치.
  3. 제 2 항에 있어서,
    상기 광원은 액정 또는 필드 순차 컬러 디스플레이(field sequential color display)의 백라이트(backlight), 반사형 디스플레이의 전방-라이트 또는 방출형 디스플레이(emissive display)로부터의 라이트로서 구성되거나 이를 포함하는,
    장치.
  4. 제 1 항에 있어서,
    상기 물체는 수동 스타일러스(passive stylus) 또는 사용자의 손가락 또는 부속물(appendage)인,
    장치.
  5. 제 1 항에 있어서,
    상기 물체는 수동 스타일러스이고,
    수신된 광은 상기 수동 스타일러스의 펜촉(nib)에 의해 상기 광원에 의해 방출된 광의 산란으로부터 발생하고,
    상기 펜촉은 압력 하에서 변형되는 탄성 중합체(elastomeric) 특성 및 확산 반사형 표면(diffusely reflective surface)을 갖는,
    장치.
  6. 제 5 항에 있어서,
    상기 프로세서는, 상기 이미지 데이터 및 특성 정보로부터, 상기 수동 스타일러스의 위치, 접촉 압력 및 각도 배향 각각을 인식하도록 구성되는,
    장치.
  7. 제 1 항에 있어서,
    상기 물체는 펜촉을 포함하는 능동 스타일러스이고,
    수신된 광은 상기 펜촉을 통해 상기 능동 스타일러스에 의해 방출된 광으로부터 발생하고, 그리고
    상기 펜촉은 압력 하에서 변형되는 탄성 중합체 특성을 갖는,
    장치.
  8. 제 7 항에 있어서,
    상기 펜촉은 실질적으로 등방성(isotropic) 방식으로 상기 펜촉을 통해 상기 능동 스타일러스에 의해 방출된 광을 산란시키도록 구성되는,
    장치.
  9. 제 1 항에 있어서,
    상기 프로세서는 특성 정보로부터 다수의 터치 포인트들에 대한 개별적인 접촉 압력들을 인식하고 이들 사이를 구별하도록 구성되는,
    장치.
  10. 제 1 항에 있어서,
    상기 광감지 엘리먼트는 감광성(photosensitive) 검출기 어레이 또는 카메라를 포함하는,
    장치.
  11. 제 10 항에 있어서,
    상기 광감지 엘리먼트는 상기 평면 광 가이드의 평면 내에 또는 상기 평면 뒤에 배치되는,
    장치.
  12. 제 1 항에 있어서,
    상기 프로세서는 스타일러스 터치 및 손가락 둘 모두에 의한 동시의 또는 거의 동시의 터치들을 인식하고 이들 사이를 구별하도록 구성되는,
    장치.
  13. 제 1 항에 있어서,
    상기 광감지 엘리먼트는 광학축을 갖는 렌즈를 포함하는 카메라이고,
    상기 카메라는 상기 전방 표면에 대략 평행하는 광학축에 배치되는,
    장치.
  14. 장치로서,
    뷰잉 영역을 포함하는 전방 표면을 갖는 전자 디스플레이,
    상기 전방 표면에 근접하여 그리고 그 뒤에 배치되는 평면 광 가이드,
    가시광선 및 적외선 중 하나 또는 둘 모두를 방출하는 광원, 및
    상기 평면 광 가이드와 커플링되고, 상기 뷰잉 영역의 주변의 외부 또는 근접하여 배치된 적어도 하나의 광감지 엘리먼트를 포함하고,
    상기 평면 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광은 상기 전방 표면과 광학적으로 접촉하는 물체와 상기 광원에 의해 방출되는 광 사이의 상호작용으로부터 발생하고,
    상기 광감지 엘리먼트는 수신된 산란된 광 중 적어도 일부를 검출하고, 상기 광감지 엘리먼트의 시야 내에서, 상기 물체의 이미지의 다수의 별개의 반사들을 실질적으로 동시에 등록하고, 상기 다수의 별개의 반사들의 이미지 데이터를 프로세서로 출력하도록 구성되고,
    상기 광원은 상기 전방 표면에 실질적으로 직교하는 방향으로 광을 방출하고, 그리고
    상기 프로세서는, 상기 이미지 데이터로부터, 상기 물체의 위치, 및 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성되는,
    장치.
  15. 제 14 항에 있어서,
    상기 프로세서는 상기 이미지 데이터로부터, 상기 물체의 위치, 접촉 압력 및 각도 배향 각각을 인식하도록 구성되는,
    장치.
  16. 제 14 항에 있어서,
    상기 광원은 액정 또는 필드 순차 컬러 디스플레이의 백라이트, 반사형 디스플레이의 전방 라이트 또는 방출형 디스플레이로부터의 라이트로서 구성되거나 이를 포함하는,
    장치.
  17. 제 14 항에 있어서,
    상기 물체는 수동 스타일러스이고,
    수신된 산란된 광은 상기 수동 스타일러스의 펜촉과 상기 광원에 의해 방출된 광 사이의 상호작용으로부터 발생하고,
    상기 펜촉은 탄성 중합체 특성 및 확산 반사형 표면을 갖는,
    장치.
  18. 장치로서,
    뷰잉 영역을 포함하는 전방 표면을 갖는 대화형 디스플레이,
    가시광선 및 적외선 중 하나 또는 둘 모두를 방출하는 광원,
    상기 뷰잉 영역의 주변의 외부 또는 근접하게 배치된 적어도 하나의 광감지 엘리먼트, 및
    상기 전방 표면에 근접하게 그리고 그 뒤에 배치되고, 상기 적어도 하나의 광감지 엘리먼트와 커플링되어, 광을 수신하기 위한 수단 ― 수신된 광은 상기 전방 표면과 광학적으로 접촉하는 물체와 상기 광원에 의해 방출된 광 사이의 상호작용, 및 상기 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생함 ― 을 포함하고,
    상기 광감지 엘리먼트는 수신된 광 중 적어도 일부를 검출하고, 상기 광감지 엘리먼트의 시야 내에서, 상기 물체의 이미지의 다수의 별개의 반사들을 실질적으로 동시에 등록하고, 상기 다수의 별개의 반사들의 이미지 데이터를 프로세서로 출력하도록 구성되고,
    상기 프로세서는, 상기 이미지 데이터로부터, 상기 물체의 위치, 및 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를 인식하도록 구성되는,
    장치.
  19. 제 18 항에 있어서,
    상기 광원은 상기 전방 표면에 실질적으로 직교하는 방향으로 광을 방출하는,
    장치.
  20. 제 19 항에 있어서,
    상기 광원은 액정 또는 필드 순차 컬러 디스플레이의 백라이트, 반사형 디스플레이의 전방 라이트 또는 방출형 디스플레이로부터의 라이트로서 구성되거나 이를 포함하는,
    장치.
  21. 방법으로서,
    수신된 광을 광감지 엘리먼트를 통해 검출하는 단계 ― 수신된 광은 대화형 디스플레이의 디스플레이 커버 유리의 전방 표면과 적어도 부분적으로 광학적으로 접촉하는 물체와 광원에 의해 방출된 광 사이의 상호작용, 및 상기 물체에 의해 방출된 광 중 하나 또는 둘 모두로부터 발생함― ,
    상기 광감지 엘리먼트의 시야 내에서 상기 물체의 이미지의 다수의 별개의 반사들을, 실질적으로 동시에, 상기 광감지 엘리먼트를 통해, 등록하는 단계,
    상기 광감지 엘리먼트로부터 프로세서로 상기 다수의 별개의 반사들의 이미지 데이터를 출력하는 단계, 및
    상기 이미지 데이터로부터, 상기 물체의 위치, 및 접촉 압력 및 회전 배향 중 하나 또는 둘 모두를, 프로세서를 통해, 인식하는 단계를 포함하는,
    방법.
  22. 제 21 항에 있어서,
    상기 광원은 상기 전방 표면에 실질적으로 직교하는 방향으로 광을 방출하는,
    방법.
  23. 제 21 항에 있어서,
    상기 광원은 액정 또는 필드 순차 컬러 디스플레이의 백라이트, 반사형 디스플레이의 전방 라이트 또는 방출형 디스플레이로부터의 라이트로서 구성되거나 이를 포함하는,
    방법.
  24. 제 21 항에 있어서,
    상기 프로세서는 상기 이미지 데이터 및 특성 정보로부터, 상기 물체의 위치, 접촉 압력 및 각도 배향 각각을 인식하도록 구성되는,
    방법.
  25. 제 21 항에 있어서,
    상기 프로세서는 상기 이미지 데이터로부터 상기 물체의 위치를 결정하도록 구성되는,
    방법.
  26. 제 25 항에 있어서,
    상기 프로세서는,
    상기 광감지 엘리먼트에 관련하여 상기 물체의 방위각(azimuth angle) 및 범위를 측정하는 것,
    복수의 광감지 엘리먼트에 관련하여 상기 물체의 방위각들을 측정하는 것, 및
    복수의 광감지 엘리먼트에 관련하여 상기 물체의 범위를 측정하는 것 중 하나 이상에 의해 결정하도록 구성되는,
    방법.
KR1020167029723A 2014-04-28 2015-03-18 대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능 KR20160146735A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985325P 2014-04-28 2014-04-28
US61/985,325 2014-04-28
US14/502,726 US9582117B2 (en) 2014-04-28 2014-09-30 Pressure, rotation and stylus functionality for interactive display screens
US14/502,726 2014-09-30
PCT/US2015/021245 WO2015167683A1 (en) 2014-04-28 2015-03-18 Pressure, rotation and stylus functionality for interactive display screens

Publications (1)

Publication Number Publication Date
KR20160146735A true KR20160146735A (ko) 2016-12-21

Family

ID=54334776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167029723A KR20160146735A (ko) 2014-04-28 2015-03-18 대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능

Country Status (7)

Country Link
US (1) US9582117B2 (ko)
EP (1) EP3137978A1 (ko)
JP (1) JP2017514232A (ko)
KR (1) KR20160146735A (ko)
CN (1) CN106462296A (ko)
BR (1) BR112016024940A2 (ko)
WO (1) WO2015167683A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260868B1 (ko) 2019-12-12 2021-06-07 금오공과대학교 산학협력단 제스처 기반 모드 선택 기능을 갖는 전자 장치, 그 방법 및 기록매체

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens
US10108301B2 (en) 2014-09-02 2018-10-23 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
US9965101B2 (en) 2014-09-02 2018-05-08 Rapt Ip Limited Instrument detection with an optical touch sensitive device
DE112015004010T5 (de) * 2014-09-02 2017-06-14 Rapt Ip Limited Instrumentenerfassung mit einer optischen berührungsempfindlichen Vorrichtung
KR102299365B1 (ko) * 2014-11-03 2021-09-07 삼성전자주식회사 스페클을 이용한 인증 장치, 이를 포함하는 인증 시스템 및 스페클을 이용한 인증 방법
KR20240012622A (ko) * 2016-12-07 2024-01-29 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10635195B2 (en) * 2017-02-28 2020-04-28 International Business Machines Corporation Controlling displayed content using stylus rotation
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11169641B2 (en) 2018-01-23 2021-11-09 Beechrock Limited Compliant stylus interaction with touch sensitive surface
US10983611B2 (en) * 2018-06-06 2021-04-20 Beechrock Limited Stylus with a control
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
US12056316B2 (en) 2019-11-25 2024-08-06 Flatfrog Laboratories Ab Touch-sensing apparatus
CN113220140B (zh) * 2020-01-21 2023-10-13 京东方科技集团股份有限公司 一种交互笔、感应屏、交互系统及定位方法
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
US11749014B2 (en) * 2020-08-13 2023-09-05 Novatek Microelectronics Corp. Optical fingerprint sensing apparatus, driver apparatus thereof and operation method
CN118466743A (zh) * 2023-02-09 2024-08-09 致伸科技股份有限公司 使用者手势行为模拟系统及其方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69407628T2 (de) 1993-02-01 1998-08-27 Matsushita Electric Ind Co Ltd Wellenleiter-Bildübertragungsvorrichtung und Vorrichtung zur Identifikation von Fingerabdrücken
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
DE19535803A1 (de) 1995-09-26 1997-03-27 Computer Ges Konstanz Abtastvorrichtung zur optischen Abtastung von Objekten mit Oberflächenstruktur
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
JP3559754B2 (ja) 2000-07-25 2004-09-02 Ｎｅｃエレクトロニクス株式会社 指紋認証装置
US6956608B1 (en) 2000-08-11 2005-10-18 Identix Incorporated Fingerprint imaging device including an optical plate having microreflectors
US20020131624A1 (en) 2000-08-11 2002-09-19 Yury Shapiro Fingerprint imaging device with fake finger detection
US20030028872A1 (en) 2001-08-03 2003-02-06 Rajko Milovanovic System and method for real-time non-participatory user recognition and content provisioning
JP4186440B2 (ja) 2001-08-07 2008-11-26 オムロン株式会社 車両搭載機器の制御システム、携帯電話機、及び車両搭載機器の制御方法
ATE334441T1 (de) 2002-03-13 2006-08-15 O Pen Aps Berührungs-pad und verfahren zum betreiben des berührungs-pad
US7313255B2 (en) 2003-05-19 2007-12-25 Avago Technologies Ecbu Ip Pte Ltd System and method for optically detecting a click event
US7671351B2 (en) 2003-09-05 2010-03-02 Authentec, Inc. Finger sensor using optical dispersion sensing and associated methods
US7442914B2 (en) * 2003-09-12 2008-10-28 Flatfrog Laboratories Ab System and method of determining a position of a radiation emitting element
KR100575144B1 (ko) 2004-03-10 2006-04-28 씨큐트로닉스 (주) 모바일기기용 광학 지문입력 장치
JP2007529797A (ja) 2004-03-19 2007-10-25 フンベル ローガー 認証機能および支払い機能を備えた、無線自転車キー、自動車、家屋、ｒｆｉｄタグのための携帯電話におけるオールインワンキーまたは制御ソフトウェアカード
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
GB2417858B (en) 2004-08-16 2009-03-04 Anwar Sharif Bajwa Access control device and arrangement using mobile phones or handheld wireless communicators for automatic wireless access with secure codes and biometrics da
JP5069564B2 (ja) 2004-11-12 2012-11-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディスプレイ装置への複数のユーザアクセスのための独特のユーザ識別及び認証
US8077929B2 (en) 2006-02-22 2011-12-13 Wasatch Photonics, Inc. Ambient light rejection filter
JP4599320B2 (ja) 2006-03-13 2010-12-15 富士通株式会社 指紋認証装置、生体指判定装置および生体指判定方法
US7969426B2 (en) 2006-10-31 2011-06-28 Hewlett-Packard Development Company, L.P. Light sensitive display interface for computing devices
EP2131322A4 (en) 2007-04-04 2011-08-03 Sony Corp DEVICE FOR BIOMETRIC AUTHENTICATION
EP1988489B1 (en) 2007-05-04 2021-02-17 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
JP4823985B2 (ja) 2007-08-07 2011-11-24 株式会社日立製作所 生体認証装置及び情報端末
US8120762B2 (en) * 2007-11-30 2012-02-21 Nokia Corporation Light guide and optical sensing module input device and method for making same
WO2010006348A1 (de) * 2008-07-15 2010-01-21 Isiqiri Interface Technologies Gmbh Steuerfläche für eine datenverarbeitungsanlage
JP5378519B2 (ja) * 2008-08-07 2013-12-25 ドラム，オウエン 光学タッチセンサー式デバイスにおけるマルチタッチ事象を検出する方法および装置
RU2491606C2 (ru) 2008-08-29 2013-08-27 Шарп Кабушики Каиша Координатный датчик, электронное устройство, отображающее устройство и светоприемный блок
US8605960B2 (en) 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
RU2012118595A (ru) * 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Извлечение данных касания, представляющих один или несколько предметов на сенсорной поверхности
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US8436833B2 (en) * 2009-11-25 2013-05-07 Corning Incorporated Methods and apparatus for sensing touch events on a display
US20120019481A1 (en) * 2010-07-26 2012-01-26 Po-Sheng Lai Controller of Contact Sensing Type Using Optical Principle for Controlling a Pointer on a Display Screen
US9262011B2 (en) * 2011-03-30 2016-02-16 Smart Technologies Ulc Interactive input system and method
US10725564B2 (en) 2011-10-28 2020-07-28 Wacom Co., Ltd. Differential sensing in an active stylus
TWI533231B (zh) 2012-01-17 2016-05-11 蘋果公司 具有用於耦合電極及畫素感測軌跡之畫素感測電路之手指感測器及其相關方法
JP2013175142A (ja) 2012-01-27 2013-09-05 Sharp Corp 座標入力装置、及び座標入力システム
US20130265137A1 (en) 2012-04-02 2013-10-10 Validity Sensors, Inc. Integratable fingerprint sensor packagings
US9880653B2 (en) 2012-04-30 2018-01-30 Corning Incorporated Pressure-sensing touch system utilizing total-internal reflection
US9726803B2 (en) 2012-05-24 2017-08-08 Qualcomm Incorporated Full range gesture system
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム
US9557846B2 (en) * 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US9285923B2 (en) * 2012-12-19 2016-03-15 Sharp Laboratories Of America, Inc. Touch sensitive display system
CN105051656B (zh) * 2013-03-15 2019-02-22 触觉实验室股份有限公司 快速多触摸减噪
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260868B1 (ko) 2019-12-12 2021-06-07 금오공과대학교 산학협력단 제스처 기반 모드 선택 기능을 갖는 전자 장치, 그 방법 및 기록매체

Also Published As

Publication number Publication date
JP2017514232A (ja) 2017-06-01
US9582117B2 (en) 2017-02-28
BR112016024940A2 (pt) 2017-08-15
CN106462296A (zh) 2017-02-22
WO2015167683A1 (en) 2015-11-05
EP3137978A1 (en) 2017-03-08
US20150309662A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
KR102357092B1 (ko) 디스플레이 통합형 사용자 분류, 보안 및 지문 시스템
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US9921688B2 (en) Large area interactive display screen
EP2898399B1 (en) Display integrated camera array
US9347833B2 (en) Infrared touch and hover system using time-sequential measurements
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
TWI536227B (zh) 光學觸控偵測
US20150309663A1 (en) Flexible air and surface multi-touch detection in mobile platform
KR20180081097A (ko) 디스플레이 백플레인 위의 통합을 위한 광학 센서
US9454260B2 (en) System and method for enabling multi-display input
KR20100072207A (ko) 터치-감응 장치상의 손가락 방향의 검출
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US20170249054A1 (en) Displaying an object indicator
KR20100116267A (ko) 터치 패널 및 그를 가지는 터치 표시 장치
US11275467B1 (en) Integrating optical fingerprinting into a front-facing smartphone camera
US20150293645A1 (en) Holographic collection and emission turning film system
US9551922B1 (en) Foreground analysis on parametric background surfaces
Fang et al. P. 133: 3D Multi‐Touch System by Using Coded Optical Barrier on Embedded Photo‐Sensors