KR20110038120A - 펜 추적을 포함하는 멀티-터치 터치스크린 - Google Patents

펜 추적을 포함하는 멀티-터치 터치스크린 Download PDF

Info

Publication number
KR20110038120A
KR20110038120A KR1020117002788A KR20117002788A KR20110038120A KR 20110038120 A KR20110038120 A KR 20110038120A KR 1020117002788 A KR1020117002788 A KR 1020117002788A KR 20117002788 A KR20117002788 A KR 20117002788A KR 20110038120 A KR20110038120 A KR 20110038120A
Authority
KR
South Korea
Prior art keywords
display panel
layer
pattern
touch
display
Prior art date
Application number
KR1020117002788A
Other languages
English (en)
Inventor
버나드 도레이
폴 토
마이클 할러
제임스 로버트 포웰
피터 브랜들
야콥 레이트너
토마스 조세프 세이프리드
모세스 타오-링 마
Original Assignee
노오텔 네트웍스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노오텔 네트웍스 리미티드 filed Critical 노오텔 네트웍스 리미티드
Publication of KR20110038120A publication Critical patent/KR20110038120A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 멀티-터치 사람 입력은 물론 디지털 펜으로부터의 입력 둘 다를 지원하는 멀티-터치 디스플레이 시스템에 관한 것이다. 디스플레이 시스템은 전방 표면에서의 사람의 터치가 검출되고 추적될 수 있도록 구성된 디스플레이 패널을 가진다. 디스플레이 패널은 또한 바람직하게는 디스플레이 패널의 가시 영역을 덮고 있는 위치 패턴을 포함한다. 위치 패턴은 특정의 위치와 연관되어 있는 디스플레이 패턴의 일부분을 분석함으로써 위치 패턴 내의 임의의 위치가 검출될 수 있도록 구성된다. 디스플레이 패널 상에 "필기"하는 데 디지털 펜이 사용되며, 이러한 필기 기능은 필기가 행해지는 위치를 검출하는 것 및 무엇이 필기되고 있는지를 반영하기 위해 디스플레이 패널 상에 디스플레이되는 디스플레이 콘텐츠를 제어하는 것을 포함한다.

Description

펜 추적을 포함하는 멀티-터치 터치스크린{MULTI-TOUCH TOUCHSCREEN INCORPORATING PEN TRACKING}
본 발명은 멀티-터치 터치스크린에 관한 것이며, 상세하게는 멀티-터치 터치스크린 시스템에 펜 추적을 포함시키는 것에 관한 것이다.
터치스크린은 일반적으로 디스플레이 패널이 터치될 때 및 디스플레이 패널 내에서의 터치의 위치를 검출할 수 있는 특수 구성된 디스플레이 장치이다. 터치는 스타일러스, 사람의 손가락 등에 의해 제공될 수 있다. 터치스크린은 POS(point of sale) 장치, 핸드헬드 전자 제품, 대화형 디스플레이, 워크 스테이션, 개인용 컴퓨터, 자동 현금 입출금기 등의 광범위한 전자 장치의 키패드, 키보드, 또는 마우스에 대한 부가의 또는 대안의 입력 장치를 제공한다. 과거에, 이들 터치스크린 시스템은 터치의 위치를 감지하기 위해 다양한 유형의 기술을 이용하였지만, 임의의 주어진 때에 단지 하나의 터치의 위치를 검출할 수 있는 것으로 제한되었다.
최근에, 다수의 터치를 동시에 감지할 수 있는 멀티-터치 터치스크린이 개발되었다. 터치스크린이 다수의 터치를 검출하고 추적할 수 있는 능력은 인터페이스 기술의 혁신적인 진전을 나타낸다. 이러한 기술이 그래픽 디자이너, 발표자, 사진가 및 건축가와 같은 전문 사용자는 물론 일반 컴퓨터 사용자에게도 제공할 수 있는 자유를 쉽게 상상할 수 있다. 멀티-터치 터치스크린에서, 한 명 이상의 사용자가 다수의 손가락을 사용하여, 디스플레이된 물체를 동시에 선택, 조작 및 드래그할 수 있다. 이러한 응용의 잠재성은 광대하며, 멀티-터치 터치스크린의 크기가 증가함에 따라 특히 그렇다.
현재 가장 상업적으로 주목할 멀티-터치 터치스크린은 Apple® iPhone 상의 주 인터페이스 및 디스플레이이다. iPhone은 사용자가 2개의 손가락을 동시에 사용하여 터치스크린을 통해 다양한 기능(터치스크린의 표면을 따라 손가락을 서로 멀어지게 슬라이딩하거나 손가락을 서로 가까와지게 슬라이딩함으로써 디스플레이되어 있는 물체를 확대하거나 축소시키는 것을 포함함)을 수행할 수 있게 한다. iPhone 터치스크린은 서로 다른 터치의 좌표 및 이동을 검출하기 위해 용량성 그리드에 의존하지만, 용량성 그리드의 사용은 터치스크린이 스타일러스의 터치 또는 비전도성 장갑을 통한 사람의 터치를 검출할 수 없다는 것을 의미한다. 게다가, 용량성 그리드의 사용은 실질적으로 터치스크린의 확장성 및 임의의 주어진 때에 추적될 수 있는 터치의 수를 제한한다. iPhone의 경우, 임의의 주어진 때에 단지 2개의 터치만이 일반적으로 사용된다. 그에 따라, 비교적 작은 디스플레이만이 iPhone의 터치스크린 기술을 포함할 수 있다. 많은 다른 현재의 터치스크린 기술이 동일한 동작 및 크기 제한을 겪고 있다.
Perceptive Pixel, Inc.(www.perceptivepixel.com) 및 Microsoft Corporation(www.microsoft.com/surface)과 같은 회사에 의해 대형 디스플레이 패널용의 유망한 새로운 멀티-터치 기술이 개발되고 있다. 이들 기술은, 디스플레이 패널의 전방으로부터 디스플레이 콘텐츠를 볼 수 있도록, 배면 투사 기술을 이용하여 대형 디스플레이 패널의 후방에 디스플레이 콘텐츠를 투사한다. 터치 검출은, 디스플레이 패널의 전방이 터치되는 것에 응답하여, 감지용 적외선(IR) 광이 디스플레이 패널의 후방으로부터 방출되거나 반사되는 것에 의존한다. IR 광은 일반적으로 터치되는 지점으로부터만 방출되고, IR 센서는 터치와 연관된 세기, 위치 및 임의의 이동을 검출할 수 있다. 연관된 프로세서는 IR 센서로부터 대응하는 터치 정보를 수신하고 터치 정보를 사용자 입력으로서 처리한다. 프로세서는, 터치되는 디스플레이 패널로부터 도출된 사용자 입력에 기초하여, 디스플레이 콘텐츠를 제어하도록 구성된다.
이들 기술이 뛰어난 멀티-터치 대화성을 제공하지만, 이 기술이 본질적으로 사람의 터치로 제한되고 일반적으로 펜-유형 기기 등으로부터의 스타일러스와 같은 보다 작은 사람이 아닌 물체의 접촉 및 이동을 추적할 수 없다. 디스플레이 패널 및 IR 센서의 유효 터치 감도는 비교적 낮으며, 그로써 사용자가 조작할 수 있는 분해능을 그의 손가락의 크기로 제한한다. 따라서, 멀티-터치 응용은 비교적 상위 레벨의 선택, 이동 및 윤곽선 기능으로 제한된다. 고해상도의 동작을 필요로 하는 소규모 필기, 드로잉, 선택 등은 현재 실행가능하지 않다. 게다가, 다수의 사용자가 디스플레이 패널과 상호작용할 때, 이들 기술은 디스플레이 패널을 터치하고 있는 서로 다른 사용자를 구별할 수 없다.
이들 기술의 또 다른 단점은 주변광이 디스플레이 패널의 배면으로부터 방출되거나 반사되는 IR 광을 검출하는 데 영향을 미친다는 것이다. 주변광은 종종 IR 광 콘텐츠를 비교적 많이 포함하고 있는 백열광이거나 자연광이다. 주변 IR 광은 터치에 응답하여 디스플레이 패널의 배면으로부터 방출되거나 반사되는 IR 광을 방해하고, 디스플레이 패널이 언제 어떻게 터치되는지를 검출하는 IR 센서의 능력을 사실상 감소시킨다. 예를 들어, 터치와 연관된 상대 세기 또는 힘을 구하는 능력은 일반적으로 주변 IR 광의 양에 반비례하며, 주변광이 변하는 경우 어렵다.
따라서, 스타일러스 및 다른 사람이 아닌 물체로부터의 터치 및 터치와 연관된 이동을 검출할 수 있는 대규모 멀티-터치 터치스크린 시스템이 필요하다. 또한, 서로 다른 사용자로부터의 터치를 구별할 수 있는 멀티-터치 스크린 시스템이 필요하다. 또한, 백열광 및 자연광 환경에서 보다 효율적인 방식으로 동작할 수 있는 멀티-터치 스크린 시스템이 필요하다.
본 발명은 멀티-터치 사람 입력은 물론 디지털 펜으로부터의 입력 둘 다를 지원하는 멀티-터치 디스플레이 시스템에 관한 것이다. 디스플레이 시스템은 전방 표면을 따라 사람의 터치가 검출되고 추적될 수 있도록 구성된 디스플레이 패널을 가진다. 이러한 사람의 터치는 디스플레이 시스템 전체에 대한 입력으로서 사용된다. 디스플레이 패널은 또한 바람직하게는 디스플레이 패널의 가시 영역을 덮고 있는 위치 패턴을 포함한다. 위치 패턴은 특정의 위치와 연관되어 있는 디스플레이 패턴의 일부분을 분석함으로써 위치 패턴 내의 임의의 위치가 검출될 수 있도록 구성된다. 디스플레이 패널 상에 "필기"하는 데 디지털 펜이 사용되며, 이러한 필기 기능은 필기가 행해지는 위치를 검출하는 것 및 무엇이 필기되고 있는지를 반영하기 위해 디스플레이 패널 상에 디스플레이되는 디스플레이 콘텐츠를 제어하는 것을 포함한다. 이러한 필기를 용이하게 하도록, 임의의 주어진 때에 디지털 펜이 필기하고 있는 위치 패턴의 일부분이 분석되어, 디스플레이 패널 상의 어디에서 필기가 행해지고 있는지를 판정한다. 필기된 위치에 그리고 필기된 대로 필기를 포함하도록 디스플레이 콘텐츠가 조작될 수 있다. 그에 따라, 디스플레이 콘텐츠는 디지털 펜에 의해 디스플레이 패널 상에 무엇이 필기되고 있는지를 반영한다.
일 실시예에서, 위치 패턴은 Anoto, Inc.에 의해 개발된 Anoto 패턴이다. Anoto 패턴과 같은 위치 패턴은 점, 마크 또는 기타 그래픽을 사용하여 연속하여 변하는 패턴을 생성하며, 위치 패턴의 각각의 고유한 부분은 위치 패턴의 그 부분의 위치를 식별하는 데 충분한 정보를 제공한다. 위치 패턴은 또한 위치 패턴이 제공되어 있는 특정의 디스플레이 패널을 식별하도록 인코딩될 수 있다. 그에 따라, 서로 다른 디스플레이 패널이 위치 패턴으로부터 식별될 수 있다.
디지털 펜은 임의의 유형의 디지털 필기 장치를 나타내며, 다양한 형태를 가질 수 있다. 일반적으로, 디지털 펜은 위치 패턴을 검출하고, 유선 또는 바람직하게는 무선 통신을 통해, 대응하는 정보를 디스플레이 시스템의 중앙 처리 시스템에 제공할 수 있다. 디스플레이 패널은, LCD 또는 플라즈마-기반 디스플레이에 사용되는 것과 같은, 디스플레이 기술이 패널에 통합되어 있는 일체형 디스플레이 패널일 수 있다. 바람직한 실시예에서, 디스플레이 시스템은 배면 투사 기술을 이용하고, 이 때 디스플레이 패널의 배면에 디스플레이 콘텐츠의 이미지를 투사하기 위해 프로젝터가 사용되고, 이미지는 디스플레이 패널의 전면으로부터 볼 수 있다. 사람의 터치를 감지하는 멀티-터치 기술은 사용되는 디스플레이 기술과 호환되는 어떤 공지된 기술이라도 포함할 수 있다. 그러나, 본 발명의 바람직한 실시예는 사람의 터치에 대응하는 적외선 반사의 감지에 의존하는 배면 투사 디스플레이 기술 및 멀티-터치 기술을 이용한다.
당업자라면 본 발명의 범위를 잘 알 것이고, 첨부 도면과 관련하여 바람직한 실시예에 대한 이하의 상세한 설명을 읽은 후에 본 발명의 부가의 양태들을 실현할 것이다.
본 명세서에 포함되어 그 일부를 구성하는 첨부 도면들은 발명의 몇몇 양태들을 예시한 것이며, 설명과 함께 발명의 원리를 설명하는 역할을 한다.
도 1은 종래 기술에 따른 멀티-터치 디스플레이 시스템의 블록도이다.
도 2는 종래 기술의 디스플레이 패널에서의 전반사를 나타낸 도면이다.
도 3은 종래 기술에 따른 디스플레이 패널에서의 FTIR(frustrated total internal reflection)을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 멀티-터치 디스플레이 시스템의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 디지털 펜을 나타낸 도면이다.
도 6a 및 도 6b는 본 발명의 특정 실시예에서 사용되는 Anoto 패턴을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 패널에서의 전반사를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 패널에서의 FTIR을 나타낸 도면이다.
도 9a 및 도 9b는 종래 기술과 본 발명의 일 실시예 간의 소산장 세기(evanescent field strength)의 차이를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 배플링(baffling) 프레임의 사용을 나타낸 도면이다.
도 11은 본 발명의 제1 실시예에 따른 디스플레이 패널 조성을 나타낸 도면이다.
도 12는 본 발명의 제2 실시예에 따른 디스플레이 패널 조성을 나타낸 도면이다.
도 13은 본 발명의 제3 실시예에 따른 디스플레이 패널 조성을 나타낸 도면이다.
이하에서 기술되는 실시예는 당업자가 발명을 실시할 수 있도록 하는 데 필요한 정보를 제공하며 발명을 실시하는 최상의 방식을 설명한다. 첨부 도면을 고려하여 이하의 설명을 읽어보면, 당업자라면 발명의 개념을 이해하게 될 것이며 본 명세서에 상세히 언급되지 않은 이러한 개념의 응용들을 알게 될 것이다. 이 개념들과 응용들이 본 개시 내용 및 첨부한 특허청구범위의 범위 내에 속한다는 것을 잘 알 것이다.
본 발명은 멀티-터치 사람 입력은 물론 디지털 펜으로부터의 입력 둘 다를 지원하는 멀티-터치 디스플레이 시스템에 관한 것이다. 디스플레이 시스템은 전방 표면을 따라 사람의 터치가 검출되고 추적될 수 있도록 구성된 디스플레이 패널을 가진다. 이러한 사람의 터치는 디스플레이 시스템 전체에 대한 입력으로서 사용된다. 디스플레이 패널은 또한 바람직하게는 디스플레이 패널의 가시 영역을 덮고 있는 위치 패턴을 포함한다. 위치 패턴은 특정의 위치와 연관되어 있는 디스플레이 패턴의 일부분을 분석함으로써 위치 패턴 내의 임의의 위치가 검출될 수 있도록 구성된다. 디스플레이 패널 상에 "필기"하는 데 디지털 펜이 사용되며, 이러한 필기 기능은 필기가 행해지는 위치를 검출하는 것 및 무엇이 필기되고 있는지를 반영하기 위해 디스플레이 패널 상에 디스플레이되는 디스플레이 콘텐츠를 제어하는 것을 포함한다. 이러한 필기를 용이하게 하도록, 임의의 주어진 때에 디지털 펜이 필기하고 있는 위치 패턴의 일부분이 분석되어, 디스플레이 패널 상의 어디에서 필기가 행해지고 있는지를 판정한다. 필기된 위치에 그리고 필기된 대로 필기를 포함하도록 디스플레이 콘텐츠가 조작될 수 있다. 그에 따라, 디스플레이 콘텐츠는 디지털 펜에 의해 디스플레이 패널 상에 무엇이 필기되고 있는지를 반영한다.
일 실시예에서, 위치 패턴은 Anoto, Inc.에 의해 개발된 Anoto 패턴이다. Anoto 패턴과 같은 위치 패턴은 점, 마크 또는 기타 그래픽을 사용하여 연속하여 변하는 패턴을 생성하며, 위치 패턴의 각각의 고유한 부분은 위치 패턴의 그 부분의 위치를 식별하는 데 충분한 정보를 제공한다. 위치 패턴은 또한 위치 패턴이 제공되어 있는 특정의 디스플레이 패널을 식별하도록 인코딩될 수 있다. 그에 따라, 서로 다른 디스플레이 패널이 위치 패턴으로부터 식별될 수 있다.
디지털 펜은 임의의 유형의 디지털 필기 장치를 나타내며, 다양한 형태를 가질 수 있다. 일반적으로, 디지털 펜은 위치 패턴을 검출하고, 유선 또는 바람직하게는 무선 통신을 통해, 대응하는 정보를 디스플레이 시스템의 중앙 처리 시스템에 제공할 수 있다. 디스플레이 패널은, LCD 또는 플라즈마-기반 디스플레이에 사용되는 것과 같은, 디스플레이 기술이 패널에 통합되어 있는 일체형 디스플레이 패널일 수 있다. 바람직한 실시예에서, 디스플레이 시스템은 배면 투사 기술을 이용하고, 이 때 디스플레이 패널의 배면에 디스플레이 콘텐츠의 이미지를 투사하기 위해 프로젝터가 사용되고, 이미지는 디스플레이 패널의 전면으로부터 볼 수 있다. 사람의 터치를 감지하는 멀티-터치 기술은 사용되는 디스플레이 기술과 호환되는 어떤 공지된 기술이라도 포함할 수 있다. 그러나, 본 발명의 바람직한 실시예는 사람의 터치에 대응하는 적외선 반사의 감지에 의존하는 배면 투사 디스플레이 기술 및 멀티-터치 기술을 이용한다.
본 발명의 상세를 살펴보기 전에, Jeff Han of Perceptive Pixel, Inc.에 의해 개발된 대형 디스플레이 패널에 유망한 멀티-터치 터치스크린 기술의 개요가 제공된다. 부가의 정보는 perceptivepixel.com에서 얻을 수 있다. 본 발명의 실시예는 Perceptive Pixel 기술과 관련하여 이용될 수 있지만, 본 발명은 Perceptive Pixel 기술과 관련하여 구현되는 것으로 제한되지 않는다. 특히 도 1을 참조하면, Jeff Han에 의해 개발된 것과 같은 멀티-터치 디스플레이 시스템(10)은 배면 투사 스크린 및 멀티-터치 터치스크린 패널 둘 다로서 역할하는 특수 구성된 디스플레이 패널(12)에 중점을 두고 있다. 디스플레이 패널(12)의 배면으로부터 투사된 이미지는 디스플레이 패널(12)의 전면으로부터 볼 수 있으며, 디스플레이 패널(12)의 전면은 사용자가 멀티-터치 디스플레이 시스템(10)에 입력을 제공할 때 터치하는 촉각 또는 터치면을 제공한다.
멀티-터치 디스플레이 시스템(10)은 TIR(total internal reflection) 및 FTIR(frustrated total internal reflection)이라는 광학 현상에 의존하여, 언제 어디서 어떻게 디스플레이 패널(12)이 터치되는지를 검출한다. 이 현상에 대해서는 멀티-터치 디스플레이 시스템(10)의 다양한 구성요소들을 간략히 설명한 후에 더 상세히 설명한다. 일반적으로, TIR의 상태는 디스플레이 패널(12) 내부를 이동하는 광선이 디스플레이 패널(12) 내에 유지되고 사실상 광선의 어느 부분도 디스플레이 패널(12) 밖으로 빠져나가 이동하지 않을 때 일어난다. 멀티-터치 디스플레이 시스템(10)에서, 디스플레이 패널(12)의 적어도 일부분은 IR 발광 다이오드(LED)(14) 어레이에 의해 디스플레이 패널(12)에 주입된 적외선(IR) 광에 대한 도광체로서 역할한다. IR LED(14)는 디스플레이 패널(12)의 주변부 에지를 따라 이격되고 배치되어 디스플레이 패널(12) 내로 IR 광을 방사하고, 그에 따라 디스플레이 패널(12)이 터치되지 않을 때 TIR의 상태를 용이하게 하도록, IR 광은 통상적으로 디스플레이 패널(12) 내에 유지된다.
TIR의 상태가 교란되거나 좌절될 때, FTIR의 상태가 일어난다. 이러한 교란은 디스플레이 패널(12)이 터치되는 것에 의해 야기될 수 있다. 디스플레이 패널(12)이 터치되는 지점을 터치 지점(16)이라고 한다. 디스플레이 패널(12)의 전면이 터치 지점(16)에서 터치될 때, TIR의 상태가 교란된다. 그 결과, 그렇지 않았으면 디스플레이 패널(12) 내에 유지될 소정의 IR 광이 산란되고 FTIR(18)로서 디스플레이 패널(12)의 배면을 빠져 나간다.
다수의 FTIR 센서(20)는 디스플레이 패널(12) 후방에 배치되고 디스플레이 패널(12)의 배면으로부터 나오는 FTIR(18)의 상대 위치 및 세기를 검출하고 모니터링하도록 구성된다. 디스플레이 패널(12)을 빠져 나가는 광이 IR 광이기 때문에, FTIR 센서(20)는 IR 광 검출기이다. 본 명세서에서 IR 광이 언급되고 있지만, 다른 유형의 가시광 또는 비가시광이 이용될 수 있다. FTIR 센서(20)는 FTIR(18)과 연관된 척도를 결정하고, 대응하는 FTIR 정보를 개인용 컴퓨터, 서버, 제어 시스템 등의 형태를 가질 수 있는 프로세서(22)에 제공한다. 프로세서는 FTIR 정보를 처리하고 디스플레이 패널(12)이 어떻게 터치되고 있는지를 결정할 수 있다. 이 시스템에서, 임의의 주어진 때에 다수의 터치가 검출되고 추적될 수 있다. 터치는 간단한 태핑(tap)부터 정확한 터치 경로가 모니터링되는 복잡한 터치 및 드래그 동작까지 있을 수 있다. FTIR(18)의 세기가 일반적으로 각각의 터치와 연관된 압력에 비례하기 때문에, 터치의 세기도 역시 모니터링될 수 있다. 따라서, 임의의 주어진 때에 디스플레이 패널(12)의 다수의 터치의 다양한 양태들이 프로세서(22)에 의해 추적될 수 있다. 터치 및 터치의 성질이 멀티-터치 디스플레이 시스템(10)에 대한 터치 입력으로서 처리된다. 터치 입력은 멀티-터치 디스플레이 시스템(10)의 동작을 제어하는 데 사용된다.
멀티-터치 디스플레이 시스템(10)은 또한 디스플레이 패널(12)의 배면 상에 정지 또는 비디오 콘텐츠를 투사할 수 있는 프로젝터(24)를 포함한다. 전술한 바와 같이, 종래의 배면-투사 방식에서 디스플레이 패널(12)은 디스플레이 패널의 배면 상에 투사된 이미지가 디스플레이 패널(12)의 전면으로부터 볼 수 있도록 구성된다. 투사된 콘텐츠는 멀티-터치 디스플레이 시스템(10)에 대한 디스플레이 콘텐츠이다. 디스플레이 콘텐츠가 프로세서(22)에 의해 전체적으로 또는 부분적으로 발생되고 프로젝터(24)에 제공될 수 있고, 이 프로젝터는 디스플레이 콘텐츠를 디스플레이 패널(12)의 배면 상에 투사하게 된다. 프로세서(22)는 임의의 수의 미디어 장치 또는 플레이어를 포함하거나 그와 연관되어 있을 수 있으며, 이 미디어 장치 또는 플레이어로부터 디스플레이 콘텐츠의 전부 또는 일부가 액세스되거나 도출될 수 있다. 적어도 부분적으로, 프로세서(22)는 터치 입력에 응답하여 프로젝터(24)에 제공되고 따라서 프로젝터(24)에 의해 투사되는 디스플레이 콘텐츠를 제어하여, 대화형 시스템을 제공한다. 주목할 것은, 멀티-터치 디스플레이 시스템(10) 전체가 하나의 인클로저 내에 제공될 수 있다는 것이며, 이 때 적어도 디스플레이 패널(12)은 디스플레이 패널(12)이 수평 배향과 수직 배향 사이에서 회전될 수 있게 하는 관절 접합 부재(articulating member)에 연결된다.
이하에서는 앞서 기술한 디스플레이 패널(12)과 관련하여 TIR 및 FTIR의 개념에 대한 개요를 제공한다. 도 2를 참조하면, 전원 공급 장치(26)가 디스플레이 패널(12)의 주변부 에지를 따라 존재하는 IR LED(14)를 구동하는 디스플레이 패널(12)이 도시되어 있다. 명확함을 위해, 수많은 IR LED(14) 중 단지 하나만이 도시되어 있다. 디스플레이 패널(12)은 도광체 패널(28), 및 도광체 패널(28)의 상부 표면에 존재하고 하나 이상의 층을 포함할 수 있는 표면층 구조물(30)을 포함하는 것으로 도시되어 있다. 도광체 패널(28)은 일반적으로 투명한 아크릴 또는 유사 중합체이다. 표면층 구조물(30)은 디스플레이 패널(12)의 전면을 나타내고, 터치될 표면을 제공한다. 표면층 구조물(30)은 바람직하게는 순응성(compliant)이고, 디스플레이 콘텐츠가 투사되는 반투명 표면을 제공하는데, 그 이유는 도광체(28)가 투명한 물질로 형성되기 때문이다. 도광체 패널(28)의 하부 표면은 프로젝터(24)와 마주하는 디스플레이 패널(12)의 배면을 나타낸다.
도광체 패널(28)의 상부 표면과 표면층 구조물(30)의 하부 표면 사이에 경계가 형성된다. 도광체 패널(28)의 아크릴이 표면층 구조물(30)의 하부층과 다른 굴절률을 갖는 것으로 가정한다. 일반적으로, 도광체 패널(28) 내에서 이동하는 IR 광선이 경계를 가로질러 표면층 구조물(30)에 들어갈 때, IR 광선이 일부는 굴절되고 일부는 반사된다. 굴절된 IR 광선은 경계에서 방향을 변경하고 표면층 구조물(30) 내로 들어가 그를 통해 이동한다. 반사된 IR 광선은 다시 제1 물질 내로 반사되고 도광체 패널(28)을 통해 게속 이동한다. 이 시나리오는 도광체 패널(28)의 하부 표면과 공기 간에 형성된 경계에 대해서도 동일하다.
본질적으로 도광체 패널(28) 내에서 이동하는 IR 광선의 전부가 경계에 도달한 후에 다시 도광체 패널(28) 내로 완전히 반사되고 따라서 사실상 어떤 IR 광선도 도광체 패널(28)의 어느 한쪽에 있는 표면층 구조물(30) 또는 공기 내로 굴절되지 않을 때 TIR의 상태가 달성된다. 그에 따라, IR 광선이 도광체 패널(28) 내에 있다. 도광체 패널(28) 내에 있는 그 IR 광선은 내부 반사(32)라고 한다. TIR을 위해 특정 조건들이 일반적으로 요구된다. 첫째, 도광체 패널(28)의 굴절률이 표면층 구조물(30)의 하부층은 물론 도광체 패널(28)의 다른쪽에 있는 공기의 굴절률보다 커야만 한다. 둘째, IR 광선의 입사각이 도광체 패널(28)과 연관된 임계각보다 커야만 한다. 입사각은 광선이 도광체 패널(28)의 상부 또는 하부 표면에 법선이거나 수직인 선에 대해 이동하는 각도의 크기이다. 임계각은 일반적으로 도광체 패널(28)의 조성에 의존하며, 도광체 패널(28)에서 TIR이 일어나는 입사각에 대응한다.
도 3을 참조하면, TIR의 상태가 교란될 때 예시적인 FTIR 상태가 일어나고, 보통 제1 물질 내로 다시 반사되는 IR 광선은 산란되고 FTIR(18)로서 도광체 패널(28) 밖으로 나간다. 도시된 바와 같이, FTIR(18)은 사람이 터치 지점(16)에서 표면층 구조물(30)을 터치하는 것에 의해 야기될 수 있다. 이러한 터치에 의해 순응성 표면층 구조물(30)이 압착되고, 그 결과 경계를 따라 교란이 일어나며, 이 때 IR 광선은 TIR의 상태와 연관된 임계각보다 작은 입사각을 갖도록 도광체 패널(28) 내로 다시 반사된다. 그에 따라, 이들 IR 광선은 FTIR(18)로서 도광체 패널(28)의 하부 표면을 빠져 나가고 FTIR 센서(20)에 의해 검출가능하게 된다. FTIR(18)은 실질적으로 터치 지점(16)의 반대쪽 지점에서 도광체 패널(28)의 하부 표면을 빠져 나간다. 게다가, 터치 지점(16)에서의 터치의 힘은 일반적으로 FTIR(18)의 세기를 제어한다. 주변광의 양에 따라, FTIR 센서(20)는 터치의 지속기간, 위치 및 상대 세기를 측정할 수 있는 것은 물론, 터치 지점(16)의 차후의 어떤 이동도 추적할 수 있다. 임의의 수의 터치가 추적되어, 프로세서(22)에 대한 입력으로서 사용될 수 있다. 특정 실시예에서, 임의의 주어진 때에 10개 이상의 터치가 추적될 수 있다.
상기한 바와 같이, 이들 멀티-터치 터치스크린 기술은 놀랄 만한 멀티-터치 상호작용성을 제공한다. 그러나, 이 기술은 본질적으로 사람의 터치로 제한되고 일반적으로 펜-유형 기기 등으로부터의 스타일러스와 같은 보다 작은 사람이 아닌 물체의 접촉 및 이동을 추적할 수 없다. 종래 기술의 디스플레이 패널(12) 및 IR 센서(20)의 유효 터치 감도는 비교적 낮으며, 그로써 사용자가 조작할 수 있는 분해능을 그의 손가락의 크기로 제한한다. 따라서, 멀티-터치 응용은 비교적 상위 레벨의 선택, 이동 및 윤곽선 기능으로 제한된다. 고해상도의 동작을 필요로 하는 소규모 필기, 드로잉, 선택 등은 실행가능하지 않다. 게다가, 이들 기술은 디스플레이 패널(12)을 터치하는 서로 다른 사용자들을 구별할 수 없다.
본 발명은 이들 멀티-터치 터치스크린 기술이 스타일러스 터치 및 터치의 연관된 세기를 검출하는 것은 물론 디스플레이 패널(12)에 걸쳐 스타일러스의 차후의 이동을 추적할 수 있게 한다. 설명의 목적상, 스타일러스는 디스플레이 패널(12)과 상호작용하는 데 사용되는 펜 장치 등의 사람이 아닌 기기의 일부를 정의한다.
본 발명의 일 실시예에 따르면, 상기한 멀티-터치 디스플레이 시스템(10)은 도 4에 도시된 바와 같이 수정된다. 상세하게는, 무선 액세스 포인트(36)가 프로세서(22)와 관련하여 제공되고, 디지털 펜(38)과의 무선 통신을 지원하도록 구성된다. 이하에서 더 상세히 기술하는 바와 같이, 디지털 펜(38)은, 디지털 펜(38)이 디스플레이 패널(12) 상에서 "필기"하는 데 사용되고 있을 때, 디스플레이 패널(12) 상에 무엇이 필기되고 있는지, 및 디스플레이 패널(12) 상의 어디에 필기되고 있는지를 결정하기에 충분한 필기 정보를 수집할 수 있다. 게다가, 필기 정보는 디스플레이 패널(12)에 대한 각각의 펜 스트로크 동안 디지털 펜(38)의 위치를 식별한다. "필기하다", "필기" 및 "필기된"이라는 용어는 텍스트(숫자, 문자 및 심볼을 포함함), 드로잉 개체, 심볼, 낙서 등과 관계되도록 정의된다. 따라서, 이들 용어는 텍스트만으로 제한되지 않는다. 디지털 펜(38)은 필기 정보를 처리하여 펜 데이터를 발생하고, 펜 데이터를 무선으로 무선 액세스 포인트(36)로 전송할 수 있다. 대안으로서, 필기 정보는 디지털 펜(38)으로부터, 거의 또는 전혀 처리되지 않고, 펜 데이터로서 무선 액세스 포인트(36)로 송신될 수 있다. 주목할 것은, 디지털 펜(38)이 잉크 카트리지를 갖거나 갖지 않을 수 있다는 것이다. 잉크 카트리지의 존재에 상관없이, 디지털 펜(38)은, 디스플레이 패널(12)에 잉크를 묻히지 않고, 디스플레이 패널(12)에 필기를 할 수 있도록 구성된다. 디스플레이 패널(12) 상에 나타나는 어떤 필기라도 프로세서(22)에 의해 디스플레이 콘텐츠로서 렌더링된다.
펜 데이터는 프로세서(22)로 전달되고 사용자 입력으로서 처리되며, 이 사용자 입력은, 디스플레이 패널(12) 상에 투사된 디스플레이 콘텐츠를 제어하기 위해, FTIR 센서(20)로부터 제공되는 다른 터치 정보와 함께 사용될 수 있다. 바람직하게는, 실제의 또는 처리된 필기 정보가 무선 액세스 포인트(36)를 통해 실시간으로 프로세서(22)에 제공된다. 프로세서(22)는 곧바로 펜 데이터를 처리하여 어떤 콘텐츠가 필기되는지 및 콘텐츠가 디스플레이 패널(12)의 어디에 필기되는지를 결정할 것이다. 프로세서(22)는 또한 필기된 콘텐츠를 필기된 그대로 디스플레이 콘텐츠에 포함시키기 위해 디스플레이 콘텐츠를 처리할 수 있다. 바람직하게는, 디스플레이 콘텐츠는 콘텐츠가 디스플레이 패널(12) 상에 필기되고 있을 때 필기된 콘텐츠와 실질적으로 똑같은 것으로 실시간으로 계속 업데이트된다. 그에 따라, 실시간으로, 필기가 실제의 필기처럼 나타나고 스케치가 실제의 스케치처럼 나타난다. 실시간으로 필기된 콘텐츠를 캡처 및 디스플레이하는 것에 부가하여, 펜 스트로크 또는 유사 상호작용이 선택, 드래그 등을 위한 임의의 다른 터치 입력으로서 사용될 수 있다. 이들 제어 상호작용은 또한 처리된 또는 미처리된 형태로 펜 데이터로서 프로세서(22)로 전송될 수 있다.
각각의 디지털 펜(38)은 바람직하게는 고유의 ID(identity)를 가지며, 이 ID가 펜 데이터와 함께 전송된다. 프로세서(22)는 임의의 주어진 필기 콘텐츠를 생성한 특정의 디지털 펜(38)을 식별하고 그에 따라 그 콘텐츠를 처리할 수 있다. 디스플레이 패널(12) 상에 기입하기 위해 다수의 디지털 펜(38)이 동시에 사용될 수 있다. 프로세서(22)는 서로 다른 디지털 펜(38)으로부터의 필기 정보를 동시에, 지원하는 응용에 따라, 동일하거나 서로 다른 방식으로 처리할 수 있다. 따라서, 다수의 사람의 터치는 물론 다수의 디지털 펜 상호작용을 동시에 처리할 수 있는 대규모 멀티-터치 디스플레이 시스템(10)이 제공된다. 게다가, 서로 다른 디지털 펜(38)으로부터의 상호작용이 서로 구별될 수 있으며, 따라서 서로 다른 사용자로부터의 입력이 구별될 수 있다.
도 5를 참조하면, 예시적인 디지털 펜(38)이 디스플레이 패널(12)의 표면과 맞닿아 있는 것으로 도시되어 있다. 이 실시예에서, 디스플레이 패널(12)은 도광체 패널(28) 및 도광체 패널(28) 상에 존재하는 표면층(40)을 포함한다. 상세하게는, 표면층(40)은 도광체 패널(28)의 굴절률보다 낮은 굴절률을 가지는 순응성 층(42)을 포함한다. 바람직하게는, 순응성 층(42)은 비교적 투명하고, 도광체 패널(28)을 통해 전달된 투사된 이미지가 순응성 층(42) 위에 존재하는 투사층(44) 상에 제시될 수 있게 한다. 바람직하게는, 투사층(44)은 사실상 투사된 디스플레이 콘텐츠가 디스플레이되는 스크린을 제공한다. 다시, 투사된 디스플레이 콘텐츠는 디스플레이 패널(12)의 전면 또는 상단으로부터 볼 수 있다.
도시된 바와 같이, 위치 패턴(46)이 표면층(40) 상에 또는 그 내에, 바람직하게는, 투사층(44) 상에 인쇄되어 있다. 위치 패턴(46)은 바람직하게는 디스플레이 패널(12)의 가시 영역 전체에 걸쳐 고유의 패턴을 제공한다. 디지털 펜(38)은 위치 패턴(46)에 기초하여 필기 정보를 수집하고, 위치 패턴(46)을 처리하여 디지털 펜(38)의 정확한 위치를 결정하거나, 위치 정보를 펜 데이터로서 프로세서(22)에 전달할 수 있고, 프로세서가 위치 패턴(46)을 처리하여 디지털 펜(38)의 위치를 결정할 수 있다. 일반적으로, 위치 정보가 계속 업데이트되고, 이동을 추적하는 데에, 그리고 이에 따라 디지털 펜(38)을 사용하여 디스플레이 패널(12) 상에 정보를 필기하는 것과 관련한 펜 스트로크를 추적하는 데에 사용된다.
바람직하게는, 디스플레이 패널(12)의 표면 영역 전체에 걸쳐 임의의 위치에 있는 패턴이 고유하고 위치 패턴(46)의 작은 부분을 분석함으로써 정확한 위치가 검출될 수 있도록 위치 패턴(46)이 구성된다. 그에 따라, 임의의 주어진 때에, 임의의 수의 디지털 펜(38)에 대해 필기가 행해지는 위치가 추적되고 처리될 수 있다. 바람직한 실시예에서, 위치 패턴(46)은 Anoto 패턴과 동일하거나 유사하다. Anoto, Inc.에 의해 Anoto 패턴이 인쇄되어 있는 종이 상의 Anoto 패턴을 판독할 수 있는 디지털 펜과 관련하여 Anoto 패턴이 개발되었다. Anoto 패턴에 관한 추가의 정보는 Anoto.com에서 얻을 수 있다. Anoto 패턴은 공칭 간격 0.3 mm를 가지는 많은 수의 아주 작은 점을 포함한다. 이들 점의 공칭 간격이 0.3 mm이지만, 이들 점이 디스플레이 패널(12)의 표면 상의 임의의 위치를 유일하게 식별하는 패턴을 생성한다. 확대된 Anoto 패턴의 예시적인 일부가 도 6a에 제공되어 있으며, 0.3 mm 그리드로부터의 점의 계속하여 변하는 오프셋이 도 6b에 도시되어 있다. 디스플레이 패널(12) 상의 임의의 위치를 유일하게 식별할 수 있는 것에 부가하여, 서로 다른 디스플레이 패널(12)이 고유의 서명을 가지도록, Anoto 패턴은 또한 디스플레이 패널(12)을 유일하게 식별하도록 구성될 수 있다. 디지털 펜(38)은 서로로부터 무선 통신 범위 내에 있는 임의의 수의 멀티-터치 디스플레이 시스템(10)과 상호작용할 수 있으며, 이 때 디지털 펜(38) 또는 프로세서(22)는 필기되고 있는 특정의 디스플레이 패널(12)을 식별할 수 있을 것이다.
도 5로 돌아가서, 디지털 펜(38)은 일반적으로 스타일러스(50)가 부착되어 있는 본체(48)를 포함할 것이다. 스타일러스(50)는 필기 팁(writing tip)을 나타내고, 이에 따라 디스플레이 패널(12)에 대한 디지털 펜(38)의 접촉 지점을 나타낸다. 디지털 펜(38)의 중심부에는, 압력 센서(54), IR 발광 다이오드(LED)와 같은 IR 광원(LS)(56), 이미지 센서(IS)(58), 송수신기 회로(60) 및 메모리(62)와 연관되어 있는 제어 시스템(52)이 있다. 이들 구성요소는 바람직하게는 적절한 전력 공급 회로(도시되지 않음)를 통해 배터리(64)에 의해 전원을 공급받는다. 주목할 것은, 무선 액세스 포인트(36)와의 양방향 무선 통신을 용이하게 하도록, 송수신기 회로(60)가 제어 시스템(52)은 물론 하나 이상의 안테나(66)과 연관되어 있다는 것이다. 이들 통신은 IEEE의 802.11 무선 LAN(local area network) 표준과 같은 임의의 무선 통신 표준은 물론, 블루투스 또는 무선 USB(universal serial bus)와 같은 PAN(personal area network) 표준에 기초할 수 있다. 본 명세서에서 무선 구성이 도시되고 기술되어 있지만, 디지털 펜(38)은 유선 인터페이스(도시되지 않음)를 통해 프로세서(22)와 통신할 수 있다.
압력 센서(54)는 스타일러스(50)에 결합되고, 스타일러스(50)가 디스플레이 패널(12)에 대해 눌러질 때를 검출하고 바람직하게는 접촉과 연관된 상대 힘을 모니터링하도록 구성된다. 그에 따라, 압력 센서(54)는, 저장, 처리 또는 그 조합을 위해, 연관된 힘 정보를 제어 시스템(52)에 전달할 수 있다. 이러한 힘 정보는 필기 정보로 간주되고, 디스플레이 패널(12) 상에 필기하기 위해 디지털 펜(38)이 사용되고 있을 때 및 어쩌면 이러한 필기와 연관된 세기를 결정하는 데 사용될 수 있다. 그에 따라, 필기된 콘텐츠는 궁극적으로, 디스플레이 패널(12) 상에 콘텐츠를 필기하는 것과 연관된 유효 가중치를 나타내는 방식으로, 디스플레이 콘텐츠에 디스플레이될 수 있다. 최소한, 압력 센서(54)는 제어 시스템(52)이 필기가 행해질 때를 결정할 수 있게 한다.
필기 자체를 검출하는 것은 IR 광원(56) 및 이미지 센서(58)를 수반한다. 바람직하게는, 위치 패턴(46)의 점 또는 기타 패턴 표식이 IR 광원(56)으로부터 방출된 IR 광을 흡수하고 위치 패턴(46)에 의해 흡수되지 않은 광을 다시 이미지 센서(58)로 반사하도록 위치 패턴(46) 및 투사층(44)이 구성된다. 이미지 센서(58) 및 제어 시스템(52)은 서로 협력하여, 사실상 IR 카메라를 제공한다. 스타일러스(50)가 디스플레이 패널(12)과 접촉해 있을 때, IR 카메라는 초당 여러 장의 위치 패턴(46) 사진을 찍을 수 있다. 각각의 사진은, 위치 패턴(46)에 의해 흡수되지 않고 스타일러스(50)와 접촉해 있는 디스플레이 패널(12) 상의 지점에 근접하거나 그 주위에 있는 반사된 IR 광을 캡처한다. 이 사진 정보가 필기 정보로서 간주될 수 있으며, 제어 시스템(52)에 의해 처리되거나 처리를 위해 프로세서(22)로 전달된다. 처리의 위치에 상관없이, 각각의 이미지는 이미지가 캡처된 시간 및 이미지가 캡처될 때의 스타일러스(50)의 위치를 식별하기 위해 처리된다. 위치는 좌표 등으로서 식별될 수 있다. 이미지 시퀀스가 처리될 때, 디지털 펜(38)의 주어진 스트로크와 연관된 임의의 이동의 위치, 방향 및 거리가 계산될 수 있다. 스트로크가 검출될 때, 필기된 콘텐츠가 결정될 수 있다. 따라서, 디지털 펜(38)은 디스플레이 패널(12)에 대한 디지털 펜(38)의 모든 스트로크의 정확한 위치 및 성질의 검출을 용이하게 할 수 있다.
이제 도 7을 참조하면, 디스플레이 패널(12)의 단면이 도시되어 있으며, 여기서 디지털 펜(38)은 투사층(44)과 접촉하고 있다. 주목할 것은, TIR 효과가 바람직하게는 디지털 펜(38)의 스타일러스(50)가 표면층(40)과 접촉하고 있는 것에 의해 영향을 받지 않는다는 것이다. 통상적으로, 사람의 손가락에 비해 비교적 작은 크기의 스타일러스(50)의 끝은 스타일러스(50)에 의한 어떤 표면 교란도 FTIR 효과를 야기할 정도로 충분하지 않도록 되어 있다. 대안으로서, 프로세서(22)는 디지털 펜(38)에 의해 야기되는 임의의 FTIR(18)의 입력을 제외시킬 수 있는데, 그 이유는 디지털 펜(38)의 위치를 알고 있기 때문이다.
도광체 패널(28)의 주변부 에지(좌측)는, 도 2 및 도 3의 종래 기술의 실시예에 도시된 바와 같이 디스플레이 패널(12)의 면에 수직인 대신에, 도 7에 도시된 바와 같이 경사져 있다. 출원인은 경사를 갖는 주변부 에지를 형성하고 IR LED(14)를 주변부 에지의 경사면에 수직이도록 결합하는 것이 멀티-터치 성능을 크게 향상시킨다는 것을 알았다. 경사가 도광체 패널(28)의 상부 또는 하부 표면으로부터 약 30도 내지 60도, 바람직하게는 약 45도인 경우, TIR 및 FTIR 효과가 향상되고 사람의 터치에 대한 더 높은 감도를 제공한다. 도 8에 도시된 바와 같이, 디지털 펜(38)이 디스플레이 패널(12)과 접촉하고 있을 때 TIR 효과는 여전히 유지되지만, 도 2 및 도 3에 도시된 종래 기술의 실시예와 비교하여, 사람의 터치에 응답하여 상당히 더 강한 FTIR(18)이 제공된다. 게다가, 경사진 주변부 에지의 사용은 사람의 터치에 대한 감도는 물론 사람의 터치의 서로 다른 세기를 구별하는 능력을 상당히 증가시킨다.
향상된 성능은 주로 도광체 패널(28)의 표면을 벗어나 형성된 소산장의 상당한 증가로 인한 것이다. 소산장은 TIR의 상태 동안에 도광체 패널(28)의 표면을 넘어 뻗어 있는 광 필드(light field)이다. 소산장이 교란될 때, FTIR 효과가 야기될 수 있다. 소산장이 클수록, 소산장 교란에 대한 감도가 크고 그 결과 얻어지는 FTIR(18)의 세기가 크다. 수직인 주변부 에지 및 경사진 주변부 에지와 연관된 상대 소산장 세기의 비교가 도 9a 및 도 9b에 도시되어 있다. 명확히 나타낸 바와 같이, 소산장 세기는 도광체 패널(28)의 표면에서 상당히 더 높고, 도광체 패널(28)을 벗어난 모든 거리에서 상당히 더 높은 채로 있다. 도 10에 나타낸 바와 같이, 디스플레이 패널(12)에 대한 프레임의 일부일 수 있는 배플링(67)의 사용은, 디스플레이 패널(12)의 사용가능 부분에 도달될 때까지, 도광체 패널(28)에 포획된 IR 광을 보유하는 데 사용될 수 있다. 보다 높은 소산장 세기의 추가의 이점은 주변 조명, 특히 IR을 많이 포함하는 주변 조명의 영향에 대한 면역의 증가이다. 이하에서 더 설명하는 바와 같이, 본 발명의 다른 실시예는 훨씬 더 주변 조명 면역을 제공한다.
도 11 내지 도 13을 참조하면, 본 발명의 3개의 서로 다른 실시예가 도시되어 있다. 이들 실시예에서, 디스플레이 패널(12)에 대한 고유의 조성이 제공되어 있다. 이들 3개의 실시예 각각에서, 다양한 층들이 표시되어 있으며, 각각의 층에 대한 예시적인 물질이 기술되어 있다. 특히 도 11을 참조하면, 디스플레이 패널(12)은 도광체 패널(28), 도광체 패널(28) 위의 순응성 층(42), 순응성 층(42) 위의 투사층(44), 및 투사층(44) 위의 보호층(68)을 포함한다. 이들 표시된 층들 사이에 또는 그 층들 내부에 부가의 층들이 형성될 수 있다. 주목할 것은, 순응성 층(42), 투사층(44), 및 보호층(68)이 표면층(40)의 일부인 것으로 생각된다는 것이다. 디지털 펜(38)의 동작을 용이하게 하는 방식으로 위치 패턴(46)이 디스플레이 패널(12) 상에 인쇄될 수 있도록 디스플레이 패널(12)을 구성하는 것이 유익하다. 디스플레이 패널(12)이 배면 투사에 적합해야만 하고, 투사된 이미지를 보는 것을 그다지 방해하지 않는 방식으로 위치 패턴(46)이 디스플레이 패널(12) 상에 인쇄되어야만 한다. 마지막으로, 디스플레이 패널(12)은 수용가능한 FTIR 효과를 가져야만 하고, 바람직하게는 주변 조명에서 잘 동작하고 아주 민감한 FTIR 효과를 제공할 수 있어야만 한다.
도 11의 실시예에서, Anoto 패턴과 같은 위치 패턴(46)이 투사층(44) 상에 인쇄된다. 바람직하게는, 투사층(44)은 투사된 이미지를 볼 수 있는 반투명 스크린은 물론, 디지털 펜(38)에 대한 반사 배경을 제공한다. 상세하게는, IR 광원(56)으로부터 방출된 IR 광은 위치 패턴(46)과 연관된 점 또는 기타 패턴 표식을 포함하지 않는 영역을 위해 디지털 펜(38)의 이미지 센서(58) 쪽으로 후방으로 반사되어야만 한다. 게다가, 투사층(44)은 순응성 층(42)에 점착하지 않도록 구성되어야만 한다. 백색 Rosco 스크린 또는 유사한 배면 투사 스크린이 투사층(44)에 대한 원하는 요건을 충족시킨다. 투사층(44)에 대한 다른 물질은 HP Backlit UV 또는 백릿 경성 PVC 층을 포함할 수 있다. 순응성 층(42)은 바람직하게는 실리콘 또는 기타 적절한 순응성 물질로 형성된다. 바람직한 실리콘은 SORTA-Clear™ 40 및 Elastocil® RT 601을 포함한다. 순응성 층(42)에 대한 다른 물질은 Supatex 또는 기타 적당한 얇은 라텍스 층을 포함할 수 있다. 도광체 패널(28)은 바람직하게는 아크릴 또는 유사 폴리카보네이트 플레이트, 예컨대 Lexan® 9030이다. 도광체 패널(28)에 대한 다른 물질은 Plexiglas를 포함한다. 보호층(68)은 투명한, 바람직하게는 아주 얇은 플라스틱 포일로 형성될 수 있고, 단지 투사층(44)에 대한 손상, 마모 및 마멸을 감소시키기 위해 제공된다. 보호층(68)은 창문, 버스 정류소 또는 장식장에 사용되는 것과 같은 투명한 긁힘-방지 포일로 형성될 수 있다. 주목할 것은, 보호층(44) 위에 임의의 수의 층이 제공될 수 있지만, 층들의 추가가 궁극적으로 투사된 이미지를 굴곡시키는 것은 물론, 잠재적으로 디지털 펜(38)이 위치 패턴(46)을 판독하는 능력을 방해할 것이다.
도 12를 참조하면, 디스플레이 패널(12)의 전체적인 조성은 도 11에 도시된 것과 유사하다. 주된 예외는 투사층(44)이 스크린층(70) 및 패턴층(72)을 포함하는 2개의 서로 다른 층으로 형성된다는 것이다. 이 경우에, 패턴층(72)은 위치 패턴(46)이 인쇄되어 있는 투명한 플라스틱 층이다. 주목할 것은, 패턴층(72)이 디지털 펜(38)의 동작에 필요한 IR 광을 반사하지 않는다는 것이다. 그러나, 스크린층(70)은 IR 광에 대한 반사 배경을 제공하고 디지털 펜(38)이 상기한 바와 같이 동작할 수 있게 한다. 스크린층(70)은, 패턴층(72)에 대한 무광택 IR 광 반사 배경을 제공하는 것에 부가하여, 투사된 이미지를 볼 수 있게 되는 매질을 제공하기도 한다. 다시, 백색 Rosco 스크린 등이 스크린층(70)에 대한 모든 요건을 충족시킨다. 보호층(68), 순응성 층(42) 및 도광체 패널(28)이 상기한 바와 같이 구성될 수 있다.
이제 도 13을 참조하면, 디스플레이 패널(12)의 제3 실시예가 도시되어 있다. 이 실시예는 IR을 많이 포함하고 있는 주변광에 대해 가장 많은 면역을 제공한다. 이 실시예가, 필터층(74)이 투사층(44)과 순응성 층(42) 사이에 제공되어 있는 것을 제외하고는, 도 12의 실시예와 동일한 것으로 도시되어 있다. 게다가, 필터층(74)이 IR 필터링 층(76) 및 점착 방지 층(78)을 포함하는 2개의 층으로 나누어져 있다. IR 필터링 층(76)은 바람직하게는 주변광을 필터링할 수 있고 특히 주변광의 IR 성분을 필터링할 수 있는 얇은 포일이다. IR 필터링 층(76)에 대한 물질은 투명한 일광 보호 포일 및 열 반사 포일을 포함할 수 있다. 그에 따라, IR 필터링 층(76)은 적어도 순응성 층(42) 및 도광체 패널(28)에 도달하는 주변광으로부터 IR 성분의 양을 감소시킨다. 터치 이벤트 후에 IR 필터링 층(76)이 순응성 층(42)에 점착되는 것을 방지하기 위해 점착 방지층(78)이 제공된다. 점착 방지 층(78)이 없는 경우 보호층(68)을 누를 때, IR 필터링 층(76)이 순응성 층(42)의 실리콘에 점착되는 경향이 있다. 이러한 점착은 터치 이벤트가 제거된 후에 계속적으로 남아 있는 FTIR 효과를 야기할 수 있다. 바람직하게는, 점착 방지층(78)은 투명하다. 트레이싱 페이퍼가 이 층에 적당한 물질인 것으로 밝혀졌다. 점착 방지층(78)에 대한 다른 물질은 Teflon 스프레이 또는 투명 코트의 얇은 층을 포함할 수 있다.
당업자라면 본 발명의 바람직한 실시예에 대한 여러 개선 및 수정을 잘 알 것이다. 모든 이러한 개선 및 수정이 본 명세서에 기술된 개념 및 이하의 청구항의 범위 내에 속하는 것으로 간주된다.

Claims (14)

  1. 멀티-터치 디스플레이 시스템을 위한 디스플레이 패널로서,
    Figure pct00001
    도광체 패널(waveguide panel);
    Figure pct00002
    상기 도광체 패널에 인접한 순응성(compliant) 층;
    Figure pct00003
    상기 순응성 층 위에 있고, 디스플레이 콘텐츠의 이미지를 상기 디스플레이 패널의 후방으로부터 투사하고 상기 디스플레이 패널의 전면으로부터 볼 수 있는 투사면을 제공하도록 구성된 배면 투사층; 및
    Figure pct00004
    상기 디스플레이 패널의 상기 전면으로부터 디지털 펜에 의해 판독가능한 상기 배면 투사층 상에 또는 그 내에 제공되는 위치 패턴 ― 상기 위치 패턴은 상기 디스플레이 패널의 상기 전면에 대한 고유의 위치 표식(unique location indicia)을 제공하고, 상기 위치 패턴 내의 고유의 위치들은 상기 고유의 위치 표식의 대응하는 부분들로부터 식별가능함 ―
    을 포함하는 디스플레이 패널.
  2. 제1항에 있어서,
    상기 위치 표식이 상기 위치 패턴 내의 임의의 지점에서 고유하도록, 상기 위치 패턴의 위치 표식은 상기 디스플레이 패널의 상기 전면 전체에 걸쳐 계속하여 변하는 디스플레이 패널.
  3. 제1항에 있어서,
    상기 위치 표식은 복수의 점을 포함하는 디스플레이 패널.
  4. 제1항에 있어서,
    상기 위치 패턴은 Anoto 패턴인 디스플레이 패널.
  5. 제1항에 있어서,
    상기 위치 패턴 내의 임의의 지점에 있는 위치 표식은 상기 디스플레이 패널의 상기 전면과 관련하여 상기 지점의 고유의 위치 좌표에 대응하는 디스플레이 패널.
  6. 제1항에 있어서,
    상기 디스플레이 패널의 고유 식별자가 상기 위치 패턴에 인코딩되어 있는 디스플레이 패널.
  7. 제1항에 있어서,
    상기 배면 투사층은 반투명 스크린층 및 상기 반투명 스크린층 위의 패턴층을 포함하고, 상기 반투명 스크린층이 투사면을 제공하고 상기 패턴층이 상기 위치 패턴을 포함하는 디스플레이 패널.
  8. 제1항에 있어서,
    적어도 특정 파장들의 주변광을 필터링하도록 구성된 필터층을 더 포함하는 디스플레이 패널.
  9. 제8항에 있어서,
    상기 필터층은 상기 순응성 층과 상기 배면 투사층 사이에 제공되는 디스플레이 패널.
  10. 제9항에 있어서,
    상기 필터층은,
    Figure pct00005
    상기 적어도 특정 파장들의 주변광을 필터링하는 필터링 층; 및
    Figure pct00006
    상기 필터링 층이 사람의 터치에 응답하여 상기 순응성 층에 부착하는 것을 방지하도록 구성된, 상기 필터링 층과 상기 순응성 층 사이의 점착 방지층
    을 포함하는 디스플레이 패널.
  11. 제1항에 있어서,
    상기 도광체 패널은 광원이 장착되어 있는 실질적으로 평탄한 에지 표면을 가지는 경사진 주변부 에지(beveled perimeter edge)를 포함하고, 상기 광원이 상기 실질적으로 평탄한 에지 표면을 통해 상기 도광체 패널에 광을 주입하는 디스플레이 패널.
  12. 제11항에 있어서,
    상기 실질적으로 평탄한 에지 표면과 상기 전면 사이에 형성된 각도가 약 30도 내지 60도인 디스플레이 패널.
  13. 제12항에 있어서,
    상기 실질적으로 평탄한 에지 표면과 상기 전면 사이에 형성된 각도가 약 45도인 디스플레이 패널.
  14. 제1항에 있어서,
    상기 배면 투사층은 반사면을 더 제공하고, 상기 디지털 펜의 광원으로부터 제공되어 상기 위치 패턴에 의해 흡수되지 않는 광이 상기 반사면으로부터 반사되어 다시 상기 디지털 펜의 광 센서 쪽으로 가는 디스플레이 패널.
KR1020117002788A 2008-07-07 2009-05-27 펜 추적을 포함하는 멀티-터치 터치스크린 KR20110038120A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/168,688 2008-07-07
US12/168,688 US8842076B2 (en) 2008-07-07 2008-07-07 Multi-touch touchscreen incorporating pen tracking

Publications (1)

Publication Number Publication Date
KR20110038120A true KR20110038120A (ko) 2011-04-13

Family

ID=41463987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117002788A KR20110038120A (ko) 2008-07-07 2009-05-27 펜 추적을 포함하는 멀티-터치 터치스크린

Country Status (7)

Country Link
US (1) US8842076B2 (ko)
EP (1) EP2300897A4 (ko)
JP (1) JP5411265B2 (ko)
KR (1) KR20110038120A (ko)
CN (1) CN102165399A (ko)
BR (1) BRPI0915659A2 (ko)
WO (1) WO2010004381A1 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4170952B2 (ja) 2004-01-30 2008-10-22 株式会社東芝 半導体記憶装置
CA2563678A1 (en) * 2004-04-19 2005-11-03 Strategic Science & Technologies, Llc Beneficial effects of increasing local blood flow
US8094137B2 (en) * 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
WO2010056177A1 (en) * 2008-11-12 2010-05-20 Flatfrog Laboratories Ab Integrated touch-sensing display apparatus and method of operating the same
US20100309169A1 (en) * 2009-06-03 2010-12-09 Lumio Inc. Optical Touch Screen with Reflectors
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
KR20120058594A (ko) * 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
KR101669618B1 (ko) * 2010-01-15 2016-10-26 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
EP2357220A1 (en) * 2010-02-10 2011-08-17 The Procter & Gamble Company Cleaning composition comprising amylase variants with high stability in the presence of a chelating agent
JP5888838B2 (ja) * 2010-04-13 2016-03-22 グリッドマーク株式会社 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム
US8638318B2 (en) * 2010-05-28 2014-01-28 Elo Touch Solutions, Inc. Multi-layer coversheet for saw touch panel
US10620754B2 (en) 2010-11-22 2020-04-14 3M Innovative Properties Company Touch-sensitive device with electrodes having location pattern included therein
JP4816808B1 (ja) * 2010-12-14 2011-11-16 大日本印刷株式会社 コンピュータ装置、入力システム、及びプログラム
US8619062B2 (en) 2011-02-03 2013-12-31 Microsoft Corporation Touch-pressure sensing in a display panel
US9201185B2 (en) 2011-02-04 2015-12-01 Microsoft Technology Licensing, Llc Directional backlighting for display panels
JP2012185798A (ja) * 2011-02-16 2012-09-27 Ricoh Co Ltd 座標検出システム、情報処理装置、方法、プログラムおよび記録媒体
KR101811636B1 (ko) * 2011-04-05 2017-12-27 삼성전자주식회사 디스플레이 장치 및 이의 오브젝트 표시 방법
JP5729116B2 (ja) * 2011-05-06 2015-06-03 大日本印刷株式会社 入力システム及びプログラム
DE102011101782A1 (de) * 2011-05-17 2012-11-22 Trw Automotive Electronics & Components Gmbh Optisches Anzeige- und Bedienelement und Verfahren zur optischen Positionsbestimmung
US9294869B2 (en) 2013-03-13 2016-03-22 Aliphcom Methods, systems and apparatus to affect RF transmission from a non-linked wireless client
US9348466B2 (en) 2011-06-24 2016-05-24 Hewlett-Packard Development Company, L.P. Touch discrimination using fisheye lens
US9035911B2 (en) * 2011-07-14 2015-05-19 3M Innovative Properties Company Digitizer using position-unique optical signals
US9035912B2 (en) * 2011-07-14 2015-05-19 3M Innovative Properties Company Digitizer for multi-display system
US9292131B2 (en) * 2011-07-14 2016-03-22 3M Innovative Properties Company Light guide for backlight
CN102662528A (zh) * 2011-10-04 2012-09-12 友达光电股份有限公司 光感式触控感应系统、装置及其触控感应方法
US8963838B2 (en) * 2011-10-25 2015-02-24 Texas Instruments Incorporated Enhanced projected image interface
WO2013090494A1 (en) 2011-12-16 2013-06-20 3M Innovative Properties Company Optical digitizer system with position-unique photoluminescent indicia
US9052414B2 (en) 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US8749529B2 (en) 2012-03-01 2014-06-10 Microsoft Corporation Sensor-in-pixel display system with near infrared filter
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
US8873227B2 (en) 2012-03-02 2014-10-28 Microsoft Corporation Flexible hinge support layer
US8935774B2 (en) 2012-03-02 2015-01-13 Microsoft Corporation Accessory device authentication
JP5593006B2 (ja) * 2012-03-11 2014-09-17 ネオノード インコーポレイテッド 内部全反射を使用する光学タッチスクリーン
TWI543045B (zh) * 2012-04-10 2016-07-21 揚明光學股份有限公司 觸控裝置和觸控投影系統
CN103649887A (zh) * 2012-04-26 2014-03-19 松下电器产业株式会社 显示控制系统、指示装置以及显示面板
US9880653B2 (en) * 2012-04-30 2018-01-30 Corning Incorporated Pressure-sensing touch system utilizing total-internal reflection
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US8947353B2 (en) 2012-06-12 2015-02-03 Microsoft Corporation Photosensor array gesture detection
US9459160B2 (en) 2012-06-13 2016-10-04 Microsoft Technology Licensing, Llc Input device sensor configuration
US9684382B2 (en) 2012-06-13 2017-06-20 Microsoft Technology Licensing, Llc Input device configuration having capacitive and pressure sensors
US9073123B2 (en) 2012-06-13 2015-07-07 Microsoft Technology Licensing, Llc Housing vents
US9063693B2 (en) 2012-06-13 2015-06-23 Microsoft Technology Licensing, Llc Peripheral device storage
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
US9355345B2 (en) 2012-07-23 2016-05-31 Microsoft Technology Licensing, Llc Transparent tags with encoded data
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US9152173B2 (en) 2012-10-09 2015-10-06 Microsoft Technology Licensing, Llc Transparent display device
US8654030B1 (en) 2012-10-16 2014-02-18 Microsoft Corporation Antenna placement
WO2014059618A1 (en) 2012-10-17 2014-04-24 Microsoft Corporation Graphic formation via material ablation
WO2014059624A1 (en) 2012-10-17 2014-04-24 Microsoft Corporation Metal alloy injection molding protrusions
WO2014059625A1 (en) 2012-10-17 2014-04-24 Microsoft Corporation Metal alloy injection molding overflows
US8692212B1 (en) 2012-10-29 2014-04-08 3M Innovative Properties Company Optical digitizer system with position-unique photoluminescent indicia
US8952892B2 (en) 2012-11-01 2015-02-10 Microsoft Corporation Input location correction tables for input panels
US10753746B2 (en) 2012-11-29 2020-08-25 3M Innovative Properties, Inc. Multi-mode stylus and digitizer system
US9958954B2 (en) 2012-12-13 2018-05-01 3M Innovative Properties Company System and methods for calibrating a digitizer system
US9513748B2 (en) 2012-12-13 2016-12-06 Microsoft Technology Licensing, Llc Combined display panel circuit
US9176538B2 (en) 2013-02-05 2015-11-03 Microsoft Technology Licensing, Llc Input device configurations
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US9638835B2 (en) 2013-03-05 2017-05-02 Microsoft Technology Licensing, Llc Asymmetric aberration correcting lens
US9319149B2 (en) 2013-03-13 2016-04-19 Aliphcom Proximity-based control of media devices for media presentations
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
US9552777B2 (en) 2013-05-10 2017-01-24 Microsoft Technology Licensing, Llc Phase control backlight
US20140342660A1 (en) * 2013-05-20 2014-11-20 Scott Fullam Media devices for audio and video projection of media presentations
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9317072B2 (en) 2014-01-28 2016-04-19 Microsoft Technology Licensing, Llc Hinge mechanism with preset positions
US9759854B2 (en) 2014-02-17 2017-09-12 Microsoft Technology Licensing, Llc Input device outer layer and backlighting
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
KR101579949B1 (ko) * 2014-05-22 2015-12-23 주식회사 쏠리드에듀 전자칠판 및 이를 포함하는 전자칠판 시스템
CN106662936B (zh) 2014-05-30 2020-09-11 惠普发展公司，有限责任合伙企业 显示器上的位置输入
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US9513671B2 (en) 2014-08-01 2016-12-06 Microsoft Technology Licensing, Llc Peripheral retention device
US10191986B2 (en) 2014-08-11 2019-01-29 Microsoft Technology Licensing, Llc Web resource compatibility with web applications
US9705637B2 (en) 2014-08-19 2017-07-11 Microsoft Technology Licensing, Llc Guard band utilization for wireless data communication
US9397723B2 (en) 2014-08-26 2016-07-19 Microsoft Technology Licensing, Llc Spread spectrum wireless over non-contiguous channels
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
US9447620B2 (en) 2014-09-30 2016-09-20 Microsoft Technology Licensing, Llc Hinge mechanism with multiple preset positions
WO2016118173A1 (en) * 2015-01-23 2016-07-28 Hewlett-Packard Development Company, L.P. Tracking a handheld device on surfaces with optical patterns
KR20170109242A (ko) 2015-01-30 2017-09-28 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 마이크로유체 감지
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US9752361B2 (en) 2015-06-18 2017-09-05 Microsoft Technology Licensing, Llc Multistage hinge
US9864415B2 (en) 2015-06-30 2018-01-09 Microsoft Technology Licensing, Llc Multistage friction hinge
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10344797B2 (en) 2016-04-05 2019-07-09 Microsoft Technology Licensing, Llc Hinge with multiple preset positions
US10037057B2 (en) 2016-09-22 2018-07-31 Microsoft Technology Licensing, Llc Friction hinge
US10254858B2 (en) 2017-01-25 2019-04-09 Microsoft Technology Licensing, Llc Capturing pen input by a pen-aware shell
TWI646448B (zh) * 2017-05-15 2019-01-01 宏碁股份有限公司 電子系統及操作方法
EP3660638A4 (en) * 2017-08-21 2020-07-15 Huawei Technologies Co., Ltd. CONTROL METHOD FOR AN ELECTRONIC DEVICE AND INPUT DEVICE
US10540023B2 (en) * 2017-09-26 2020-01-21 Yong Bum Kim User interface devices for virtual reality system
US10955943B1 (en) 2020-02-28 2021-03-23 Microsoft Technology Licensing, Llc Touch screen panel with surface friction modification

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4091382A (en) * 1976-09-27 1978-05-23 Willis J. Ball Display system
US4346376A (en) 1980-04-16 1982-08-24 Bell Telephone Laboratories, Incorporated Touch position sensitive surface
US4484179A (en) 1980-04-16 1984-11-20 At&T Bell Laboratories Touch position sensitive surface
EP2104055B1 (en) 1999-08-30 2013-07-03 Anoto AB Information management system
JP3908470B2 (ja) 2001-03-05 2007-04-25 日東電工株式会社 偏光板の製造方法
EP1493124B1 (en) 2002-03-13 2006-07-26 O-Pen ApS A touch pad and a method of operating the touch pad
JP2005056357A (ja) 2003-08-07 2005-03-03 Dainippon Printing Co Ltd 電子ペン用帳票
US7385594B2 (en) 2004-02-19 2008-06-10 Au Optronics Corporation Position encoded sensing device and a method thereof
US7705835B2 (en) * 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
KR100652755B1 (ko) 2005-08-30 2006-12-01 엘지전자 주식회사 백라이팅이 가능한 터치 및 푸시 입력 방식의 휴대폰
WO2007127258A2 (en) 2006-04-27 2007-11-08 Wms Gaming Inc. Wagering game with multi-point gesture sensing device
US9213929B2 (en) * 2006-05-30 2015-12-15 Dai Nippon Printing Co., Ltd. Pattern printed sheet
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
KR20090060283A (ko) 2006-08-03 2009-06-11 퍼셉티브 픽셀 인코포레이티드 좌절형 전반사를 통한 멀티 터치 검출 디스플레이
US8144271B2 (en) * 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
WO2008066004A1 (fr) 2006-11-30 2008-06-05 Sega Corporation Appareil de mise en entrée de position
JP4915232B2 (ja) 2006-12-19 2012-04-11 ソニー株式会社 座標入力装置及び座標入力システム
JP2008165385A (ja) * 2006-12-27 2008-07-17 Dainippon Printing Co Ltd 赤外線反射パターン印刷透明シート
US8125468B2 (en) * 2007-07-30 2012-02-28 Perceptive Pixel Inc. Liquid multi-touch sensor and display device
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
JP4243642B2 (ja) 2008-03-24 2009-03-25 健治 吉田 キャリブレーション方法および情報入力補助シート

Also Published As

Publication number Publication date
WO2010004381A8 (en) 2010-04-15
JP5411265B2 (ja) 2014-02-12
EP2300897A4 (en) 2013-01-23
BRPI0915659A2 (pt) 2019-09-24
US8842076B2 (en) 2014-09-23
WO2010004381A1 (en) 2010-01-14
US20100001963A1 (en) 2010-01-07
JP2011527478A (ja) 2011-10-27
CN102165399A (zh) 2011-08-24
EP2300897A1 (en) 2011-03-30

Similar Documents

Publication Publication Date Title
US8842076B2 (en) Multi-touch touchscreen incorporating pen tracking
US9268413B2 (en) Multi-touch touchscreen incorporating pen tracking
US9262016B2 (en) Gesture recognition method and interactive input system employing same
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
KR101831350B1 (ko) 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
US9092129B2 (en) System and method for capturing hand annotations
US20110298708A1 (en) Virtual Touch Interface
US20110102319A1 (en) Hybrid pointing device
KR20130073902A (ko) 상호작용 입력시스템상에 기호들을 표시하는 개체들을 처리하는 방법 및 이 방법을 실행하는 상호작용 입력시스템
US20230057020A1 (en) Meeting interaction system
US8581847B2 (en) Hybrid pointing device
Tosas et al. Virtual touch screen for mixed reality
CA2885950A1 (en) Interactive input system and method for grouping graphical objects
Kudale et al. Human computer interaction model based virtual whiteboard: A review
Maierhöfer et al. Demonstration of an Infrared Pen as an Input Device for Projected Augmented Reality Tabletops
Kunz et al. From Table–System to Tabletop: Integrating Technology into Interactive Surfaces
CN105659193A (zh) 多功能人机交互设备
Maierhöfer et al. TipTrack: Precise, Low-Latency, Robust Optical Pen Tracking on Arbitrary Surfaces Using an IR-Emitting Pen Tip
KR100908879B1 (ko) 테이블 탑 디스플레이용 ｌｅｄ 기반의 객체 컨트롤 시스템
Quigley et al. Face-to-face collaborative interfaces

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application