KR20160130267A - 큰 영역 인터액티브 디스플레이 스크린 - Google Patents

큰 영역 인터액티브 디스플레이 스크린 Download PDF

Info

Publication number
KR20160130267A
KR20160130267A KR1020167027368A KR20167027368A KR20160130267A KR 20160130267 A KR20160130267 A KR 20160130267A KR 1020167027368 A KR1020167027368 A KR 1020167027368A KR 20167027368 A KR20167027368 A KR 20167027368A KR 20160130267 A KR20160130267 A KR 20160130267A
Authority
KR
South Korea
Prior art keywords
camera
light
processor
output
interactive display
Prior art date
Application number
KR1020167027368A
Other languages
English (en)
Inventor
존 마이클 와이어와스
러셀 웨인 그루흘케
크허쉬드 세이드 알람
칼린 미트코브 아타나스소브
비카스 라마찬드라
하시브 아흐메드 시드디퀴
제임스 윌슨 나쉬
로버트 미첼 클레이만
알브렉트 조한네스 린드너
예브게니 페트로비치 고우세브
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160130267A publication Critical patent/KR20160130267A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하는 인터액티브 디스플레이는, 전자 디바이스의 사용자에 대해 입력/출력(I/O) 인터페이스를 제공한다. 어레인지먼트는, 프로세서, 광 소스, 및 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치된 카메라를 포함한다. 카메라는, 인터액티브 디스플레이로부터 출력된 광의 오브젝트와의 상호작용으로부터 초래되는 산란된 광을 수신하며, 출력된 광은 오브젝트로부터 커버 글래스에 의해 수신되고 카메라를 향해 안내된다. 프로세서는, 카메라에 의해 출력된 이미지 데이터로부터, 카메라의 광학 축에 대한 오브젝트의 방위각 및/또는 카메라로부터의 오브젝트의 거리를 결정한다.

Description

큰 영역 인터액티브 디스플레이 스크린{LARGE AREA INTERACTIVE DISPLAY SCREEN}
관련 출원들에 대한 상호-참조
[0001] 본 발명은, 발명의 명칭이 "LARGE AREA INTERACTIVE DISPLAY SCREEN"으로 2014년 3월 4일자로 출원된 미국 가특허출원 제 61/947,971호(대리인 참조 번호 제 QUALP241PUS/143621P1), 및 발명의 명칭이 "LARGE AREA INTERACTIVE DISPLAY SCREEN"으로 2015년 2월 19일자로 출원된 미국 특허출원 제 14/626,679호(대리인 참조 번호 제 QUALP241US/143621)를 우선권으로 주장한다. 이들 이전의 출원들의 개시내용들은 본 발명의 일부로 고려되고, 그로써 본 발명에 인용에 의해 포함된다.
[0002] 본 발명은, 큰 디스플레이 스크린들을 갖는 디바이스들에 터치 반응 능력들을 제공하기 위한 기술들에 관한 것으로, 더 상세하게는 사용자의 터치 및/또는 다수의 동시 터치들에 반응적으로 제어되는 사용자 입력/출력 인터페이스를 제공하는 인터액티브(interactive) 디스플레이에 관한 것이다.
[0003] 종래의 멀티-터치 시스템들을 큰 사이즈(> 24'' 대각) 디스플레이로 스캐일링하는 것은 어렵다. 대부분의 스마트폰들에 대해 사용되는 투영 커패시턴스(projected capacitance)는, (RC 시간 상수 및 신호 대 잡음 레벨을 열화시킬 수도 있는) 인듐 주석 산화물 전극들의 높은 저항력에 의해 사이즈에서 제한되고, 프로세싱에 비용이 많이 든다. 음영 검출(shadow detection) 또는 FTIR(frustrated total internal reflection)에 기초한 광학적 접근법들은, 많은 수의 컴포넌트들로 인해 큰 사이즈의 디스플레이들로 매우 양호하게 스캐일링되지는 않는다.
[0004] 기존의 카메라-기반 광학 터치 시스템들은, 소비자 전자기기에서 그들의 애플리케이션을 제한하는 2개의 주요 단점들을 갖는다. 먼저, 카메라가 통상적으로 디스플레이의 표면에 걸쳐 관측하므로, 카메라는 디스플레이의 외부 주변에 상당한 베젤 높이를 부가한다. 현대의 평평한 스크린 디바이스들의 설계들은 미학적으로 보기좋은 평평한 베젤을 선호한다. 둘째로, 이들 시스템들은, 카메라의 측면 사이드웨이(sideway) 시야각으로 인해 폐색(occlusion) 및 고스트(ghost) 터치들에 민감하며, 따라서, 오브젝트들이 신뢰가능하게 검출될 수도 있는 위치들 및 검출될 수도 있는 오브젝트들의 양을 제한한다.
[0005] 본 발명의 시스템들, 방법들, 및 디바이스들 각각은 수 개의 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본 명세서에 기재된 바람직한 속성들을 단독으로 담당하지 않는다.
[0006] 본 발명에 설명된 사항의 하나의 혁신적인 양상은, 디스플레이의 커버 글래스(glass)의 평면 내에 또는 그 평면 아래에 각각 탑재된 하나 또는 그 초과의 카메라들을 포함하는 인터액티브 디스플레이에서 구현될 수 있다. IR 민감형 VGA 마이크로 카메라일 수도 있는 카메라는, 터치 또는 동시적인 다수의 터치들의 위치(들)가 결정될 수도 있는 이미지 데이터를 출력할 수도 있다. 기재된 기술들은, 터치(들)의 위치(들)이 정확히 결정될 수 있고, 2개 또는 그 초과의 터치들이 동시에 발생하고 있는 경우 폐색의 효과들을 최소화시키면서, 디스플레이의 외부 주변에 상당한 베젤 높이를 부가하는 것을 회피한다.
[0007] 몇몇 구현들에 따르면, 장치 또는 전자 디바이스들은, 입력/출력(I/O) 인터페이스를 장치의 사용자에게 제공하기 위해 인터액티브 디스플레이와 협력할 수도 있다. 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함한다. 전자 디바이스는, 인터액티브 디스플레이를 포함하거나, 인터액티브 디스플레이에 전기적으로 또는 무선으로 커플링될 수도 있다. 장치는, 프로세서, 광 소스, 및 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치된 하나 또는 그 초과의 카메라들을 포함할 수도 있다. 사용자의 손가락과 같은 오브젝트 또는 핸드 헬드(hand held) 오브젝트가 디스플레이의 전면 표면을 접촉하는 경우, 오브젝트로부터 산란된 광 중 적어도 몇몇이 커버 글래스에 의해 수신되고 카메라를 향해 안내될 수도 있다. 카메라들은, 그러한 광을 검출하고, 검출된 광의 이미지 데이터를 프로세서에 출력할 수도 있다. 프로세서는, 이미지 데이터로부터, 카메라의 광학 축에 대한 오브젝트의 방위각(azimuthal angle) 및 카메라로부터의 오브젝트의 거리 중 하나 또는 둘 모두를 결정할 수도 있다.
[0008] 몇몇 구현들에 따르면, 장치는 인터액티브 디스플레이, 프로세서, 광 소스, 적어도 하나의 카메라를 포함한다. 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하며, 전자 디바이스의 사용자에 대해 입력/출력(I/O) 인터페이스를 제공한다. 광 소스는 가시광 및 적외선 광 중 하나 또는 둘 모두를 방출한다. 적어도 하나의 카메라는, 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치된다. 카메라는, 인터액티브 디스플레이로부터 출력된 광의, 오브젝트와의 상호작용으로부터 초래되는 산란된 광을 수신하도록 구성되며, 산란된 광 중 적어도 몇몇은 오브젝트로부터 커버 글래스에 의해 수신되고 카메라를 향해 안내된다. 프로세서는, 카메라에 의해 출력된 이미지 데이터로부터, 카메라의 광학 축에 대한 오브젝트의 방위각 및 카메라로부터의 오브젝트의 거리 중 하나 또는 둘 모두를 결정하도록 구성된다.
[0009] 몇몇 예들에서, 프로세서는, 카메라의 광학 축에 대한 오브젝트의 방위각 및 카메라로부터의 오브젝트의 거리 둘 모두를 결정하도록 구성될 수도 있다.
몇몇 예들에서, 커버 글래스는, 전면 표면에 인접하게 배치된 제 1 평면형 광 가이드(light guide)를 포함할 수도 있으며, 제 1 평면형 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광 중 적어도 몇몇은 제 1 평면형 광 가이드 내에서 내부 전반사를 경험한다. 광 터닝 어레인지먼트(light turning arrangement)는, 제 1 평면형 광 가이드 아래에 배치된 제 2 평면형 광 가이드를 포함할 수도 있으며, 출력된 광은, 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 광 소스로부터 방출된 광을 반사하는 제 2 평면형 광 가이드로부터 초래될 수도 있다. 광 소스는 제 2 평면형 광 가이드와 광학적으로 커플링될 수도 있다. 인터액티브 디스플레이는, 제 1 평면형 광 가이드와 제 2 평면형 광 가이드 사이에 배치될 수도 있다. 광 터닝 어레인지먼트는, 제 1 평면형 광 가이드 아래에 배치된 제 2 평면형 광 가이드를 포함할 수도 있으며, 출력된 광은, 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 광 소스로부터 방출된 광을 반사하는 제 2 평면형 광 가이드로부터 초래될 수도 있다. 제 2 평면형 광 가이드는 인터액티브 디스플레이의 전면 광으로서 기능할 수도 있다.
[0010] 몇몇 예들에서, 출력된 광은 인터액티브 디스플레이 위의 영역을 조명(illuminate)할 수도 있다.
[0011] 몇몇 예들에서, 프로세서는, 인터액티브 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어하도록 구성될 수도 있다.
[0012] 몇몇 예들에서, 광 소스는 적외선 광 소스일수도 있고, 인터액티브 디스플레이는 액정 디스플레이이다.
[0013] 몇몇 예들에서, 프로세서는, 카메라에 의해 수신된 복수의 만화경(kaleidoscope) 반사들의 (카메라에 의해 출력된) 이미지 데이터를 분석함으로써 카메라로부터의 터치의 거리를 결정하도록 구성될 수도 있다. 프로세서는, 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석함으로써 거리를 결정하도록 구성될 수도 있다.
[0014] 몇몇 예들에서, 프로세서는, 카메라에 의해 수신된 적어도 하나의 만화경 반사의 (카메라에 의해 출력된) 이미지 데이터를 분석함으로써 카메라의 광학축에 대한 터치의 터치 방위각을 결정하도록 구성될 수도 있다.
[0015] 몇몇 예들에서, 적어도 하나의 카메라는 2개 또는 그 초과의 카메라들을 포함하고, 프로세서는, 카메라에 의해 출력된 이미지 데이터의 삼각측량(triangulation)에 의해 터치의 방위각을 결정하도록 구성된다.
[0016] 몇몇 예들에서, 뷰잉 영역은 24인치를 초과하는 대각 치수를 가질 수도 있다.
[0017] 몇몇 구현들에 따르면, 방법은, 프로세서를 이용하여, 적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하는 단계, 및 프로세서를 이용하여, 사용자 터치의 위치를 결정하는 것에 대한 반응으로, 전자 디바이스, 및 전자 디바이스에 대한 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이 중 하나 또는 둘 모두를 제어하는 단계를 포함한다. 인터액티브 디스플레이는 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하고, 카메라는 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치되고, 카메라의 출력은, 카메라를 이용하여 산란된 광을 수신하는 것으로부터 초래되고, 산란된 광은, 인터액티브 디스플레이로부터 출력된 광의 오브젝트와의 상호작용으로부터 초래되고, 산란된 광의 적어도 몇몇은 커버 글래스에 의해 수신되고 카메라를 향해 안내되며, 위치는, 카메라에 의해 출력된 이미지 데이터로부터, 카메라의 광학축에 대한 오브젝트의 방위각 및 카메라로부터의 오브젝트의 거리를 결정하는 프로세서에 의해 결정된다.
[0018] 몇몇 예들에서, 사용자 터치의 위치를 결정하는 것은, 카메라에 의해 수신된 복수의 만화경 반사들의 (카메라에 의해 출력된) 이미지 데이터를 분석하는 것을 포함할 수도 있다. 카메라로부터의 오브젝트의 거리를 결정하는 것은, 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석하는 것을 포함할 수도 있다. 방위각을 결정하는 것은, 카메라에 의해 수신된 적어도 하나의 만화경 반사의 (카메라에 의해 출력된) 이미지 데이터를 분석하는 것을 포함할 수도 있다.
[0019] 몇몇 구현들에 따르면, 장치는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하고 전자 디바이스의 사용자에 대한 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이, 프로세서, 가시광 및 적외선 광 중 하나 또는 둘 모두를 방출하는 광 소스, 및 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치되어 광을 검출하기 위한 적어도 하나의 수단을 포함하며, 광 검출 수단은, 인터액티브 디스플레이로부터 출력된 광의 오브젝트와의 상호작용으로부터 초래된 산란된 광을 수신하도록 구성되고, 산란된 광 중 적어도 몇몇은, 오브젝트로부터 커버 글래스에 의해 수신되고, 광 검출 수단을 향해 안내되고, 광 검출 수단은, 수신된 산란된 광에 대응하는 이미지 데이터를 프로세서에 출력하도록 구성된다. 프로세서는, 이미지 데이터로부터, 광 검출 수단의 광학 축에 대한 오브젝트의 방위각 및 광 검출 수단으로부터의 오브젝트의 거리를 결정하도록 구성된다.
[0020] 몇몇 예들에서, 커버 글래스는, 전면 표면에 인접하게 배치된 제 1 평면형 광 가이드를 포함할 수도 있으며, 제 1 평면형 광 가이드는 산란된 광을 수신하도록 구성되고, 수신된 산란된 광 중 적어도 몇몇은 제 1 평면형 광 가이드 내에서 내부 전반사를 경험한다. 광 터닝 어레인지먼트는, 제 1 평면형 광 가이드 아래에 배치된 제 2 평면형 광 가이드를 포함할 수도 있으며, 출력된 광은, 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 광 소스로부터 방출된 광을 반사하는 제 2 평면형 광 가이드로부터 초래될 수도 있다.
[0021] 몇몇 예들에서, 프로세서는, 인터액티브 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어하도록 구성될 수도 있다.
[0022] 몇몇 구현들에 따르면, 비-일시적인 컴퓨터 판독가능 매체에는 소프트웨어가 저장되어 있으며, 소프트웨어는 프로세서에 의해 실행가능한 명령들을 포함하고, 명령들은 프로세서로 하여금, 적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하게 하고, 그리고 사용자 터치의 결정된 위치에 대한 반응으로, 전자 디바이스, 및 전자 디바이스에 대한 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이 중 하나 또는 둘 모두를 제어하게 한다. 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함한다. 카메라는, 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치된다. 카메라의 출력은, 산란된 광을 카메라를 이용하여 수신하는 것으로부터 초래되고, 산란된 광은 인터액티브 디스플레이로부터 출력된 광의, 오브젝트와의 상호작용으로부터 초래되며, 산란된 광 중 적어도 몇몇은 커버 글래스에 의해 수신되고 카메라를 향해 안내된다. 위치는, 카메라에 의해 출력된 이미지 데이터로부터, 카메라의 광학 축에 대한 오브젝트의 방위각 및 카메라로부터의 오브젝트의 거리를 결정하는 프로세서에 의해 결정된다.
[0023] 몇몇 예들에서, 명령들은 프로세서로 하여금, 카메라에 의해 수신된 복수의 만화경 반사들의 (카메라에 의해 출력된) 이미지 데이터를 분석함으로써 사용자 터치의 위치를 결정하게 할 수도 있다. 명령들은 프로세서로 하여금, 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석함으로써 카메라로부터의 오브젝트의 거리를 결정하게 할 수도 있다.
[0024] 몇몇 예들에서, 명령들은 프로세서로 하여금, 카메라에 의해 수신된 적어도 하나의 만화경 반사의 (카메라에 의해 출력된) 이미지 데이터를 분석함으로써 방위각을 결정하게 할 수도 있다.
[0025] 본 명세서에 설명된 사항의 하나 또는 그 초과의 구현들의 세부사항들은 첨부한 도면들 및 아래의 설명에서 기재된다. 다른 특성들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 다음의 도면들의 상대적인 치수들이 축적에 맞게 도시되지는 않을 수도 있음을 유의한다. 다양한 도면들 내의 동일한 참조 번호들 및 지정들은 동일한 엘리먼트들을 표시한다.
[0026] 도 1은 일 구현에 따른, 인터액티브 디스플레이의 간략화된 블록도를 도시한다.
[0027] 도 2는 일 구현에 따른, 인터액티브 디스플레이의 단면 정면도를 도시한다.
[0028] 도 3은 만화경 효과의 일 예를 도시한다.
[0029] 도 4는 사용자 터치에 대한 반응으로 전자 디바이스 및/또는 인터액티브 디스플레이를 제어하기 위한 프로세스 흐름도를 도시한다.
[0030] 도 5는 몇몇 구현들에 따른, 적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하기 위한 프로세스 흐름도를 도시한다.
[0031] 도 6은 만화경 이미지 데이터의 예들을 도시한다.
[0032] 도 7은, 만화경 반사 이미지 분리도와 범위 거리 사이의 관계를 도시한다.
[0033] 도 8은 몇몇 구현들에 따른, 만화경 반사 이미지들로부터 범위 정보를 획득하는 양상들을 도시한다.
[0034] 도 9는 몇몇 구현들에 따른, 카메라로부터 사용자 터치의 범위 거리를 결정하기 위한 프로세스 흐름도를 도시한다.
[0035] 도 10은 멀티-터치 구현에 대해 위치 정보를 획득하는 양상들을 도시한다.
[0036] 도 11은 멀티-터치 구현에서 이미지 데이터를 프로세싱하기 위한 프로세스 흐름도를 도시한다.
[0037] 도 12는 일 구현에 따른, 인터액티브 디스플레이의 평면도를 도시한다.
[0038] 도 13은 적어도 2개의 카메라들을 사용하여 터치의 위치 정보를 획득하는 양상들을 도시한다.
[0039] 도 14는 다른 구현에 따른, 인터액티브 디스플레이의 단면 정면도를 도시한다.
[0040] 도 15는 디스플레이 뷰잉 영역 아래에 로케이팅된 카메라를 포함하는 인터액티브 디스플레이의 일 예를 도시한다.
[0041] 도 16은 또 다른 구현에 따른, 인터액티브 디스플레이의 일 예를 도시한다.
[0042] 다음의 설명은, 본 발명의 혁신적인 양상들을 설명하려는 목적들을 위한 특정한 구현들에 관한 것이다. 그러나, 당업자는, 본 명세서의 교시들이 다수의 상이한 방식들로 적용될 수 있음을 용이하게 인식할 것이다. 설명된 구현들은, 모션(예를 들어, 비디오) 또는 정적(예를 들어, 스틸 이미지)에 있는지에 관계없이, 그리고 텍스쳐, 그래픽 또는 화보인지에 관계없이, 이미지를 디스플레이하도록 구성될 수 있는 임의의 디바이스 또는 시스템에서 구현될 수도 있다. 더 상세하게, 설명된 구현들이 모바일 전화기들, 멀티미디어 인터넷 가능한 셀룰러 전화기들, 모바일 텔레비전 수신기들, 무선 디바이스들, 스마트폰들, 블루투스® 디바이스들, 개인 휴대 정보 단말(PDA)들, 무선 전자 메일 수신기들, 핸드-헬드 또는 휴대용 컴퓨터들, 넷북들, 노트북들, 스마트북들, 태블릿들, 프린터들, 복사기들, 스캐너들, 팩시밀리 디바이스들, GPS 수신기들/네비게이터들, 카메라들, MP3 플레이어들, 캠코더들, 게임 콘솔들, 손목 시계들, 시계들, 계산기들, 텔레비전 모니터들, 평판 디스플레이들, 전자 판독 디바이스들(즉, e-리더들), 컴퓨터 모니터들, (오도미터(odometer) 및 속도계 디스플레이들 등을 포함하는) 자동차 디스플레이들, 조정실 제어들 및/또는 디스플레이들, (차량 내의 후면 카메라의 디스플레이와 같은) 카메라 뷰 디스플레이들, 전자 사진들, 전자 빌보드들 또는 표지판들, 프로젝터들, 건축 구조들, 마이크로웨이브들, 냉장고들, 스테레오 시스템들, 카세트 레코더들 또는 플레이어들, DVD 플레이어들, CD 플레이어들, VCR들, 라디오들, 휴대용 메모리 칩들, 세탁기들, 건조기들, 세탁기/건조기들, 주차요금 징수기들, (전자기계 시스템들(EMS), 마이크로전자기계 시스템들(MEMS) 및 비-MEMS 애플리케이션들 내의) 패키징, 심미학적 구조들(예를 들어, 보석의 일부에 대한 이미지들의 디스플레이) 및 다양한 EMS 디바이스들과 같지만 이에 제한되지 않는 다양한 전자 디바이스들에 포함되거나 그와 연관될 수도 있다는 것이 고려된다. 본 명세서의 교시들은 또한, 전자 스위칭 디바이스들, 라디오 주파수 필터들, 센서들, 가속도계들, 자이로스코프들, 모션-감지 디바이스들, 자력계들, 소비자 전자기기에 대한 관성 컴포넌트들, 소비자 전자기기 제품들의 부품들, 버랙터, 액정 디바이스들, 전기영동 디바이스들, 구동 방식들, 제조 프로세스들 및 전자 테스트 장비와 같지만 이에 제한되지는 않는 비-디스플레이 애플리케이션들에서 사용될 수 있다. 따라서, 교시들은, 도면들에만 도시된 구현들로 제한되도록 의도되지는 것이 아니라, 대신, 당업자에게 용이하게 명백할 바와 같이 넓은 적용가능성을 갖는다.
[0043] 본 명세서의 아래에서 설명되는 것은, 디스플레이와의 터치 상호작용들의 특정한 특징들에 반응하여 제어되는 사용자 입력/출력 인터페이스를 제공하는 인터액티브 전자 디스플레이를 제공하기 위한 새로운 기술들이다. 카메라에 대한 터치의 방위각 및 거리의 관점들에서 사용자의 터치의 위치 정보를 포함할 수도 있는 특징들은, 디스플레이의 비용, 사이즈 및 복잡도에 거의 부가하지 않는 광학 기술들을 사용하여 결정된다.
[0044] 본 발명에 설명된 사항의 특정한 구현들은, 다음의 잠재적인 장점들 중 하나 또는 그 초과를 실현하기 위해 구현될 수 있다. 종래 기술에 비해, 본 발명의 기재된 기술들은, 인터액티브 디스플레이가 큰 영역의 디스플레이 스크린일 수도 있음에도 불구하고, 인터액티브 디스플레이 상에서의 터치 위치의 결정이 디스플레이와 동일평면 또는 그 아래로 배치된 단일 카메라로부터의 이미지 데이터를 사용하여 행해질 수 있게 한다. 본 발명의 기재된 기술들의 결과로서, 매우 작고 값싼 카메라들이 디스플레이의 전면 표면과 광학 접촉하는 오브젝트의 위치를 정확히 결정하는데 사용될 수도 있다.
[0045] 본 발명에 설명된 사항의 하나의 혁신적인 양상은, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스, 광 소스, 광 터닝 어레인지먼트 및 적어도 하나의 카메라를 포함하는 인터액티브 디스플레이의 어레인지먼트에서 구현될 수 있다. 커버 글래스와 동일평면 또는 그 아래로 뷰잉 영역의 주변 외부에 배치되는 카메라는, 인터액티브 디스플레이로부터 출력된 광의 오브젝트와의 상호작용으로부터 초래되는 산란된 광을 수신하고, 출력된 광은, 광 소스로부터 광 터닝 어레인지먼트에 의해 수신되고, 뷰잉 영역에 실질적으로 직교하는 방향으로 광 터닝 어레인지먼트에 의해 터닝된다. IR 민감형 VGA 마이크로 카메라일 수도 있는 카메라는, 터치 또는 동시적인 다수의 터치들의 위치(들)가 결정될 수도 있는 이미지 데이터를 출력할 수도 있다. 기재된 기술들은, 터치(들)의 위치(들)이 정확히 결정될 수 있고, 2개 또는 그 초과의 터치들이 동시에 발생하고 있는 경우 폐색의 효과들을 최소화시키면서, 디스플레이의 외부 주변에 상당한 베젤 높이를 부가하는 것을 회피한다.
[0046] 몇몇 구현들에서, 장치 또는 전자 디바이스들은, 입력/출력(I/O) 인터페이스를 장치의 사용자에게 제공하기 위해 인터액티브 디스플레이와 협력할 수도 있다. 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는다. 전자 디바이스는, 인터액티브 디스플레이를 포함하거나, 인터액티브 디스플레이에 전기적으로 또는 무선으로 커플링될 수도 있다. 장치는, 프로세서, 제 1 평면형 광 가이드, 적외선(IR) 광 소스, 및 하나 또는 그 초과의 IR 카메라들을 포함할 수도 있다. 제 1 평면형 광 가이드는, 전면 표면에 인접하게 그리고 그 아래에 배치될 수도 있다. 제 2 평면형 광 가이드는, 제 1 평면형 광 가이드 아래에 배치될 수도 있다. 몇몇 구현들에서, IR 광 소스는, 평면형 광 가이드의 주변 외부에 배치될 수도 있으며, 제 2 평면형 광 가이드의 입력과 광학적으로 커플링될 수도 있다. 제 2 평면형 광 가이드는, 디스플레이 위의 영역에 조명하기 위해 IR 광-방출 소스로부터 수신된 광을 반사시킴으로써, 전면 표면에 직교한 실질적인 컴포넌트를 갖는 방향으로 반사된 광을 출력하는 제 1 광-터닝 어레인지먼트를 포함할 수도 있다. 사용자의 손가락과 같은 오브젝트 또는 핸드 헬드 오브젝트가 디스플레이의 전면 표면을 접촉하는 경우, 오브젝트로부터 산란된 IR 광은 제 1 평면형 광 가이드 내에서 내부 전반사(TIR)를 경험할 수도 있다. TIR을 경험한 IR 광 중 적어도 몇몇은 IR 카메라들 중 하나 또는 그 초과에 도달할 수도 있다. 카메라들은, 그러한 TIR된 광을 검출하고, 검출된 TIR된 광의 이미지 데이터를 프로세서에 출력할 수도 있다. 프로세서는, 이미지 데이터로부터 사용자 터치의 인스턴스(instance) 및 위치를 인식할 수도 있으며, 사용자 터치에 반응하여 인터액티브 디스플레이 및 전자 디바이스 중 하나 또는 둘 모두를 제어할 수도 있다. 용어 "평면형 광 가이드"의 용어로서의 더 양호한 이해가 본 명세서 및 청구항들에서 사용되고, 본 발명의 양수인에게 양도된 출원 시리얼 넘버 13/480,377호인 "FULL RANGE GESTURE SYSTEM"를 참조함으로써 획득될 수도 있으며, 그 출원의 개시내용은 그로써 모든 목적들을 위해 그 전체가 본 출원에 인용에 의해 포함된다.
[0047] 도 1은 일 구현에 따른, 인터액티브 디스플레이의 간략화된 블록도를 도시한다. 인터액티브 디스플레이(100)는, 뷰잉 영역(101)을 포함하는 전면 표면(167)(도 2)을 갖는 디스플레이 커버 글래스(165)(도 2)를 포함한다. 전자 디스플레이(100)는, 광을 검출하도록 구성되는 적어도 하나의 광감지 엘리먼트(133)를 포함한다. 광감지 엘리먼트(133)는, 예를 들어, 렌즈들, 핀홀, 또는 격자("카메라들")을 갖는 2차원 픽셀 어레이를 포함할 수도 있다. 더 상세히 아래에서 설명될 바와 같이, 광감지 엘리먼트(133)는, 오브젝트(150)가 전면 표면(167)과 적어도 부분적으로 광학 접촉하는 경우, 오브젝트(150)(도 2)와 광의 상호작용으로부터 초래되는 산란된 광을 검출할 수도 있다.
[0048] 광감지 엘리먼트(133)는 이미지 데이터를 프로세서(1004)에 출력할 수도 있다. 몇몇 구현들에서, 예를 들어, 광감지 엘리먼트(133)는, 카메라일 수도 있거나 그것을 포함할 수도 있으며, 다수의 이미지 픽셀들에 대한 2d 이미지 데이터를 프로세서(1004)에 출력할 수도 있다. 프로세서(1004)는, 광감지 엘리먼트(133) 또는 인터액티브 디스플레이(100)의 다른 엘리먼트들과 통신가능하게 커플링될 수도 있다. 몇몇 구현들에서, 프로세서(1004)는, 전자 디스플레이(100)의 일체 부분일 수도 있다. 다른 구현들에서, 도 1에서 제안된 바와 같이, 프로세서(1004)는 전자 디스플레이(100)와는 별개로 구성될 수도 있다. 몇몇 구현들에서, 프로세서(1004)는, 예를 들어, 원격 서버에 원격으로 로케이팅될 수도 있다. 몇몇 구현들에서, 프로세서(1004)는, 전자 디바이스(1005)와 통신가능하게 커플링될 수도 있다. 프로세서(1004)는, 이미지 데이터로부터 사용자 터치의 인스턴스 및 위치를 인식하도록 구성될 수도 있으며, 사용자 터치에 반응하여 인터액티브 디스플레이(100) 및 전자 디바이스(1005) 중 하나 또는 둘 모두를 제어할 수도 있다.
[0049] 도 2는 일 구현에 따른, 인터액티브 디스플레이의 단면 정면도를 도시한다. 도시된 구현에서, 인터액티브 디스플레이(100)는, (예를 들어, 모바일 디바이스, 모니터, 또는 텔레비전 상의 디스플레이 위에 배치될 수도 있는 "커버 렌즈" 또는 "커버 글래스"로 본 명세서에서 또한 지칭될 수도 있는) 제 1 평면형 광 가이드(165)를 포함한다. 제 1 평면형 광 가이드(165)는, 인터액티브 디스플레이(100)의 전면 표면(167)에 인접하게 그리고 그 아래에 배치될 수도 있다. ("백라이트"로 본 명세서에서 또한 지칭될 수도 있는) 제 2 평면형 광 가이드(135)는 제 1 평면형 광 가이드(165) 아래에 배치될 수도 있다. 도시된 구현에서, 디스플레이 계층(145)은, 제 1 평면형 광 가이드(165)와 제 2 평면형 광 가이드(135) 사이에 배치된다. 도 2의 세부사항 A에 도시된 바와 같이, 백라이트(135)는, 전면 표면(167)에 실질적으로 직교한 방향으로 광(142)을 방출하도록 구성될 수도 있다. 광(142)은 가시광 및/또는 적외선 광을 포함할 수도 있다.
[0050] 도시된 구현에서, 광 소스(135)는 백라이트로서 구성된다(즉, 광 소스(135)는, 디스플레이 계층(145)이 광 소스(135)와 제 1 평면형 광 가이드(165) 사이에 배치되도록 디스플레이 계층(145) "아래에" 있음). 그러나, 다른 구현들에서, 광 소스(135)는 전면 광으로서 구성된다(즉, 광 소스(135)는, 광 소스(135)가 디스플레이 계층(145)과 제 1 평면형 광 가이드(165) 사이에 배치되도록 디스플레이 계층(145) "위에" 있을 수도 있음). 더 일반적으로, 광 소스(135)는 액정 또는 필드 순차 컬러 디스플레이의 백라이트, 반사형 디스플레이(예를 들어, 간섭측정 변조기(interferometric modulator)(IMOD) 디스플레이)의 전면-광, 또는 방출형 디스플레이(예를 들어, 유기 발광 다이오드 디스플레이)에 의해 방출된 광, 또는 가시광에 불투명한 커버 글래스(165)의 아트-워크(art-work) 영역 아래 그리고 그를 통해 방출된 적외선 광일 수도 있거나 그들을 포함할 수도 있음을 인식할 것이다.
[0051] 도시된 구현에서, 인터액티브 디스플레이(100)는 광 소스(131) 및 광 감지 엘리먼트(133)를 포함한다. 광 소스(131)는, 예를 들어, 발광 다이오드(LED)일 수도 있다. 몇몇 구현들에서, 광 소스(131)는, 적외선, 레드, 블루, 그린, 또는 다른 컬러 또는 컬러들의 결합, 또는 백색 광을 방출할 수도 있는 하나 또는 그 초과의 IR 광 소스들을 포함한다. 몇몇 구현들에서, 광 소스(131)는, 제 2 평면형 광 가이드(135)의 주변 근방에 배치된 복수의 IR LED들을 포함한다. 복수의 IR LED들은, 인터액티브 디스플레이(100)의 백라이트의 일부를 구성하는 가시적인 LED들 사이에 삽입(intersperse)될 수도 있다.
[0052] 이제 도 2의 세부사항 A를 참조하면, 광감지 엘리먼트(133)가 광학축(134)을 갖는 렌즈(132)를 포함한 카메라일 수도 있거나 그것을 포함할 수도 있음을 유의해야 한다. 몇몇 구현들에서, 광감지 엘리먼트(133)는, 광학축(134)이 전면 표면(167)에 대략적으로 평행하도록 배치될 수도 있다. 몇몇 구현들에서, 카메라(133)는, 비디오 그래픽 어레이(VGA) 마이크로 카메라일 수도 있거나 그것을 포함할 수도 있다. 카메라는, 블랙-앤-화이트(black-and-white) 카메라일 수도 있으며, IR 광만을 실질적으로 수신하기 위해 적절히 필터링될 수도 있다. 몇몇 구현들에서, VGA 마이크로 카메라는, 대략 500μm의 직경인 렌즈를 포함할 수도 있으며, 4mm 미만의 센서 패키지에 포함될 수도 있다. 결과로서, 카메라(133)는, 인터액티브 디스플레이(100)의 스택 높이에 상당히 부가하지 않으면서 제 1 광 가이드(165)와 동일평면 어레인지먼트로 로케이팅될 수도 있다.
[0053] 위에서 표시된 바와 같이, 몇몇 구현들에서, 광 소스(131)는 제 2 평면형 광 가이드(135)의 주변 근방에 배치될 수도 있다. 그러한 구현들에서, 제 2 평면형 광 가이드(135)는, 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 광 소스(131)로부터 수신된 광을 반사하는 광 터닝 어레인지먼트를 포함할 수도 있다. 광 소스(131)가 어디에 배치되는지에 관계없이, 도 2의 세부사항 A를 계속 참조하면, 광(142)은, 제 1 평면형 광 가이드(165)를 관통하고, 오브젝트(150)와 상호작용할 수도 있다. 오브젝트(150)는, 제 1 평면형 광 가이드(165)의 상단 표면과 적어도 부분적으로 광학 접촉한다. 오브젝트(150)는, 예를 들어, 사용자의 손가락 또는 다른 부속체(appendage) 또는 스타일러스와 같은 핸드 헬드 오브젝트일 수도 있다. 반사된 광(142)의 오브젝트(150)와의 상호작용은 산란된 광(146)을 생성할 수도 있다. 광선 트레이스(ray trace)(146(0))에 의해 도시된 바와 같이, 산란된 광(146) 중 몇몇은 카메라(133)로 이동하며, 평면형 광 가이드(165)에 의해 내부 반사되지 않으면서 카메라(133)에 의해 검출될 수도 있다. 산란된 광(146)의 적어도 몇몇은 TIR을 경험할 수도 있다. 예를 들어, 광선 트레이스(146(1))에 의해 도시된 바와 같이, 산란된 광의 몇몇은, 카메라(133)에 의해 검출되기 전에 단일 내부 반사를 경험할 수도 있다. 산란된 광의 몇몇이 카메라(133)에 의해 검출되기 전에 2개, 3개 또는 그 초과의 내부 반사들을 경험할 수도 있음을 인식할 것이다. 카메라(133)는, 검출된 IR 광의 이미지 데이터를 프로세서(1004)(도 1)에 출력할 수도 있다.
[0054] 프로세서(1004)는, 카메라(133)의 출력으로부터 사용자의 터치의 인스턴스 및 위치, 더 상세하게는 오브젝트(150)의 위치를 인식할 수도 있다. 본 명세서의 아래에서 설명되는 바와 같이, 단일 카메라(133)는, 카메라(133)의 광학축에 대한 방위각 및 카메라(133)로부터의 거리 또는 범위 둘 모두를 결정하는데 충분할 수도 있다.
[0055] 도 2의 세부사항 A를 계속 참조하면, 2개의 광선 트레이스들(146(0) 및 146(1))이 도시되지만, 오브젝트(150)의 이미지의 다수의 별개의 반사들이 카메라(133)에 의해 검출될 수도 있음을 인식할 것이다. 이것은 만화경 효과로 본 명세서에서 지칭될 수도 있다. 도 3은 만화경 효과의 일 예를 도시한다. 더 상세하게, 도 3은, 카메라(133)의 시야의 중간에서 단일 손가락 터치의 카메라(133)로부터의 예시적인 이미지를 도시한다. 도시된 예에서, 터치의 다이렉트 이미지(direct image)는 위치(301)에 있다. 위치(301) 위 및 아래의 밝은 마크들은, 오브젝트(10)와 카메라(133) 사이에서 하나 또는 그 초과의 내부 반사들을 경험하는 광 광선들으로부터 초래된다. 오브젝트(10)의 위치와 카메라(133) 사이의 거리는, 수직(Y) 축을 따른 만화경 반사들의 수 및 공간 분리도의 분석에 의해 결정될 수도 있다. 이러한 분석은 이미지 데이터에 대해 이산 퓨리에 변환을 수행함으로써 행해질 수도 있다. 터치에 대한 방위각은, 검출된 광이 수평(X) 축에 위치되는 곳에 의해 결정될 수도 있다.
[0056] 도 4는 사용자 터치에 대한 반응으로 전자 디바이스 및/또는 인터액티브 디스플레이를 제어하기 위한 프로세스 흐름도를 도시한다. 인터액티브 디스플레이에 포함되고 그리고/또는 그것과 통신가능하게 커플링된 프로세서는 프로세스(400)를 실행하도록 구성될 수도 있다. 몇몇 구현들에서, 카메라(133)를 포함하는 인터액티브 디스플레이(100)는 프로세서(1004)와 협력하여 프로세스(400)를 실행하도록 구성될 수도 있다. 프로세스(400)는 사용자 터치의 위치를 결정하는 것으로 블록(410)에서 시작할 수도 있다. 위치는, 카메라의 출력으로부터, 카메라의 광학 축에 대한 오브젝트의 방위각 및 카메라로부터의 오브젝트의 거리 중 하나 또는 둘 모두를 결정하는 프로세서에 의해 결정될 수도 있다. 인터액티브 디스플레이가 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하는 경우, 카메라의 출력은, 광 소스로부터 광 터닝 어레인지먼트로 광을 방출하는 것을 초래할 수도 있으며, 광 소스는 뷰잉 영역의 주변 외부에 배치될 수도 있다. 방출된 광은, 뷰잉 영역에 실질적으로 직교하는 것을 갖는 방향으로 광 터닝 어레인지먼트에 의해 반사될 수도 있다. 카메라는, 반사된 광의 오브젝트와의 상호작용으로부터 초래되는 산란된 광을 수신하며, 대응하는 이미지 데이터를 프로세서에 출력할 수도 있다.
[0057] 블록(420)에서, 프로세서는 사용자 터치에 반응하여, 전자 디바이스 및 인터액티브 디스플레이 중 하나 또는 둘 모두를 제어할 수도 있다.
[0058] 도 5는 몇몇 구현들에 따른, 적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하기 위한 프로세스 흐름도를 도시한다. 프로세스(410)는, 카메라의 광학축에 대한 터치의 방위각을 결정하는 것으로 블록(411)에서 시작할 수도 있다. 몇몇 구현들에서, 방위각은, 터치의 중심 위치에 인접한, 카메라에 의해 출력된 이미지 데이터 내의 픽셀 위치를 식별함으로써 결정될 수도 있다. 예를 들어, 이미지 데이터의 라인 스캔을 따른 피크의 광학적 강도에 대응하는 픽셀 위치가 식별될 수도 있다. 몇몇 구현들에서, 식별된 픽셀 위치는, 카메라와 연관된 임의의 렌즈 시스템의 특징들을 고려하여 카메라의 광학축에 대한 각도에 매핑될 수도 있다.
[0059] 프로세스(410)는, 터치와 카메라 사이의 범위 거리를 결정하는 것으로 블록(412)에서 계속될 수도 있다. 범위는, 반사들의 수, 분리도, 또는 주파수와 같은 만화경 반사들의 하나 또는 그 초과의 파라미터들을 특성화시키기 위해 이미지 데이터를 분석함으로써 결정될 수도 있다. 특성화된 파라미터(들)는 범위 거리에 매핑될 수도 있다.
[0060] 선택적으로, 프로세스는, (방위, 범위) 좌표들로부터 카테시안(x,y) 좌표들로의 좌표 변환을 수행하는 것으로 블록(413)에서 계속될 수도 있다.
[0061] 도 6은 만화경 이미지 데이터의 예들을 도시한다. 예 6(a)는, 카메라로부터 5cm 거리에, 그리고 카메라의 광학축에 대한 -20°의 방위각으로 로케이팅된 터치로부터 초래되는 만화경 반사 이미지들을 도시한다. 예 6(b)는, 카메라로부터 20cm 거리에, 그리고 광학축에 대한 +5°의 방위각으로 로케이팅된 터치로부터 초래되는 만화경 반사 이미지들을 도시한다.
[0062] 카메라 광학축으로부터 Y 축 방향에서의 반사된 이미지의 오프셋 거리는 방위각에 용이하게 매핑될 수도 있음을 인식할 것이다. 반사된 이미지들 사이의 분리 거리는 유사하게, 터치로부터 카메라로의 범위 거리에 매핑될 수도 있다. 도시된 예 6(a)에서, 반사된 이미지들 사이의 35 픽셀 분리도는 터치와 카메라 사이의 5cm 거리에 매핑되는 반면, 도시된 예 6(b)에서, 반사된 이미지들 사이의 15 픽셀 분리도는 터치와 카메라 사이의 20cm 거리에 매핑된다.
[0063] 도 7은, 만화경 반사 이미지 분리도와 범위 거리 사이의 관계를 도시한다. 더 상세하게, 도 7은, 카메라(133)의 시야(610) 내에 등록된 다수의 이미지들 각각이, 각각의 가상 오브젝트 위치에 관련될 수도 있는 상이한 각도로 오브젝트(150)로부터 산란되는 광에 어떻게 대응하는지를 도시한다. 예를 들어, 이미지 i550는 오브젝트(150)의 다이렉트 이미지에 대응한다. 이미지 iv1은, 단일 내부 반사를 경험하는 광 광선들로부터 초래되며, 가상 오브젝트 위치 v1에 대응한다. 이미지 iv2는, 2개의 내부 반사들을 경험하는 광 광선들로부터 초래되며, 가상 오브젝트 위치 v2에 대응한다. 도시의 명확화를 위해, 3개의 이미지들, 즉 이미지들 i550, iv1, 및 iv2만이 예들 7(a) 및 7(b) 각각에 도시되지만, 실질적으로 더 많은 수의 이미지들이 통상적으로, 반사경 효과로부터 초래되는 것으로 예상될 수도 있다.
[0064] 예 7(a)를 예 7(b)와 비교하면, 터치(150(a))의 위치가 터치(150(b))의 위치보다 카메라(133)에 더 인접하는 경우, 도 7(a)의 만화경 반사 이미지들 사이의 분리 거리가 예 7(b)의 만화경 반사 이미지들 사이의 분리 거리보다 더 크다는 것이 관측될 수도 있다. 결과로서, 터치와 카메라 사이의 범위 거리는, 터치로부터 초래되는 만화경 반사 이미지들 사이의 분리 거리들을 측정함으로써 양적으로 획득될 수도 있다.
[0065] 도 8은 몇몇 구현들에 따른, 만화경 반사 이미지들로부터 범위 정보를 획득하는 양상들을 도시한다. 도 9는 몇몇 구현들에 따른, 카메라로부터 사용자 터치의 범위 거리를 결정하기 위한 프로세스 흐름도를 도시한다. 먼저 도 8을 참조하면, 세부사항 B는 범위(601) 내에 로케이팅된 만화경 반사 이미지들의 일 예를 도시한다. 영역(601)은, 사용자의 터치의 인스턴스에 관련된 이미지 데이터를 포함하는 픽셀들의 다수의 열(column)들을 포함할 수도 있다. 범위(601) 외부의 픽셀들은 사용자의 터치에 관련되지 않는다.
[0066] 이제 도 9를 참조하면, 사용자의 터치의 범위 거리를 결정하기 위한 방법(900)이 도시된다. 이미지 데이터의 주어진 프레임, 즉, 픽셀들의 행(row)들 및 열들을 포함하는 프레임에 대해, 방법은, 터치에 관련된 이미지 데이터를 포함하는 픽셀들의 그 열들을 식별하는 것으로 블록(910)에서 시작할 수도 있다. 도 8에 도시된 예에서, 그러한 열들은 범위(601)에 포함된 열들이다. 몇몇 구현들에서, 가장 높은 평균 강도를 갖는 열이 선택될 수도 있다. 몇몇 구현들에서, 2개 또는 그 초과의 이웃한 열들에 걸친 평균이 취해질 수도 있다. 도 8의 세부사항 C에 도시된 바와 같이, 범위(601) 내의 Z 축을 따른 이미지 강도는 실질적으로 변할 수도 있다.
[0067] 도 9를 다시 참조하면, 방법은, 도 8의 세부사항 C에 도시된 강도 데이터에 대해 퓨리에 변환을 수행하는 것으로 블록(920)에서 계속될 수도 있다. 도 8의 세부사항 D에 도시된 결과적인 퓨리에 도메인 플롯(plot)은 만화경 반사 이미지들의 특성 주파수를 용이하게 산출할 수도 있다. 더 상세하게, 퓨리에 도메인 플롯 내의 제 1 최대값이 발생하는 주파수는, 만화경 반사 이미지들의 특성 주파수에 대응하는 것으로 알려져 있을 것이다. 따라서, 방법(900)은 블록(930)에서 제 1 최대값을 로케이팅시키는 단계를 고려한다. 차례로, 도 9의 블록(940)에서, 결정된 특성 주파수는 카메라로부터의 터치의 범위 거리를 결정하기 위해 사용될 수도 있다. 예를 들어, 범위 거리 ‘d'는 2fD/△와 동일할 수도 있고, f는 카메라의 초점 길이이고, D는 제 1 평면형 광 가이드의 두께이며, △는 인접한 만화경 반사 이미지들 사이의 거리이다.
[0068] 몇몇 구현들에서, 특히, 다수의 동시적인 또는 거의 동시적인 터치들을 검출하고 그들 사이를 구별하는 것이 바람직한 구현들("멀티-터치" 구현들)에 대해, 터치 위치 결정의 정확도 및 신뢰도를 개선시키기 위한 기술들이 고려된다. 멀티-터치 구현들은, 다수의 이미지 강도 피크들의 검출 및 위치 결정을 요구한다. 본 발명의 기재된 기술들은, 임의의 개별 피크의 형상이 비대칭적일 가능성이 있음에도 불구하고 정확하고 신뢰가능한 터치 위치 결정을 제공하며, 검출된 오브젝트의 특징들 뿐만 아니라 오브젝트의 배치 특징들에 의존할 수도 있다.
[0069] 도 10은 멀티-터치 구현에 대해 위치 정보를 획득하는 양상들을 도시한다. 도 11은 멀티-터치 구현에서 이미지 데이터를 프로세싱하기 위한 프로세스 흐름도를 도시한다. 도 10을 먼저 참조하면, 세부사항 E는, 픽셀들의 열 또는 행을 따른 포지션의 함수로서 이미지 강도 데이터의 플롯(1010)을 도시한다. 표시된 강도 피크들(1011 및 1012) 각각은 각각의 터치의 위치를 표현할 수도 있다. 이제 도 11을 참조하면, 방법(1100)은, 강도 레벨의 제 1 플롯을 수신하고, 인덱스 카운터 'i'를 1로 셋팅하는 것으로 블록(1110)에서 시작할 수도 있다. 강도 레벨들의 수신된 제 1 플롯은, 도 10의 세부사항 E의 플롯(1010)으로서 도시된 형태의 데이터를 포함한다.
[0070] 다시 도 11을 참조하면, 방법(1100)은, i번째(제 1) 플롯에서 최대 강도의 위치를 발견하는 것으로 블록(1120)에서 계속될 수도 있다. 도 10의 세부사항 E에서 도시된 예에서, 플롯(1010)은 제 1 플롯을 표현하며, 최대 강도는 피크(1011)에서 발생하는 것으로 관측될 수도 있다.
[0071] 다시 도 11을 참조하면, 방법(1100)은, 플롯(i)의 하부 엔벨로프(envelope) 곡선을 설명하는 강도 레벨의 제 2 플롯(플롯(i+1))을 생성하는 것으로 블록(1130)에서 계속될 수도 있다. 본 명세서 그리고 청구항들에서 사용되는 바와 같이, 용어 "하부 엔벨로프 곡선"은, 최대 강도 포지션으로부터 떨어져 이동하는 경우 결코 증가하지 않고 이전의 곡선(플롯(i))보다 항상 작거나 그와 동일한 함수를 설명한다. 따라서, 도 10의 세부사항 F를 이제 참조하면, 플롯(1020)은 제 2 플롯을 표현한다. 제 2 플롯(1020)은 제 1 플롯(1010)의 (파선) 부분들을 배제하는데, 이는, 파선 부분들이 하부 엔벨로프 곡선 값들보다 더 큰 강도를 갖기 때문이다. 결과로서, 강도 피크(1012)에 관련된 강도 데이터, 및 위에서 정의된 하부 엔벨로프 곡선을 초과하는 다른 강도 값들은 제 2 플롯(1020)으로부터 배제된다.
[0072] 다시 도 11을 참조하면, 방법(1100)은, 플롯(i+1)과 플롯(i) 사이의 차이를 설명하는 플롯(i+2)을 생성하는 것으로 블록(1140)에서 계속될 수도 있다. 결과적인 차이 곡선(플롯(i+2))의 일 예는 도 10의 세부사항 G의 제 3 플롯(1030)으로 도시된다. 별도의 차이 피크(1032)가 강도 피크(1012)의 위치에 대응하는 위치에서 발생한다는 것이 관측될 수도 있다. 도시된 예에서, 차이 피크(1032)에 관련되지 않은 제 3 플롯(1030)의 부분들은 저레벨 잡음에 대응한다.
[0073] 다시 도 11을 참조하면, 방법(1100)은, 플롯(i+2)이 본질적으로 잡음에만 관련되는지 또는 관련되지 않는지의 결정을 행하는 것으로 블록(1150)에서 계속될 수도 있다. 블록(1150)에서의 결정이 플롯(i+2)이 본질적으로 잡음에만 관련된다는 것이면, 방법은 중단될 수도 있다(블록(1170)). 한편, 블록(1150)에서의 결정이 플롯(i+2)의 적어도 일부가 잡음에 관련되지 않는다는 것이면, 인덱스 i는 i+2로 셋팅될 수도 있고(블록(1160)), 프로세스는 (1120 내지 1150)을 반복할 수도 있다.
[0074] 다시 도 10을 참조하면, 제 3 플롯(1030)이 잡음(즉, 차이 피크(1032))에 관련되지 않은 데이터를 포함한다는 것이 인식되어야 한다. 따라서, 제 3 플롯(1030)에 적용되는 바와 같이 블록(1150)에 따라 행해진 결정은, 인덱스를 i=i+2로 리셋할 것일 수도 있고(블록(1160)), 프로세스 블록들(1120 내지 1150)을 반복할 수도 있다. 더 상세하게, 도 10을 계속 참조하면, 제 4(실선) 플롯(1040)은, 방법(1100)의 블록들(1120 및 1130)을 실행함으로써 생성될 수도 있다. 따라서, 위에서 정의된 하부 엔벨로프 레벨을 사용하면, 제 4 플롯(1040)은 제 3 플롯(1030)의 (파선) 부분들을 배제한다.
[0075] 제 3 플롯(1030)과 제 4 플롯(1040) 사이에서 (블록(1140)에 따라) 계산된 차이는 도 10의 세부사항 J의 제 5 플롯(1050)으로서 도시된다. 제 5 플롯(1050)이 본질적으로 잡음에만 관련된다는 것을 인식할 것이다. 따라서, 제 5 플롯(1050)에 적용되는 바와 같이 블록(1150)에 따라 행해진 결정은, 방법(1100)을 중지할 것일 수도 있다(블록(1170)).
[0076] 방법(1100)은, 멀티-터치 입력들을 신뢰가능하고 정확하게 식별 및 로케이팅시키는 것으로 도시된다. 예시의 명확화를 위해, 도 10에 도시된 강도 플롯들이 단일축을 따르는 것으로 도시되지만, 위에 기재된 기술들은 2D 윤곽에 적용될 수도 있다. 위에서 설명된 방법은, 그것이, 예를 들어, 가우시안 혼합 모델에서 요구될 수도 있는 바와 같이, 포지션 및 분산과 같은 파라미터들의 함수로서 피크들의 형상들의 가정을 요구하지 않기 때문에, 비-파라미터적인 것으로 고려될 수도 있다. 결과로서, 위에서 설명된 방법은 강인하고, 터닝을 거의 필요로 하지 않는다. 연산들이 간단하기 때문에(최대-발견 및 감산), 계산 효율들이 또한 획득된다. 위에서 설명된 방법은 또한 병렬 코드에서 구현될 수도 있다.
[0077] 도 12는 일 구현에 따른, 인터액티브 디스플레이의 평면도를 도시한다. 도시된 예에서, 터치의 더 정확한 위치 결정을 제공할 수도 있고 그리고/또는 2개 또는 그 초과의 터치들(T1 및 T2)이 동시에 발생하는 경우 폐색의 효과들을 최소화시킬 수도 있는 적어도 2개의 카메라들(133)이 제공될 수도 있다.
[0078] 도 13은 적어도 2개의 카메라들을 사용하여 터치의 위치 정보를 획득하는 양상들을 도시한다. 도시된 구현에서, 카메라(133(1)) 및 카메라(133(2)) 각각은, 각각의 만화경 반사 이미지들(1301(1) 및 1301(2))을 포함하는 2D 이미지 데이터를 출력한다. 카메라(133(1))는 광학축(134(1))을 갖고, 카메라(133(2))는 광학축(134(2))을 갖는다. 각각의 광학축에 대한 터치의 방위각은 본 명세서의 위에서 기재된 기술들을 사용하여 획득될 수도 있다. 예를 들어, 몇몇 구현들에서, 각각의 1D 신호 강도 플롯들(1302(1) 및 1302(2))은 각각의 방위각들(Az(1) 및 Az(2))을 결정하기 위해 생성될 수도 있다. 그 후, 각각의 방위각들(Az(1) 및 Az(2))의 결정은, 이미지 데이터의 삼각측량에 의해 터치의 위치를 결정하는데 사용될 수도 있다. 2개의 카메라들이 도시된 구현에 도시되지만, 3개 또는 그 초과의 카메라들을 포함하는 구현들이 또한 본 발명에 의해 고려된다.
[0079] 도 14는 다른 구현에 따른, 인터액티브 디스플레이의 단면 정면도를 도시한다. 도시된 구현에서, 전자 디스플레이(1400)는, 제 1 평면형 광 가이드(165)의 평면 아래에 로케이팅된 카메라들(133)을 포함한다. 예를 들어, 프리즘 또는 다른 광 터닝 어레인지먼트(도시되지 않음)는 제 1 평면형 광 가이드(165)의 에지 근방에 배치될 수도 있다. 프리즘 또는 다른 광 터닝 어레인지먼트는 카메라(133)를 향해, 산란된 IR 광(146)을 재안내할 수도 있다.
[0080] 도 15는 디스플레이 뷰잉 영역 아래에 로케이팅된 카메라를 포함하는 인터액티브 디스플레이의 일 예를 도시한다. 도시된 구현에서, 카메라(1533)는 마이크로 렌즈(1532)와 광학적으로 커플링된다. 프리즘(1536)은, 디스플레이 뷰잉 영역의 에지 그리고 마이크로 렌즈(1532) 근방에 배치된다. 상면도(투시도)에서 관측될 수도 있는 바와 같이, 아트워크(1537)는 디스플레이 뷰잉 영역의 하나 또는 그 초과의 에지들 근방에 배열될 수도 있다. 몇몇 구현들에서, 프리즘(1536), 마이크로 렌즈(1532), 및 카메라(1533)는 아트워크(1537) 아래에 배치될 수도 있다. 예를 들어, 도시된 구현에서, 위치들(1538(1) 및 1538(2))은 2개의 선택된 위치들을 표시하며, 그 위치들 아래에, 프리즘(1536), 마이크로 렌즈(1532), 및 카메라(1533)의 각각의 어레인지먼트들이 배치될 수도 있다.
[0081] 도 16은 또 다른 구현에 따른, 인터액티브 디스플레이의 일 예를 도시한다. 도시된 구현에서, 제 2 평면형 광 가이드(135)는, 제 1 평면형 광 가이드(165)와 디스플레이 계층(145) 사이에 배치된다. 그러한 구현에서, 제 2 평면형 광 가이드(135)가 전면 광으로서 기능할 수도 있음을 인식할 것이다. 디스플레이 계층(145)은 반사형 디스플레이일 수도 있다. 예를 들어, 디스플레이 계층(145)은, 간섭측정 변조기(IMOD)들의 어레이를 포함할 수도 있다. 몇몇 구현들에서, 제 2 평면형 광 가이드(135)는, 실질적으로 투명한 마이크로-구체형 기반 플라스틱-전면광 재료를 포함할 수도 있다.
[0082] 따라서, 인터액티브 디스플레이가 인터액티브 디스플레이와의 터치 상호작용들의 특정한 특징들을 검출하고 그에 응답할 수 있게 하기 위한 개선된 기술들이 기재된다.
[0083] 본 명세서에서 사용된 바와 같이, 일 리스트의 아이템들 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그들 아이템들의 임의의 결합을 지칭한다. 일 예로서, "a, b, 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 커버하도록 의도된다.
[0084] 본 명세서에 기재된 구현들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 회로들, 및 알고리즘 프로세스들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 결합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 상호교환가능성은 기능의 관점들에서 일반적으로 설명되었으며, 위에서 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들에서 예시된다. 그러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션, 및 전체 시스템에 부과된 설계 제약들에 의존한다.
[0085] 본 명세서에 기재된 양상들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들 및 회로들을 구현하는데 사용된 하드웨어 및 데이터 프로세싱 장치는, 범용 단일-칩 또는 멀티-칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA) 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 결합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 결합, 예를 들어 DSP와 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 또는 그 초과의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다. 몇몇 구현들에서, 특정한 프로세스들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수도 있다.
[0086] 하나 또는 그 초과의 양상들에서, 설명된 기능들은, 본 명세서에 기재된 구조들 및 그들의 구조적 등가물들을 포함하는, 하드웨어, 디지털 전자 회로, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 결합으로 구현될 수도 있다. 본 명세서에 설명된 사항의 구현들은 또한, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들 상에서 인코딩된 하나 또는 그 초과의 컴퓨터 프로그램들, 즉 컴퓨터 프로그램 명령들의 하나 또는 그 초과의 모듈들로서 구현될 수 있다.
[0087] 소프트웨어로 구현되면, 기능들은, 비-일시적인 매체와 같은 컴퓨터 판독가능 매체 상에 하나 또는 그 초과의 명령들 또는 코드로서 저장되거나 이들을 통해 송신될 수도 있다. 본 명세서에 기재된 방법 또는 알고리즘의 프로세스들은, 컴퓨터-판독가능 매체 상에 상주할 수도 있는 프로세서-실행가능 소프트웨어 모듈로 구현될 수도 있다. 컴퓨터 판독가능 매체들은, 일 장소에서 다른 장소로 컴퓨터 프로그램을 전달하도록 인에이블링될 수 있는 임의의 매체들을 포함한 통신 매체들 및 컴퓨터 저장 매체들 둘 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수도 있는 임의의 이용가능한 매체들일 수도 있다. 제한이 아닌 예로서, 비-일시적인 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수도 있고, 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 접속수단(connection)이 컴퓨터-판독가능 매체로 적절히 지칭될 수 있다. 본 명세서에서 사용된 바와 같이, 디스크(disk) 및 디스크(disc)는 컴팩트 디스크(disc)(CD), 레이저 디스크(disc), 광학 디스크(disc), 디지털 다기능 디스크(digital versatile disc)(DVD), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다. 부가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 물건으로 통합될 수도 있는 머신 판독가능 매체 및/또는 컴퓨터 판독가능 매체 상의 코드들 및/또는 명령들 중 하나 또는 그들의 임의의 결합 또는 세트로서 상주할 수도 있다.
[0088] 본 발명에서 설명된 구현들에 대한 다양한 변형들은 당업자들에게 용이하게 명백할 수도 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 청구항들은 본 명세서에 설명된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 기재된 본 발명, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다. 부가적으로, 당업자는, 용어들 "상부" 및 "하부"가 종종 도면들을 설명하려는 용이함을 위해 사용되고, 적절히 배향된 페이지 상의 도면들의 배향에 대응하는 상대적인 포지션들을 표시하며, 구현된 바와 같이 디바이스의 적절한 배향을 반영하지는 않을 수도 있음을 용이하게 인식할 것이다.
[0089] 별도의 구현들의 맥락에서 본 명세서에 설명된 특정한 특성들은 또한, 단일 구현의 결합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특성들은 또한, 다수의 구현들에서 별개로 또는 임의의 적절한 서브결합으로 구현될 수 있다. 또한, 특성들이 특정한 결합들에서 동작하는 것으로 위에서 설명되고 심지어 초기에는 그와 같이 청구될 수도 있지만, 청구된 결합으로부터의 하나 또는 그 초과의 특성들은 몇몇 경우들에서, 그 결합으로부터 삭제될 수 있으며, 청구된 결합은 서브결합 또는 서브결합의 변경으로 안내될 수도 있다.
[0090] 유사하게, 동작들이 특정한 순서로 도면들에 도시되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행되거나, 모든 도시된 동작들이 수행된다는 것을 요구하는 것으로서 이해되지는 않아야 한다. 추가적으로, 도면들은 흐름도의 형태로 하나 또는 그 초과의 예시적인 프로세스들을 개략적으로 도시한다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 도시된 예시적인 프로세스들에 포함될 수 있다. 예를 들어, 하나 또는 그 초과의 부가적인 동작들은, 도시된 동작들 중 임의의 동작 이전, 이후, 그들과 동시에, 또는 그들 사이에서 수행될 수 있다. 특정한 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수도 있다. 또한, 위에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있음을 이해해야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 존재한다. 몇몇 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다.

Claims (28)

  1. 장치로서,
    뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스(glass)를 포함하고, 전자 디바이스의 사용자에 대해 입력/출력(I/O) 인터페이스를 제공하는 인터액티브(interactive) 디스플레이;
    프로세서;
    가시광 및 적외선 광 중 하나 또는 둘 모두를 방출하는 광 소스; 및
    상기 커버 글래스와 동일평면 또는 상기 커버 글래스 아래로 상기 뷰잉 영역의 주변 외부에 배치되는 적어도 하나의 카메라를 포함하고,
    상기 카메라는, 상기 인터액티브 디스플레이로부터 출력된 광의, 오브젝트와의 상호작용으로부터 초래되는 산란된 광을 수신하도록 구성되고,
    상기 산란된 광 중 적어도 몇몇은 상기 오브젝트로부터 상기 커버 글래스에 의해 수신되고 상기 카메라를 향해 안내되며,
    상기 프로세서는, 상기 카메라에 의해 출력된 이미지 데이터로부터, 상기 카메라의 광학 축에 대한 상기 오브젝트의 방위각(azimuthal angle) 및 상기 카메라로부터의 상기 오브젝트의 거리 중 하나 또는 둘 모두를 결정하도록 구성되는, 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 카메라의 광학 축에 대한 상기 오브젝트의 방위각 및 상기 카메라로부터의 상기 오브젝트의 거리 둘 모두를 결정하도록 구성되는, 장치.
  3. 제 1 항에 있어서,
    상기 커버 글래스는, 상기 전면 표면에 인접하게 배치된 제 1 평면형 광 가이드(planar light guide)를 포함하며,
    상기 제 1 평면형 광 가이드는 상기 산란된 광을 수신하도록 구성되고,
    수신된 산란된 광 중 적어도 몇몇은 상기 제 1 평면형 광 가이드 내에서 내부 전반사(total internal reflection)(TIR)를 경험하는, 장치.
  4. 제 3 항에 있어서,
    광 터닝 어레인지먼트(light turning arrangement)는, 상기 제 1 평면형 광 가이드 아래에 배치되는 제 2 평면형 광 가이드를 포함하고,
    상기 출력된 광은, 상기 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 상기 광 소스로부터의 방출된 광을 반사시키는 상기 제 2 평면형 광 가이드로부터 초래되는, 장치.
  5. 제 4 항에 있어서,
    상기 광 소스는 상기 제 2 평면형 광 가이드와 광학적으로 커플링되는, 장치.
  6. 제 4 항에 있어서,
    상기 인터액티브 디스플레이는, 상기 제 1 평면형 광 가이드와 상기 제 2 평면형 광 가이드 사이에 배치되는, 장치.
  7. 제 4 항에 있어서,
    상기 제 1 평면형 광 가이드는 상기 전면 표면의 전면에 배치되고;
    상기 제 2 평면형 광 가이드는 상기 제 1 평면형 광 가이드 아래에 배치되며;
    상기 출력된 광은, 상기 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 상기 광 소스로부터의 방출된 광을 반사시키는 상기 제 2 평면형 광 가이드로부터 초래되는, 장치.
  8. 제 7 항에 있어서,
    상기 제 2 평면형 광 가이드는, 상기 인터액티브 디스플레이의 전면 광으로서 기능하는, 장치.
  9. 제 1 항에 있어서,
    상기 출력된 광은, 상기 인터액티브 디스플레이 위의 영역을 조명(illuminate)하는, 장치.
  10. 제 1 항에 있어서,
    상기 프로세서는, 상기 인터액티브 디스플레이 및 상기 전자 디바이스 중 하나 또는 둘 모두를 제어하도록 구성되는, 장치.
  11. 제 1 항에 있어서,
    상기 광 소스는 적외선 광 소스이고,
    상기 인터액티브 디스플레이는 액정 디스플레이인, 장치.
  12. 제 1 항에 있어서,
    상기 프로세서는, 상기 카메라에 의해 수신된 복수의 만화경(kaleidoscope) 반사들의, 상기 카메라에 의해 출력된 이미지 데이터를 분석함으로써 상기 카메라로부터의 터치의 거리를 결정하도록 구성되는, 장치.
  13. 제 12 항에 있어서,
    상기 프로세서는, 상기 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석함으로써 상기 거리를 결정하도록 구성되는, 장치.
  14. 제 1 항에 있어서,
    상기 프로세서는, 상기 카메라에 의해 수신된 적어도 하나의 만화경 반사의, 상기 카메라에 의해 출력된 이미지 데이터를 분석함으로써 상기 카메라의 광학축에 대한 터치의 터치 방위각을 결정하도록 구성되는, 장치.
  15. 제 1 항에 있어서,
    상기 적어도 하나의 카메라는 2개 또는 그 초과의 카메라들을 포함하고,
    상기 프로세서는, 상기 카메라에 의해 출력된 이미지 데이터의 삼각측량(triangulation)에 의해 터치의 방위각을 결정하도록 구성되는, 장치.
  16. 제 1 항에 있어서,
    상기 뷰잉 영역은 24인치를 초과하는 대각 치수를 갖는, 장치.
  17. 방법으로서,
    프로세서를 이용하여, 적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하는 단계; 및
    상기 프로세서를 이용하여, 상기 사용자 터치의 위치를 결정하는 것에 대한 반응으로, 전자 디바이스, 및 상기 전자 디바이스에 대한 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이 중 하나 또는 둘 모두를 제어하는 단계를 포함하며,
    상기 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하고,
    상기 카메라는, 상기 커버 글래스와 동일평면 또는 상기 커버 글래스 아래로 상기 뷰잉 영역의 주변 외부에 배치되고,
    상기 카메라의 출력은, 산란된 광을 상기 카메라를 이용하여 수신하는 것으로부터 초래되고, 상기 산란된 광은 상기 인터액티브 디스플레이로부터 출력된 광의, 오브젝트와의 상호작용으로부터 초래되고, 상기 산란된 광 중 적어도 몇몇은 상기 커버 글래스에 의해 수신되고 상기 카메라를 향해 안내되며,
    상기 위치는, 상기 카메라에 의해 출력된 이미지 데이터로부터, 상기 카메라의 광학 축에 대한 상기 오브젝트의 방위각 및 상기 카메라로부터의 상기 오브젝트의 거리를 결정하는 프로세서에 의해 결정되는, 방법.
  18. 제 17 항에 있어서,
    상기 사용자 터치의 위치를 결정하는 단계는, 상기 카메라에 의해 수신된 복수의 만화경 반사들의, 상기 카메라에 의해 출력된 이미지 데이터를 분석하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    상기 카메라로부터의 상기 오브젝트의 거리를 결정하는 것은, 상기 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석하는 것을 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 방위각을 결정하는 것은, 상기 카메라에 의해 수신된 적어도 하나의 만화경 반사의, 상기 카메라에 의해 출력된 이미지 데이터를 분석하는 것을 포함하는, 방법.
  21. 장치로서,
    뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하고, 전자 디바이스의 사용자에 대해 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이;
    프로세서; 및
    가시광 및 적외선 광 중 하나 또는 둘 모두를 방출하는 광 소스; 및
    상기 커버 글래스와 동일평면 또는 상기 커버 글래스 아래로 상기 뷰잉 영역의 주변 외부에 배치되어 광을 검출하기 위한 적어도 하나의 수단을 포함하며,
    상기 광 검출 수단은, 상기 인터액티브 디스플레이로부터 출력된 광의 오브젝트와의 상호작용으로부터 초래된 산란된 광을 수신하도록 구성되고,
    상기 산란된 광 중 적어도 몇몇은, 상기 오브젝트로부터 상기 커버 글래스에 의해 수신되고 상기 광 검출 수단을 향해 안내되고,
    상기 광 검출 수단은, 수신된 산란된 광에 대응하는 이미지 데이터를 상기 프로세서에 출력하도록 구성되며,
    상기 프로세서는, 상기 이미지 데이터로부터, 상기 광 검출 수단의 광학 축에 대한 상기 오브젝트의 방위각 및 상기 광 검출 수단으로부터의 상기 오브젝트의 거리를 결정하도록 구성되는, 장치.
  22. 제 21 항에 있어서,
    상기 커버 글래스는, 상기 전면 표면에 인접하게 배치된 제 1 평면형 광 가이드를 포함하며,
    상기 제 1 평면형 광 가이드는 상기 산란된 광을 수신하도록 구성되고,
    수신된 산란된 광 중 적어도 몇몇은 상기 제 1 평면형 광 가이드 내에서 내부 전반사를 경험하는, 장치.
  23. 제 22 항에 있어서,
    광 터닝 어레인지먼트는, 상기 제 1 평면형 광 가이드 아래에 배치되는 제 2 평면형 광 가이드를 포함하고,
    상기 출력된 광은, 상기 전면 표면에 직교하는 실질적인 컴포넌트를 갖는 방향으로 상기 광 소스로부터의 방출된 광을 반사시키는 상기 제 2 평면형 광 가이드로부터 초래되는, 장치.
  24. 제 21 항에 있어서,
    상기 프로세서는, 상기 인터액티브 디스플레이 및 상기 전자 디바이스 중 하나 또는 둘 모두를 제어하도록 구성되는, 장치.
  25. 소프트웨어가 저장된 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 소프트웨어는 프로세서에 의해 실행가능한 명령들을 포함하며,
    상기 명령들은, 상기 프로세서로 하여금;
    적어도 하나의 카메라의 출력으로부터 사용자 터치의 위치를 결정하게 하고; 그리고
    상기 사용자 터치의 결정된 위치에 대한 반응으로, 전자 디바이스, 및 상기 전자 디바이스에 대한 입력/출력(I/O) 인터페이스를 제공하는 인터액티브 디스플레이 중 하나 또는 둘 모두를 제어하게 하며;
    상기 인터액티브 디스플레이는, 뷰잉 영역을 포함하는 전면 표면을 갖는 커버 글래스를 포함하고,
    상기 카메라는, 상기 커버 글래스와 동일평면 또는 상기 커버 글래스 아래로 상기 뷰잉 영역의 주변 외부에 배치되고,
    상기 카메라의 출력은, 산란된 광을 상기 카메라를 이용하여 수신하는 것으로부터 초래되고, 상기 산란된 광은 상기 인터액티브 디스플레이로부터 출력된 광의, 오브젝트와의 상호작용으로부터 초래되고, 상기 산란된 광 중 적어도 몇몇은 상기 커버 글래스에 의해 수신되고 상기 카메라를 향해 안내되며,
    상기 위치는, 상기 카메라에 의해 출력된 이미지 데이터로부터, 상기 카메라의 광학 축에 대한 상기 오브젝트의 방위각 및 상기 카메라로부터의 상기 오브젝트의 거리를 결정하는 프로세서에 의해 결정되는, 비-일시적인 컴퓨터 판독가능 매체.
  26. 제 25 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 상기 카메라에 의해 수신된 복수의 만화경 반사들의, 상기 카메라에 의해 출력된 이미지 데이터를 분석함으로써 상기 사용자 터치의 위치를 결정하게 하는, 비-일시적인 컴퓨터 판독가능 매체.
  27. 제 26 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 상기 복수의 만화경 반사들 중 2개 또는 그 초과 사이의 공간 분리도를 분석함으로써 상기 카메라로부터의 상기 오브젝트의 거리를 결정하게 하는, 비-일시적인 컴퓨터 판독가능 매체.
  28. 제 25 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 상기 카메라에 의해 수신된 적어도 하나의 만화경 반사의, 상기 카메라에 의해 출력된 이미지 데이터를 분석함으로써 상기 방위각을 결정하게 하는, 비-일시적인 컴퓨터 판독가능 매체.
KR1020167027368A 2014-03-04 2015-02-20 큰 영역 인터액티브 디스플레이 스크린 KR20160130267A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461947971P 2014-03-04 2014-03-04
US61/947,971 2014-03-04
US14/626,679 US9921688B2 (en) 2014-03-04 2015-02-19 Large area interactive display screen
US14/626,679 2015-02-19
PCT/US2015/016800 WO2015134207A1 (en) 2014-03-04 2015-02-20 Large area interactive display screen

Publications (1)

Publication Number Publication Date
KR20160130267A true KR20160130267A (ko) 2016-11-10

Family

ID=54017371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027368A KR20160130267A (ko) 2014-03-04 2015-02-20 큰 영역 인터액티브 디스플레이 스크린

Country Status (7)

Country Link
US (1) US9921688B2 (ko)
EP (1) EP3114547A1 (ko)
JP (1) JP2017507428A (ko)
KR (1) KR20160130267A (ko)
CN (1) CN106030481B (ko)
CA (1) CA2937555A1 (ko)
WO (1) WO2015134207A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454235B2 (en) 2014-12-26 2016-09-27 Seungman KIM Electronic apparatus having a sensing unit to input a user command and a method thereof
KR101656802B1 (ko) * 2015-05-12 2016-09-12 현대자동차주식회사 제스처 입력 장치 및 이를 포함하는 차량
US10254881B2 (en) 2015-06-29 2019-04-09 Qualcomm Incorporated Ultrasonic touch sensor-based virtual button
US10157305B2 (en) * 2015-10-19 2018-12-18 Qualcomm Incorporated Cover-glass optical isolation for optical touch and fingerprint sensing
US10169637B2 (en) 2015-10-19 2019-01-01 Qualcomm Incorporated On-screen optical fingerprint capture for user authentication
KR101786550B1 (ko) * 2016-04-28 2017-10-18 한국광기술원 유의미한 터치신호 보강 및 중복 터치에 따른 신호가림 현상을 감소시키는 중대형 적외선 터치스크린 시스템
KR20180001055A (ko) * 2016-06-24 2018-01-04 삼성전자주식회사 지문 센서를 포함하는 전자 장치 및 이의 운용 방법
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) * 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
GB2395289A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Structured light generator
WO2005026930A2 (en) 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation emitting element
US7705835B2 (en) 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
US9268413B2 (en) 2008-07-07 2016-02-23 Rpx Clearinghouse Llc Multi-touch touchscreen incorporating pen tracking
JP4623154B2 (ja) 2008-07-24 2011-02-02 エプソンイメージングデバイス株式会社 照明装置、座標入力装置、電気光学装置及び電子機器
KR100910024B1 (ko) * 2008-10-13 2009-07-30 호감테크놀로지(주) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린
GB2473239B (en) 2009-09-04 2014-07-09 Cambridge Display Tech Ltd Touch screen display device
JP4842363B2 (ja) * 2009-11-17 2011-12-21 シャープ株式会社 ポインティング装置および電子機器
KR20110056892A (ko) 2009-11-23 2011-05-31 삼성전자주식회사 Ｌｃｄ 디스플레이장치의 멀티 터치 감지장치 및 이를 이용한 멀티 터치 감지방법
KR101749266B1 (ko) * 2010-03-24 2017-07-04 삼성디스플레이 주식회사 터치감지 표시 장치 및 컴퓨터용 기록매체
TWI409679B (zh) * 2010-06-04 2013-09-21 Au Optronics Corp 光學式觸控面板及觸控顯示裝置及其觸控輸入方法
JP5631176B2 (ja) 2010-11-29 2014-11-26 キヤノン株式会社 固体撮像素子及びカメラ
US9262011B2 (en) * 2011-03-30 2016-02-16 Smart Technologies Ulc Interactive input system and method
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム
KR101973168B1 (ko) * 2012-08-24 2019-04-29 삼성디스플레이 주식회사 멀티 터치 및 터치 힘을 인식하는 터치 표시장치 및 그 구동 방법
US9285623B2 (en) 2012-10-04 2016-03-15 Corning Incorporated Touch screen systems with interface layer

Also Published As

Publication number Publication date
CN106030481B (zh) 2020-02-21
WO2015134207A1 (en) 2015-09-11
US9921688B2 (en) 2018-03-20
CA2937555A1 (en) 2015-09-11
EP3114547A1 (en) 2017-01-11
CN106030481A (zh) 2016-10-12
US20150253931A1 (en) 2015-09-10
JP2017507428A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
US9921688B2 (en) Large area interactive display screen
US9582117B2 (en) Pressure, rotation and stylus functionality for interactive display screens
JP6623171B2 (ja) ディスプレイに統合されるユーザ分類、セキュリティおよび指紋システム
US20150083917A1 (en) Infrared light director for gesture or scene sensing fsc display
EP2898399B1 (en) Display integrated camera array
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US20150084928A1 (en) Touch-enabled field sequential color display using in-cell light sensors
US9122354B2 (en) Detecting wave gestures near an illuminated surface
US9454265B2 (en) Integration of a light collection light-guide with a field sequential color display
US8514201B2 (en) Image pickup device, display-and-image pickup device, and electronic device
US20130106792A1 (en) System and method for enabling multi-display input
US10379680B2 (en) Displaying an object indicator
EP2302491A2 (en) Optical touch system and method
US20120127084A1 (en) Variable light diffusion in interactive display device
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US10152953B2 (en) Information processing apparatus and information processing method
CN112929559A (zh) 执行半快门功能的方法和使用其捕获图像的方法
US20150293645A1 (en) Holographic collection and emission turning film system
CN102132239A (zh) 交互式显示屏
CN102141859B (zh) 光学式触控显示装置及其方法
KR102136739B1 (ko) 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right