KR20130105711A - 대화식 디스플레이 - Google Patents

대화식 디스플레이 Download PDF

Info

Publication number
KR20130105711A
KR20130105711A KR1020137018660A KR20137018660A KR20130105711A KR 20130105711 A KR20130105711 A KR 20130105711A KR 1020137018660 A KR1020137018660 A KR 1020137018660A KR 20137018660 A KR20137018660 A KR 20137018660A KR 20130105711 A KR20130105711 A KR 20130105711A
Authority
KR
South Korea
Prior art keywords
invisible light
sub
zones
rolling shutter
image
Prior art date
Application number
KR1020137018660A
Other languages
English (en)
Other versions
KR101507458B1 (ko
Inventor
톰미 일모넨
Original Assignee
멀티 터치 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 멀티 터치 오와이 filed Critical 멀티 터치 오와이
Publication of KR20130105711A publication Critical patent/KR20130105711A/ko
Application granted granted Critical
Publication of KR101507458B1 publication Critical patent/KR101507458B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

대화식 (interactive) 디스플레이 기기 (100)는 지각할 수 있는 시각적인 콘텐트를 사용자에게 제공하도록 구성된 이미지 레이어 (102) 그리고 상기 이미지 레이어 (102)를 덮거나 또는 상기 이미지 레이어 (102)에 의해서 형성된 터칭 표면 (101)을 포함한다. 또한, 상기 터칭 표면 (101)의 상이한 서브-구역들에 교대로 조명을 비추도록 구성된 복수의 보이지 않는 광 소스들 (110) 그리고 상기 이미지 레이어 (102) 뒤로부터 조명이 비추어진 서브-구역들의 이미지를 캡쳐하기 위한 복수의 터치 탐지 유닛들 (107)이 존재한다. 포인팅 물체 (112)가 상기 터칭 표면 (101)에 접촉하며 그래서 상기 캡쳐된 이미지들 내에 대응하는 하나 이상의 마크들을 발생하게 하는 접촉 영역들이 상기 캡쳐된 이미지들로부터 탐지된다. 상기 터칭 표면 부근의 비-접촉 물체들로부터의 보이지 않는 광의 원하지 않는 반사들을 줄이기 위해서 상기 보이지 않는 광 소스들 중 남아있는 하나 하나들은 동작 가능하게 제어하며, 상기 인접한 터치 탐지 유닛들 및 연관된 보이지 않는 광 소스들은 동작하지 않도록 제어된다.

Description

대화식 디스플레이{Interactive display}
본 발명은 보통은 대화식 디스플레이에 관련된다.
대화식 (interactive) 디스플레이들이 존재하며, 그 대화식 디스플레이들은, 예를 들면, 표면 상의 이미지를 형성하기 위한 프로젝터 또는 액정 디스플레이 (LCD) 패널, 그 표면 뒤의 카메라 또는 다른 광학적인 탐지기, 그리고 사용자 입력을 탐지하기 위한 컴퓨터 시각 회로를 포함한다.
광학적인 다중-입력 탐지를 위한 수많은 상이한 기술들이 존재한다. 이것들 중의 많은 것들은 Steve Hodges, Shahram Izadi, Alex Butler, Alban Rrustemi 그리고 Bill Buxton에 의한 공표물 "ThinSight: Versatile Multi-touch Sensing for Thin Form-factor Displays"에서 설명되며, http://www.billbuxton.com/UISTthinSight.pdf를 참조한다. 광학적인 터치 탐지는 디스플레이 상에서의 다중 터치 포인트들 또는 영역들을 탐지하기 위한 능력을 포함하는 다양한 이유들로 인해서 유익하다. 그러나, 터치하는 것의 광학적 인식은 환경에서의 변화들에 관련된 조명에 노출된다. 보통, 터치 스크린에 조명을 비추기 위해서 적외선 (IR) 광이 사용되며 그리고 그 IR 광의 반사 또는 섀도잉 (shadowing)이 측정된다. 그런 터치 스크린들의 동작은, 예를 들면, 주위의 광의 주파수 및 진폭 분포, 주위 광의 방향, 그리고 사용자 손가락들의 반사율 및 크기에 종속된다.
PCT/FI2010/050082 PCT/FI2008/050475
Steve Hodges, Shahram Izadi, Alex Butler, Alban Rrustemi 그리고 Bill Buxton에 의한 공표물 "ThinSight: Versatile Multi-touch Sensing for Thin Form-factor Displays", http://www.billbuxton.com/UISTthinSight.pdf 참조
본 발명의 목적은 종래 기술과 연관된 문제점들을 회피하고 그리고/또는 존재하는 기술에 대한 대안을 제공하는 것이다.
본 발명의 첫 번째 모습에 따라 대화식 디스플레이 기기가 제공되며, 이 대화식 디스플레이 기기는:
지각할 수 있는 시각적인 콘텐트를 사용자에게 제공하도록 구성된 이미지 레이어;
상기 이미지 레이어를 덮거나 또는 상기 이미지 레이어 (102)에 의해서 형성된 터칭 표면을 포함하며,
상기 터칭 표면의 상이한 서브-구역들에 교대로 조명을 비추도록 구성된 복수의 보이지 않는 광 소스들;
조명이 비추어진 서브-구역들의 이미지를 캡쳐하도록 구성된 복수의 터치 탐지 유닛들;
포인팅 물체가 상기 터칭 표면 (101)에 접촉하며 그래서 상기 캡쳐된 이미지들 내에 대응하는 하나 이상의 마크들을 발생하게 하는 접촉 영역들을, 상기 캡쳐된 이미지들로부터 탐지하도록 구성된 제1 프로세서; 및
상기 터칭 표면 부근의 비-접촉 물체들로부터의 보이지 않는 광의 원하지 않는 반사들을 줄이기 위해서 상기 보이지 않는 광 소스들 중 적어도 하나를 동작 가능하게 제어하며, 상기 보이지 않는 광 소스들 중 나머지 하나 하나들은 동작하지 않도록 제어하도록 구성된 제2 프로세서를 포함하는 것을 특징으로 한다.
유리하게도, 비-접촉 물체들로부터의 원하지 않는 반사들은 몇몇의 보이지 않는 광 소스들의 동작 가능하지 않도록 제어함으로써 줄어들 수 있을 것이다. 그런 반사들의 감소는 상기 포인팅 물체가 상기 터칭 표면에 접촉한 영역들을 탐지하는 것을 도울 수 있을 것이다.
공통 프로세서가 상기 제1 프로세서 및 제2 프로세서 둘 모두로서 동작할 수 있을 것이다. 대안으로, 상기 제1 프로세서와 제2 프로세서 중 하나 또는 둘 모두는 둘 또는 그 이상의 상이한 프로세서들을 포함할 수 있을 것이다.
상기 제2 프로세서는 상기 보이지 않는 광 소스들의 동작 가능한 또는 동작 가능하지 않은 상태로 제어하는 것에 추가로 약간의 또는 어떤 다른 태스크를 가지지 않은 상대적으로 단순한 제어 프로세서일 수 있다.
상기 터치 탐지 유닛들은 상기 연관된 보이지 않는 광 소스에 의해서 제공되는 보이지 않는 광과 함께 동작하도록 구성될 수 있을 것이다. 상기 보이지 않는 광은 적외선 광일 수 있을 것이다.
상기 터치 탐지 유닛들 그리고 연관된 보이지 않는 광 소스들은 그룹들로 구성되어, 적어도 몇몇의 인접한 터치 탐지 유닛들 및 연관된 보이지 않는 광 소스들이 상기 그룹들 중 상이한 하나 하나의 그룹들에 분배되도록 한다.
상기 터치 탐지 유닛들은 상기 이미지 레이어 뒤로부터 이미지들을 캡쳐하도록 구성될 수 있을 것이다.
상기 터치 탐지 유닛들은 그리드 (grid)로 배치될 수 있을 것이다.
상기 터치 탐지 유닛들은 카메라 유닛들을 포함할 수 있을 것이다. 그 카메라 유닛들은, 공통으로 이용 가능한 상보성 금속-산화-반도체 (CMOS) 카메라 유닛들과 같은, 롤링 셔터 카메라 유닛들일 수 있을 것이다. 상기 롤링 셔터 카메라 유닛들은 상기 롤링 셔터 동작이 하나의 롤링 셔터 카메라 유닛으로부터 다른 롤링 셔터 카메라 유닛으로 확대되는 방식으로 동기화될 수 있을 것이다.
상기 이미지 레이어는 상기 보이지 않는 주파수 범위를 가진 광을 통과시키도록 구성될 수 있을 것이다.
상기 마크들 각각은 그림자 또는 하이라이트 (highlight)로서 나타날 수 있을 것이다.
상기 이미지 캡쳐 유닛은 상기 이미지 레이어를 통해서 상기 캡쳐된 이미지들을 획득하도록 구성될 수 있을 것이다. 대안으로, 상기 이미지 캡쳐 유닛은 상기 이미지 레이어 상에 또는 상기 이미지 레이어 앞에 형성될 수 있을 것이며, 그래서 상기 이미지 레이어에 의해서 생산된 이미지들이 상기 이미지 캡쳐 유닛을 통해서 사용자에게 보일 수 있도록 한다.
본 발명의 두 번째 모습에 따라서, 대화식 디스플레이 기기에서의 방법이 제공되며, 이 방법은:
지각할 수 있는 시각적인 콘텐트를 이미지 레이어 상에 사용자에게 제공하며, 상기 이미지 레이어를 덮거나 또는 상기 이미지 레이어에 의해서 형성되는 터칭 표면이 존재하며;
보이지 않는 복수의 광 소스들로 상기 터칭 표면의 상이한 서브-구역들에 교대로 조명을 비추며;
조명이 비추어진 서브-구역들의 이미지들을 터치 탐지 유닛들로 캡쳐하며, 이때에 상기 보이지 않는 광 소스들의 각각은 하나 이상의 터치 탐지 유닛들 (107)과 연관되며;
포인팅 물체가 상기 터칭 표면에 접촉하며 그래서 상기 캡쳐된 이미지들 내에 대응하는 하나 이상의 마크들을 발생하게 하는 접촉 영역들을, 상기 캡쳐된 이미지들로부터 탐지하며; 그리고
상기 터칭 표면 부근의 비-접촉 물체들로부터의 보이지 않는 광의 원하지 않는 반사들을 줄이기 위해서 상기 보이지 않는 광 소스들 중 적어도 하나를 동작 가능하게 제어하며, 상기 보이지 않는 광 소스들 중 나머지 하나 하나들은 동작하지 않도록 제어하는 것을 포함하는 것을 특징으로 한다.
상기 방법은 상기 서브-구역들의 롤링 셔터 이미지들을 찍고 그리고 그 이미지들을 캡쳐하는 것을 하나의 서브-구역으로부터 다른 서브-구역으로 나아가게 하여, 상기 롤링 셔터 동작이 하나의 서브-구역 그리고 연관된 터치 탐지 유닛으로부터 인접한 서브-구역 및 연관된 터치 탐지 유닛으로 확대되도록 하는 것을 더 포함할 수 있을 것이다.
본 발명의 세 번째 모습에 따라서, 컴퓨터에 의해서 실행되면 본 발명의 상기 두 번째 모습에 따른 방법을 실행하게 하도록 구성된 컴퓨터 프로그램이 제공된다.
본 발명의 네 번째 모습에 따라서, 컴퓨터 프로그램으로 구체화된 컴퓨터 독출 가능 메모리 매체가 제공되며, 이 컴퓨터 프로그램은 컴퓨터에 의해서 실행되면 컴퓨터가 본 발명의 두 번째 모습에 따른 방법을 수행하도록 한다.
본 발명의 다섯 번째 모습에 따라서, 저장된 컴퓨터 실행가능 프로그램 코드를 구비한 비-일시적 컴퓨터 독출가능 매체를 포함한 컴퓨터 프로그램 제품이 제공되며, 상기 프로그램 코드가 적어도 하나의 프로세서에 의해서 실행되면 장치로 하여금 본 발명의 두 번째 모습에 따른 방법을 수행하도록 한다.
본 발명의 다양한 실시예들이 본 발명의 특정 모습들만을 참조하여 예시되었다. 대응하는 실시예들이 다른 모습들에 적용될 수 있을 것이며 그리고 실시예들은 또한 추가의 비-제한 예들을 생성하도록 적용될 수 있을 것이라는 것이 인정되어야만 한다.
본 발명의 효과는 본 명세서의 해당되는 부분들에 개별적으로 명시되어 있다.
본 발명은 첨부된 도면들을 참조하여, 단지 예로서만 설명될 것이다.
도 1은 본 발명의 실시예에 따른 시스템의 블록 도면을 보여준다.
도 2는 본 발명의 실시예에 따른 도 1에서 보여진 제어 유닛 구조의 간략화된 블록 도면을 보여준다.
도 3a는 터칭 표면을 복수의 서브-구역들로 분배한 예를 보여준다.
도 3b는 밝은 일광 또는 강한 그리고 상대적으로 간섭성 주변 IR 광 하에서 포인팅 물체를 너머로부터 IR 이미지 캡쳐 유닛에 의해서 캡쳐된 적외선 (IR) 이미지로부터 포인팅 오브젝트를 판별하는 프로세스에서의 첫 번째 단계를 도시하기 위한 본 발명의 실시예에 따른 개략적인 흐름도를 보여준다.
도 4는 도 3a에서 보이는 서브-구역들을 구현하기 위해 적합한 있음직한 회로들에 관한 추가의 상세한 것들을 도시하기 위한 시스템을 보여준다.
다음의 설명에서, 유사한 번호들은 유사한 요소들을 나타낸다.
본 발명의 다양한 실시예들의 다음의 예들에서, LCD 스크린이 이미지 레이어의 한 예로서 사용된다. 이 LCD 스크린은 시각적인 이미지를 형성하는 필름을 포함할 수 있을 것이며 그리고 배경 조명, 적외선 (IR) 조명, 스크린을 가로지른 인입 IR 강도 (intensity) 탐지, 그리고/또는 사운드 출력을 위한 하나 또는 그 이상의 스피커들과 같은 다른 엘리먼트들을 또한 옵션으로 포함할 수 있을 것이다. 본 발명은 어떤 다른 유형의 이미지 레이어들 또는 더 간단한 표현으로는 스크린들에도 마찬가지로 적용될 수 있을 것이라는 것이 인정된다. 일반적으로, 이미지 레이어는 전기 디스플레이, 투사된 이미지를 디스플레이하는 스크린 또는 인쇄된, 염색된 이미지, 또는 짜 맞춘 이미지를 운반하는 물질과 같이, 사용자를 위한 시각적인 이미지를 생성하기 위한 임의 수단이다. 그러나, 상기 이미지 레이어는 이미지 레이어를 통해서 포인팅 물체를 탐지하기 위해서 사용되는 IR 광에 대해 충분하게 투명하거나 또는 반투명이어야만 한다.
도 1은 본 발명의 실시예에 따른 시스템 (100)의 블록 도면을 보여준다. 도 1은 상이한 엘리먼트들의 특정 순서의 설명을 용이하게 하기 위해서 사용자 (113)를 또한 보여준다. 상기 시스템 (100)은 대화식 사용자 인터페이스 기기로서, 예를 들면, 레스토랑 내 빌트 인 (built in) 동적 메뉴로서, 티켓 사무실에서 디스플레이 스크린으로서 사용하기에, 또는 일반적으로는 대화식 디스플레이 및 광학적인 포인팅 인식이 필요할 때면 언제나 적합하다.
상기 시스템 (100)은 가장 바깥쪽 엘리먼트로서 또는 사용자 (113)에 대면하는 것으로서 강화된 글래스 플레이트와 같은 터칭 표면 (101), 디스플레이 스크린으로서 LCD 필름 (102) 그리고 스크린 뒤의 확산 레이어 (103)를 포함한다. 바람직하게는, 상기 터칭 표면, 상기 스크린 (102) 그리고 상기 확산 레이어 (103)는 모두 컴팩트 스택 내에 있어서, 상기 터칭 표면으로부터 상기 확산 레이어까지의 거리가 이 설명에서 더욱 상세하게 설명될 기계 시야 성능 요인을 위해서 가능한 작도록 한다.
상기 확산 레이어 (103)의 목적은 (아래에서 설명되는) 배경 광 소스로부터 오는 광을 확산시켜서 상기 스크린 상에 디스플레이된 이미지가 심지어는 여러 방향들로부터 나타나도록 하는 것이다. 이렇게 확산시키는 것은 확산 필름을 이용하여 또는 홀로그래픽 후면-투사 필름을 이용하여 이루어질 수 있다. 스크린 (102) 뒤에 확산 레이어 (103)를 위치시킴으로써, 확산 레이어 (103)를 스크린 (102) 앞에 위치시키거나 또는 그 확산 레이어 (103)를 생략하는 것에 비해서 커다란 유리한 점들을 얻을 수 있을 것이다. 즉, 상기 확산 레이어 (103)는 상기 스크린 (102)의 보통은 광택성인 후면으로부터의 반사들을 감소시키며, 이 반사들은 포인팅 물체들을 인식하는 것을 간섭할 수 있을 것이다. 사용자 (113)가 봤을 때에 상기 확산 레이어 (103)를 상기 스크린 (102) 뒤에 위치시키는 것 또한 유리하며, 그렇지 않다면 그것이 스크린 (102)과 시청자 사이에 추가적인 반사 표면을 제공하며 그래서 이미지 품질 또는 특히 대비 (contrast)를 손상시키기 때문이다.
전술한 광학적 엘리먼트들을 지지하기 위해서, 케이싱 (104)이 제공된다. 상기 케이싱 (104)은 측면 벽들 (106)에 부착된 후면 벽 (105)을 포함한다. 상기 측면 벽들은 한 말단이 상기 후면 벽 (105)에 그리고 상기 측면 벽들의 반대편 말단들은 상기 터칭 표면 (101), 스크린 (102) 및 확산 레이어 (103)에 부착된다. 상기 스크린 (102)의 배경 조명을 위해서 상기 케이싱 (104) 내에 배경 광 소스 (108)가 위치할 수 있을 것이다. 상기 배경 광 소스 (108)는, 예를 들면, LED 광, 광 컨덕터, 형광, 및 발광 (luminescence light) 중 하나 이상을 포함할 수 있을 것이다.
대안의 실시예에서, 상기 확산 레이어 (103)는 생략된다. 고르게 조명하는 배경 광이 LCD 필름 (102) 상 조명의 고른 범위를 자체적으로 제공하는 발광에 의해서 제공될 때 특히 그렇다.
스크린에 그리고 최종적으로는 상기 시스템의 사용자에게 최대 양의 광을 배달하기 위해서 상기 측면 벽들 (106)은 몇몇의 반사성 물질로 내부 측면으로부터 코팅될 수 있을 것이다. 상기 반사성 측면 벽들에 의해서, 상기 스크린 (102) 뒤의 카메라에 의해서 캡쳐된 IR 이미지에서 배경 광을 초래할 수 있을 그림자들을 피하거나 또는 적어도 줄일 수 있을 것이다. 상기 광이 사용자들에게 확산될 수 있어서 사용자들이 그 스크린을 통해서 상기 시스템 내부의 상세한 것들을 보는 것을 허용하지 않으면서 그리고 동시에 상기 시스템을 보는 각도를 향상시키는 방식으로, 상기 반사성 측면 벽들은 배경 광을 스크린으로 운반하는데 있어서 또한 도움이 될 수 있을 것이다. 상기 반사성 측면 벽들 (또는 반사성 케이싱)에 추가로, 상기 확산 레이어 (103)는 이 효과를 달성하는 것을 도울 수 있을 것이다. 더 상세하게는, 상기 측면 벽들은 예를 들면 거울 벽들일 수 있을 것이며, 이 경우에 이미지 레이어 상의 이미지의 특히 양호한 일관성이 달성될 수 있을 것이다.
상기 케이싱 내부에, 이 특별한 경우에, 상기 확산 레이어 (103), 스크린 (102) 그리고 상기 터칭 표면 (101)를 통해서 상기 터칭 표면 (101)에 또는 가까이에 위치한 어떤 물체들을 보도록 구성된 IR 카메라인 이미지 캡쳐 유닛 (107)이 존재한다. 도 1에서 또한, IR 카메라를 위한 IR 광 수납 공간 (107')이 점이 찍힌 영역으로서 도시된다. 상기 카메라는 눈에 보이는 광 파장들 외부에 있는 신호들을 탐지하도록 구성된다. 카메라의 렌즈 전면에 예를 들면 필터가 존재하여 이 효과를 제공한다. 상기 카메라는 예를 들면 CCD (charge-coupled device) 또는 CMOS (complementary metal-oxide-semiconductor) 기술을 기반으로 할 수 있을 것이다. 더욱이, 이 이미지 캡쳐 유닛 (107)은, 예를 들면, 더 양호한 해상도를 위해서, 스크린과 카메라 사이의 더 작은 거리를 위해서, 또는 더 큰 LCD 스크린들 (102)을 커버하기 위해서 하나 이상의 카메라를 포함할 수 있을 것이다.
상기 배경 광 소스 (108)와 상기 확산 레이어 (103) 사이의 거리는 카메라 셋업이 필요로 하는 공간에 종속적인 것이 보통일 것이다. 예를 들면 상기 카메라를 전방으로 이동시키고 그리고/또는 (스크린으로부터 멀어지는 포인트로) 그 카메라를 주변으로 회전시켜서 그리고 스크린 상 동작들을 캡쳐하기 위해서 상기 카메라 앞의 거울이나 또는 프리즘을 이용하여, 상기 거리는 더욱 컴팩트한 크기의 시스템을 위해서 더 짧아질 수 있을 것이다
대안으로, 상기 이미지 캡쳐 유닛 (107)은 상기 스크린 (102)의 각 픽셀 또는 픽셀 블록을 통해서 인입하는 (incoming) 광의 강도 (intensity)를 인식하기 위해서 평면 위로 확산된 여러 센서들을 가진 평면 감지 구조로 형성될 수 있을 것이다. 그런 구조는 주변의 약한 IR 조명 하에서 LCD 스크린에 배경 조명을 하기 위한 그리고/또는 LCD 스크린의 앞에 있는 물체들에 조명을 하는 목적을 위해서 스크린 (102) 뒤 가시 광 및/또는 IR 조명으로서 또한 두 배로 할 수 있을 것이다. 이미지 캡쳐 유닛 (107)으로서 동작하는 평면 감지 구조의 경우에, 도 1에서 도시된 것과 같은 IR 광 수납 공간 (107')이 존재하지 않지만, 그러나 그 대신에 상기 스크린과 상기 이미지 캡쳐 유닛 사이에 작은 평행한 공간이 존재할 뿐이다. 또한, 상기 이미지 캡쳐 유닛은 상기 이미지 평면, 예를 들면, 상기 스크린으로 직접 통합될 수 있을 것이다.
상기 카메라 (107) 및 상기 IR LED들 (110)의 그림자가, 예를 들면, 배경 광들로부터 오는 고도로 확산된 조명으로 인해서 무시되면 그리고 상기 시스템의 반사성 내부 측면이 디스플레이 표면의 고른 추가의 조명을 제공하기 때문에, 그 카메라 (107) 및 IR LED들 (110)은 상기 시스템의 외부로부터는 보이지 않을 수 있을 것이다. 또한, 상기 확산 레이어 (103)는 사용자들이 상기 시스템 내부로부터 어떤 상세한 것들을 보는 것을 방해할 수 있을 것이다.
IR 이미지 캡쳐 유닛으로서의 카메라는 평면적인 조명 및 감지 엘리먼트에서 보통 사용되는 복수의 방사체/탐지기 쌍들보다 더욱 경제적인 해결책을 제공하는 것이 보통이다. 첫 번째로, 하나의 카메라에 의해서 커버되는 영역은 상대적으로 많은 개수의 방사체/탐지기 쌍들을 필요로 하는 것이 보통이며 그래서 상대적으로 많은 개수의 컴포넌트들 및 와이어들을 초래한다. 두 번째로, 상기 시스템 생산은 카메라가 사용될 때에 더욱 단순할 수 있을 것이다. 반면에, 평면적인 이미지 캡쳐 유닛에서 방사체/탐지기 쌍들을 사용함으로써, 상기 시스템의 크기는 줄어들 수 있을 것이며 그리고 상기 스크린 (102)에 관하여 원하는 각도로 카메라를 정확하게 위치시키고 방향을 정할 필요성이 존재하지 않는다.
상기 시스템 (100)은 상기 후면 벽으로부터의 그리고 또한 상기 카메라 (107)의 전면에 있는 엘리먼트들로부터의 IR 광의 반사를 줄이도록 구성된 IR 반사 억제기 (109)를 더 포함할 수 있을 것이다. 상기 IR 반사 억제기 (109)는, 예를 들면, 상기 배경 광 소스 (108) 주위에 또는 상기 배경 광 소스 (108) 뒤에 위치한 그을린 알루미늄 플레이트과 같은 검정 플레이트를 포함할 수 있을 것이다. 대안으로, 상기 IR 반사 억제기 (109)는 선택식의 스크린을 상기 배경 광 소스 (108)와 상기 IR 광 수납 공간 (107') 사이에 추가로 또는 대안으로 포함할 수 있을 것이다
추가로 상기 시스템 (100)은 IR 파장들 상에서 입력 탐지를 용이하게 하기 위해 IR 광 소스들과 같은 보이지 않는 광 소스들 (110)을 포함한다. 상기 보이지 않는 광 소스들은 예를 들면 상기 이미지 캡쳐 유닛의 시야각 외부에 위치한 IR LED들을 포함할 수 있을 것이다. 상기 카메라가 이미지 캡쳐 유닛으로서 사용되는 경우에, 상기 보이지 않는 광 소스들 (110)은 상기 카메라의 시야 영역에 의해서 형성된 원뿔 외부에 위치할 수 있을 것이다. 반면에서, LCD 스크린 뒤에 또는 LCD 스크린에 통합된 평면형 이미지 캡쳐 유닛이 사용되면, 상기 LCD 스크린 그 자체는 자신의 시야 영역을 가로질러 IR 조명을 제공하도록 구성될 수 있을 것이며 또는 상기 IR 조명은 상기 LCD 스크린을 통해서 첫 번째로 통과하지 않고도 LCD 스크린에서 물체들에 조명을 비추게 생성되도록 구성될 수 있을 것이다.
상기 시스템 (100)은 사용자 (113)에게 가청 신호들을 제공하기 위한 오디오 스피커 (114)를 더 포함할 수 있을 것이다. 상기 시스템은, 예를 들면, 동작 가능한 시스템의 사용자 경험을 강화하기 위해 상기 터칭 표면 (101) 상의 결정된 태핑 (tapping)을 표시하기 위해서 태핑 사운드를 제공하도록 구성될 수 있을 것이며 그리고 포인팅 물체 (112)의 인식이 광학적으로 수행될 때에 상기 터칭 표면에 대하여 실질적인 힘을 가할 필요가 없다는 것을 사용자들에게 가르치도록 구성될 수 있을 것이다.
도 1이 단일의 카메라만을 보여주지만, 본 발명의 몇몇의 실시예들은 카메라들 (107)의 매트릭스 및 보이지 않는 광 소스들 (110)이 존재한다는 것을 가정할 때에 더 쉽게 이해된다. 예를 들면, 8열 x 4행의 카메라들 (107) 그리고 각각이 상기 터칭 표면 (101)의 상이한 서브-구역들을 커버하는 보이지 않는 광 소스들이 존재할 수 있을 것이다. 상기 상이한 서브-구역들은 겹칠 수 있을 것이며 또는 상기 상이한 서브-구역들은 겹치지 않을 수 있을 것이다.
도 2는 상기 제어 유닛 (111) 구조의 간략화된 블록 도면을 보여준다. 상기 제어 유닛 (111)은, 예를 들면, 적합한 소프트웨어가 공급된 범용 컴퓨터를 기반으로 그리고/또는 특별하게 적응된 컴퓨팅 기기를 기반으로 할 수 있을 것이다. 순전히 하드웨어 기반의 기기에 의해서 상기 제어 유닛 (111)을 구현하는 것이 가능하지만, 보통은 소프트웨어를 이용하여 생성하는 것이 더욱 경제적이고 더 빠르다.
도 2에서, 상기 제어 유닛 (111)은 작업 메모리 (202), 소프트웨어 (204), 상기 시스템 (100)에 의해서 제시될 콘텐트 그리고/또는 상기 스크린 상 상이한 영역들에서의 포인팅이 어떻게 취급되어야만 하는지를 기술하는 프레젠테이션 정보 (205), 그리고 예를 들면, 상기 시스템 (100)의 수동의 또는 자동적인 캘리브레이션을 위해서 필요한 세팅들 (206)을 저장하도록 구성된 비-휘발성 메모리 (203)를 포함하는 메모리 (201)를 포함하는 것으로 도시된다. 상기 소프트웨어 (204)는 다음의 아이템들 중 하나 또는 그 이상을 포함할 수 있을 것이다: 오퍼레이팅 시스템, 디바이스 드라이버들, 디스플레이 프레젠테이션 애플리케이션, 하이퍼텍스트 마크업 언어 파서, 이미지 프로세싱 소프트웨어, 그리고 프린터들, 추가 디스플레이들, 추가의 대화식 시스템들 (100), 오디오 시스템들, 그리고 외부 IR 조명 장비 (도시되지 않음)와 같은 시스템에 연결될 수 있을 상이한 외부 장비를 위한 드라이버들.
상기 제어 유닛 (111)은 상기 작업 메모리 (202) 내 소프트웨어에 의해 포함된 컴퓨터 실행가능 프로그램 코드를 실행함으로써 상기 소프트웨어 (204)에 따라서 상기 제어 유닛 (111)의 동작을 제어하도록 구성된다. 대안으로, 상기 제어 유닛은 상기 비-휘발성 메모리 내 제 자리에 있는 소프트웨어를 실행하도록 구성될 수 있을 것이며, 이 경우에 상기 작업 메모리는 필요하지 않을 수 있을 것이다. 상기 제어 유닛은 상기 시스템 (100)의 다른 엘리먼트들과 그리고 또한 옵션으로 외부 장비와 신호들을 교환하기 위한 입력/출력 유닛 (I/O) (208)을 더 포함한다. 상기 I/O (208)는, 예를 들면, 범용 직렬 버스 포트, 로컬 영역 네트워크 포트, ISA 버스, PCI 익스프레스 포트, IR 포트, 블루투스 엘리먼트, 그리고 병렬 포트 중 어떤 하나 또는 그 이상을 포함할 수 있을 것이다. 외부 장비와 통신할 수 있도록 구성되는 것에 대안으로, 상기 시스템 (100)에게는, 예를 들면, 상기 LCD 스크린 (102) 상에 디스플레이될 정보를 업데이트하기 위한 비-휘발성 메모리의 일부를 대체할 수 있는 CD-ROM 또는 DVD-ROM, 메모리 카드 리더기 또는 메모리 스틱 리더기와 같은 전달할 수 있는 메모리 수납 유닛 (209)이 제공될 수 있을 것이다.
상기 시스템의 다양한 컴포넌트들의 동작을 제어하기 위해서 그리고 캡쳐 이미지를 얻기 위해서, 상기 제어 유닛 또는 특별하게는 그 제어 유닛의 입력/출력 유닛 (208)과 상기 시스템 (100)의 다른 컴포넌트들 사이에서 결합들이 존재하며, 이는 도면의 간명함을 위해서 도시되지는 않는다. 상기 제어 유닛은 상기 카메라 (107)로부터 신호를 수신하고, 상기 터칭 표면 (101)이 포인팅 되었는가 그리고 터칭 표면의 어느 곳에 포인팅 되었는가를 탐지하며 그리고 표준의 방식으로, 예를 들면, 컴퓨터 그림 타블렛, 마우스 또는 다른 알려진 포인팅 디바이스를 에뮬레이트하여 그 판별을 또한 출력하는 태스크를 가지는 것이 보통이다.
일반적으로, 상기 제어 유닛 동작은 다음의 행동들을 포함할 수 있을 것이다:
- 원하는 이미지들을 상기 사용자 (113)에게 보여주도록 상기 스크린을 제어;
- 사용자 (113)의 손가락 같은 포인팅 물체 (112)를 상기 스크린에 가깝게 가져왔을 때에 그 포인팅 물체를 보여달라는 IR 광 온 디맨드 (on demand)를 생성하기 위해서 IR 광들 (110)을 제어;
- 상기 이미지 캡쳐 유닛 (107)으로부터 수신한 IR 광에 대응하는 신호들 획득;
- 상기 수신한 신호들로부터 상기 터칭 표면 (101)에서 포인팅 물체를 탐지;
- 상기 탐지된 입력을 기반으로 하여 미리 정의된 행동을 수행, 예를 들면, 스크린 (102) 상에 디스플레이된 이미지를 변경 또는 상기 포인팅 물체가 탐지된 영역과 연관된 하이퍼링크를 따라간다; 그리고/또는
- 주변 IR 광의 양을 탐지하고 그에 따라서 상기 IR 광들을 제어.
상기 제어 유닛이 하나의 분리된 유닛으로 구성될 수 있지만, 상기 제어 유닛 (111)은 어떤 다른 엘리먼트와 대안으로 통합될 수 있을 것이며 또는 각각이 전술한 행동들 중 하나 또는 그 이상의 행동들에 대한 것인 둘 또는 그 이상의 개별 엘리먼트들을 포함할 수 있을 것이다.
도 3a는 터칭 표면 (101)을 복수의 서브-구역들로 분배하는 예를 보여준다. 상기 서브-구역들은 8 x 4 행렬을 형성하는 것으로 그려지고 그리고 1-1 내지 4-8의 참조 사인들로 표시된다. 상기 서브-구역들은 대화식 디스플레이 기기 (예를 들면, 분리된 벽들을 구비한)로 형성된 상이한 구획에 대응할 수 있을 것이며 또는 상기 서브-구역들은 상이한 이미지 캡쳐 유닛들 (107)에 의해서 보이는 것과 같은 터칭 표면의 상이한 부분들을 단순하게 나타낼 수 있을 것이다. 몇몇의 다른 실시예들에서, 상이한 서브-구역들 사이의 몇몇의 경계들은 구획화하는 벽들을 가지며 반면에 몇몇의 다른 서브-구역들은 구획화되지 않는다. 상이한 서브-구역들을 분리하는 벽들이 없는 경우에, 주어진 서브-구역에 조명을 비추도록 구성된 상기 보이지 않는 광 소스들 (110)이 이웃하는 서브-구역들에 어느 정도는 또한 조명을 비출 수 있을 것이라는 것을 본 발명자들은 이해한다. 특히 이는 사용자의 신체가 상기 터칭 표면에 가까이에 있고 그리고 그 사용자가 상기 보이지 않는 광 소스들 (110)에 의해서 전송된 보이지 않는 광의 상당한 부분을 반사하는 광 의류를 입을 때의 경우일 수 있다. 결과적으로, 이웃하는 서브-구역들은 터치 탐지를 서로 극심하게 방해할 수 있을 것이다.
도 4는, 예를 들면, 도 3a에서 보이는 서브-구역들을 구현하기 위해서 적합한 가능한 회로들에 관한 추가의 상세한 것들을 보여준다. 그러나, 프로세스 설명이 도 3b에 관련하여 먼저 제시된다.
도 3b는 IR 이미지 캡쳐 유닛 (107)에 의해서 또는 복수의 이미지 캡쳐 유닛들 (107)에 의해서 더욱 정밀하게 캡쳐된 IR 이미지로부터 포인팅 물체를 결정하는 프로세스를 도시하기 위한 본 발명의 실시예에 따른 개략적인 흐름도를 보여준다. 상기 이미지 캡쳐 유닛들 (107)이 CMOS 카메라들과 같은 롤링 셔터 (rolling shutter) 카메라들이라고 가정한다. 다른 말로 하면, 상기 이미지는 행 단위 (row-by-row) 기반으로 형성된다. 이 동작은 움직이는 물체들의 사진들을 찍기 위해서 특히 몇몇의 반대의 효과들을 가지지만, 여기에서 새로운 유리함들이 얻어질 수 있을 것이다. 상기 이미지 캡쳐 유닛들 (107)이 연속으로 동작되어서, 일단 제일 위에 있는 행에 있는 이미지 캡쳐 유닛 (107)이 하나의 서브-구역의 하나의 이미지를 찍는 것을 완료하면, 바로 밑의 이미지 캡쳐 유닛이 다른 서브-구역의 다음 이미지를 찍는 것을 시작할 수 있도록 하는 것을 고려한다. 예를 들면, 각 이미지 캡쳐 유닛은 행 단위로 동작하고 그리고 다음 열로 진행하도록 구성될 수 있을 것이다. 다음에, 두 개의 상이한 이미지 캡쳐 유닛들 (107)이 공간적으로 이웃한 간섭을 축소하는 병렬 동작을 도시하기 위해서 동시에 사용되는 예시의 프로세스가 설명된다.
단계 301에서, 포인팅 물체들 (112)을 탐지하기 위한 프로세스가 시작되며 그리고 상기 보이지 않는 광 소스들 및 카메라 유닛들은 첫 번째 (보통은 인접하지 않은) 서브-구역들, 말하자면 서브-구역들 1-1 및 3-5에 대해서 활성화된다. 이 서브-구역들은 바람직하게는 모든 서브-구역들이 프로세싱되었을 때에 이어지는 프로세싱을 위해서 조명을 받으며 그리고 이미지 캡쳐된다.
다음에 단계 302에서, 이어지는 서브-구역들이 서브-구역들의 프로세싱 순서를 따라서 참조번호 301의 단계에서 첫 번째 서브-구역들로서 선택되고 그리고 프로세싱된다. 두 개보다 더 많은 (또는 더 적은) 서브-구역들이 동시에 프로세싱될 수 있을 것으로 이해된다. 더욱이, 상기 서브-구역들은 정확하게 동시에 프로세싱될 필요는 없다; 상이한 서브-구역들의 병렬 프로세싱의 정확한 타이밍은 부분적으로 랜덤일 수 있을 것이며 또는, 예를 들면, 이미지를 캡쳐하는 구간의 반 (예를 들면, 1/60 초 / 2 = 1/120 초)과 같은 주어진 시간 오프셋이 존재할 수 있을 것이다. 레퍼런스로서 도 3을 사용하면, 상기 서브-구역들은 각 수직 열 (column)을 통해서 다음의 열로 그리고 마지막 열 이후에는 첫 번째 열로 거꾸로 점프하여 스캔될 수 있을 것이다. 물론, 몇몇의 다른 실시예들에서, 상기 스캐닝은 열 (column)들보다는 행 (row)들을 따라서 진행할 수 있을 것이다. 바람직한 실시예에서, 롤링 셔터 카메라들이 사용되면, 그 스캔 순서는 상기 동작이 하나의 서브-구역 그리고 그것의 카메라로부터 상기 롤링 셔터의 진행 방향을 고려한 다음으로 진행될 수 있어서 매끄러운 진행이 달성될 수 있도록 하는 순서이다. 그러므로, 롤링 셔터 이미지들이 일시적인 혼란들을 겪을 수 있을 곳인 현재의 시스템들과는 같지 않은 복수의 인접한 서브-이미지들을 결합함으로써 이미지들에 있어서 아무 구멍들도 또는 다른 불연속성들이 존재하지 않아야 한다.
그러면 모든 서브-구역들이 이미 캡쳐되었는가에 대해서 참조번호 303에서 체크된다. 캡쳐되지 않았다면, 그 프로세스는 302 단계에서 다시 시작되며, 그렇지 않다면 그 프로세스는 단계 304로 진행한다.
단계 304에서, 모든 상이한 서브-구역들을 기반으로 하여 전체 터칭 표면 (101)에 대해서 이미지가 형성된다. 이 단계 (304)는 도 3b에 도시된 모든 서브-구역들의 프로세싱 이후에 수행될 수 있을 것이다. 대안으로, 미리 정해진 개수의 서브-구역들이 프로세싱될 때에 또는 미리 정해진 문턱값이 충족될 때에 단계 303이 수행될 수 있을 것이다.
둘 또는 그 이상의 서브-구역들을 시간적으로 병렬인 방식으로 프로세싱하여, 더 많은 개수의 카메라들이 고려될 수 있을 것이며 그리고/또는 변경된 보이지 않는 조명 강도로 각 서브-구역의 상이한 이미지들을 찍는 것처럼 다른 향상들이 적용될 수 있을 것이다. 그러나, 사용자로부터의 반사들을 피하기 위해서, 상기 서브-구역들에 하나 하나씩 조명을 비추고 그리고 이미징 (imaging)함으로써 최선의 결과들이 얻어지는 것이 보통이다.
알려진 기술들 중 어떤 것을 이용하여 상기 포인팅 물체(들) (112)이 탐지될 수 있을 것이다. 예를 들면, 공동으로 계속하는 특허 출원들 PCT/FI2010/050082 및 PCT/FI2008/050475에서 개시된 방법들이 채택될 수 있을 것이다.
도 4는 도 3a에서 보여진 서브-구역들을 구현하기 위해서 가능한 회로들에 관한 추가적인 상세한 것들을 도시하기 위해 시스템 (410)을 보여준다. 도 4는 상기 회로가 어떻게 많이 간략화될 수 있을 것인가를 또한 분명하게 한다. 상기 이미지 캡쳐 유닛들 (107)이 약간 상이한 시간의 순간들에 상기 이미지의 상이한 부분들에 대해서 이미지 픽셀들을 생성할 때에, 이 간략화는 상기 이미지 캡쳐 유닛들 (107)의 롤링 셔터 속성의 유리함들을 얻는다
상기 시스템 (410)에서, 몇몇의 이미지 캡쳐 유닛들 (107)은 어레이로의 하나 또는 그 이상의 회로 보드들로 배치된다. 간략함을 위해서, 상기 이미지 캡쳐 유닛들 (107)은 이제 카메라들 (107)로 언급된다. 상기 어레이에서, 하나 또는 그 이상의 카메라들 (107)이 하나의 공통 카메라 유닛 (420)으로서 연결된다.
상기 공통 카메라 유닛 (420)은 상기 카메라들 (107) 각각과 통신 가능하게 연결된 필드-프로그래머블 게이트 어레이(FPGA) (422)를 포함한다. 상기 FPGA (422)는 상기 카메라들 (107)과 동기화하도록 구성되며, 그래서 인접한 카메라들 (107)에 의해서 형성된 이미지가 상기 롤링 셔터를 고려하면서 계속해서 형성되도록 한다. 즉, 하나의 카메라 (107)는 먼저 첫 번째 이미지를 노출시키고 그리고 상기 FPGA (422)는 그 첫 번째 이미지를 스캔 아웃 (scan out)한다. 다른 카메라 (107)는 두 번째 이미지를 노출시켜서, 상기 FPGA (422)가 상기 첫 번째 이미지 이후에 연속하여 그 두 번째 이미지를 스캔 아웃하도록 하며, 즉, 상기 첫 번째 이미지를 스캔 아웃한 이후에 그리고 상기 두 번째 이미지를 스캔 아웃하기 이전에 어떤 의미 있는 지연도 존재하지 않도록 한다. 상기 공통 카메라 유닛 (420)이 카메라들 (107)의 행렬을 포함하면, 그러면 상기 FPGA (422)는 상기 공통 카메라 유닛 (420) 중의 카메라들 (107)을 제어하여 (도 4에서 수평으로 또는 수직으로) 롤링 셔터 동작의 방향으로 하나씩 스캔 아웃되도록 한다. 그래서 상기 카메라들 (107)은 행 단위로, 열 단위로, 또는 몇몇의 다른 순서로 스캔 아웃된다. 상기 스캔-아웃 동작들의 타이밍은 상기 FPGA (422)가 상이한 카메라들 (107)로부터의 이미지 데이터를 실질적으로 연속하는 데이터 스트림으로서 수신하도록 하는 방식일 수 있다.
상기 시스템 (410)은 하나 또는 그 이상의 공통 카메라 유닛 데이터 버스들 (430)을 더 포함하며, 그 버스들을 통해서 상기 FPGA (422)는 상기 데이터 스트림을 그 이후의 프로세싱을 위해서 통과시킨다. 상기 공통 카메라 유닛 데이터 버스들 (430)은 모든 FPGA들 (422)로부터의 이미지 데이터를 그 FPGA에 연결된 곳으로 전송할 수 있도록 구성된 데이터 채널들이다.
인터페이싱 유닛 (440)이 상기 공통 카메라 유닛 데이터 버스들 각각에 연결되며 그리고 모든 이미지 데이터 그리고 필요한 메타데이터를 통과시키도록 구성된다. 상기 메타데이터는, 예를 들면, 문제의 이미지 데이터를 보낸 카메라 (107)의 신원 (identification)을 포함한다. 상기 메타데이터는 보통은 상기 FPGA (422)에 의해서 제공된다.
상기 인터페이싱 유닛 (440)은 (FPGA 회로, 중앙 프로세싱 유닛, 디지털 신호 프로세서 등과 같은) 협력 프로세서 (442), 데이터 입력 포트 (444) 그리고 상기 FPGA들 (422)을 제어하기 위한 혹시나 있을 수 있는 제어 출력 포트 (446)을 포함할 수 있을 것이다.
상기 인터페이싱 유닛은 상대적으로 작은 버퍼 메모리 (4482)를 포함할 수 있을 데이터 출력 포트 (448)를 더 포함하여, 예를 들면, 상기 이미지 데이터를 수신하는 (도시되지는 않은 컴퓨터와 같은) 보조 기기 그리고 상기 시스템 (410) 사이의 접속 (450)을 통해서, 데이터가 변조된다면 재전송들을 허용하도록 한다.
데이터가 카메라 (107)로부터 스캔 아웃될 때에, 연관된 FPGA (422)는 잠재적으로 그 카메라 (107)의 신원과 함께 상기 데이터를 수신하여 포워딩하며, 그리고 상기 인터페이싱 유닛 (440)은 상이한 FPGA들 (442)로부터 수신한 이미지 데이터를 더 전달한다. 이 모든 것은 상기 스캔-아웃한 이미지 데이터를 버퍼링하고 그리고 재-버퍼링할 필요 없이 발생할 수 있을 것이다.
상기 공통 카메라 유닛들은 모두 메모리 버퍼들이 없으며, 그에 반하여, 보통의 구현에서, 상기 FPGA들 (422) 각각은 적어도 하나의 전체 이미지 프레임을 저장하기에 충분할 정도로 큰 메모리 버퍼와 연관될 수 있을 것이다. 그래서, 상기 시스템 (410)은 메모리 버퍼들이 제공되는 대안의 구현에 비교하여 제조 및 유지가 더욱 저렴하고 더 빨라지며 그리고 있을 수 있는 문제점들을 디버깅하는 것이 또한 향상된다는 유리함들로 간략해질 수 있다. 그런 대안의 구현은, 예를 들면, 어떤 이유로 인해서 빠른 데이터 버스들이 필요하지 않을 때에 더욱 유리할 수 있을 것이다.
상기 터칭 표면 (101)을 복수의 서브-구역들로 논리적으로 분할하고 그리고 상이한 서브-구역들을 시간적으로 분리하여 프로세싱하여, 예를 들면, 사용자의 의복으로부터의 해로운 반사들이 크게 줄어들 수 있을 것이라는 것이 인정된다. 특히, 그 사용자로부터의 대각선의 반사들이 줄어들 수 있을 것이며, 그래서 상기 포인팅 물체들에 의해서 반사된 광 마크들 또는 그림자들은 접촉되지 않을 것으로 간주되는 주변 영역들보다 더 양호한 대비 (contrast)를 가지도록 한다.
본 명세서에서, 포함한, 함유하는 그리고 담고 있는 단어들 각각은 어떤 의도된 배타성을 가지지 않는 오픈-엔드 (open-ended)로서 사용되는 것이라고 인정되어야만 한다. 더욱이, 여기에서의 광 (light)의 용어는 방사 (radiation)와 교체될 수 있다. 적외선 광이 특별한 경우에 사용되었지만, 이 용어를 사용한 것은 상기 광이라는 용어가 인간의 눈에 의해서라는 것을 지각하기에 적당함을 의미하기 위한 의도는 아니라는 설명의 편의만을 위한 것일 뿐이다.
전술한 설명은 본 발명을 수행하기 위해서 본 발명자들에 의해서 현재에 숙고된 최선 모드 (best mode)의 전체적인 그리고 정보를 제공하는 설명을, 본 발명의 특별한 구현들 및 실시예들의 비-한정적인 예들을 거쳐서 제공하였다. 그러나, 본 발명은 상기에서 제시된 실시예들의 상세한 내용들로 제한되는 것이 아니며, 본 발명은 본 발명의 특징들로부터 벗어나지 않으면서도 동등한 수단을 이용하여 다른 실시예들에서 구현될 수 있을 것이라는 것이 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자에게는 명백하다.
또한, 본 발명의 상기-개시된 실시예들 중 몇몇은, 다른 특징들을 대응하여 이용하지 않으면서도 이익을 주기 위해서 사용될 수 있을 것이다. 그처럼, 전술한 설명은 본 발명의 원칙들의 단순한 예시이며, 본 발명을 제한하려는 것이 아닌 것으로 고려되어야 한다. 그래서, 본 발명의 범위는 첨부된 특허 청구범위에 이해서만 제한된다.

Claims (15)

  1. 대화식 (interactive) 디스플레이 기기 (100)로서,
    지각할 수 있는 시각적인 콘텐트를 사용자에게 제공하도록 구성된 이미지 레이어 (102);
    상기 이미지 레이어 (102)를 덮거나 또는 상기 이미지 레이어 (102)에 의해서 형성된 터칭 표면 (101)을 포함하며,
    상기 터칭 표면 (101)의 상이한 서브-구역들 (1-1, 1-2, ..., 4-8)에 교대로 조명을 비추도록 구성된 복수의 보이지 않는 광 소스들 (110);
    조명이 비추어진 서브-구역들 (102)의 이미지를 캡쳐하도록 구성된 복수의 터치 탐지 유닛들 (107);
    포인팅 물체 (112)가 상기 터칭 표면 (101)에 접촉하며 그래서 상기 캡쳐된 이미지들 내에 대응하는 하나 이상의 마크들을 발생하게 하는 접촉 영역들을, 상기 캡쳐된 이미지들로부터 탐지하도록 구성된 제1 프로세서 (207); 및
    상기 터칭 표면 부근의 비-접촉 물체들로부터의 보이지 않는 광의 원하지 않는 반사들을 줄이기 위해서 상기 보이지 않는 광 소스들 (110) 중 적어도 하나를 동작 가능하게 제어하며, 상기 보이지 않는 광 소스들 (110) 중 나머지 하나 하나들은 동작하지 않도록 제어하도록 구성된 제2 프로세서 (207)를 포함하는 것을 특징으로 하는 대화식 디스플레이 기기.
  2. 제1항에 있어서,
    공통 프로세서가 상기 제1 프로세서 및 제2 프로세서 (207) 둘 모두로서 동작하는 것을 특징으로 하는 대화식 디스플레이 기기.
  3. 제1항 또는 제2항에 있어서,
    상기 보이지 않는 광은 적외선 광인 것을 특징으로 하는 대화식 디스플레이 기기.
  4. 제1항 내지 제3항 중의 어느 한 항에 있어서,
    상기 터치 탐지 유닛들은 그리드 (grid)로 배치된 것을 특징으로 하는 대화식 디스플레이 기기.
  5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
    상기 터치 탐지 유닛들은 롤링 셔터 (rolling shutter) 카메라 유닛들을 포함하는 것을 특징으로 하는 대화식 디스플레이 기기.
  6. 제5항에 있어서,
    상기 롤링 셔터 카메라 유닛 이미지 캡쳐 동작들은,
    상기 롤링 셔터 동작이 하나의 롤링 셔터 카메라 유닛으로부터 다른 롤링 셔터 카메라 유닛으로 확대되는 방식으로 동기화되는 것을 특징으로 하는 대화식 디스플레이 기기.
  7. 제1항 내지 제6항 중의 어느 한 항에 있어서,
    상기 터치 탐지 유닛들 (107)은 상기 이미지 레이어 (102) 뒤로부터 이미지들을 캡쳐하도록 구성된 것을 특징으로 하는 대화식 디스플레이 기기.
  8. 대화식 (interactive) 디스플레이 기기에서의 방법으로서,
    지각할 수 있는 시각적인 콘텐트를 이미지 레이어 (102) 상에 사용자에게 제공하며, 상기 이미지 레이어를 덮거나 또는 상기 이미지 레이어 (102)에 의해서 형성되는 터칭 표면(101)이 존재하며;
    보이지 않는 복수의 광 소스들 (110)로 상기 터칭 표면 (101)의 상이한 서브-구역들 (1-1, 1-2, ..., 4-8)에 교대로 조명을 비추며;
    조명이 비추어진 서브-구역들 (1-1, 1-2, ..., 4-8)의 이미지들을 터치 탐지 유닛들 (107)로 캡쳐하며, 이때에 상기 보이지 않는 광 소스들 (107)의 각각은 하나 이상의 터치 탐지 유닛들 (107)과 연관되며;
    포인팅 물체 (112)가 상기 터칭 표면 (101)에 접촉하며 그래서 상기 캡쳐된 이미지들 내에 대응하는 하나 이상의 마크들을 발생하게 하는 접촉 영역들을, 상기 캡쳐된 이미지들로부터 탐지하며; 그리고
    상기 터칭 표면 부근의 비-접촉 물체들로부터의 보이지 않는 광의 원하지 않는 반사들을 줄이기 위해서 상기 보이지 않는 광 소스들 (110) 중 적어도 하나를 동작 가능하게 제어하며, 상기 보이지 않는 광 소스들 (110) 중 나머지 하나 하나들은 동작하지 않도록 제어하는 것을 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 서브-구역들 (1-1, 1-2, ..., 4-8)의 롤링 셔터 이미지들을 찍고 그리고 그 이미지들을 캡쳐하는 것을 하나의 서브-구역 (1-1, 1-2, ..., 4-8)으로부터 다른 서브-구역으로 나아가게 하는 것을 더 포함하여, 상기 롤링 셔터 동작이 하나의 서브-구역 (1-1, 1-2, ..., 4-8) 그리고 연관된 터치 탐지 유닛 (107)으로부터 인접한 서브-구역 (1-1, 1-2, ..., 4-8) 및 연관된 터치 탐지 유닛 (107)으로 확대되도록 하는 것을 특징으로 하는 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 보이지 않는 광은 적외선 광인 것을 특징으로 하는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 터치 탐지 유닛들은 그리드로 배치된 것을 특징으로 하는 방법.
  12. 제8항 내지 제11항 중의 어느 한 항에 있어서,
    상기 터치 탐지 유닛들은 롤링 셔터 카메라 유닛들을 포함하는 것을 특징으로 하는 방법.
  13. 제12항에 있어서,
    상기 롤링 셔터 동작이 하나의 롤링 셔터 카메라 유닛으로부터 다른 롤링 셔터 카메라 유닛으로 확대되는 방식으로 상기 롤링 셔터 카메라 유닛 이미지 캡쳐 동작들이 동기화되는 것을 특징으로 하는 방법.
  14. 제8항 내지 제13항 중의 어느 한 항에 있어서,
    상기 터치 탐지 유닛들 (107)은 상기 이미지 레이어 (102) 뒤로부터 이미지들을 캡쳐하도록 구성된 것을 특징으로 하는 방법.
  15. 저장된 컴퓨터 실행가능 프로그램 코드를 구비한 비-일시적 컴퓨터 독출가능 매체를 포함한 컴퓨터 프로그램 제품으로서,
    상기 프로그램 코드가 적어도 하나의 프로세서에 의해서 실행되면 장치로 하여금 제8항 내지 제14항 중 어느 한 항에 따른 방법을 수행하도록 하는, 컴퓨터 프로그램 제품.
KR1020137018660A 2010-12-31 2010-12-31 대화식 디스플레이 KR101507458B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2010/051102 WO2012089894A1 (en) 2010-12-31 2010-12-31 Interactive display

Publications (2)

Publication Number Publication Date
KR20130105711A true KR20130105711A (ko) 2013-09-25
KR101507458B1 KR101507458B1 (ko) 2015-03-31

Family

ID=46382358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137018660A KR101507458B1 (ko) 2010-12-31 2010-12-31 대화식 디스플레이

Country Status (5)

Country Link
US (1) US9075482B2 (ko)
EP (1) EP2641148A4 (ko)
KR (1) KR101507458B1 (ko)
CN (1) CN103348306B (ko)
WO (1) WO2012089894A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425357A (zh) * 2013-09-04 2013-12-04 北京汇冠新技术股份有限公司 一种光学触摸屏的控制系统
JP6452103B2 (ja) * 2014-02-14 2019-01-16 キヤノン株式会社 画像表示装置及びその制御方法
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
CN106874866B (zh) * 2017-02-13 2019-09-03 京东方科技集团股份有限公司 显示装置及其控制方法
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
KR101006877B1 (ko) * 2002-08-29 2011-01-12 엔 트리그 리미티드. 투명 디지타이저
US20060132454A1 (en) 2004-12-16 2006-06-22 Deng-Peng Chen Systems and methods for high resolution optical touch position systems
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
CN100589070C (zh) * 2006-07-27 2010-02-10 广东威创视讯科技股份有限公司 抗干扰型红外触摸装置及定位方法
US8022941B2 (en) * 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8581852B2 (en) 2007-11-15 2013-11-12 Microsoft Corporation Fingertip detection for camera based multi-touch systems
KR20100121257A (ko) 2009-05-08 2010-11-17 삼성전자주식회사 멀티 인식 터치 패널 및 이를 적용한 디스플레이 장치
US8289300B2 (en) * 2009-07-17 2012-10-16 Microsoft Corporation Ambient correction in rolling image capture system

Also Published As

Publication number Publication date
WO2012089894A1 (en) 2012-07-05
EP2641148A1 (en) 2013-09-25
KR101507458B1 (ko) 2015-03-31
US9075482B2 (en) 2015-07-07
EP2641148A4 (en) 2014-04-23
CN103348306A (zh) 2013-10-09
US20130285987A1 (en) 2013-10-31
CN103348306B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
US8035612B2 (en) Self-contained interactive video display system
US7710391B2 (en) Processing an image utilizing a spatially varying pattern
KR101258587B1 (ko) 자체로서 완비된 상호작용 비디오 디스플레이 시스템
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
EP2335141B1 (en) Interactive display device with infrared capture unit
US9773475B2 (en) System and method for displaying layered images
KR20120080845A (ko) 광 감지 기능을 구비한 oled 디스플레이 장치
RU2014143033A (ru) Трехмерный дисплей для множества зрителей
KR101507458B1 (ko) 대화식 디스플레이
US8654103B2 (en) Interactive display
CN107222591A (zh) 影像传感器、相机模组和电子装置
JP5987395B2 (ja) 表示装置
KR20170122693A (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
KR101418305B1 (ko) 터치 스크린 장치
WO2010023348A1 (en) Interactive displays
JPH11134505A (ja) 画像抽出装置およびこれを用いた画像表示装置
JP7416231B2 (ja) 設置支援装置、設置支援方法、およびプログラム
JPH11136703A (ja) 画像抽出装置およびこれを用いた画像表示装置
TW201137705A (en) Optical touch display system and method thereof
TW201714064A (zh) 利用淺景深單元的觸控裝置
JP2016086215A (ja) 情報出力装置、情報出力方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 5