KR20160104743A - 영상-기반 인터랙티브 프로젝션 시스템 - Google Patents

영상-기반 인터랙티브 프로젝션 시스템 Download PDF

Info

Publication number
KR20160104743A
KR20160104743A KR1020167023498A KR20167023498A KR20160104743A KR 20160104743 A KR20160104743 A KR 20160104743A KR 1020167023498 A KR1020167023498 A KR 1020167023498A KR 20167023498 A KR20167023498 A KR 20167023498A KR 20160104743 A KR20160104743 A KR 20160104743A
Authority
KR
South Korea
Prior art keywords
image
screen
projector system
light
touching
Prior art date
Application number
KR1020167023498A
Other languages
English (en)
Inventor
아티드 샤마이
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160104743A publication Critical patent/KR20160104743A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G06K9/00—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

사용자와 프로젝션 시스템 사이의 상호작용을 개선시키기 위한 기법들이 제공된다. 사용자가 디스플레이 스크린을 터치하고 있는지 여부를 추론하기 위해 프로젝션 시스템 및/또는 방법이 이용된다. 일 실시예에서, 프로젝션 시스템은: 프로젝션 옵틱들, 정면 광, 후면 광 및 카메라를 포함한다. 이러한 엘리먼트들은 공유 하우징에 모두 내장될 수 있다. 정면 광은, 스크린 위를 호버링하는 물체(예컨대, 손가락 끝)가 카메라에 의한 조명 동안 캡쳐된 이미지 내에서 실질적으로 어떠한 섀도에 의해서도 둘러싸이지 않도록, 디스플레이 스크린의 정면에 있는 영역을 조명하도록 구성될 수 있다. 후면 광은, 스크린 위를 호버링하는 물체가 카메라에 의한 조명 동안 캡쳐된 이미지에서 섀도에 의해 둘러싸이도록, 디스플레이 스크린을 조명하도록 구성된다. 카메라는, (제 1 이미지를 생성하기 위해) 정면-광 조명 동안 스크린을 이미징하도록 구성되고, 또한 (제 2 이미지를 생성하기 위해) 후면-광 조명 동안 스크린을 이미징한다. 물체의 위치는 제 1 이미지에 적어도 부분적으로 기초하여 추정될 수 있다. (예를 들어, 영역에서의 픽셀들에 걸친 휘도 변화 및 그 영역에서의 극값이 밝음이었는지 아니면 음영이었는지의 식별을 특징화함으로써) 제 2 이미지에 적어도 부분적으로 기초하여 물체의 상태에 관한 추론이 행해진다. 예를 들어, 물체는: (1) 물체의 최상부를 둘러싸는 영역이 비교적 작은 휘도 변화에 의해 특징화되는 경우에는 스크린에 접근하고 있다고; (2) 휘도 변화가 크고 그 영역이 (섀도에 의해 야기된) 음영 극값(dark extremum)을 포함하는 경우에는 스크린 위를 호버링(hovering)하고 있다고; 그리고 (3) 휘도 변화가 크고 그 영역이 밝음 극값(light extremum)을 포함하는 경우에는 스크린을 터치하고 있다고 추론될 수 있다.

Description

영상-기반 인터랙티브 프로젝션 시스템{VISION-BASED INTERACTIVE PROJECTION SYSTEM}
관련 출원들에 대한 상호-참조
본 출원은, 2012년 10월 4일자로 출원된 미국 정규 출원 제13/645,390호 및 2011년 10월 7일자로 출원된 미국 가출원 제61/544,983호를 우선권으로 주장하며, 이들의 이점을 주장한다. 이들 참조들 각각은 모든 목적들을 위해 이로써 그 전체가 인용에 의해 본원에 포함된다.
프로젝터는, 학교들, 무역 박람회들, 비지니스들, 박물관들, 및 스크린이 대형 표면상에 보여질 필요가 있는 어느 곳에나 광범위하게 이용된다. 프로젝터는 컴퓨터에 커플링될 수 있고, 그로 인해 컴퓨터 디스플레이들을 스크린상으로 프로젝팅할 수 있다. 사용자는 컴퓨터 근처가 아닌 스크린 근처에 자주 서있다. 따라서, 컴퓨터의 동작을 조정하는 것이 어렵다. 예를 들어, 프리젠테이션에서 슬라이드들을 거쳐 진행시키기 위해 외부 디바이스가 이용될 수 있다. 그러나, 외부 디바이스들은 종종 혼란스럽고 그 유용성이 제한된다. 시스템이 사용자로 하여금 프로젝션 시스템과의 증가된 상호작용을 갖도록 허용하는 것이 유리할 것이다.
사용자와 프로젝션 시스템 사이의 상호작용을 개선시키기 위한 기법들이 제공된다. 몇몇 실시예들에서, 디스플레이 스크린의 정면에 있는 사용자의 이미지가 캡쳐된다. 그후, 그 이미지의 픽셀들에 걸친 휘도(즉, 강도들(intensities))의 변화 및/또는 섀도(shadow)들의 분석에 기초하여 사용자가 디스플레이 스크린을 터치하고 있는지 여부에 관한 추론이 행해질 수 있다. 예를 들어, 물체는: (1) 물체의 최상부를 둘러싸는 영역이 비교적 작은 휘도 변화에 의해 특징화되는 경우에는 스크린에 접근하고 있다고; (2) 휘도 변화가 크고 그 영역이 (섀도에 의해 야기된) 음영 극값(dark extremum)을 포함하는 경우에는 스크린 위를 호버링(hovering)하고 있다고; 그리고 (3) 휘도 변화가 크고 그 영역이 밝음 극값(light extremum)을 포함하는 경우에는 스크린을 터치하고 있다고 추론될 수 있다.
광들은, 휘도 변화들이 스크린과의 사용자의 상호작용을 특징화하는 원하는 상태들과 알맞게 관련된다는 것을 보장하기 위해 알맞게 (예컨대, 프로젝션 시스템 내에) 배열되고 구성될 수 있다. 예를 들어, 프로젝션 시스템은: 모두 공유 하우징에 내장된 - 프로젝션 옵틱들, 정면 광, 후면 광 및 카메라를 포함할 수 있다. 정면 광은, 스크린 위를 호버링하는 물체(예컨대, 손가락 끝)가 카메라에 의한 조명 동안 캡쳐된 이미지 내에서 실질적으로 어떠한 섀도에 의해서도 둘러싸이지 않도록, 디스플레이 스크린의 정면에 있는 영역을 조명하도록 구성될 수 있다. 후면 광은, 스크린 위를 호버링하는 물체가 카메라에 의한 조명 동안 캡쳐된 이미지에서 섀도에 의해 둘러싸이도록, 디스플레이 스크린을 조명하도록 구성될 수 있다. 카메라는, (제 1 이미지를 생성하기 위해) 정면-광 조명 동안 스크린을 이미징하고, (제 2 이미지를 생성하기 위해) 후면-광 조명 동안 스크린을 더 이미징하도록 구성될 수 있다. 물체의 위치를 추정하기 위해 제 1 이미지가 이용될 수 있고, (예를 들어, 영역에서의 픽셀들에 걸친 휘도 변화 및/또는 그 영역에서의 극값이 밝음이었는지 아니면 음영이었는지 식별을 특징화함으로써) 물체의 상태를 추론하기 위해 제 2 이미지가 이용될 수 있다.
몇몇 실시예들에서, 방법이 제공된다. 디스플레이가 표면상으로 프로젝팅될 수 있다. 표면 근처의 영역이 조명될 수 있다. 표면의 이미지가 조명 동안 캡쳐될 수 있다. 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화가 분석될 수 있다. 이미지의 일부와 관련된 극성이 결정될 수 있다. 변화의 분석 및 결정된 극성에 적어도 부분적으로 기초하여 물체가 표면을 터치하고 있는지 여부에 관한 결정이 행해질 수 있다.
몇몇 실시예들에서, 프로젝터 시스템이 제공된다. 프로젝션 옵틱들은, 표면 상에 디스플레이를 프로젝팅하도록 구성될 수 있다. 광원은, 표면을 향하는 방향으로 발광하도록 구성될 수 있다. 카메라는 발광 동안 표면의 이미지를 캡쳐하도록 구성될 수 있다. 이미지 분석기는, 이미지의 적어도 일부에서 픽셀들에 걸친 강도들의 변화를 검출하고 이미지의 일부와 관련된 극성을 결정하도록 구성될 수 있다. 상태 검출기는, 변화 검출 및 결정된 극성에 적어도 부분적으로 기초하여 물체가 표면을 터치하고 있는지 여부를 결정하도록 구성될 수 있다.
몇몇 실시예들에서, 프로젝터 시스템이 제공된다. 프로젝터 시스템은 표면상으로 디스플레이를 프로젝팅하기 위한 수단 및 표면 근처의 영역을 조명하기 위한 수단을 포함할 수 있다. 프로젝터 시스템은 또한 조명 동안 표면의 이미지를 캡쳐하기 위한 수단 및 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 분석하기 위한 수단을 포함할 수 있다. 프로젝터 시스템은, 이미지의 일부와 관련된 극성을 결정하기 위한 수단, 및 분석 및 결정된 극성에 적어도 부분적으로 기초하여 물체가 표면을 터치하고 있는지 여부를 결정하기 위한 수단을 더 포함할 수 있다.
몇몇 실시예들에서, 비-일시적 컴퓨터-판독가능 매체가 제공된다. 이 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 디스플레이가 프로젝팅되는 표면의 이미지에 액세스하게 하고, 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 분석하게 할 수 있는 명령들을 포함할 수 있다. 또한, 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 이미지의 일부와 관련된 극성을 결정하게 하고, 변화의 분석 및 결정된 극성에 적어도 부분적으로 기초하여 물체가 표면을 터치하고 있는지 여부를 결정하게 할 수 있다.
도 1은 프로젝션 시스템(100)의 실시예를 나타낸다.
도 2는 타이밍 회로의 입력들 및 출력들의 예시의 표현들을 나타낸다.
도 3은 타이밍 회로의 일 실시예의 개략도를 나타낸다.
도 4는 물체가 디스플레이 스크린을 터치하고 있는지 여부를 추론하기 위한 방법의 일 실시예를 나타낸다.
도 5는 물체의 위치를 추정하기 위한 방법의 일 실시예를 나타낸다.
도 6a 및 도 6b는 물체가 스크린을 터치하고 있는지 여부를 결정하기 위한 방법들의 실시예들을 나타낸다.
도 7은 물체가 스크린에 접근하는 경우의 상황들에서 변경들을 추적할 수 있는 상태 머신의 일 예시를 나타낸다.
도 8은 프로젝션 시스템의 일 예시를 나타낸다.
도 9는 컴퓨터 시스템의 일 실시예의 개략적인 예시를 제공한다.
도 10a 내지 도 10c는, 후면 광원이 씬(scene)을 조명하고 있는 동안 손(hand)이 스크린 위를 호버링하는 예시의 상황과 관련된 이미지들을 나타낸다.
도 11a 내지 도 11c는, 후면 광원이 씬을 조명하고 있는 동안 손이 스크린을 터치하고 있는 예시의 상황과 관련된 이미지들을 나타낸다.
사용자와 프로젝션 시스템 사이의 상호작용을 개선시키기 위한 기법들이 제공된다. 몇몇 실시예들에서, 디스플레이 스크린의 정면에 있는 사용자의 이미지가 캡쳐된다. 다음으로, 이미지에서 픽셀들에 걸친 휘도(즉, 강도들)의 변화 및/또는 섀도들의 분석에 기초하여 디스플레이 스크린을 사용자가 터치하고 있는지 여부에 관한 추론이 행해질 수 있다. 예를 들어, 물체가: (1) 물체의 최상부를 둘러싸는 영역이 비교적 작은 휘도 변화에 의해 특징화되는 경우에는 스크린에 접근하고 있다고; (2) 휘도 변화가 크고 그 영역이 (섀도에 의해 야기된) 음영 극값을 포함하는 경우에는 스크린 위를 호버링하고 있다고; 그리고 (3) 휘도 변화가 크고 그 영역이 밝음 극값을 포함하는 경우에는 스크린을 터치하고 있다고 추론될 수 있다.
광들은, 휘도 변화들이 스크린과의 사용자의 상호작용을 특징화하는 원하는 상태들과 알맞게 관련된다는 것을 보장하기 위해 알맞게 (예컨대, 프로젝션 시스템 내에) 배열되고 구성될 수 있다. 예를 들어, 프로젝션 시스템은: 모두 공유 하우징에 내장된 - 프로젝션 옵틱들, 정면 광, 후면 광 및 카메라를 포함할 수 있다. 정면 광은, 스크린 위를 호버링하는 물체(예컨대, 손가락 끝)가 카메라에 의한 조명 동안 캡쳐된 이미지 내에서 실질적으로 어떠한 섀도에 의해서도 둘러싸이지 않도록, 디스플레이 스크린의 정면에 있는 영역을 조명하도록 구성될 수 있다. 후면 광은, 스크린 위를 호버링하는 물체가 카메라에 의한 조명 동안 캡쳐된 이미지에서 섀도에 의해 둘러싸이도록, 디스플레이 스크린을 조명하도록 구성될 수 있다. 카메라는, (제 1 이미지를 생성하기 위해) 정면-광 조명 동안 스크린을 이미징하고, (제 2 이미지를 생성하기 위해) 후면-광 조명 동안 스크린을 더 이미징하도록 구성될 수 있다. 물체의 위치를 추정하기 위해 제 1 이미지가 이용될 수 있고, (예를 들어, 영역에서의 픽셀들에 걸친 휘도 변화 및/또는 그 영역에서의 극값이 밝음이었는지 아니면 음영이었는지 식별을 특징화함으로써) 물체의 상태를 추론하기 위해 제 2 이미지가 이용될 수 있다.
도 1은 프로젝션 시스템(100)의 일 실시예를 나타낸다. 프로젝션 시스템은 프로젝터(105)를 포함할 수 있다. 프로젝터는 스크린에 참조 이미지를 프로젝팅하도록 구성될 수 있고, 이에 의해, 예를 들어, 디스플레이 스크린(160) 상에 프로젝팅된, 프로젝팅된 이미지를 생성할 수 있다. 프로젝터(105)는 또한 애플리케이션 또는 프로그램 또는 컴퓨터의 동작의 다른 양상과 관련하여 생성된 이미지를 프로젝팅하도록 구성될 수 있다. 디스플레이 스크린(160)은, 예를 들어, 화이트 보드, 풀-다운 스크린, 월(wall) 등을 포함할 수 있다. 디스플레이 스크린(160)은 ― 시스템(100)에 대해 독립적이고 그리고 분리되어 있거나 또는 시스템(100)에 연결되어 있음 ― 프로젝션 시스템(100)과 세트로 제공될 수 있다. 디스플레이 스크린(160)은 실질적으로 직사각형 형상을 가질 수 있고, 적어도 약 1mm, 1cm, 10cm, 100cm, 1m, 3m, 5m, 또는 10m, 약 1mm, 1cm, 10cm, 100cm, 1m, 3m, 5m, 또는 10m 또는 약 1mm, 1cm, 10cm, 100cm, 1m, 3m, 5m, 또는 10m 미만의 대각 치수를 가질 수 있다. 디스플레이 스크린(160)은 적어도 부분적으로 반사성인 재료로 구성될 수 있다. 몇몇 예시들에서, 디스플레이 스크린(160)은 적어도 약 1% 또는 10% 및/또는 약 20% 또는 40% 미만의 반사율을 갖는다. 용어 "디스플레이 스크린"이 본원에 이용되지만, 디스플레이 스크린은, 이미지들이 디스플레이될 의도로 제조된 컴포넌트들 또는 엘리먼트들로 제한되지는 않는다. 본원에 이용된 바와 같이 디스플레이 스크린은, 광 및/또는 이미지가 프로젝팅될 수 있는 임의의 표면, 예컨대, 벽, 바닥, 종이 한 장, 창문, 또는 임의의 다른 표면을 포함할 수 있다. 몇몇 실시예들에서, 표면은 스팀 또는 응축(condensation)에 의해 생성될 수 있다. 몇몇 실시예들에서, 표면은 사용자의 손, 옷, 또는 사용자와 관련된 다른 엘리먼트를 포함한다.
프로젝터(105)는, 예를 들어, 단초점(short-throw) 프로젝터를 포함할 수 있다. 프로젝터(105)는 약 1 미만 또는 0.5 미만의 투사율(throw ratio)(프로젝터에서 스크린까지의 거리를 프로젝팅된 이미지의 대각 거리로 나눈 것)을 가질 수 있다. 프로젝터(105)는 프로젝터 옵틱들, 예컨대, 프로젝터 광원(105a) 및 미러(105b)를 포함할 수 있다. 몇몇 실시예들에서, 프로젝터(105)는 프로젝션 시스템(100) 내의 독립적인 디바이스이고, 그리고/또는 단일 프로젝터 하우징 내에서 하우징된다. 다른 실시예들에서, 프로젝터(105)는 프로젝터 옵틱들, 및/또는 프로젝션 시스템(100)의 나머지(rest)로부터 별도로 하우징되지 않는 다른 프로젝터 컴포넌트들의 집합을 나타낸다.
프로젝션 시스템(100)은, 각각 발광하도록 구성된, 적어도 하나의 정면 광원(110) 및/또는 적어도 하나의 후면 광원(115)을 포함할 수 있다. 광원들 중 하나 또는 둘 다에 의해 방출된 광은 가시적이지 않을 수 있다. 몇몇 실시예들에서, 광원들 중 하나 또는 둘 다에 의해 방출된 광은 적외선을 포함하거나 또는 적외선으로 구성된다. 광원들 중 하나 또는 둘 다는, 발광 다이오드(LED)들과 같은 컴포넌트 광원들 중 하나, 그 이상 또는 그들의 어레이를 포함할 수 있다. 일 실시예에서, 후면 광원(115)은 단일 광원을 포함하고, 정면 광원(110)은 컴포넌트 광원들(예컨대, LED들)의 어레이를 포함한다. 몇몇 실시예들에서, 광원은, 컴포넌트 광원들의 집합으로부터 방출된 광이 단일 광원으로서 나타나도록 하는 밀도로 포지셔닝된 복수의 컴포넌트 광원들을 포함한다.
정면 광원(110)은 프로젝터(105) 및/또는 프로젝션 옵틱들(105a 및 105b)의 정면에 포지셔닝될 수 있다. 정면 광원(110)은 프로젝터(105)의 정면측 및/또는 프로젝터(105)의 저부측의 앞부분(front portion)에 부착될 수 있다. 정면 광원(110)은 프로젝터(105)와 디스플레이 스크린(160) 사이 및/또는 후면 광원(115)과 디스플레이 스크린(160) 사이에 포지셔닝될 수 있다. 몇몇 실시예들에서, 정면 광원(110)은 프로젝터(105)의 정면 단부 근처에 포지셔닝된다. 몇몇 경우들에서, 디스플레이 스크린(160)과 정면 광원(110) 사이의 수평 거리(horizontal separation)는 약 1.5 미터 미만이다.
정면 광원(110)은 프로젝션 시스템(100)으로부터의 광을 제 1 방향으로 발광하도록 구성될 수 있다. 몇몇 실시예들에서, 광은 처음에 정면 광원(110)으로부터 제 1 방향으로 방출된다. 몇몇 실시예들에서, 옵틱들은 초기광을 제 1 방향으로 전파하도록 지향하는데 이용된다. 제 1 방향은 (예컨대, 디스플레이 스크린(160)과 천장(ceiling)(155)에 평행한 방향으로의) 제 1 x-성분 및 (예컨대, 천장(155), 바닥, 또는 시스템(100)을 지지하는 다른 표면에 직교하는 방향으로의) 제 1 y-성분을 포함할 수 있다.
정면 광원(110) 및/또는 그 광원과 관련된 옵틱들은, 광원으로부터 나와서 프로젝션 시스템을 빠져나오는 광이 디스플레이 스크린(160)을 터치하는 물체(예컨대, 손가락, 손, 또는 완드(wand), 포인팅 디바이스 등과 같은 다른 물체)를 조명하도록, 구성될 수 있다. 따라서, 디스플레이 스크린(160)의 바로 정면에 있는 영역을 조명하도록 구성될 수 있다. 관심 물체를 적절하게 및/또는 충분히 조명하기 위한 적합한 구성은, 예를 들어, 광원(110)의 포지션, 배향 및/또는 휘도의 적절한 설정 및/또는 광원(110)으로부터 방출된 광을 지향시키는 옵틱들의 선택 및 배치를 수반할 수 있다. 몇몇 경우들에서, 디스플레이 스크린(160)을 터치하는 물체는, 스크린 상에 미러링되고 카메라(120)에 의해 보여지는, 정면 광원(110)에 의해 공급되는 일부 광을 반사시킬 수 있다. 이하 설명되는 바와 같이, 이는 이러한 상황들에서 흔히 바람직하지 않다. 따라서, 정면 광원(110) 및 임의의 관련 옵틱들의 휘도, 포지션 및 배향은 이러한 미러 효과를 감소시키거나 또는 최소화하도록 구성될 수 있다.
후면 광원(115)은 프로젝터(105)의 후면 근처에 포지셔닝될 수 있다. 후면 광원(115)은 정면 광원(110) 및/또는 프로젝션 옵틱들(105a 및 105b) 뒤에 포지셔닝될 수 있다. 후면 광원(115)은 프로젝터(105)의 후면측 및/또는 프로젝터(105)의 저부측의 뒷부분에 부착될 수 있다.
후면 광원(115)은 프로젝션 시스템(100)으로부터 제 2 방향으로 발광하도록 구성될 수 있다. 몇몇 실시예들에서, 광은 처음에 후면 광원(115)으로부터 제 2 방향으로 방출된다. 몇몇 실시예들에서, 초기광을 제 2 방향으로 전파하도록 지시하기 위해 옵틱들이 이용된다. 제 2 방향은 제 2 x-성분 및 제 2 y-성분을 포함할 수 있다. 제 2 x-성분 대 제 2 y-성분의 비율은 제 1 x-성분 대 제 1 y-성분의 비율보다 클 수 있다. 제 2 x-성분 대 제 2 y-성분의 비율은 적어도 약 0.25, 0.5, 1, 2 또는 5일 수 있다. 정면 광원(110)과 후면 광원(115) 사이의 수평 거리는 적어도 약 0.1, 0.25, 0.5, 1 또는 2 피트일 수 있다. 일 실시예에서, 후면 광원(115)으로부터 방출된 광은 프로젝터(105)의 렌즈를 통해서 프로젝팅될 수 있다. 예를 들어, 후면 광원(115)과 프로젝터(105)의 렌즈 사이에 광 경로를 따라서 프리즘이 포지셔닝될 수 있다.
몇몇 경우들에서, 디스플레이 스크린(160)을 터치하는 물체는, 스크린(160) 상에서 미러링되고 카메라(120)에 의해 보여지는, 후면 광원(115)에 의해 공급되는 일부 광을 반사시킬 수 있다. 이하 설명되는 바와 같이, 이는 이러한 상황들에서 흔히 바람직하다. 따라서, 후면 광원(110) 및 임의의 관련 옵틱들의 휘도, 포지션, 배향은 이러한 미러 효과를 생산하도록 구성될 수 있다.
프로젝션 시스템(100)은 카메라(120)를 포함할 수 있다. 카메라(120)는 프로젝터(105)의 저부에 부착될 수 있다. 카메라(120)는 프로젝터(105)의 정면 근처에 (예컨대, 프로젝션 옵틱들(105a 및 105b)의 정면) 포지셔닝될 수 있다. 카메라는 정면 광원(110)과 후면 광원(115) 사이에 포지셔닝될 수 있다. 카메라(120)는 디스플레이 스크린(160)의 정면 표면의 이미지들을 캡쳐하도록 배향될 수 있다. 카메라(120)는, 디스플레이 스크린(160)을 이미징할 수 있도록, 적외 필터와 같은 필터를 포함할 수 있다. 몇몇 실시예들에서, 카메라(120)에 더해 또는 그 대신에, 시스템(100)은 IR 센서와 같은 다른 유형의 광 센서를 포함한다.
몇몇 경우들에서, 디스플레이 스크린(160)을 터치하는 물체는, 스크린 상에 미러링되고 카메라(120)에 의해 보여지는 광원(110 또는 115)에 의해 공급되는 일부 광을 반사시킬 수 있다. 이러한 미러 효과는, 몇몇 상황들(예컨대, 광이 정면 광원(110)으로부터 방출되는 경우)에서는 바람직하지 않고, 다른 상황들(예컨대, 광이 후면 광원(115)으로부터 방출되는 경우)에서는 바람직할 수 있다. 카메라(120)는, (예컨대, 셔터 또는 이득과 같은 이미지-캡쳐링 파라미터들을 설정함으로써) 이러한 미러 효과를 최소화하고, 감소시키고, 유지하고, 강화시키고, 또는 최대화하도록 구성될 수 있다. 몇몇 경우들에서, 카메라 구성들(예컨대, 파라미터들)은, (예컨대, 정면 광원(110)이 발광하고 있을 때 그 영향을 감소시키고 그리고 후면 광원(115)이 발광하고 있을 때 그 영향을 강화시키기 위해) 어떤 광원이 발광하고 있는지에 따라 변화한다. 몇몇 경우들에서, 카메라 구성들은 컨디션들에 대해 일정하게 유지하고, 예를 들어, 광원의 포지션, 전력 및/또는 배향을 구성하는 것과 같은 다른 전략들은 원하는 상태-특정 미러 효과를 달성할 수 있다.
프로젝션 시스템(100)은 타이밍 회로(125)를 포함할 수 있다. 타이밍 회로(125)는 정면 광원(110) 및 후면 광원(115) 중 하나 또는 둘 다에 커플링될 수 있다. 타이밍 회로(125)는, 예를 들어, 각각의 광원에 공급되는 전력을 제어할 수 있는 on/off 신호들을 전송함으로써 하나 또는 둘 다의 광원들이 발광하고 있는 시점을 제어할 수 있다. 타이밍 회로(125)는 카메라(120)로부터 입력을 수신할 수 있다. 따라서, 예를 들어, 타이밍 회로(125)에는, 카메라가 디스플레이 스크린(160)을 이미징하기 시작하거나 또는 이미징하는 것을 곧 시작하는 시기가 통지될 수 있다. 타이밍 회로(125)는, 한 번에 광원들(110 및 115) 중 오직 하나만이 발광하고 있음을 보장하도록 그리고/또는 카메라(120)가 디스플레이 스크린(160)을 이미징하고 있는 동안의 시간 인터벌(즉, 프레임) 동안 적어도 하나의 광원(110 및/또는 115)이 발광하고 있도록 구성될 수 있다.
몇몇 경우들에서, 타이밍 회로(125)는 광원들(110 및 115)에 교번하는 on/off 신호들을 전송한다. 예를 들어, 카메라가 제 1 프레임을 이미징하고 있다는 신호를 수신하면, 타이밍 회로(125)는 정면 광원(110)에 on 신호를 전송할 수 있다. 제 1 이미징 프레임이 완료되었다는 신호를 수신하면, 타이밍 회로는 정면 광원에 off 신호를 전송할 수 있다. 제 2 이미징 프레임과 관련하여 후면 광원(115)으로 유사한 신호들이 유사한 시점들에 전송될 수 있다. 도 2는 이러한 실시예를 나타내는 신호들을 나타낸다. 최상부 트레이스는 카메라(120)로부터 타이밍 회로(125)에 의해 수신된 카메라 신호를 나타낸다. 중간 트레이스는 정면 광원의 광 방출을 제어하기 위해 전송된 타이밍 회로의 제 1 출력을 나타낸다. 저부 트레이스는 후면 광원의 광 방출을 제어하기 위해 전송된 타이밍 회로의 제 2 출력을 나타낸다. 따라서, 이러한 실시예에서, 각각의 카메라 프레임 동안 광원들(110 및 115) 중 하나 - 오직 하나 - 로부터 발광된다.
타이밍 회로(125)는 임의의 다양한 타이밍 회로들을 포함할 수 있다. 타이밍 회로(125)는, 예를 들어, 하나 또는 그 초과의 집적 회로들, 저항기들, 트랜지스터들, 및/또는 다이오드들을 포함할 수 있다. 타이밍 회로(125)는, 예를 들어, 카메라(120), 클록, 및/또는 프로세서로부터 하나 또는 그 초과의 입력들을 수신할 수 있다. 타이밍 회로(125)는 하나, 두개 또는 그 초과의 출력들을 포함할 수 있다. 도 3은 타이밍 회로(125)의 일 실시예의 개략도를 나타낸다.
프로젝션 시스템(100)은 하우징(130)을 포함할 수 있다. 하우징(130)의 적어도 일부 또는 대부분은 금속 또는 플라스틱 재료를 포함할 수 있다. 하우징(130)은, 프로젝터(105), 정면 광원(110), 후면 광원(115), 카메라(120) 및 타이밍 회로(125) 중 하나, 그 이상 또는 모두를 적어도 부분적으로 또는 완전하게 둘러쌀 수 있다. 몇몇 경우들에서, 하우징(130)은 프로젝션 시스템(100)의 하우징 부분이 아닌 부분들 모두를 적어도 부분적으로 또는 완전하게 둘러싼다. 몇몇 실시예들에서, 하우징(130)은, 예를 들어, 저부 및/또는 정면 표면들 내에 하나 또는 그 초과의 렌즈들(또는 개구들)을 포함한다. 이러한 렌즈들은, 프로젝션 시스템(100)이 정면 광원(110), 후면 광원(115), 및/또는 프로젝터 광원(105a)으로부터 발광하도록 허용할 수 있다. 게다가, 렌즈는, 카메라(120)가 외부 이미지들을 (예컨대, 디스플레이 스크린(160)에서 또는 그 정면에서) 수집하도록 허용할 수 있다. 몇몇 실시예들에서, 하우징(130)은 적어도 부분적으로 투명한 하나 또는 그 초과의 표면들을 포함한다. 몇몇 실시예들에서, 프로젝터(105), 정면 광원(110), 후면 광원(115), 카메라(120) 및 타이밍 회로(125) 중 하나, 그 이상 또는 모두는 하우징을 포함하지 않는 구성에서 함께 직접적으로 또는 간접적으로 기계적으로 커플링될 수 있다. 예를 들어, 이러한 엘리먼트들 모두는 개방 프레임(open frame)에 고정될 수 있다. 용어 하우징은, 밀봉되거나 또는 부분적으로 밀봉되는 실시예들을 설명할 뿐만 아니라, 엘리먼트들이 개방적으로 또는 느슨하게 기계적으로 커플링된 실시예들을 설명하기 위해서도 이용된다.
이하 더욱 상세하게 설명된 바와 같이, 프로젝션 시스템(100)은 또한, 예를 들어, 저장 디바이스, 프로세서, 및/또는 컴퓨터를 포함할 수 있다. 몇몇 실시예들에서, 프로젝션 시스템(100)은 외부 저장 디바이스, 프로세서 및/또는 컴퓨터에 (예컨대, 카메라(120)로부터의) 데이터를 송신하기 위한 송신기를 포함한다. 프로젝션 시스템(100)은 또한 (예컨대, 클록, 외부 컴퓨터, 또는 사용자-제어된 디바이스로부터의) 데이터를 수신하기 위한 수신기를 포함할 수 있다. 저장 디바이스, 프로세서, 컴퓨터, 송신기, 및 수신기 중 하나, 그 이상 또는 모두는, 앞서 논의된 하우징에 부분적으로 또는 완전하게 밀봉될 수 있거나 또는 그렇지 않으면 앞서 논의된 엘리먼트들 중 하나 또는 모두에 기계적으로 커플링될 수 있다.
시스템(100) 또는 그 일부는, 예를 들어, 앞서 논의된 하우징에 의해 밀봉된 경우, 휴대가능할 수 있는 또는 그렇지 않으면 통합 유닛으로서 구성될 수 있는 독립적(self-contained) 유닛을 포함할 수 있다. 시스템(100)은 몇몇 실시예들에서 가상으로 임의의 표면 상에 터치 스크린을 확립하는데 이용될 수 있다. 따라서, 시스템(100)은 다양한 또는 임의의 위치에 옮겨질 수 있고 그리고, 예를 들어, 회의실에 있는 벽 또는 테이블에 관련하여 터치-기반 컴퓨터 시스템을 확립하는데 이용될 수 있다. 몇몇 양상들에서, 시스템(100)은 스마트폰과 같은 모바일 디바이스에 집적되고, 피코 프로젝터로서 구성될 수 있다. 몇몇 양상들에서, 정면 광원(110) 및 후면 광원(115)은 시스템(100)의 정면 및 후면을 향해서 정렬되는 것에 더해 또는 그 대신에 나란히 또는 차례로 쌓아 배치될 수 있다.
도 4는, 물체가 디스플레이 스크린(160)을 터치하고 있는지 여부를 추론하기 위한 방법(400)의 일 실시예를 나타낸다. 405에서, 참조 이미지(또는, 다시 말해서, 디스플레이)가 디스플레이 스크린(160) 상으로 (예컨대, 프로젝터(105)에 의해) 프로젝팅된다. 참조 이미지는, 예를 들어, 프로젝션 시스템(100)에 커플링된 컴퓨터에 저장된 그리고/또는 그 컴퓨터에 의해 송신된 디지털 이미지일 수 있다. 참조 이미지는, 예를 들어, 프리젠테이션 슬라이드, 문서, 데스크탑, 사용자 인터페이스, 픽쳐, 애니메이션 등을 포함할 수 있다. 프로세스(400)가 블록(410)으로 진행하는지 아니면 블록(430)으로 진행하는지는 현재 시간 단계에 의존한다. 몇몇 경우들에서, 프로세스(400)는 처음에는 항상 블록들(410 및 425) 중 하나로 진행(예컨대, 블록(430) 이전에 항상 블록(410)을 수행함)한다. 몇몇 경우들에서, 프로세스(400)는 절대 시간에 의존한다.
410에서, 디스플레이 스크린(160) 근처의 제 1 영역이 (예컨대, 정면 광원(110)에 의해) 조명된다. 제 1 영역은 디스플레이 스크린(160)의 바로 정면에 있는 영역을 포함할 수 있고 또는 그 영역으로 구성될 수 있다. 조명은, 예를 들어, 사용자, 사용자의 손 및/또는 사용자의 손가락이 프로젝션 시스템(100)과 디스플레이 스크린(160) 사이에 포지셔닝되고 디스플레이 스크린(160)을 터치하면, 사용자의 손가락이 조명될 가능성이 높게 되도록, 구성될 수 있다. 몇몇 실시예들에서, 조명의 방향 및 휘도는, 415에서 캡쳐된 이미지에서, 제 1 영역에 있는 물체를 둘러싸는 섀도가 최소로 존재하거나 또는 아예 없도록, 구성될 수 있다. 조명은 비-가시적 광에 의한 조명을 포함할 수 있다. 이러한 제 1 영역 조명은 (가시발광을 포함할 수 있는) 400에서 참조 이미지를 프로젝팅하도록 방출된 광에 추가적일 수 있다.
415에서, 제 1 영역의 제 1 이미지가 캡쳐된다. 제 1 이미지는 단일 카메라(예컨대, 카메라(120)) 또는 카메라들의 세트에 의해 캡쳐될 수 있다. 몇몇 경우들에서, 캡쳐링 카메라들은 프로젝션 시스템(100)의 공통 외부 하우징 내에서 적어도 부분적으로 밀봉된다. 제 1 이미지는, 제 1 영역이 조명되고 있는 동안 캡쳐될 수 있다. 몇몇 경우들에서, 예를 들어, 카메라(120)의 셔터는, 제 1 영역이 조명되고 있는 동안의 시간 기간과 실질적으로 동일한 시간 기간 동안 개방된다. 더 긴 시간 기간 동안 셔터를 개방하는 것은 이미지 품질을 손상시킬 수 있고, 더 짧은 시간 기간 동안 셔터를 개방하는 것은 제 1 영역을 조명하는 광원에 전력을 공급하는데 필요한 전력을 낭비할 수 있다. 캡쳐된 이미지는 2-차원 디지털 이미지를 포함할 수 있다. 캡쳐된 이미지는 디스플레이 스크린(160)의 일부 또는 전부를 포함할 수 있다.
420에서, 관심 물체의 위치에 관한 추정이 행해질 수 있다. 위치는 물체의 위치 또는 최상부, 물체의 섀도의 최상부, 또는 (물체와 스크린 사이의 접촉에 기초하여 생성된) 물체 위의 밝은 구역을 포함할 수 있다. 위치는, x- 및 y-좌표를 포함하는, 2-차원 위치를 포함할 수 있다. x-축 및 y-축은 디스플레이 스크린(160)과 관련된 축들 또는 제 2 이미지와 관련된 축들일 수 있다. 일 경우에서, 위치는, 오직 물체가 디스플레이 스크린(160)을 터치하고 있던 경우에만 물체의 위치를 정확하게 반영할 좌표들을 포함한다. 몇몇 경우들에서, 위치는 3-차원 위치를 포함한다. 예를 들어, 위치는 동시에 캡쳐된 일 세트의 제 1 이미지들에 기초하여 추정될 수 있거나, 컴퓨터-비젼 기법이 이용되어 이미지의 z-좌표를 추정할 수 있다.
추정은, 제 1 이미지에 있는 물체가 약간의 섀도에 의해 둘러싸이거나 또는 어떠한 섀도에 의해서도 둘러싸이지 않을 수 있도록, 제 1 이미지에 적어도 부분적으로 기초하여 행해질 수 있다. 따라서, 몇몇 실시예들에서 디스플레이 스크린(160)과의 물체의 근접도 또는 접촉에 관해서 조차도 상관하지 않고, 예를 들어, 손가락의 끝(tip)을 식별하는 것이 상대적으로 쉬울 수 있다. 위치-식별 기법들은, 예를 들어, 컴퓨터-비전 기법(예컨대, 피쳐 검출, 에지 검출 등)을 포함할 수 있다. 예를 들어, 물체의 에지들은 물체의 위치를 식별하는데 이용될 수 있다.
물체가 스크린을 터치하고 있는지 여부에 관한 평가를 허용하기 위해 다른 분석이 수행되면, 프로세스(400)는, 프로젝팅된 이미지와 물체 사이의 상호작용이 허용되는 425에서 계속할 수 있다. 상호작용은, 물체가 스크린을 터치하고 있는지 여부에 대한 결정과 조합하여 (예컨대, 추정된 위치에서 프로젝팅된 아이콘들을 사용자가 선택하거나 이동시키도록 허용하면서) 추정된 위치에 의존할 수 있고, 또는 추정된 위치 또는 터치 결정 중 오직 하나에 의존할 수 있다. 허용된 상호작용에 후속하여 또는 물체가 스크린을 터치하고 있는지 여부에 관한 평가가 아직 행해질 수 없으면, 프로세스(400)는, 참조 이미지가 계속해서 프로젝팅되거나 또는 리프레시되는 블록(405)으로 리턴한다. 몇몇 실시예들에서, 참조 이미지의 리프레시 레이트는 방법(400)에 독립적이다.
다음으로, 프로세스(400)는, 디스플레이 스크린(160) 근처의 제 2 영역이 (예컨대, 후면 광원(115)에 의해) 조명되는 블록(430)에서 계속될 수 있다. 제 2 영역은 디스플레이 스크린(160)의 정면 표면 및/또는 디스플레이 스크린의 바로 정면의 영역을 포함하거나 또는 이들로 구성될 수 있다. 예를 들어, 조명은, 사용자가 프로젝션 시스템(100)과 디스플레이 스크린(160) 사이에 서있고 그리고 디스플레이 스크린(160)을 터치하거나 또는 스크린(160)에 가까이에 본인의 손가락을 호버링하면, 사용자의 손이 조명될 가능성이 높아지도록, 구성될 수 있다. 몇몇 실시예들에서, 조명의 방향 및 휘도는, 435에서 캡쳐된 이미지에서, 물체가 디스플레이 스크린(160)을 터치하고 있지 않으면 제 2 영역에 있는 물체를 둘러싸는 섀도 또는 지배적인 섀도가 존재하도록, 구성될 수 있다. 조명은 비-가시적 광에 의한 조명을 포함할 수 있다. 이러한 제 2-영역 조명은, (가시발광을 포함할 수 있는) 400에서 참조 이미지를 프로젝팅하기 위해 방출된 광에 추가적일 수 있다.
나타낸 바와 같이, 제 1 영역 및 제 2 영역들은, 상이한, 그리고 가능하게는 중첩되지 않은 시간 기간들 동안 조명될 수 있다. 타이밍 회로(125)는, 하나의 또는 둘 다의 영역들이 조명되는 동안 시간 기간들을 제어할 수 있다. 제 1 및 제 2 영역들은 또한, 예를 들어, 영역을 조명하는 광원들의 상이한 위치들에 기초하여, 상이한 공간적 영역들을 포함할 수 있다. 그럼에도 불구하고, 제 1 및 제 2 영역들은 중첩할 수 있다(예컨대, 어떠한 사용자도 스크린의 정면에 있지 않은 경우에, 둘 다 디스플레이 스크린(160)의 전부 또는 일부를 조명할 수 있다).
435에서, 제 2 영역의 제 2 이미지가 캡쳐된다. 제 2 이미지는 단일 카메라(예컨대, 카메라(120)) 또는 일 세트의 카메라들에 의해 캡쳐될 수 있다. 몇몇 경우들에서, 캡쳐링 카메라/들은 프로젝션 시스템(100)의 공유된 외부 하우징 내에서 적어도 부분적으로 밀봉된다. 제 1 이미지 및 제 2 이미지는 동일한 카메라(예컨대, 프로젝션 시스템(100) 내부의 단일 카메라) 또는 일 세트의 카메라들에 의해 캡쳐될 수 있다. 제 1 이미지 및 제 2 이미지는 동일한 관점(perspective)에서 비롯될 수 있다. 제 2 이미지는, 제 2 영역이 조명되는 동안 캡쳐될 수 있다. 몇몇 경우들에서, 예를 들어, 카메라(120)의 셔터는, 제 2 영역이 조명되고 있는 동안 시간 기간과 실질적으로 동일한 시간 기간 동안 개방된다. 캡쳐된 이미지는 2-차원 디지털 이미지를 포함할 수 있다. 캡쳐된 이미지는 디스플레이 스크린(160)의 일부 또는 전부를 포함할 수 있다.
제 1 이미지 및 제 2 이미지는 실질적으로 유사할 수도 또는 동일할 수도 있다. 일 실시예에서, 단일 이미징 디바이스는 실질적으로 유사한 또는 동일한 방식으로 두 이미지들을 캡쳐하고, 유일한 차이는 이미지들이 캡쳐되었던 시점이다. 몇몇 실시예들에서, 제 2 이미지는, 제 1 이미지가 캡쳐된 후 약 1, 0.5, 0.1, 또는 0.05초 미만 이후에 캡쳐된다.
440에서, 물체가 디스플레이 스크린(160)을 터치하고 있는지 여부에 관한 추론이 행해진다. 예를 들어, 관심 물체가 위치된 후, 그 위치를 둘러싸는 영역은 그 물체를 둘러싸는 임의의 섀도를 평가하기 위해 제 2 이미지에서 분석될 수 있다. 제 2 이미지에 적어도 부분적으로, 주로 또는 완전하게 기초하여 추론이 행해질 수 있다. 예를 들어, 물체(예컨대, 손가락 끝)가 섀도에 의해 둘러싸이지 않으면, 물체가 디스플레이 스크린(160)을 터치하고 있다고 추론될 수 있다. 몇몇 경우들에서, 추론은: 물체가 스크린(160)을 터치하고 있는가 터치하고 있지 않는가? 와 같은 이진법적 질의를 평가하는 것을 수반한다. 다른 경우들에서, 질의는, 예컨대: 물체가 스크린(160)으로부터 멀리 있는가, 스크린(160) 근처에 있는가? 또는 스크린(160)을 터치하고 있는가?, 또는 (예컨대, 섀도에 의해 거의 둘러싸이지 않거나 섀도에 의해 전혀 둘러싸이지 않는 물체의 일부에 기초하여 결정되는) 물체의 어느 부분이 스크린(160)을 터치하고 있는가? 와 같은 2개보다 많은 가능한 결과들을 수반한다. 몇몇 실시예들에서, 예를 들어, 스크린의 임계 거리 내에서 및/또는 임계량의 시간 동안 스크린 근처를 물체가 호버링하고 있는지 여부가 결정될 수 있다.
425에서, 물체가 스크린을 터치하고 있는 것으로 추론되면, 프로젝팅된 이미지와 물체 사이의 상호작용이 허용될 수 있다. 예를 들어, 사용자는 프로그램들을 선택할 수 있고, 디스플레이들을 통해서 진행할 수 있고, 디스플레이된 스크린의 부분들을 강조할 수 있고, 디스플레이된 사용자 인터페이스를 이용하여 입력을 프로그램에 제공할 수 있는 식이다. 몇몇 경우들에서, 물체(예컨대, 사용자의 손가락 끝)가, 스크린을 터치하고 있는 것으로 추론되는 경우, 물체는 컴퓨터 마우스로서 실질적으로 동작할 수 있다. 몇몇 경우들에서, 물체가 스크린을 터치하고 있는 것으로 추론되는 경우, 디스플레이 스크린(160)은 트랙 패드로서 실질적으로 동작한다. 예를 들어, 물체 위치의 추정 및 스크린 접촉의 추론은, 물체가 스크린을 터치하고 있는지, 스크린을 탭핑하고 있는지, 스크린을 따라서 드래그하고 있는지, 그리고/또는 스크린으로부터 제거되고 있는지에 관한 추론을 허용할 수 있다. 프로그램은 물체 동작들을 특정 커맨드들(예컨대, 프로그램을 선택하는 것, 뷰들을 변화시키는 것 등)과 연관시킬 수 있다.
도 4에 도시된 방법의 임의의 부분은 반복될 수 있다. 예를 들어, 단일의 참조 이미지 또는 참조 이미지들의 세트가 프로젝팅되는 동안, 제 1 영역 및 제 2 영역은 (예컨대, 별개의 시간 기간들 동안) 반복적으로 조명될 수 있다. 이미지들은 반복적으로 캡쳐될 수 있다. 물체의 위치에 관한 추정 및 스크린(160)을 터치하고 있는지 여부에 관한 추론도 또한 반복적으로 행해질 수 있다. 도 4에서 반복되는 동작들을 나타내는 화살표들은 단지 예를 든 것일 뿐이다. 이 방법은 상이한 반복을 포함할 수 있다는 것이 이해된다. 게다가, 예를 들어, 프로세스(400)는 블록들(430-440)의 수행 이전의 블록들(410-420)의 수행 또는 그 반대를 포함할 수 있다.
도 5는 (예컨대, 도 4의 430에서와 같이) 물체의 위치를 추정하기 위한 방법(500)의 일 실시예를 나타낸다. 505에서, 하나 또는 그 초과의 배경 이미지들이 획득된다. 배경 이미지는, 어떠한 물체도 배경 이미지 내에 존재하지 않는다는 것을 제외하고, 제 1 이미지 및/또는 제 2 이미지(예컨대, 도 4의 415에서 캡쳐된 제 1 이미지)와 실질적으로 유사할 수 있다. 예를 들어, 배경 이미지(들)는, 동일한 설정들을 갖는 동일한 카메라/들을 이용하여 동일한 관점으로부터, 및/또는 제 1/제 2 이미지의 캡쳐 동안 존재하는 것과 실질적으로 유사한 조명으로 캡쳐될 수 있다. 일 경우에서, 제 1 배경 이미지는, 제 1 이미지를 캡쳐하는데 이용될 가능성이 큰 것들 또는 이용된 것들과 유사한 컨디션들(예컨대, 설정들, 관점, 조명 등)로 캡쳐된다. 제 2 배경 이미지는 제 2 이미지를 캡쳐하는데 이용될 또는 이용된 것들과 유사한 컨디션들(예컨대, 설정들, 관점, 조명 등)로 캡쳐될 수 있다.
배경 이미지(들)는, 어떠한 물체도 존재하지 않은 경우, 제어 컨디션 동안 캡쳐되었을 수도 있다. 배경 이미지(들)는 (예컨대, 이미지의 캡쳐를 위한 씬을 준비하도록 사용자에게 명령한 후에) 제어부(control)로서 동작하도록 특정하여 캡쳐되었을 수도 있거나, 또는 사용자의 인지 없이 취해졌을 수도 있다. 예를 들어, 프로젝션 시스템(100)은 단일 관점으로부터 씬을 반복적으로 이미징할 수 있다. 휘도 가변성을 결정하는 것 또는 연속적인 이미지들에 걸쳐서 임의의 임계치-초과 차이(예컨대, 픽셀-페어링된 강도들에서의 절대 차들의 누적합(cumulative sum), 여기서 누적합은 픽셀들에 걸쳐 있음)가 존재하는지 여부를 평가하는 것과 같은 기법은, 어떠한 물체도 스크린(160)의 정면에 존재하지 않을 가능성이 큰 이미지를 식별하는데 이용될 수 있다. 용어들 휘도(brightness), 강도(intensity) 및 밝기(luminance)는, 이미지의 분석과 관련하여 이용되는 경우 본원에서 상호교환가능하게 이용되는 것으로 인식될 것이다.
510에서, 제 1 및/또는 제 2 이미지가 (예컨대, 각각의) 배경 이미지(들)에 기초하여 필터링된다. 하나의 경우에서, 제 1 이미지는 대응하는 제 1 배경 이미지에 기초하여 필터링되고, 제 2 이미지는 대응하는 제 2 배경 이미지에 기초하여 필터링된다. 예를 들어, 배경 이미지(들)(Bx,y)로부터의 2-차원 휘도 맵은 제 1 및/또는 제 2 이미지(Ix,y)의 유사 맵으로부터 감산될 수 있다. 노이즈 임계치 ε는, 필터링된 이미지가 제 1 및/또는 제 2 이미지와 배경 이미지 사이의 차이가 임계치를 초과했던 픽셀들에서의 논-제로 값들만을 포함하도록, 설정될 수 있다. 이러한 프로세스는 이하와 같이 나타낼 수 있다:
Figure pat00001
추가적인 또는 대안적인, 필터링 기법들이 적용될 수 있다. 예를 들어, 제 1, 제 2 및/또는 배경 이미지는 스칼라 또는 가변 스칼라(adjustable scalar)에 의해 스케일링될 수 있다. 예를 들어:
Figure pat00002
이러한 스케일링은, 카메라 설정들이 상이한 이미지들을 캡쳐하기 전에 조정될 수 있으면, 덜 유리하거나 또는 불필요할 수 있다. 510에서의 필터링은, 스크린, 연단(podium) 등과 같은 정적 물체들을 포함하지 않는 필터링된 이미지(j)를 생성할 수 있다.
515에서, 물체와 관련된 위치가, 예를 들어, 필터링된 이미지에 기초하여 추정될 수 있다. 다양한 컴퓨터-비젼 기법들(예컨대, 에지 검출 또는 피쳐 검출)이 이용되어 물체의 위치를 식별할 수 있다.
몇몇 경우들에서, 필터링된 이미지에서 임계치를 초과하는 최상부 픽셀 또는 최상부 논-제로 픽셀이 식별된다. 다수의 컬럼들이 동일한 최상부 로우에서 바람직한 기준들을 충족하는 픽셀을 포함하면, 예를 들어, 최좌측, 중앙 또는 최우측 컬럼을 선택함으로써 단일의 최상부 픽셀이 식별될 수 있다. 일 실시예에서, 최상부 픽셀은, 이미지의 좌측-최상부 코너에서 우측-저부 코너로 스캐닝하면서 제 1 논-제로 또는 임계치-초과 픽셀을 탐색함으로써 식별된다. 최상부 픽셀 자체가 추정된 위치를 나타낼 수 있거나 또는 그 위치를 추정하는데 이용되는 중간 변수(intermediate variable)로서 기능할 수 있다. 예를 들어, 최상부 픽셀이 식별된 후, 최상부 픽셀을 둘러싸는 구역(예컨대, 직사각형) 내에서 극값 포지션이 식별될 수 있다. 이에 따라, 예를 들어, 최상부 픽셀은 좌표들(15, 60)을 갖는 것으로 결정될 수 있다. 다음으로, (10,55)에서 (20,65)로 확장하는 직사각형 블록 내에서 극값 픽셀은 추정된 위치로서 식별될 수 있다.
도 6a는 (예컨대, 도 4의 440에서와 같이) 물체가 스크린을 터치하고 있는지 여부를 결정하기 위한 방법(600a)의 실시예를 나타낸다. 605에서, 이미지에서의 (예컨대, 도 4의 425에서 캡쳐된 제 2 이미지에서의) 관심 포인트가 식별될 수 있다. 관심 포인트는 도 5에서의 물체와 관련되는 것으로 추정된 위치를 포함할 수 있다. 예를 들어, 관심 포인트는 물체의 최상부(예컨대, 손가락 끝의 최상부)에 대응하는 것으로 추정된 픽셀을 포함할 수 있다.
610에서, 관심 영역이 식별될 수 있다. 그 영역은, 관심 포인트를 둘러싸는 구역을 포함할 수 있다. 예를 들어, 영역은 관심 포인트를 둘러싸는 직사각형 영역을 포함할 수 있다.
615에서, 그 영역 내에서 휘도 변화가 분석된다. 물체가 스크린 위에 섀도를 캐스팅하고(호버링하고) 있는 경우, 섀도의 음영 휘도 값들과 물체의 휘도 값들 사이의 극적인 차이로 인해 휘도 변화는 클 수 있다. 물체가 스크린에 접근하는 경우, 대부분의 픽셀들은 물체를 나타낼 수 있고, 이는 비교적 낮은 휘도 변화들을 야기할 수 있다. 물체가 스크린을 터치하는 경우, 물체의 최상부에서 밝은 보더가 형성될 수 있고, 이에 의해 휘도 변화들이 다시 증가할 수 있다.
분석은 영역 내에서 휘도 값들의 표준 편차 또는 분산을 컴퓨팅하는 것을 포함할 수 있다. 일 실시예에서, 복수의 변화 측정들(예컨대, 표준 편차들 또는 변형된 표준 편차들)이 그 영역의 상이한 부분(예컨대, 픽셀들의 상이한 컬럼)과 각각 관련되어 계산된다. 일 실시예에서, 변화 측정들은 n-값(엘리먼트들의 수)으로 나눗셈되지 않은 변형된 표준 편차들을 포함하며; 이러한 변형은 블록 크기들을 변화시키는 것에 대한 측정들의 민감도를 감소시킬 수 있다. 단일의 조합된 변화 측정은, (예컨대, 복수의 변화 측정의 중간치 또는 평균과 동일한) 복수의 변화 측정들에 기초하여 계산될 수 있다. 조합된 변화 측정은, 예를 들어, 분석된 영역의 크기를 고려하도록 스케일링될 수 있다.
수학적 표현이 이하에 나타난다. 이 실시예에서, 필터링된 이미지는, 예를 들어, 제 2 이미지(앞에서 설명됨)로부터 배경 이미지의 (예컨대, 휘도) 값들을 감산함으로써 계산된다. 필터링된 이미지는, 그 차이가 노이즈 임계치 ε 미만이면, 0으로 설정된다. 관심 위치(i,j)를 둘러싸는 최상부 블록 K가 분석된다. 변형된 표준 편차들은 각각의 컬럼 σi에 대해 계산된다. 다음으로, 변형된 표준 편차들이 시간-종속 조합된 변화 측정 αt를 컴퓨팅하기 위해 평균화된다.
Figure pat00003
평균 표준 편차는, 예를 들어, 물체가 스크린에 접근하고 있는지 여부를 결정하기 위해 이용될 수 있다. 특정하여, 낮은 평균 표준 편차는, 물체가 스크린에 접근하고 있고 그리고 스크린 위에서 호버링하거나(이 경우, 물체는 섀도에 의해 둘러싸일 수 있음) 또는 스크린에 접촉하고 있지는 않다(이 경우, 물체는 밝은 스폿에 의해 둘러싸일 수 있음)고 추론하는데 이용될 수 있다. 그러나, 평균 표준 편차는 모든 실시예들에서 이러한 2개의 후자의 경우들 사이를 구별하지 못할 수 있다.
620에서, 음영/밝음 부호(sign)가 식별된다. 부호는, 예를 들어, 관심 영역 및/또는 포인트 내에서의 극값 포인트(또는 강도와 관련하여 포인트들의 상위 n개의 평균)가 "음영" 강도 값과 관련되는지 아니면 "밝음" 강도 값과 관련되는지를 나타낼 수 있다. 예를 들어, 음영 부호는 관심 포인트의 휘도가 임계치 아래 또는 평균 휘도 값 아래에 있는 경우에 식별될 수 있다. 밝음 부호는, 관심 포인트의 휘도가 임계치 위에 또는 평균 휘도 값 위에 있는 경우에 식별될 수 있다. 다른 예시로서, 강도 분포들의 왜곡이 이용되어 부호를 결정할 수 있다.
임계치는, 이미지가 디스플레이되고 있는 표면, 주변 광, 스킨 컬러, 제어 물체의 컬러, 또는 프로젝팅되는 이미지 또는 디스플레이에 기초하여 결정될 수 있다. 임계치는, 강도 값들의 분포를 결정함으로써, 그리고 규정수(given number)의 강도 값들이 그 미만 또는 그 초과인 값으로 임계치를 설정함으로써, 결정될 수 있다. 예를 들어, 음영 부호를 결정하기 위한 임계치는, 프로젝팅되는 이미지에 대한 강도 값들의 분포에 액세스함으로써, 그리고 액세스된 값들의 20%가 임계치 미만이 되도록 임계치를 설정함으로써 결정될 수 있다. 임계치는 고정형이거나 또는 가변적일 수 있다. 예를 들어, 임계치는 프로젝팅되는 이미지 또는 평균 오프-스크린 순시 강도(average off-screen instantaneous intensity)에 따라 변화할 수 있다.
625에서, 물체가 스크린을 터치하고 있는지 여부에 대한 결정이 행해진다. 이하의 표는 다양한 상태들과 관련된 변화 측정들 및 음영/밝음 부호들을 나타낸다. 따라서, 615에서 결정된 변화 측정 및 620에서 결정된 음영/밝음 부호에 기초하여, 물체의 상태(예컨대, 호버링, 스크린에 접근하는 것, 또는 스크린을 터치하는 것)가 결정될 수 있다. 도 7은, 물체가 스크린에 접근하는 경우의 상황들에서의 변화들을 추적할 수 있는 상태 머신의 일 예시를 나타낸다.
Figure pat00004
도 6b는, (예를 들어, 도 4의 440에서와 같이) 물체가 스크린을 터치하고 있는지 여부를 결정하기 위한 다른 방법(600b)의 실시예를 나타낸다. 655에서, 디스플레이가 표면상으로 프로젝팅된다. 블록 655은 블록 405와 관련하여 설명된 실시예들과 유사한 실시예들을 포함한다. 예를 들어, 디스플레이는, 디스플레이 스크린상으로 프로젝터에 의해 프로젝팅될 수 있고, 디지털 이미지(예컨대, 프리젠테이션 슬라이드, 문서, 데스크탑, 사용자 인터페이스, 픽쳐, 애니메이션 등)일 수 있다.
660에서, 표면 근처의 영역이 조명된다. 블록 660은 블록 430과 관련하여 설명된 실시예들과 유사한 실시예들을 포함할 수 있다. 예를 들어, 영역은 표면의 정면 표면 및/또는 표면 바로 앞에 있는 영역을 포함하거나 또는 이로 구성될 수 있고, 조명은, 사용자 본인이 디스플레이를 프로젝팅하는 프로젝터와 표면 사이에 서있고 그 표면을 터치하면 사용자의 손이 조명될 가능성이 높아지게 되도록 구성될 수 있다. 조명은 비-가시광(non-visible)에 의한 조명을 포함할 수 있다. 또한, 이러한 제 2-영역 조명은, (가시발광을 포함할 수 있는) 400에서의 참조 이미지를 프로젝팅하기 위해 방출된 광에 추가적일 수 있다. 따라서, 표면 근처의 영역은, 655에서 디스플레이가 표면상으로 프로젝팅되는 동안 660에서 조명될 수 있다.
665에서, 표면의 이미지가 조명 동안 캡쳐된다. 블록 665는 블록 435와 관련하여 설명된 실시예들과 유사한 실시예들을 포함할 수 있다. 670에서, 이미지의 적어도 일부에서의 픽셀들의 강도들의 변화가 분석된다. 블록 670은 블록 615와 관련하여 설명된 실시예들과 유사한 실시예들을 포함할 수 있다. 예를 들어, 분석은, 하나 또는 그 초과의 (전통적인 또는 변형된) 표준 편차 또는 영역 내에서 휘도 값들의 변동을 컴퓨팅하는 것을 포함할 수 있다.
675에서, 부분과 관련된 극성이 결정된다. 블록 675는 블록 620과 관련하여 설명된 실시예들과 유사한 실시예들을 포함할 수 있다. 예를 들어, 극성을 결정하는 것은 그 영역에서의 극값의 부호를 식별하는 것, 그 영역으로부터 강도 값들의 분포의 왜곡의 방향을 식별하는 것 또는 그 영역에서의 극값을 임계치와 비교하는 것을 포함할 수 있다.
680에서, 픽셀들의 강도들의 변화의 분석 및 결정된 극성에 적어도 부분적으로 기초하여 물체가 표면을 터치하고 있는지의 여부에 대한 결정이 행해진다. 블록 680은 블록 625과 관련하여 설명된 실시예들과 유사한 실시예들을 포함할 수 있다. 예를 들어, 그 부분이 픽셀 강도들에서의 높은 변화를 포함하고 극성이 높거나 또는 밝음(light)인 경우 물체가 표면을 터치하고 있다고 결정될 수 있다. 몇몇 실시예들에서, 물체가 표면을 터치하고 있는지의 여부의 결정은, 애플리케이션, 예를 들어, 655에서 프로젝팅되는 디스플레이와 관련된 애플리케이션의 동작에 영향을 줄 수 있다.
도 8은 프로젝션 시스템(800)의 일 실시예를 나타낸다. 도 8에 나타낸 컴포넌트들은, 단일 디바이스 또는 다수의 디바이스들의 부품들일 수 있다. 예를 들어, 몇몇 컴포넌트들은 프로젝터의 부품들일 수 있지만, 다른 컴포넌트들은 독립적인 (커플링되거나 또는 커플링되지 않은) 컴퓨터의 부품들일 수 있다. 몇몇 실시예들에서, 하나 또는 그 초과의 도시된 컴포넌트들은 시스템으로부터 생략될 수 있고 그리고/또는 추가적인 컴포넌트들이 도시된 시스템에 부가될 수 있다는 것이 이해된다.
시스템(800)은, 카메라(820)(예컨대, 카메라(120)), 하나 또는 그 초과의 광원들(812)(예컨대, 정면 광원(110) 및/또는 후면 광원(115)), 및 타이밍 회로(825)(예컨대, 타이밍 회로(125))를 포함한다. 카메라(820)는 디스플레이 스크린에서의 영역 또는 디스플레이 스크린 근처의 영역의 이미지들을 캡쳐할 수 있다. 하나 또는 그 초과의 광원들(812)은 스크린에서의 영역 또는 스크린 근처의 영역을 조명할 수 있다. 광원(들)(812)은 비-가시광(예컨대, 적외선)을 발광할 수 있다. 카메라(820) 및 광원(들)(812)은, 발광되는 동안 이미지들이 캡쳐되도록, 커플링될 수 있다. 일 실시예에서, 카메라(820)는 타이밍 회로(825)를 통해 광원(들)(812)에 커플링된다. 광원(들)(812)이 복수의 광들을 포함하는 실시예들에서, (예컨대, 광원들이 실질적으로 중첩되지 않는 시간 기간들 동안 발광하도록) 타이밍 회로(825)는 또한 또는 대안적으로 이러한 광들의 방출을 조정할 수 있다.
카메라(820)에 의해 캡쳐된 이미지들은 프로세싱 및/또는 분석될 수 있다. 일 실시예에서, 이미지들은 이미지 사전-프로세서(870)에 입력된다. 이미지 사전-프로세서(870)는, 예를 들어, 필터(872)를 포함할 수 있다. 필터(872)는 특정한 공간 주파수들을 필터링하고, 이미지를 강화하고, 이미지를 크롭(crop)하고, 모든 픽셀들에 대해 강도 값(예컨대, 평균 강도)을 가산하거나 또는 감산할 수 있는 식이다. 몇몇 경우들에서, 필터(872)는 정적-물체 리무버(874)를 포함한다. 정적-물체 리무버(874)는 관심이 없는 캡쳐된 이미지의 일부들(예컨대, 무생물들(inanimate objects), 스크린, 주어진 시간 기간 내에 움직이지 않았던 물체들 등)을 필터링할 수 있다. 몇몇 경우들에서, 정적-물체 리무버(874)는 이러한 필터링을 수행하기 위해 제어 이미지를 이용한다. 예를 들어, 오직 스크린만을 포함하는 이미지 또는 그 이미지 내에 어떠한 사람도 갖지 않는 이미지는 후속 이미지들로부터 빠질 수 있다. 다른 예시로서, (예컨대, 오직 정적 물체들만이 제어 이미지 내에서 뚜렷하게(pronounced) 유지되도록) 제어 이미지는 다수의 이미지들의 평균을 포함한다. 사전-프로세서(870)는 디-노이저(876)를 포함할 수 있다. 디-노이저(876)는, 예를 들어, 제어 이미지에서의 대응하는 값들과는 불충분하게 상이한 값들(예컨대, 휘도 값들)을 갖는 픽셀들을 식별할 수 있다. 그후, 이러한 픽셀들에 대한 값들은 0으로 설정될 수 있다. 사전-프로세서(870)는 노멀라이저(878)를 포함할 수 있다. 예를 들어, 노멀라이저(878)는 환경 조명(environmental lighting)에 대해 제어하도록 시도할 수 있다. 따라서, 예를 들어, 특정한 픽셀들이 항상 방해받지 않을 것이라는 것이 예상될 수 있다. 다음으로, 이러한 값들에서의 픽셀들이 식별된 값들과 동일하거나 또는 식별된 범위들 내에 있도록, 필터링된 이미지가 조절될 수 있다.
사전-프로세싱된 이미지들은 하나 또는 그 초과의 이미지 분석기(들)(880)에 의해 분석될 수 있다. 몇몇 실시예들에서, 이미지 분석기(880)에 의해 수행된 분석은 논의중인(at issue) 이미지와 관련된 특징들에 의존한다. 예를 들어, 정면 광원이 발광하고 있었던 동안 획득된 이미지의 분석은, 제 2 광원이 발광하고 있었던 동안 획득된 이미지의 분석과는 상이할 수 있다. 이미지 분석기(880)는 에지 검출기(882)를 포함할 수 있다. 에지 검출기(882)는, 예를 들어, 에지들을 식별하기 위해 라인들 및/또는 픽셀 변화들을 식별할 수 있다. 에지들은 물체(예컨대, 손가락 끝), 물체의 섀도 및/또는 물체 주변의 휘도 보더와 관련된 에지들일 수 있다.
이미지 분석기(880)는 피쳐 인식기(884)를 포함할 수 있다. 피쳐 인식기(884)는 일반적인 유형들의 피쳐들 또는 특정한 유형들의 피쳐들로 피쳐들을 인식할 수 있다. 예를 들어, 피쳐 인식기(884)는, 씬이 (예컨대, 물체 및 섀도에 대응할 수 있는) 2개의 피쳐들을 포함하는 것으로 식별할 수 있다. 몇몇 실시예들에서, 피쳐 인식기(884)는, 씬이 손가락 끝과 같은 물체를 포함하는지 여부를 특별히 인식할 수 있다. 피쳐 인식기(884)는 이미지의 휘도, 휘도 변화, 휘도 상관들 등을 분석할 수 있다.
이미지 분석기(880)는 변화 검출기(886)를 포함할 수 있다. 변화 검출기(886)는, 예를 들어, 픽셀 값들(예컨대, 픽셀 휘도 값들)의 변화, 범위 또는 표준 편차를 식별할 수 있다. 변화 검출기(886)는 절대값 또는 스케일링된 값(예컨대, 백분율)으로서 가변 출력을 식별할 수 있다. 변화 검출기(886)는 전체 이미지에 걸친 또는 (예컨대, 물체와 관련된 위치를 둘러싸는) 이미지의 일부 내의 픽셀들을 분석할 수 있다.
이미지 분석기(880)는 부호 검출기(888)를 포함할 수 있다. 부호 검출기(888)는, 이미지가 어두운 피쳐(예컨대, 손가락 끝의 섀도)를 포함하는지 또는 밝은 피쳐(예컨대, 스크린을 터치하는 손가락 끝의 최상부 위의 밝은 스폿)를 포함하는지를 분석할 수 있다. 부호 검출기(888)는 전체 이미지 또는 (예컨대, 물체와 관련된 위치를 둘러싸는) 그 이미지의 일부를 분석할 수 있다. 부호 검출기는 하나 또는 그 초과의 극값 픽셀들의 부호 또는 그 영역에서의 중간, 평균 또는 모드 픽셀의 부호를 식별할 수 있다.
이미지 분석기(880)는 물체 검출기(892), 물체 로케이터(894) 및/또는 물체 상태 검출기(896)에 커플링될 수 있다. 물체 검출기(892)는, 물체(일반적으로 또는 특정한 물체, 예컨대, 손가락 끝)가 이미지 내에 존재하는지 여부를 검출할 수 있다. 물체 로케이터(894)는 물체의 위치를 추정할 수 있다. 물체 상태 검출기(896)는 물체의 상태(예컨대, 호버링, 유휴, 스크린을 터치하는 것, 또는 스크린에 접근하는 것)를 추정할 수 있다. 물체 검출기(892), 물체 로케이터(894) 및/또는 물체 상태 검출기(896)는 프로그램 인터랙터(898)에 커플링될 수 있다. 예를 들어, 오직 물체가 검출되고 특정한 상태(예컨대, 스크린을 터치하는 것)에 있는 것으로서 검출되는 경우에만 사용자가 프로그램과 상호작용할 수 있다. (예를 들어, 프로그램이 스크린 상에서 사용자의 손의 위치에 따라 상이하게 반응하도록) 상호작용의 유형은 물체의 위치에 의존할 수 있다. 프로그램 인터랙터(898)는 프로젝션 옵틱들(805)(예컨대, 프로젝션 옵틱들(105))에 커플링될 수 있어서, 예를 들어, 옵틱들에 의해 무엇이 디스플레이되는가는 물체의 존재, 위치 및/또는 상태에 의존한다. 따라서, 프로젝션 옵틱들(805) 또는 다른 이러한 프로젝션 엘리먼트들은 이미지들 또는 프로그램 또는 애플리케이션 또는 컴퓨터 시스템의 상태 또는 동작의 다른 표현들을 프로젝팅하는데 이용될 수 있다. 사용자는, 이미지들 또는 표현들이 프로젝팅되거나 디스플레이되는 표면을 터치함으로써 프로그램, 애플리케이션, 또는 컴퓨터 시스템과 상호작용할 수 있다. 예를 들어, 시스템(800)이, 이미지가 디스플레이되는 표면을 사용자가 터치하는 것으로 검출하는 경우, 시스템은 그 터치를 클릭킹 이벤트(clicking event)(사용자가 마우스를 사용할 수 있는 방식과 유사)로서 처리할 수 있다. 이에 따라, 사용자는 표면상에 디스플레이된 물체들을, 이들을 터치함으로써 선택할 수 있다. 게다가, 예를 들어, 사용자는 표면을 터치하고 사용자 본인의 손가락을 표면에 걸쳐 드래그하여 선택 박스를 생성할 수 있거나, 또는, 사용자는 물체를 터치하고 사용자 본인의 손가락을 표면에 걸쳐 드래그하여, 그 물체를 이동시킬 수 있다. 당업자들은, 이에 따라, 시스템(800)이 표면으로부터 원격으로 위치되어 그 표면이 어떠한 전자 성분들도 포함하지 않는 경우조차도, 표면이 터치-스크린 디바이스로서 동작될 수 있다는 것을 인식할 것이다. 이러한 방식으로, 사용자 또는 다른 물체가 표면 및/또는 물체 또는 터치의 위치를 터치하고 있는지의 결정은, 예를 들어, 프로젝팅되는 이미지 또는 다른 디스플레이에 기초하여, 애플리케이션 또는 컴퓨터 프로세스에 입력으로서 제공되고 그리고/또는 이용될 수 있다. 몇몇 실시예들에서, 애플리케이션은 시스템(100 또는 800) 상에서 구동할 수 있거나 또는 그에 의해 구현될 수 있다. 몇몇 실시예들에서, 애플리케이션은 시스템(100 또는 800)에 커플링된 컴퓨터상에서 구동될 수 있고, 입력은 통신 인터페이스를 통해서 컴퓨터 시스템에 제공될 수 있다.
프로젝션 시스템(100 또는 800)은 컴퓨터 시스템을 포함할 수 있고 그리고/또는 컴퓨터 시스템에 커플링될 수 있다. 예를 들어, 프로젝션 시스템(100)은, 디스플레이 스크린(160) 상에 어떤 이미지들이 디스플레이될지 조절하는 컴퓨터 시스템에 커플링된다. 내부 또는 외부 컴퓨터가 또한 이용되어, 예를 들어, 물체의 위치 및/또는 그 물체가 스크린을 터치하고 있는지 여부를 결정할 수 있다. 도 9는, 예를 들어, 본원에 설명된 방법들의 전부 또는 일부를 수행할 수 있는 컴퓨터 시스템(900)의 일 실시예의 개략적인 예시를 제공한다. 임의의 컴퓨터 시스템(900) 또는 모든 컴퓨터 시스템(900)은 프로젝션 시스템(100)에 통합될 수 있고 그리고/또는 프로젝션 시스템(100)에 (예컨대, 무선 또는 유선 접속을 통해서) 커플링될 수 있다. 도 9는 오직 다양한 컴포넌트들의 일반화된 예시를 제공하는 것으로 여겨지며, 여기서 다양한 컴포넌트들 중 임의의 컴포넌트 또는 모든 컴포넌트는 적절하게 활용될 수 있다. 이에 따라, 도 9는, 상대적으로 분리되는 또는 상대적으로 더욱 통합되는 방식으로 개별적인 시스템 엘리먼트들이 어떻게 구현될 수 있는지 광범위하게 예시한다.
버스(905)를 통해서 전기적으로 커플링될 수 있는 (또는 그렇지 않으면 적절하게 통신하고 있을 수 있는) 하드웨어 엘리먼트들을 포함하는 컴퓨터 시스템(900)이 도시된다. 하드웨어 엘리먼트들은, 하나 또는 그 초과의 범용 프로세서들 및/또는 하나 또는 그 초과의 특수-목적 프로세서들(예컨대, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등)을 포함하는(그러나, 이에 한정하지 않음) 하나 또는 그 초과의 프로세서들(910); 마우스, 키보드 등을 포함할 수 있는(그러나, 이에 한정하지 않음) 하나 또는 그 초과의 입력 디바이스들(915); 및 디스플레이 디바이스, 프린터 등을 포함할 수 있는(그러나, 이에 한정하지 않음) 하나 또는 그 초과의 출력 디바이스들(920)을 포함할 수 있다.
컴퓨터 시스템(900)은, 로컬 및/또는 네트워크 액세스가능한 저장부를 한정 없이 포함할 수 있는 그리고/또는 디스크 드라이브, 드라이브 어레이, 옵티컬 저장 디바이스, (프로그래밍, 플래시-업데이트 등이 가능한) 고체-상태 저장 디바이스, 예를 들어, 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM")를 포함할 수 있는 (그러나, 이에 한정하지 않음) 하나 또는 그 초과의 저장 디바이스들(925)을 더 포함할 수 있다(그리고/또는 이들과 통신하고 있을 수 있다). 이러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하는(그러나, 이에 한정하지 않음) 임의의 적절한 데이터 저장부들을 구현하도록 구성될 수 있다.
컴퓨터 시스템(900)은 또한, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(예컨대, 블루투스™ 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등) 등을 포함할 수 있는(그러나, 이에 한정하지 않음) 통신 서브시스템(930)을 포함할 수 있다. 통신 서브시스템(930)은 네트워크(예컨대, 한 가지만 예를 들면, 이하 설명된 네트워크), 다른 컴퓨터 시스템들, 및/또는 본원에 설명된 임의의 다른 디바이스들과 데이터가 교환되도록 허용할 수 있다. 수많은 실시예들에서, 컴퓨터 시스템(900)은, 앞서 설명된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 작업(working) 메모리(935)를 더 포함할 것이다.
컴퓨터 시스템(900)은 또한, 본원에 설명된 바와 같이, 작업 메모리(935) 내에 현재 위치되어 있는 것으로 도시되고, 동작 시스템(940), 디바이스 드라이버들, 실행가능 라이브러리들, 및/또는 다양한 실시예들에 의해 제공된 컴퓨터 프로그램들을 포함할 수 있고, 그리고/또는 방법들을 구현하고, 그리고/또는 다른 실시예들에 의해 제공된 시스템들을 구성하도록 설계될 수 있는 다른 코드, 예를 들어, 하나 또는 그 초과의 애플리케이션 프로그램들(945)을 포함하는 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예시에 의해, 앞서 논의된 방법(들)에 관련하여 설명된 하나 또는 그 초과의 절차들이 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고; 일 양상에서, 그로 인해, 이러한 코드 및/또는 명령들이 설명된 방법들에 따라서 하나 또는 그 초과의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응하는데 이용될 수 있다.
일 세트의 이러한 명령들 및/또는 코드는, 앞서 설명된 저장 디바이스(들)(925)와 같은 컴퓨터-판독가능 저장 매체 상에 저장될 수 있다. 몇몇 경우들에서, 이 저장 매체는 시스템(900)과 같은 컴퓨터 시스템 내에 통합될 수 있다. 다른 실시예들에서, 이 저장 매체는 컴퓨터 시스템(예컨대, 콤팩트 디스크와 같은 탈착식 매체)으로부터 분리될 수 있고, 그리고/또는 설치 패키지(installation package)로 제공될 수 있어서, 이 저장 매체는 저장된 명령들/코드를 이용하여 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응하도록 이용될 수 있다. 이러한 명령들은 컴퓨터 시스템(900)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 그리고/또는 소스 및/또는 설치가능한 코드의 형태를 취할 수 있고, 이는 그후 (예컨대, 임의의 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 이용하여) 컴퓨터 시스템(900) 상에서의 컴필레이션(compilation) 및/또는 설치시에, 실행가능한 코드의 형태를 취한다. 몇몇 실시예들에서, 시스템(900) 또는 이들의 컴포넌트들은 시스템(100 또는 800)의 하우징 내에 포함되거나, 또는 그렇지 않으면 이에 기계적으로 커플링될 수 있다. 예를 들어, 하나 또는 그 초과의 프로세서들(910)은, 이미지 사전-프로세서(870), 이미지 분석기(880), 물체 검출기(892), 물체 로케이터(894), 물체 상태 검출기(896) 또는 프로그램 인터랙터(898) 중 하나 또는 그 초과를 포함할 수 있다.
특정 요건들에 따라서 상당한 변화들이 행해질 수 있다는 것이 당업자들에게는 명백할 것이다. 예를 들어, 맞춤형 하드웨어가 또한 이용될 수 있고, 그리고/또는 특정한 엘리먼트들이 하드웨어, 소프트웨어(예컨대, 애플릿 등과 같은 포터블 소프트웨어들을 포함함), 또는 둘 다에서 구현될 수 있다. 게다가, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 접속이 채용될 수 있다.
앞서 언급된 바와 같이, 일 양상에서, 몇몇 실시예들은 컴퓨터 시스템(예컨대, 컴퓨터 시스템(900))을 채용하여 본 발명의 다양한 실시예들에 따른 방법들을 수행할 수 있다. 일 세트의 실시예들에 따르면, 이러한 방법들의 절차들 중 몇몇 또는 전부는, 작업 메모리(535)에 포함된 (동작 시스템(940) 및/또는 애플리케이션 프로그램(945)과 같은 다른 코드에 통합될 수 있는) 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 프로세서(910)에 응답하여 컴퓨터 시스템(900)에 의해 수행된다. 이러한 명령들은, 다른 컴퓨터-판독가능 매체, 예컨대, 저장 디바이스(들)(925) 중 하나 또는 그 초과로부터 작업 메모리(935)에 판독될 수 있다. 단지 예시에 의해, 작업 메모리(935)에 포함된 명령들의 시퀀스들의 실행은, 프로세서(들)(910)로 하여금 본원에 설명된 방법들의 하나 또는 그 초과의 절차들을 수행하게 할 수 있다. 예를 들어, 하나 또는 그 초과의 프로세서들(910)은, 프로세스(400)의 블록들(420, 425, 및/또는 440); 프로세스(500)의 블록들(505, 510, 및/또는 515); 프로세스(600a)의 블록들(605, 610, 615, 620 및/또는 625) 및/또는 프로세스(600b)의 블록들(670, 675, 및/또는 680)을 수행할 수 있다. 게다가, 하나 또는 그 초과의 프로세서들(910)은, 예를 들어, 프로젝터(105), 광원(110), 광원(115), 및/또는 카메라(120)와 같은 하나 또는 그 초과의 다른 엘리먼트들로 하여금, 프로세스(400)의 블록들(405, 410, 415, 430 및/또는 435); 및/또는 프로세스(600b)의 블록들(655, 660, 및/또는 665)을 수행하도록 명령할 수 있고 그리고/또는 수행하게 할 수 있다.
본원에 이용된 바와 같은 용어들 "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"는, 머신으로 하여금 특정 방식으로 동작하게 하는 데이터를 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 판독가능 매체 및 저장 매체는 일시적 전파 신호들을 지칭하는 것은 아니다. 컴퓨터 시스템(900)을 이용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능 매체는 실행을 위해 프로세서(들)(910)에 명령들/코드를 제공하는데 수반될 수 있고 그리고/또는 이러한 명령들/코드를 저장하는데 이용될 수 있다. 수많은 구현들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는 비휘발성 매체 또는 휘발성 매체의 형태를 취할 수 있다. 비휘발성 매체는, 예를 들어, 광학 및/또는 자기 디스크들, 예컨대, 저장 디바이스(들)(925)를 포함한다. 휘발성 매체는, 동적 메모리, 예컨대, 작업 메모리(935)를 포함한다(그러나, 이에 한정하지 않는다).
물리적 및/또는 유형의 컴퓨터-판독가능 매체의 일반적인 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 페이퍼테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지 등을 포함한다.
실시예들
도 10a는, 도 4의 425와 관련하여 설명된 바와 같이 "제 2 이미지"가 캡쳐된 상황의 일 예시를 나타낸다. 구체적으로, 이미지가 캡쳐되는 동안 후면 광원이 발광하고 있다. 이 예시에서, 손이 스크린 위에서 호버링하고 있다. 조명의 각도 및 강도로 인해, 섀도는 핸드 아래에서 캐스트된다. 도 10b 및 도 10c는, 제 2 이미지에 기초하여 계산된 배경-감산된 휘도 맵의 2개의 투시도들을 나타낸다. 맵의 z-축 및 컬러링은 각각의 픽셀의 휘도를 나타낸다. 포지티브 값들은 픽셀이 배경보다 밝은 것을 나타내고, 네거티브 값들은 픽셀이 배경보다 어두운 것을 나타낸다. (예를 들어, 도 10c에서 측면-뷰 투시도로부터 특별히) 입증된 바와 같이, 최상부(top-most) 표명된 값들은 네거티브이며 - 섀도를 나타낸다.
도 11a는, 도 4의 425와 관련하여 설명된 바와 같이 "제 2 이미지"가 캡쳐되는 상황의 다른 예시를 나타낸다. 이러한 경우에서, 손가락은 스크린을 터치하고 있다. 나타낸 바와 같이, 손가락은 밝은 영역에 의해 둘러싸인다. 도 11b 및 도 11c는 제 2 이미지에 기초하여 계산된 배경-감산된 휘도 맵의 2개의 투시도들을 나타낸다. 맵의 z-축 및 컬러링은 또한 각각의 픽셀의 휘도를 나타낸다. (예를 들어, 도 11c에서 측면-뷰 투시도로부터 특별히) 입증된 바와 같이, 최상부(top-most) 표명된 값은 포지티브이며 - 밝은 콘택 보더를 나타낸다. 따라서, 제 2 이미지들은, 물체가 스크린 위에서 호버링하고 있는 상황들을, 물체가 스크린을 터치하고 있는 상황들과 구별하는데 이용될 수 있다.
앞서 논의된 방법들, 시스템들, 및 디바이스들은 예시들이다. 다양한 구성들은, 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 치환, 또는 부가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 부가, 생략, 및/또는 조합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들로 조합될 수 있다. 이 구성들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 또한, 기술은 진화하며, 이에 따라, 수많은 엘리먼트들은 예시들이며 본 개시물 또는 청구항들의 범위를 제한하지 않는다.
(구현들을 포함하는) 예시의 구성들의 철저한 이해를 제공하기 위해 특정 세부사항들이 상세한 설명에 제공된다. 그러나, 이러한 특정 세부사항들 없이도 구성들이 실행될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 이러한 구성들을 모호하게 하는 것을 회피하기 위해 불필요한 세부사항들 없이 도시되었다. 이러한 설명은, 오직 예시의 구성들만을 제공하며, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들의 이전의 설명은, 당업자들에게 설명된 기법들을 구현하기 위한 가능한 설명을 제공할 것이다. 본 개시물의 사상 또는 범위를 벗어나지 않고 엘리먼트들의 기능 및 배열에서 다양한 변화들이 행해질 수 있다.
또한, 흐름도 또는 블록도로서 도시된 프로세스로서 구성들이 설명될 수 있다. 각각은 순차적인 프로세스로서 동작들을 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 포함할 수 있다. 게다가, 방법들의 예시들은, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 필수적인 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은, 저장 매체와 같은 비-일시적 컴퓨터-판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.
몇몇 예시의 구성들을 설명하였으며, 본 개시물의 사상에서 벗어나지 않고 다양한 변형들, 대안적인 구성(construction)들, 및 동등물들이 이용될 수 있다. 예를 들어, 전술한 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들이 본 발명의 애플리케이션에 우선할 수 있거나 또는 그렇지 않으면 본 발명의 애플리케이션을 변형할 수 있다. 또한, 수많은 단계들이, 전술한 엘리먼트들이 고려되기 전, 동안, 또는 후에 착수될 수 있다. 이에 따라, 전술한 설명은 청구항들의 범위에 얽매이지 않는다.

Claims (33)

  1. 방법으로서,
    표면상으로 디스플레이를 프로젝팅하는 단계;
    상기 표면 근처의 영역을 조명하는 단계;
    조명 동안 상기 표면의 이미지를 캡쳐하는 단계;
    상기 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 분석하는 단계;
    상기 이미지의 상기 일부와 관련된 극성을 결정하는 단계; 및
    상기 변화의 분석 및 상기 결정된 극성에 적어도 부분적으로 기초하여 물체가 상기 표면을 터치하고 있는지 여부를 결정하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 적어도 일부는 상기 물체의 적어도 일부의 추정된 위치를 둘러싸는 영역을 포함하는,
    방법.
  3. 제 1 항에 있어서,
    상기 강도들의 변화를 분석하는 단계는, 상기 강도들의 하나 또는 그 초과의 표준 편차들을 계산하는 단계를 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 강도들의 변화를 분석하는 단계는, 상기 일부에서의 중첩되지 않는 영역들과 관련된 복수의 표준 편차들을 계산하는 단계를 포함하는,
    방법.
  5. 제 4 항에 있어서,
    상기 강도들의 변화를 분석하는 단계는, 상기 복수의 표준 편차들을 평균화하는 단계를 더 포함하는,
    방법.
  6. 제 1 항에 있어서,
    상기 극성을 결정하는 단계는, 상기 이미지의 상기 일부에서의 극치(extremum)의 부호(sign)를 식별하는 단계를 포함하는,
    방법.
  7. 제 1 항에 있어서,
    상기 물체가 상기 표면을 터치하고 있는지 여부를 결정하는 단계는, 상기 결정된 극성이 포지티브인 것을 요구하는,
    방법.
  8. 제 1 항에 있어서,
    상기 표면 근처의 정면 영역을 조명하는 단계;
    상기 정면 영역의 조명 동안 상기 표면의 감소된-쉐도우 이미지를 캡쳐하는 단계; 및
    상기 감소된-쉐도우 이미지에 기초하여 상기 물체와 관련된 위치를 식별하는 단계를 더 포함하고,
    상기 정면-영역 조명은, 상기 감소된-쉐도우 이미지 내에서 상기 표면 근처를 호버링(hovering)하는 물체와 관련된 쉐도우들을 최소화시키도록 구성되는,
    방법.
  9. 제 8 항에 있어서,
    상기 정면 영역을 조명하기 전에 상기 영역을 조명하는 것을 중지하는 단계를 더 포함하는,
    방법.
  10. 제 1 항에 있어서,
    실질적으로 밀봉된 프로젝팅 디바이스는, 상기 디스플레이를 프로젝팅하고, 상기 영역을 조명하고, 상기 이미지를 캡쳐하는,
    방법.
  11. 프로젝터 시스템으로서,
    표면상으로 디스플레이를 프로젝팅하도록 구성된 프로젝션 옵틱들;
    상기 표면을 향하는 방향으로 광(light)을 방출하도록 구성된 광원;
    상기 광의 방출 동안 상기 표면의 이미지를 캡쳐하도록 구성된 카메라;
    상기 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 검출하고 그리고 상기 이미지의 상기 일부와 관련된 극성을 결정하도록 구성된 이미지 분석기; 및
    상기 변화 검출 및 상기 결정된 극성에 적어도 부분적으로 기초하여 물체가 상기 표면을 터치하고 있는지 여부를 결정하도록 구성된 상태 검출기를 포함하는,
    프로젝터 시스템.
  12. 제 11 항에 있어서,
    상기 이미지 분석기는 상기 물체와 관련된 위치를 추정하도록 더 구성되는,
    프로젝터 시스템.
  13. 제 12 항에 있어서,
    상기 이미지의 상기 일부는, 추정된 위치를 둘러싸는 영역을 포함하는,
    프로젝터 시스템.
  14. 제 11 항에 있어서,
    상기 이미지 분석기는, 상기 이미지의 상기 적어도 일부와 관련된 강도들의 복수의 표준 편차들을 식별하도록 더 구성되는,
    프로젝터 시스템.
  15. 제 11 항에 있어서,
    상기 표면을 향하는 제 2 방향으로 광을 방출하도록 구성된 제 2 광원 ― 상기 제 2 방향은 상기 방향과는 상이함 ―; 및
    상기 광의 제 2 광의 방출 동안 상기 카메라에 의해 캡쳐된 이미지에 기초하여 상기 물체의 포지션을 검출하도록 구성된 포지션 검출기를 더 포함하는,
    프로젝터 시스템.
  16. 제 11 항에 있어서,
    상기 극성의 결정은, 상기 이미지의 상기 일부에서의 극치의 부호를 식별하는 단계를 포함하는,
    프로젝터 시스템.
  17. 제 11 항에 있어서,
    상기 물체가 상기 표면을 터치하고 있는 것으로의 결정 시에 상기 물체가 상기 표면상에 디스플레이되는 프로그램과 상호작용하는 것을 허용하도록 구성된 프로그램 인터랙터(program interactor)를 더 포함하는,
    프로젝터 시스템.
  18. 제 11 항에 있어서,
    하나 또는 그 초과의 제어 이미지들에 적어도 부분적으로 기초하여 상기 이미지를 필터링하도록 구성된 이미지 사전-프로세서를 더 포함하는,
    프로젝터 시스템.
  19. 제 11 항에 있어서,
    상기 카메라 및 상기 광원에 커플링된 타이밍 회로를 더 포함하고,
    상기 타이밍 회로는, 상기 광원이 광을 방출하는 횟수와 상기 카메라가 이미지들을 캡쳐하는 횟수들을 조정하도록 구성되는,
    프로젝터 시스템.
  20. 프로젝션 시스템으로서,
    표면상으로 디스플레이를 프로젝팅하기 위한 수단;
    상기 표면 근처의 영역을 조명하기 위한 수단;
    조명 동안 상기 표면의 이미지를 캡쳐하기 위한 수단;
    상기 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 분석하기 위한 수단;
    상기 이미지의 상기 일부와 관련된 극성을 결정하기 위한 수단; 및
    상기 분석 및 상기 결정된 극성에 적어도 부분적으로 기초하여 물체가 상기 표면을 터치하고 있는지 여부를 결정하기 위한 수단을 포함하는,
    프로젝터 시스템.
  21. 제 20 항에 있어서,
    상기 적어도 일부는, 상기 물체의 적어도 일부의 추정된 위치를 둘러싸는 영역을 포함하는,
    프로젝터 시스템.
  22. 제 20 항에 있어서,
    상기 강도들의 변화를 분석하기 위한 수단은, 상기 강도들의 하나 또는 그 초과의 표준 편차들을 계산하기 위한 수단을 포함하는,
    프로젝터 시스템.
  23. 제 20 항에 있어서,
    상기 강도들의 변화를 분석하기 위한 수단은, 상기 일부에서 중첩하지 않는 영역들과 관련된 복수의 표준 편차들을 계산하기 위한 수단을 포함하는,
    프로젝터 시스템.
  24. 제 23 항에 있어서,
    상기 강도들의 변화를 분석하기 위한 수단은, 상기 복수의 표준 편차들을 평균화하기 위한 수단을 더 포함하는,
    프로젝터 시스템.
  25. 제 20 항에 있어서,
    상기 극성을 결정하기 위한 수단은, 상기 이미지의 상기 일부에서 극치의 부호를 식별하기 위한 수단을 포함하는,
    프로젝터 시스템.
  26. 제 20 항에 있어서,
    상기 물체가 상기 표면을 터치하는 것으로 결정하기 위한 수단은, 상기 결정된 극성이 임계치를 초과하도록 하는 요건을 강제하기 위한 수단을 포함하는,
    프로젝터 시스템.
  27. 제 20 항에 있어서,
    상기 표면 근처의 정면 영역을 조명하기 위한 수단;
    상기 정면 영역의 조명 동안 상기 표면의 감소된-쉐도우 이미지를 캡쳐하기 위한 수단; 및
    상기 감소된-쉐도우 이미지에 기초하여 상기 물체와 관련된 위치를 식별하기 위한 수단을 더 포함하고,
    상기 정면-영역 조명은, 상기 감소된-쉐도우 이미지에서 상기 표면 근처를 호버링하는 물체와 관련된 쉐도우들을 최소화하도록 구성되는,
    프로젝터 시스템.
  28. 제 27 항에 있어서,
    상기 정면 영역을 조명하기 전에 상기 영역을 조명하는 것을 중지하기 위한 수단을 더 포함하는,
    프로젝터 시스템.
  29. 제 20 항에 있어서,
    실질적으로 밀봉된 프로젝팅 디바이스는, 상기 디스플레이를 프로젝팅하기 위한 수단, 상기 영역을 조명하기 위한 수단, 및 상기 이미지를 캡쳐하기 위한 수단을 포함하는,
    프로젝터 시스템.
  30. 비-일시적 컴퓨터-판독가능 매체로서,
    프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    디스플레이가 프로젝팅되는 표면의 이미지에 액세스하는 단계;
    상기 이미지의 적어도 일부에서의 픽셀들에 걸친 강도들의 변화를 분석하는 단계;
    상기 이미지의 상기 일부와 관련된 극성을 결정하는 단계; 및
    상기 변화의 분석 및 상기 결정된 극성에 적어도 부분적으로 기초하여 물체가 상기 표면을 터치하고 있는지 여부를 결정하는 단계를
    수행하게 하는 명령들을 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  31. 제 30 항에 있어서,
    상기 극성을 결정하는 단계는, 상기 이미지의 상기 일부에서의 극치의 부호를 식별하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  32. 제 30 항에 있어서,
    상기 물체가 상기 표면을 터치하고 있는지 여부를 결정하는 단계는, 상기 결정된 극성이 포지티브인 것을 요구하는,
    비-일시적 컴퓨터-판독가능 매체.
  33. 제 30 항에 있어서,
    상기 강도들의 변화를 분석하는 단계는, 상기 강도들의 하나 또는 그 초과의 표준 편차들을 계산하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
KR1020167023498A 2011-10-07 2012-10-05 영상-기반 인터랙티브 프로젝션 시스템 KR20160104743A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161544983P 2011-10-07 2011-10-07
US61/544,983 2011-10-07
US13/645,390 2012-10-04
US13/645,390 US9030445B2 (en) 2011-10-07 2012-10-04 Vision-based interactive projection system
PCT/US2012/059074 WO2013052880A1 (en) 2011-10-07 2012-10-05 Vision-based interactive projection system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147012281A Division KR20140079814A (ko) 2011-10-07 2012-10-05 영상-기반 인터랙티브 프로젝션 시스템

Publications (1)

Publication Number Publication Date
KR20160104743A true KR20160104743A (ko) 2016-09-05

Family

ID=48041781

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167023498A KR20160104743A (ko) 2011-10-07 2012-10-05 영상-기반 인터랙티브 프로젝션 시스템
KR1020147012281A KR20140079814A (ko) 2011-10-07 2012-10-05 영상-기반 인터랙티브 프로젝션 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147012281A KR20140079814A (ko) 2011-10-07 2012-10-05 영상-기반 인터랙티브 프로젝션 시스템

Country Status (7)

Country Link
US (2) US9030445B2 (ko)
EP (1) EP2764425A1 (ko)
JP (1) JP6240609B2 (ko)
KR (2) KR20160104743A (ko)
CN (1) CN103999025B (ko)
IN (1) IN2014MN00831A (ko)
WO (1) WO2013052880A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201103346D0 (en) * 2011-02-28 2011-04-13 Dev Ltd Improvements in or relating to optical navigation devices
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
EP3036602A4 (en) 2013-08-22 2017-04-12 Hewlett-Packard Development Company, L.P. Projective computing system
US9519975B2 (en) * 2014-01-08 2016-12-13 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method of detecting edge under non-uniform lighting background
LU92408B1 (en) * 2014-03-21 2015-09-22 Olivier Raulot User gesture recognition
US9922245B2 (en) 2014-08-15 2018-03-20 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognizing an object
US10728450B2 (en) * 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
CN107079126A (zh) * 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影
CN104951149B (zh) * 2015-06-18 2018-04-03 刘笑纯 触摸屏的触摸点识别装置
TWI574196B (zh) * 2016-01-21 2017-03-11 緯創資通股份有限公司 光學觸控裝置、觸控指示點位置決定方法以及光學觸控系統
CN106201173B (zh) * 2016-06-28 2019-04-05 广景视睿科技（深圳）有限公司 一种基于投影的用户交互图标的交互控制方法及系统
JP2020160808A (ja) * 2019-03-27 2020-10-01 セイコーエプソン株式会社 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP2020160807A (ja) * 2019-03-27 2020-10-01 セイコーエプソン株式会社 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
CN111080554B (zh) * 2019-12-20 2023-08-04 成都极米科技股份有限公司 一种投影内容中字幕区域增强方法、装置及可读存储介质
JP2021128657A (ja) * 2020-02-17 2021-09-02 セイコーエプソン株式会社 位置検出方法、位置検出装置及び位置検出システム
JP2021128659A (ja) * 2020-02-17 2021-09-02 セイコーエプソン株式会社 位置検出方法、位置検出装置及び表示装置
CN113676654B (zh) * 2020-05-14 2023-06-06 武汉Tcl集团工业研究院有限公司 一种图像截取方法、装置、设备及计算机可读存储介质
CN111831161B (zh) * 2020-07-23 2023-10-03 吕嘉昳 基于触摸方法自动识别显示屏幕中触点位置的方法
US11740689B1 (en) 2022-06-16 2023-08-29 Apple Inc. Electronic devices with projectors

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6624833B1 (en) 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
US20060044282A1 (en) * 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
US7190811B2 (en) * 2004-11-02 2007-03-13 Honda Motor Co., Ltd. Adaptive tracking for gesture interfaces
JP4630744B2 (ja) * 2005-02-03 2011-02-09 東芝モバイルディスプレイ株式会社 表示装置
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
US7470030B2 (en) * 2005-07-28 2008-12-30 Hewlett-Packard Development Company, L.P. Cabinet-surface-mounted projection lens and methods
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
CN101617271B (zh) 2007-02-15 2015-07-15 高通股份有限公司 使用闪烁电磁辐射的增强输入
AU2008299883B2 (en) * 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
US7874681B2 (en) 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
US7777899B1 (en) 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US20100315413A1 (en) 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5510907B2 (ja) * 2009-12-01 2014-06-04 学校法人東京電機大学 タッチ位置入力装置及びタッチ位置入力方法
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US20110267262A1 (en) 2010-04-30 2011-11-03 Jacques Gollier Laser Scanning Projector Device for Interactive Screen Applications
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
GB201110159D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system

Also Published As

Publication number Publication date
US9626042B2 (en) 2017-04-18
US20130088461A1 (en) 2013-04-11
KR20140079814A (ko) 2014-06-27
JP6240609B2 (ja) 2017-11-29
CN103999025A (zh) 2014-08-20
JP2014535096A (ja) 2014-12-25
WO2013052880A1 (en) 2013-04-11
US9030445B2 (en) 2015-05-12
US20150220213A1 (en) 2015-08-06
CN103999025B (zh) 2017-03-01
IN2014MN00831A (ko) 2015-07-03
EP2764425A1 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
US9626042B2 (en) Vision-based interactive projection system
US8345920B2 (en) Gesture recognition interface system with a light-diffusive screen
EP2687959A1 (en) Detection device, input device, projector, and electronic apparatus
CN105593786B (zh) 对象位置确定
JP6406606B2 (ja) 光沢判定装置および光沢判定方法
KR20110066198A (ko) 터치 감지 시스템에서 멀티터치를 해결하기 위한 스테레오 광 센서
KR20120058594A (ko) 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US9436870B1 (en) Automatic camera selection for head tracking using exposure control
US9652083B2 (en) Integrated near field sensor for display devices
CA2882590A1 (en) Keyboard projection system with image subtraction
US20170228092A1 (en) Touch region projection onto touch-sensitive surface
US9811916B1 (en) Approaches for head tracking
US20130127704A1 (en) Spatial touch apparatus using single infrared camera
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
Czuszynski et al. Semi complex navigation with an active optical gesture sensor
JP2015126281A (ja) プロジェクタ、情報処理方法及びプログラム
Koutlemanis et al. Tracking of multiple planar projection boards for interactive mixed-reality applications
US20240070889A1 (en) Detecting method, detecting device, and recording medium
US9430823B1 (en) Determining camera sensor isolation
US20240069647A1 (en) Detecting method, detecting device, and recording medium
KR20160045945A (ko) 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치
Siriborvornratanakul et al. ipProjector: a vision-based framework for unsupervised ubiquitous object augmentation using a portable projector-camera system
Irri et al. A study of ambient light-independent multi-touch acquisition and interaction methods for in-cell optical touchscreens
JP2010237979A (ja) 情報端末装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid