KR20070045188A

KR20070045188A - 반투명 표면을 갖는 스크린에서 사용하기 위한 사용자 입력장치, 시스템 및 컴퓨터 프로그램

Info

Publication number: KR20070045188A
Application number: KR1020077000548A
Authority: KR
Inventors: 클라우디오 핀하네즈; 고팔 핀갈리; 프레드릭 씨 크젤드슨; 안토니 리배스; 마크 에드워드 포드래섹
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 2004-08-27
Filing date: 2005-04-15
Publication date: 2007-05-02
Also published as: JP2008511069A; CN101385069B; TW200608294A; US20060044282A1; WO2006025872A2; CN101385069A; EP1782415A2; WO2006025872A3

Abstract

사용자 인터페이스 입력 장치 및 방법은, 반투명 스크린의 반대쪽 표면을 보고 있는 카메라에 의해 발생된 이미지를 처리함으로써 사용자가 반투명 스크린의 표면을 언제 터치하는지 및 어디서 터치하는지를 검출할 수 있게 해준다. 입력 장치 및 시스템은 반투명 스크린, 사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 배치된 이미지 캡처 장치, 및 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화에 의해 사람이 스크린의 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하기 위해 이미지 캡처 장치의 출력에 연결된 이미지 프로세서를 포함한다.

사용자 인터페이스, 터치 스크린, 반투명 스크린

Description

반투명 표면을 갖는 스크린에서 사용하기 위한 사용자 입력 장치, 시스템 및 컴퓨터 프로그램{USER INPUT APPARATUS, SYSTEM, METHOD AND COMPUTER PROGRAM FOR USE WITH A SCREEN HAVING A TRANSLUCENT SURFACE}

본 발명의 개시 내용은 일반적으로 사용자 인터페이스(UI) 시스템 및 장치에 관한 것으로서, 보다 구체적으로는 터치 스크린을 이용하는 UI 시스템에 관한 것이고, 더욱 구체적으로는 반투명 스크린 또는 패널을 사용하는 UI 터치 스크린 시스템에 관한 것이다.

바람직한 유형의 입력 패널 또는 스크린은 반투명 패널이다. 예를 들어, 발명의 명칭이 "정보 입력 장치(Information Input Apparatus)"인 Rekimoto 등의 US 6,414,672 B2호를 참조하기 바란다.

일반적으로, 터치 스크린을 생성하는 데 사용되는 종래의 기술들은 전기-감응 유리 또는 유리들을 스크린 상에 오버레이(overlay)시키는 것에 의존한다. 그렇지만, 이 방법은 기물 파괴 행위(vandalism) 및 기타 요인들의 가능성으로 인해 점포 전면(store front) 등의 옥외용 디스플레이에는 적합하지 않으며, 또한 대형 스크린에 사용될 때 아주 비싸다.

다른 방법은 스크린의 측면들 중 하나에, LED 또는 유사한 장치 등의 광 방 출기를 제공하고, 스크린의 반대쪽 측면에는 감광 요소(light-sensitive element)를 제공한다. 특정의 LED에 의해 방출된 광의 폐색(occlusion)에 의해 손 상호작용(hand interaction)이 검출된다. 그렇지만, 이 방법의 단점은 점포 전면에 있는 유리의 외부에 LED 또는 감광 어레이 중 적어도 하나를 제공해야만 한다는 요건이며, 이는 이들을 기물 파괴 행위에 노출시키게 된다.

이와 유사하게, 사용자 상호작용을 판정하기 위해 스크린의 전면 측면 상에 레이저-스캔 및 도플러 레이더가 설치될 수 있으며, 이는 유사한 단점을 갖는다. 예를 들어, J. Paradiso, K. Hsiao, J. Strickon, J. Lifton 및 A. Adler의 "Sensor Systems for Interactive Surfaces", IBM Systems Journal, Volume 39, Nos. 3 및 4, 892-914 페이지(2000년 10월), 및 Proc. of the CHI '97 Conference on Human Factors in Computing Systems, Extended Abstracts, ACM Press, 뉴욕의 J. Paradiso, C. Abler, KY. Hsiao, M. Reynolds의 "The Magic Carpet: Physical Sensing for Immersive Environments", 277-278 페이지(1997년)를 참조하기 바란다.

유리창에서 사용하기 위한 다른 기술은 사용자가 유리를 두드릴 때를 판정하기 위해 마이크 및 사운드 삼각 측량(sound triangulation)을 사용한다. 이 방법은 미국 플로리다주 올란도에서 2002년 6월 11일-14일에 개최된, the 2002 Proceedings of the 2002 IEEE International Conference on Sensors, Volume 1에서의 Joseph A. Paradiso, Che King Leo, Nisha Checka, Kaijen Hsiao의 "Passive Acoustic Sensing for Tracking Knocks Atop Large Interactive Displays" 521-527 페이지에 기술되어 있다. 이 방법의 잠재적인 단점은 센서를 창과 직접 접촉하게 배치하고 그 센서까지 배선을 해야만 하며 또한 유리 등의 단단한 표면을 필요로 한다는 것이다. 상세하게는, 이 방법은 연질 플라스틱 후방-투사 스크린(soft plastic rear-projected screen)에서 사용하기에 적합하지 않다.

카메라는 반투명 이미지와의 사용자 상호작용을 검출하는 데 사용될 수 있다. 카메라가 사용자의 동일한 측면에 배치되어 있는 경우, 상호작용을 검출하기 위해 종래의 컴퓨터 시각 동작 인식(vision gesture recognition) 기술이 사용될 수 있다. 그렇지만, 이 상황에서, 카메라를 적절한 위치에 설치하기 어려운 것은 물론, 가능한 기물 파괴 행위의 문제가 명백한 단점이다.

카메라가 기물 파괴 행위로부터 용이하게 보호될 수 있도록 반투명 표면의 후방 측면에 카메라를 배치하는 것이 바람직하다. 그렇지만, 이러한 상황에서, 카메라에 의해 캡처된 사용자의 이미지는 극히 흐릿하게 될 수 있으며, 그에 의해 종래의 동작 인식 기술을 사용할 수 없게 된다. Rekimoto 등의 상기한 방법에서, 카메라 및 프로젝터는 IR 필터를 갖추고 있어야만 하며, 적외선 조명도 역시 필요하다. 이 방법의 중요한 단점은 점포 전면 창이 직사광선에 노출되는 경우 등의 상당량의 주변 적외광에 반투명 스크린이 노출되는 상황에서 이 방법이 사용될 수 없다는 것이다.

또한, 발명의 명칭이 "Multiple-Surface Display Projector with Interactive Input Capability"인 Claudio S. Pinhanez의 공동 양도된 US 6,431,711 B1호를 참조하기 바란다.

이들 개시 내용의 현재 바람직한 실시예에 따라 상기한 문제 및 기타 문제가 극복되고 다른 이점이 달성된다.

본 발명의 실시예들은 정보 입력 장치, 방법 및 컴퓨터 프로그램 및 프로그램 캐리어(program carrier)를 제공한다. 이 장치는 반투명 스크린, 사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 상기 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치, 및 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화에 의해 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는, 상기 이미지 캡처 장치의 출력에 연결되어 있는 이미지 프로세서를 포함한다.

본 발명의 실시예들에 따른 사용자 입력을 검출하는 방법은 사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치를 갖는 반투명 스크린을 갖는 시스템을 제공하는 단계를 포함한다. 이 방법은 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화를 검출함으로써 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정한다.

또한, 본 발명의 실시예들에 따르면, 사용자 입력을 검출하는 동작을 수행하기 위해 디지털 처리 장치에 의해 실행가능한 기계 판독가능 명령어의 프로그램을 유형적으로 구현하는 신호 전달 매체(signal bearing medium)가 제공된다. 이 동작들은, 사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치를 갖는 반투명 스크린을 갖는 시스템을 제공하는 단계에 응답하여, 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화를 검출함으로써 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는 단계를 포함한다.

또한 본 발명의 실시예들에 따르면, 반투명 스크린; 사용자가 상기 스크린을 터치하는 제2 측면의 반대쪽에 있는 상기 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치; 상기 스크린의 제1 측면을 조명하고 상기 제1 측면과 상기 제2 측면 간에 조명 차이(illumination differential)를 제공하도록 배치되어 있는 적어도 하나의 광원; 및 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화에 의해 사용자가 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는, 상기 이미지 캡처 장치의 출력에 연결되어 있는 이미지 프로세서를 포함하는 터치 스크린 시스템이 제공된다. 스크린의 제2 측면 상의 입사광이 스크린의 제1 측면 상의 입사광보다 밝은 경우, 스크린과의 접촉점의 이미지는 실루엣되어 주변 영역보다 더 어두워보이는 반면, 스크린의 제1 측면 상의 입사광이 스크린의 제2 측면 상의 입사광보다 더 밝은 경우, 스크린과의 접촉점의 이미지는 하이라이트되어 주변 영역보다 더 밝게 보인다.

도 1은 터치-기반 입력 장치의 간단화된 시스템 레벨 블록도.

도 2는 서로 다른 전방/후방 주변광 조건 하에서의 이미치 차이 처리의 결과를 나타낸 도면.

도 3은 터치 이벤트 검출 이미지 처리 절차의 한 사이클의 논리 흐름도.

이들 개시 내용의 상기한 측면 및 기타의 측면은, 첨부 도면과 관련하여 살펴보면 바람직한 실시예의 이하의 상세한 설명에서 보다 명백하게 된다.

도 1은 2가지 입력 상황 하에서의 사용자 입력 시스템(10)의 현재 바람직한 실시예의 기본 구조를 나타낸 것이다. 입력 시스템(10)은 반투명 스크린(12), 및 스크린(12)의 제1 측면(12A)(본 명세서에서 편의상 "후방" 측면이라고도 함) 상에 배치된 비디오 카메라(14) 등의 이미지 캡처 장치를 포함한다. 사용자는 스크린(12)의 제2 측면(12B)(본 명세서에서 편의상 스크린(12)의 "전방" 측면이라고도 함)에 대해 위치되어 있는 것으로 가정한다. 스크린(12)의 후방 측면(12A) 및 스크린(12)의 전방 측면(12B)을 각각 조명하도록 배치되어 있는 적어도 하나의 후방 광원(16) 및 가능하게는 적어도 하나의 전방 광원(18)이 있다. 카메라(14)로부터 출력된 이미지 데이터를 수신하도록 배치된 메모리(22)를 갖는 데이터 프로세서(20)가 있는 것으로 가정한다. 데이터 프로세서(20)는 독립형 PC 또는 카메라(14)에 내장된 프로세서일 수 있고, 또한 카메라(14)와 동일 위치에 있거나 그로부터 원격지에 위치되어 있을 수 있다. 카메라(14)와 데이터 프로세서(20) 간의 링크(21)는 로컬 배선(local wiring)일 수 있거나 유선 및/또는 무선 연결을 포함할 수 있고, 링크(21)의 적어도 일부는 인터넷 등의 데이터 통신 네트워크를 통해 전달될 수 있다. 메모리(22)는 처리된 이미지 데이터는 물론, 카메라(14)로부터 수신된 생(raw) 이미지 데이터를 저장할 수 있고, 또한 도 3에 도시되고 이하에서 기술되는 논리 흐름도를 구현하는 프로세스를 실행하도록 데이터 프로세서(20)에 지시하는 동작을 하는 컴퓨터 프로그램을 저장할 수 있다. 메모리(22)는 임의의 적당한 형태를 가질 수 있으며, 반도체-기반 및 회전 디스크 기반 메모리 매체를 비롯한 고정형 및/또는 분리형 메모리 장치 및 매체를 포함할 수 있다.

데이터 프로세서(20)는 (카메라(14) 출력이 디지털 출력이 아닌 경우) 카메라(14)에 의해 캡처된 각각의 프레임을 디지털화 및 저장할 수 있다. 이하에서 기술하는 바와 같이, 데이터 프로세서(20)는 또한 도 3에 도시된 프로세스 이후에 2개의 연속적인 프레임을 비교함으로써 이미지를 처리한다. 스크린(12)의 한쪽 또는 양쪽 측면 상에서의 조명 환경에 변화가 있을 수 있어도, 스크린(12)과의 사용자 접촉에 의해 야기되는 변화는 통상 아주 강하고 명확히 정의되는 경계를 나타낸다. 문턱값 설정(thresholding) 등의 컴퓨터 시각 기술을 사용함으로써, 사용자가 스크린을 터치함으로써 야기되는 특성 변화를 (직접적으로 또는 포인터나 스타일러스 또는 어떤 다른 객체의 사용을 통해) 검출하는 것이 가능하게 된다.

스크린(12)은 예로서 벽, 마루, 창, 또는 가구의 표면을 형성할 수 있거나 그의 일부일 수 있다. 스크린(12)은 평탄면, 곡면일 수 있고 및/또는 서로 인접하거나 서로 분리되어 있는 다수의 표면으로 이루어져 있을 수 있다. 스크린(12)은 예로서 유리 또는 폴리머로 이루어져 있을 수 있다. 사용자 입력의 검출은 스크린(12)의 전방에, 후방에 또는 근접하여 위치한 객체와 연관되어 있을 수 있다.

본 발명의 현재 바람직한 실시예에 대해 기술하기 위해, 스크린(12)의 적어도 하나의 표면 등의 반투명 표면은 광을 투과하지만 보는 사람이 표면을 통해 보이는 객체들의 구별된 이미지를 인식하지 못하도록 하기 위해 광선의 충분한 산란을 야기시키는 반면, 보는 사람이 표면을 통해 보이는 객체의 색상 및 윤곽을 구분할 수 있게 해준다. 스크린(12)은, 반투명인 적어도 하나의 주표면(major surface)을 갖는 한, 본 명세서에서 "반투명 스크린"인 것으로 가정된다.

본 발명의 실시예들에 따르면, 입력 시나리오 또는 상황 A에서, 사용자의 손이 스크린(12), 특히 전방 측면(12B)을 터치하지 않는 것으로 가정한다. 상황 A에서, 카메라(14)로 가는 파선 A1은 카메라(14)가 보고 있는 사용자의 손가락의 이미지로부터 나오는 광의 주방향(main direction)에 대응한다(점 A). 반투명 스크린(12) 상의 원점에 도달하는 파선은 전방 광원(들)(18)으로부터 오는 광에 대응한다. 상황 A에서 점 A에서의 스크린의 후방 측면(12A) 상의 광은 스크린(12)의 후방 측면(12A) 상에서 (이 경우에 반투명 효과로 인해) 다수의 방향으로 균일하게 산란되는 전방 광원(들)(18)로부터 나오는 광의 합이다. 후방 광원(들)(16)으로부터의 광은 그 대신에 스크린(12)에 의해 반사된다. 따라서, 상황 A에서, 사용자의 손가락의 위치(점 A)에 대응하는 카메라(14)에 의해 획득된 이미지는 전방 광원(들)(18)(이 경우에 산란됨) 및 후방 광원(들)(16)(반사됨) 둘다로부터의 기여분을 포함한다.

제2 입력 시나리오 또는 상황 B에서, 사용자의 손(예를 들어, 사용자의 손가락 표의 끝)은 스크린(12)의 전방 측면(12B)을 터치하고 있는 것으로 가정한다. 상황 B에서, 사용자의 손가락 터치점(점 B)으로부터 카메라(14)로 가는 라인은 점 B로부터 카메라의 개구부(aperture)로 가는 광의 주방향에 대응한다. 사용자의 손가락이 반투명 스크린(12)과 접촉하고 있기 때문에, 전방 광원(들)(18)으로부터 나오는 광은 손가락의 끝에 의해 폐색되고 스크린(12)의 전방 측면(12B)에 도달하지 않는다. 따라서, 상황 B에서 점 B에서의 스크린(12)의 후방 측면(12A) 상의 광은 후방 광원(들)(16)으로부터만 온 것이며 후방 측면(12A)으로부터 반사된 광과 사용자의 손가락 끝의 피부에 의해 반사된 광의 합에 대응한다. 따라서, 상황 B에서, 사용자의 손가락의 위치(점 B)에 대응하는 카메라(14)에 의해 획득된 이미지는 후방 광원(들)(16)으로부터 오는 광의 반사에만 기인한 것이다. 사용자의 손가락에 의해 덮이지 않은 점 B 근방의 영역 내의 점들은 점 A와 유사한 특성을 갖는다(즉, 카메라(14)에 도달하는 광이 전방 광원(들)(18) 및 후방 광원(들)(16) 둘다로부터 나오는 광이다)는 것을 알 수 있다.

스크린(12) 상에서의 점 A 및/또는 점 B의 정확한 위치는 카메라(14) 좌표에서 스크린(12) 좌표로의 변환으로부터 용이하게 구해질 수 있다.

그 자체로서, 본 발명의 한 측면이 사용자 입력을 검출하는 동작을 수행하기 위해 디지털 처리 장치에 의해 실행가능한 기계 판독가능 명령어의 프로그램을 유형적으로 구현하는 신호 전달 매체임을 알 수 있다. 이 동작들은, 사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치를 갖는 반투명 스크린을 갖는 시스템을 제공하는 단계에 응답하여, 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화를 검 출함으로써 사람이 스크린의 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는 단계를 포함한다.

도 2는 각각 전방 투사 광원(들)(18)과 후방 투사 광원(들)(16) 간의 차이에 따라 사용자가 스크린(12)을 터치할 때 카메라(14)에 의해 획득되는 이미지의 예를 나타낸 것이다. 전방 광원(들)(18)이 후방 광원(들)(16)보다 밝은 경우에 대응하는, 상부 행의 이미지(도 2A로 나타냄)에 나타낸 바와 같이, 스크린(12)을 터치하는 것이 접촉점 상에 어두운 영역을 생성한다. 전방 광원(들)(18)이 후방 광원(들)(16)보다 밝기 때문에, 터치 상황은 전방 광원(들)(18)의 영향으로 접촉점에서 사용자의 손가락 피부를 흐릿하게 만든다. 이 상황에서, 사용자의 손가락은 전방 광원(들)(18)보다 덜 밝은 후방 광원(들)(16)으로부터 나오는 광만을 반사하며, 그에 의해 손가락 끝에 대한 실루엣 효과를 생성한다. 두번째의 아래쪽 행의 이미지(도 2B로 나타냄)는 후방 광원(들)(16)이 전방 광원(들)(18)보다 밝은 경우의 반대의 효과를 나타낸 것이다. 이 상황에서, 손가락이 스크린(12)을 터치할 때, 손가락은 후방 광원(들)(16)으로부터 나오는 광을 거의 반사하며, 이들 후방 광원(들)(16)이 전방 광원(들)(18)보다 밝기 때문에, 손가락의 이미지는 카메라(14)에게 더 밝게 보인다. 도 2의 마지막(가장 우측) 열은 동일한 행에 있는 2개의 이전의 이미지들 간의 절대차(absolute difference)를 나타낸 것이다. 용이하게 알 수 있는 바와 같이, 각각의 행에서의 2개의 이전의 이미지들 간의 최대 절대차는 사용자에 의해 터치되는 전방 측면 표면(12B) 상의 점에서 정확히 일어난다.

도 3은 사용자 또는 다수의 사용자가 순차적으로 또는 동시에 스크린(12)을 터치하는 상황들을 검출하는 방법의 한 사이클을 기술하는 논리 흐름도를 나타낸 것이다. 이 논리 흐름도는 도 1의 데이터 프로세서(20)에 의해 실행되는 프로그램 코드를 나타내는 것으로 가정한다. 이 절차는 카메라(14)에 의해 생성되는 비디오 스트림의 하나의 디지털화된 프레임을 그래브(grab)(110)하는 것으로 시작(010)한다. 카메라의 비디오 출력이 아날로그 형태인 경우, 아날로그 비디오 신호는 바람직하게는 이 때에 디지털화된다. 그 다음 단계에서, 그래브된 프레임은 이전의 사이클에서 캡처된 프레임(100)으로부터 픽셀별(pixel-by-pixel)로 감산(120)되어, 차분 이미지를 생성한다. 이하의 계산을 간단화시키기 위해, 본 발명의 비제한적인 실시예는 각각의 픽셀에 대한 차분의 절대값을 사용한다. 이 차분 이미지는 스캔되고 높은 값을 갖는 픽셀이 검출되어 컴퓨터 메모리(22)에 저장된 데이터 구조에 서로 클러스터링(clustering)된다(130). 이러한 클러스터가 발견되지 않는 경우(140), 절차는 종료로 점프하여, 그 다음 사이클에서 이전 프레임(100)으로서 사용될 현재 프레임을 저장하고(160), 사이클을 완료한다(300). 높은 차분값의 적어도 하나의 클러스터가 발견되는 경우(140), 절차는 각각의 검출된 클러스터를 개별적으로 검사한다(150). 각각의 클러스터에 대해, 절차는 현재 클러스터 데이터 및 이전의 클러스터 데이터(210) 중 어느 하나 또는 그 둘다를 고려하여 터치 이벤트를 발생하는 것이 적절한지 여부를 판정한다(200). 이 평가는 높은 차분값 픽셀의 클러스터의 크기에 대한 판정 및 높은 차분값 픽셀의 클러스터의 형상에 대한 판정 중 하나 이상을 포함할 수 있지만, 확실히 이에 한정되는 것은 아니다. 클러스터가 이벤트를 발생하기에 적절한 것으로 밝혀지는 경우, 절차는 검출된 터치 이벤트 를 발생하고 이를 클라이언트 애플리케이션 또는 시스템으로 디스패치한다(220). 터치 이벤트를 발생(220)한 이후에, 또는 클러스터가 터치 이벤트를 발생하기에 적절하지 않은 것으로 간주되는 경우(200으로부터의 아니오 경로), 절차는 장래의 사이클(210)에서 사용하기 위해 클러스터 데이터를 저장한다(230). 모든 클러스터가 검사(150)된 후에, 이 절차는 그 다음 사이클에서 사용될 현재 프레임을 저장하고(160) 현재 사이클을 완료한다(300).

본 발명의 비제한적인 측면은 스크린(12)을 통과하는 전방 광원(들)(18)으로부터의 광량이 피부에 의해 반사되는 후방 광원(들)(16)으로부터의 광량과 다른 것으로 가정한다. 그렇지 않은 경우, 변화들이 컴퓨터 시각(vision) 시스템에 의해 검출가능하지 않다. 그렇지만, 2가지 광 레벨 모두가 유사한 상황이 좀처럼 일어나지 않으며, 이는 전방 또는 후방 광량을 증가시킴으로써 보상될 수 있다. 특히, 후방 광원(16)보다 더 밝은 전방 광원(18)을 갖는 것이 바람직하다는 것이 밝혀졌다.

도 2의 설명에서 살펴본 바와 같이, 스크린(12)의 후방 측면 표면(12A)을 통과하는 전방 발생된 광의 양이 후방 측면 표면으로부터 반사되는 후방 광보다 많은 경우, 사용자의 전방 측면 표면(12B)과의 접촉점이 실루엣되고 어두운 점을 생성한다(행 2a). 이미지 스트림의 연속적인 프레임(예를 들어 초당 30개의 레이트로 발생된 프레임)의 차분을 구함으로써, 데이터 프로세서(20)는 사용자가 스크린(12)을 터치하는 시간 및 접촉 지속기간을 검출할 수 있다. 유의할 점은 접촉의 순간에, 광 차분으로 인해, 이미지에 상당한 불연속적인 변화가 있다. 정반대 상황에서, 즉 사용자의 손가락의 피부에 의해 반사된 후방 광이 전방 광원(들)(18)으로부터 표면(12A)을 통과하는 광보다 더 밝은 경우(행 2b), 접촉의 순간에 이미지의 명확한 변화를 다시 관찰할 수 있다.

도 3에 기술된 절차에서, 이미지 차분화(image differencing)라고 알려진 것 등의 비교적 기본적인 컴퓨터 시각 방법이 사용될 수 있다. 이미지 차분화를 사용하는 것의 한가지 비제한적인 이점은 이 절차가 스크린(12)의 전방 측면 표면(12B)에 대한 사용자의 움직임 및 주변 조명의 점차적인 변화를 허용한다는 것이다. 그렇지만, 사용자가 스크린을 터치하는 때를 제외하고는 스크린(12)의 후방 이미지에 거의 변화가 없는 다른 실시예에서, 배경 차감(background subtraction)에 기초한 방법이 사용될 수 있다. 이 경우에, 표면의 이미지는 사용자 상호작용이 없음을 알고 있는 상황에서(예를 들어, 캘리브레이션(calibration) 단계 동안에) 취해진다. 이 참조 이미지는 이어서 카메라(14)에 의해 디지털화되는 각각의 프레임과 비교된다. 사용자가 표면(12B)을 터치할 때, 접촉점에서 강한 광 변화가 일어난다(상기한 바와 같음). 이 경우에, 스크린(12)과 접촉하고 있는 사용자의 손의 움직임을 추적하는 것은 물론 사용자가 얼마나 오랫동안 스크린(12)을 터치하고 있는지를 검출하는 것이 가능하다. 유사한 방법은 환경 및 조명 조건의 변화를 수용하기 위해 참조 이미지를 서서히 갱신하는 데 통계 기술을 사용할 수 있다.

본 발명의 다른 실시예는 스크린(12)의 반투명 표면을, 슬라이드 프로젝터, 비디오 프로젝터, 또는 조명 기구 등의 프로젝션 시스템과 결합시켜, 그 표면을 대화형 그래픽 디스플레이로 변환시킨다. 이러한 실시예에서, 상기한 동작들이 여전 히 유효한데, 그 이유는 전방 광원(18)이 투사된 이미지보다 상당히 더 밝은 경우 후방 측면 표면(12A)의 카메라(14)로부터 취해진 이미지가 투사에 의해 실질적으로 영향을 받지 않기 때문이다. 따라서, 사용자의 손의 접촉점이 여전히 데이터 프로세서(20) 시각 시스템에 의해 검출가능한 강한 실루엣을 발생한다. 그렇지만, 후방 투사된 이미지가 표면(12A)을 통해 지나가는 전방 광보다 상당히 더 밝은 경우, 투사된 이미지에서의 변화가 사용자의 표면(12B)과의 접촉으로 잘못 인식될 수 있는 상황이 있을 수 있다. 그렇지만, 이 가능한 문제점에 대한 해결책이 있다. a) 상호작용을 위한 영역이 투사된 이미지로부터 제외될 수 있으며, 컴퓨터 시각 시스템은 그 영역 상에서만 상호작용을 찾도록 지시받을 수 있고, b) 차분 패턴의 형상이 컴퓨터 시각 및 패턴 인식 방법(통계 및 학습 기반 방법을 포함함)에 의해 분석될 수 있으며, 특정 종류의 사용자 상호작용을 닮은 형상들(손가락으로 터치하는 것 등)만이 허용된다. 이 후자의 해결책은 또한 도 2 및 도 3과 관련하여 상기한 일반적인 경우에서의 검출 성능을 향상시키기 위해 사용될 수 있다.

다른 실시예에서, 다수의 사용자가 시스템(10)을 동시에 사용할 수 있거나 양손으로 상호작용할 수 있다. 접촉점들이 합리적으로 분리되어 있는 한, 도 3에 기술된 절차가 스크린(12)의 전방 측면 표면(12B)과의 다수의 접촉 영역을 검출한다.

본 발명의 다른 실시예에서, 데이터 프로세서(20)는 2개의 측면 간의 조명의 차이량을 구하기 위해 스크린(12)의 전방 측면(12B) 및/또는 후방 측면(12A)에서의 광원 레벨을 모니너링하는 적어도 하나의 광 센서(LS)(24)를 구비하고 있다. 이 실시예는 데이터 프로세서(20)가 후방 광원(들)(16) 및 전방 광원(들)(18) 중 하나 또는 둘다의 세기를 제어할 수 있게 해줌으로써 더욱 향상될 수 있으며, 그에 따라 밝기의 차이가 제어될 수 있다. 이 광원 제어는 도 1에서 데이터 프로세서(20)로부터 후방 광원(들)(16)으로의 라인(26)으로 나타내어져 있다.

일반적으로, LS(24)는 시스템(10)이 사용가능하도록 보장하기 위해 주변 광 레벨의 차이 및/또는 스케일 인자 또는 어떤 다른 파라미터로서 이미지 처리 알고리즘에의 입력에서와 같은 차이를 결정하는 데 사용될 수 있다. 바람직하게는, LS(24)는 데이터 프로세서(20) 또는 어떤 다른 네트워크화된 장치에 연결되어 있으며, 따라서 이미지 처리 알고리즘(들)은 시스템(10)이 어떤 예상된 성능 레벨로 동작가능하기에 충분한 주변광 차이가 있는지 여부를 자동적으로 판정하기 위해 주변광 레벨(들)을 획득할 수 있다. 바람직하게는, 반투명 스크린(12)의 전방 측면 및/또는 후방 측면으로부터의 광 레벨을 증가 또는 감소시키는 기능이 있을 수 있다. 이 경우에, 데이터 프로세서(20)는 밝기 제어(26)를 구비할 수 있다. 바람직하게는, LS(24) 및 밝기 제어(26)는 데이터 프로세서(20)가 스크린(12)의 전방 측면 또는 후방 측면 또는 그 둘다의 밝기 레벨을 변화시킬 수 있는 방식으로 함께 사용될 수 있다.

다른 실시예에서, 다수의 스크린(12) 및 단일의 카메라(14) 또는 프로젝터/카메라 시스템을 갖는 시스템이 사용될 수 있으며, 이 시스템이 카메라(14) 및/또는 프로젝터에 스크린(12) 각각을 담당하도록 지시할 수 있는 것으로 가정한다. 이 경우에, 다수의 스크린(12)은 단일의 광원에 의해 또는 다수의 광원에 의해 순 차적으로 또는 동시에 조명될 수 있다.

상기한 설명에 기초하면, 본 발명의 한 측면에서, 본 발명이 카메라(14) 및 카메라(14)로부터의 이미지 스트림을 처리하는 데이터 프로세서(20)를 사용하는 반투명 표면을 갖는 스크린(12)에 대한 입력 장치 및 방법을 제공한다는 것을 알 수 있다. 카메라(14)는 시스템(10)의 사용자 또는 사용자들로부터 스크린(12)의 반대쪽 측면 상에 배치된다. 표면이 반투명이기 때문에, 사용자 및 그의 손의 이미지는 심하게 흐릿해질 수 있다. 그렇지만, 사용자가 표면(12B)을 터치할 때, 표면 상의 접촉점의 이미지는, 표면의 각각의 측면으로부터의 입사광 간의 차이에 따라, 표면의 나머지보다 상당히 더 밝거나 상당히 더 어두워지게 된다. 사용자 측면에서의 입사광이 카메라 측면에서보다 더 밝은 경우, 접촉점은 실루엣되고, 따라서 상당히 더 어둡다. 사용자 측면에서의 입사광이 카메라 측면에서보다 더 어두운 경우, 표면과 접촉하고 있는 사용자의 피부가 카메라 측면으로부터 오는 광을 반사하고, 따라서 접촉점은 배경보다 상당히 더 밝다. 사용자가 표면을 터치할 때를 검출하기 위하여, 이미지 차분 기술이 채용될 수도 있다. 이 비제한적인 경우에, 연속적인 프레임들이 서로 차감되고, 그에 따라 사용자가 표면을 터치할 때, 접촉점에서의 밝기의 상당한 차이가 문턱값 설정 메카니즘에 의해 또는 움직임(motion) 검출 알고리즘에 의해 용이하게 검출될 수 있다. 이 장치 및 방법은, 스크린(12)의 서로 다른 영역이 합리적으로 서로 떨어져 있는 한, 이들 영역 상에서의 다수의 동시적인 상호작용에 대처한다.

유의할 점은, 본 발명의 적어도 하나의 실시예에서, 후방 광원(들)(16)만이 제공될 수 있고, 전방 광원(들)(18)이 주변 조명(예를 들어 주간 동안의 태양광 및 야간의 거리 조명)에 의해서만 제공될 수 있다는 것이다. 이 경우에, 스크린(12)의 전방 측면(12B)에서의 변하는 조명 레벨에 대처하기 위해 후방 광원(들)의 밝기에 대한 자동 제어(26)를 제공하는 것이 바람직할 수 있다.

또한 유의할 점은, 본 발명의 적어도 하나의 실시예에서, 시스템(10)에 의해 검출되는 사용자 입력이 반투명 스크린(12) 상으로 투사되는 이미지를 제어하기 위해 사용될 수 있다는 것이다.

또한 유의할 점은, 본 발명의 적어도 하나의 실시예에서, 시스템(10)에 의해 검출되는 사용자 입력이 손가락이나 손, 또는 인공 기관(prosthetics) 등의 특정 신체 부분을 인식하기 위해 데이터 프로세서(20)에 의해 사용될 수 있다는 것이다.

본 발명의 실시예들에 따른 장치 및 방법은 종래의 기술보다 다수의 이점을 갖는다. 예를 들어, 본 발명에 따른 실시예들은 사용자와의 관계에서 스크린(12)의 반대쪽에 배치된 카메라(14)에 의해 취해진 이미지를 사용한다. 따라서, 본 발명은 카메라(14) 등의 시스템 하드웨어를 환경 영향으로부터 보호하는 것이 요망되는 점포 전면 및 유사한 환경에서 사용될 수 있다. 본 발명의 실시예들에 따른 장치 및 방법은 또한, 사운드, 레이저, 도플러 레이더 및 LED 어레이에 기초한 종래의 방법 및 시스템과 달리, 하나 이상의 사용자로부터의 다수의 동시적인 입력을 가능하게 해준다.

게다가, 본 발명의 실시예들에 따른 장치 및 방법은 IR 필터 또는 특수 조명 을 필요로 하지 않는다. 따라서, 덜 복잡하고 덜 비싼 사용자 입력 시스템이 가능하게 되며, 이 시스템은 스크린(12)이 점포 전면이 직사광선에 노출되는 때 등의 상당량의 적외선 광에 노출되는 상황에서 사용될 수 있다.

Claims

반투명 스크린,

사용자 상호작용이 일어나는 제2 측면의 반대쪽에 있는 상기 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치, 및

주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화에 의해 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는, 상기 이미지 캡처 장치의 출력에 연결되어 있는 이미지 프로세서

를 포함하는 정보 입력 장치.
제1항에 있어서, 상기 이미지 프로세서는 이미지 차분(image differencing) 기술을 사용하는 것인 정보 입력 장치.
제1항에 있어서, 상기 이미지 프로세서는 배경 차감(background subtraction) 기술을 사용하는 것인 정보 입력 장치.
제1항에 있어서, 상기 스크린의 상기 제1 측면을 조명하도록 위치되어 있는 적어도 하나의 광원을 더 포함하는 정보 입력 장치.
제4항에 있어서, 상기 스크린의 상기 제2 측면을 조명하도록 위치되어 있는 적어도 하나의 광원을 더 포함하는 정보 입력 장치.
제1항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 입사광이 상기 스크린의 상기 제1 측면 상에서의 입사광보다 더 밝은 경우, 상기 스크린과의 접촉점의 이미지가 실루엣(silhouette)되고 주변 영역보다 더 어두워 보이며, 상기 스크린의 상기 제1 측면 상에서의 입사광이 상기 스크린의 상기 제2 측면 상에서의 입사광보다 더 밝은 경우, 상기 스크린과의 접촉점의 이미지가 하이라이트(highlight)되고 주변 영역보다 더 밝아 보이는 것인 정보 입력 장치.
제6항에 있어서, 상기 이미지 프로세서는 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 상기 접촉점의 위치를 검출하는 것인 정보 입력 장치.
제6항에 있어서, 상기 이미지 프로세서는 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 접촉 시간을 검출하는 것인 정보 입력 장치.
제1항에 있어서, 단일의 카메라에 의해 순차적으로 또는 동시적으로 서비스되는 복수의 스크린이 있는 것인 정보 입력 장치.
제1항에 있어서, 상기 스크린은 촬상 장치에 의해 발생된 투사 이미지(projected imagery)를 디스플레이하도록 배치되어 있는 것인 정보 입력 장치.
사용자 입력을 검출하는 방법으로서,

사용자 상호작용이 일어나는 제2 측면과 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치를 갖는 반투명 스크린을 갖는 시스템을 제공하는 단계를 포함하며,

상기 방법은 주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화를 검출함으로써 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는 것인, 사용자 입력을 검출하는 방법.
제11항에 있어서, 상기 검출은 이미지 차분 기술을 사용하는 것인, 사용자 입력을 검출하는 방법.
제11항에 있어서, 상기 검출은 배경 차감 기술을 사용하는 것인, 사용자 입력을 검출하는 방법.
제11항에 있어서, 상기 스크린의 상기 제1 측면을 조명하도록 위치되어 있는 적어도 하나의 광원을 제공하는 단계를 더 포함하는 사용자 입력을 검출하는 방법.
제14항에 있어서, 상기 스크린의 상기 제2 측면을 조명하도록 위치되어 있는 적어도 하나의 부가적인 광원을 제공하는 단계를 더 포함하는 사용자 입력을 검출하는 방법.
제11항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 입사광이 상기 스크린의 상기 제1 측면 상에서의 입사광보다 더 밝은 경우, 상기 검출은 상기 스크린과의 접촉점의 이미지가 실루엣되고 주변 영역보다 더 어두워 보이는지를 검출하며, 상기 스크린의 상기 제1 측면 상에서의 입사광이 상기 스크린의 상기 제2 측면 상에서의 입사광보다 더 밝은 경우, 상기 검출은 상기 스크린과의 접촉점의 이미지가 하이라이트(highlight)되고 주변 영역보다 더 밝아 보이는지를 검출하는 것인, 사용자 입력을 검출하는 방법.
제16항에 있어서, 상기 검출은 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 상기 접촉점의 위치를 검출하는 것인 사용자 입력을 검출하는 방법.
제16항에 있어서, 상기 검출은 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 접촉 시간을 검출하는 것인 사용자 입력을 검출하는 방법.
제11항에 있어서, 단일의 카메라에 의해 순차적으로 또는 동시적으로 서비스되는 복수의 스크린이 제공되어 있는 것인 사용자 입력을 검출하는 방법.
제11항에 있어서, 촬상 장치에 의해 발생된 투사 이미지(projected imagery)를 상기 스크린 상에 디스플레이하는 단계를 더 포함하는 사용자 입력을 검출하는 방법.
제11항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 입사광과 상기 스크린의 상기 제1 측면 상에서의 입사광 간의 차분을 검출하는 단계, 및

적어도 하나의 광원의 밝기를 제어하기 위하여 상기 검출된 차분을 사용하는 단계

를 더 포함하는 사용자 입력을 검출하는 방법.
사용자 입력을 검출하는 동작을 수행하기 위해 디지털 처리 장치에 의해 실행가능한 기계-판독가능 명령어의 프로그램을 유형적으로 구현하는 신호 전달 매체로서, 상기 동작은, 사용자 상호작용이 일어나는 제2 측면과 반대쪽에 있는 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치를 갖는 반투명 스크린을 갖는 시스템을 제공하는 단계에 응답하여, 주변 영역에 대한 터치된 영역으로부 터 방출하는 광의 세기의 변화를 검출함으로써 사람이 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는 단계를 포함하는 것인, 사용자 입력을 검출하는 동작을 수행하기 위해 디지털 처리 장치에 의해 실행가능한 기계-판독가능 명령어의 프로그램을 유형적으로 구현하는 신호 전달 매체.
제22항에 있어서, 상기 검출은 이미지 차분 기술을 사용하는 것인 신호 전달 매체.
제22항에 있어서, 상기 검출은 배경 차감 기술을 사용하는 것인 신호 전달 매체.
제22항에 있어서, 상기 제공하는 단계는 또한 상기 스크린의 상기 제1 측면을 조명하도록 위치되어 있는 적어도 하나의 광원을 제공하는 것인 신호 전달 매체.
제25항에 있어서, 상기 제공하는 단계는 또한 상기 스크린의 상기 제2 측면을 조명하도록 위치되어 있는 적어도 하나의 부가적인 광원을 제공하는 것인 신호 전달 매체.
제22항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 입사광이 상기 스크린의 상기 제1 측면 상에서의 입사광보다 더 밝은 경우, 상기 검출은 상기 스크린과의 접촉점의 이미지가 실루엣되고 주변 영역보다 더 어두워 보이는지를 검출하며, 상기 스크린의 상기 제1 측면 상에서의 입사광이 상기 스크린의 상기 제2 측면 상에서의 입사광보다 더 밝은 경우, 상기 검출은 상기 스크린과의 접촉점의 이미지가 하이라이트되고 주변 영역보다 더 밝아 보이는지를 검출하는 것인 신호 전달 매체.
제27항에 있어서, 상기 검출은 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 상기 접촉점의 위치를 검출하는 것인 신호 전달 매체.
제27항에 있어서, 상기 검출은 상기 스크린의 상기 제1 측면의 제1 이미지를 상기 스크린의 상기 제1 측면의 제2 이미지와 비교함으로써 접촉 시간을 검출하는 것인 신호 전달 매체.
제22항에 있어서, 단일의 카메라에 의해 순차적으로 또는 동시적으로 서비스되는 복수의 스크린이 제공되어 있는 것인 신호 전달 매체.
제22항에 있어서, 촬상 장치에 의해 발생된 투사 이미지(projected imagery) 를 상기 스크린 상에 디스플레이하는 단계를 더 포함하는 신호 전달 매체.
제22항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 입사광과 상기 스크린의 상기 제1 측면 상에서의 입사광 간의 차분을 검출하는 단계, 및

적어도 하나의 광원의 밝기를 제어하기 위하여 상기 검출된 차분을 사용하는 단계

를 더 포함하는 신호 전달 매체.
반투명 스크린,

사용자가 상기 스크린을 터치하는 제2 측면의 반대쪽에 있는 상기 스크린의 제1 측면을 촬상하도록 위치되어 있는 이미지 캡처 장치,

상기 스크린의 상기 제1 측면을 조명하고 상기 제1 측면과 상기 제2 측면 간의 조명 차이(illumination differential)를 제공하도록 배치되어 있는 적어도 하나의 광원, 및

주변 영역에 대한 터치된 영역으로부터 방출하는 광의 세기의 변화에 의해 상기 사용자가 상기 스크린의 상기 제2 측면 상의 영역을 언제 터치하는지 및 어디서 터치하는지 중 적어도 하나를 판정하는, 상기 이미지 캡처 장치의 출력에 연결되어 있는 이미지 프로세서를 포함하며,

상기 스크린의 상기 제2 측면 상에서의 입사광이 상기 스크린의 상기 제1 측면 상에서의 입사광보다 더 밝은 경우, 상기 스크린과의 접촉점의 이미지가 실루엣 되고 주변 영역보다 더 어두워 보이며, 상기 스크린의 상기 제1 측면 상에서의 입사광이 상기 스크린의 상기 제2 측면 상에서의 입사광보다 더 밝은 경우, 상기 스크린과의 접촉점의 이미지가 하이라이트(highlight)되고 주변 영역보다 더 밝아 보이는 것인 터치 스크린 시스템.
제33항에 있어서, 상기 스크린은 창문의 적어도 일부를 포함하고, 상기 제2 측면은 상기 창문의 옥외(out-of-door) 측면인 것인 터치 스크린 시스템.
제34항에 있어서, 상기 스크린의 상기 제2 측면 상에서의 조명량의 함수로서 상기 적어도 하나의 조명 광원의 밝기 레벨을 조절하는 광원 제어를 더 포함하는 터치 스크린 시스템.