KR101620777B1

KR101620777B1 - 증강된 가상 터치패드 및 터치스크린

Info

Publication number: KR101620777B1
Application number: KR1020147029627A
Authority: KR
Inventors: 에얄 비츠코브; 오렌 브레즈너; 미차 갈로어; 오피르 오어; 조나단 포크라스; 아미르 에셜; 에란 구엔델만; 아디 베렌슨
Original assignee: 애플 인크.
Priority date: 2012-03-26
Filing date: 2013-03-24
Publication date: 2016-05-12
Also published as: KR101791366B1; CN104246682A; CN107665042B; US9377863B2; WO2013144807A1; AU2013239179A1; US11169611B2; AU2013239179B2; US20220164032A1; KR20160055283A; IL253593A0; IL253593B; US20130283213A1; CN107665042A; US20130283208A1; IL234665A; CN104246682B; KR20140140095A

Abstract

방법은, 컴퓨터(26)에 의해 컴퓨터에 연결된 디스플레이(28) 상에 다수의 상호작용 아이템들(36)을 나타내는 단계 및 컴퓨터의 사용자(22)의 응시의 방향을 나타내는 입력을 수신하는 단계를 포함한다. 응시 방향에 응답하여, 다수의 상호작용 아이템들 중 하나가 선택되며, 상호작용 아이템들 중 하나가 선택되는 것에 후속하여, 적어도 사용자의 손(31)을 포함하는 3차원(3D) 맵들의 시퀀스가 수신된다. 3D 맵들이 사용자에 의해 수행되는 제스처를 검출하도록 분석되며, 그 제스처에 응답하여 선택된 상호작용 아이템에 대한 동작이 수행된다.

Description

증강된 가상 터치패드 및 터치스크린{ENHANCED VIRTUAL TOUCHPAD AND TOUCHSCREEN}

본 발명은 대체로 컴퓨터화된 시스템들을 위한 사용자 인터페이스들에 관한 것이고, 구체적으로, 3차원 감지에 기초하는 사용자 인터페이스들에 관한 것이다.

많은 상이한 유형들의 사용자 인터페이스 디바이스들 및 방법들이 현재 이용가능하다. 통상의 촉각적 인터페이스 디바이스(tactile interface device)들은 컴퓨터 키보드, 마우스, 및 조이스틱을 포함한다. 터치스크린들은 디스플레이 영역 내에서 손가락 또는 다른 객체에 의한 터치의 존재 및 위치를 검출한다. 적외선 원격 제어부들이 폭넓게 사용되며, "착용가능(wearable)" 하드웨어 디바이스들이 마찬가지로 원격 제어의 목적으로 개발되고 있다.

사용자의 신체 부위의 3차원(3D) 감지에 기초하는 컴퓨터 인터페이스들이 또한 제안되고 있다. 예를 들어, PCT 국제공개 공보 WO 03/071410호는 깊이-인식 센서(depth-perceptive sensor)들을 사용하는 제스처 인식 시스템을 설명하며, 이 출원의 개시내용은 참조로서 본 명세서에서 포함되어 있다. 전형적으로 사용자에 근접하여 실내에 위치되는 3D 센서는 관심 대상인 신체 부위에 의해 창출되는 제스처들을 식별하는 데 이용되는 위치 정보를 제공한다. 제스처들은 신체 부위의 형상, 및 소정 간격에 걸친 그의 위치 및 방위에 기초하여 인식된다. 제스처는 관련 전자 디바이스 내로의 입력을 판정하기 위해 분류된다.

본 특허 출원에 참조로서 포함된 문헌들은, 임의의 용어들이 이들 포함된 문헌들에서 본 명세서에 명시적으로 또는 내재적으로 이루어진 정의와 상충하는 방식으로 정의되어 있는 경우에는 본 명세서 내의 정의만이 고려되어야 한다는 점을 제외하면, 본 출원의 통합 부분인 것으로 간주되어야 한다.

다른 예로서, 개시내용이 참조로서 본 명세서에 포함되어 있는 미국 특허 제7,348,963호가 대화형 비디오 디스플레이 시스템을 설명하고 있는데, 이 시스템에서 디스플레이 스크린은 시각적 이미지를 디스플레이하고 카메라는 디스플레이 스크린의 정면에 위치된 상호작용 영역 내의 객체에 관한 3D 정보를 캡처한다. 컴퓨터 시스템은 객체에서의 변화들에 응답하여 디스플레이 스크린에게 시각적 이미지를 변경할 것을 지시한다.

3차원 인간 인터페이스 시스템들은 사용자의 손들뿐만 아니라 머리, 몸통, 및 팔다리들을 비롯한 다른 신체 부위들도 식별할 수 있다. 예를 들어, 개시내용이 참조로서 본 명세서에 포함된 미국 특허 출원 공개 제2010/0034457호는 깊이 맵들로부터 휴머노이드 형태들을 모델링하는 방법을 설명한다. 깊이 맵은 신체의 윤곽(contour)을 알기 위해 분할(segment)된다. 윤곽은 대상의 몸통 및 하나 이상의 팔다리들을 식별하도록 처리된다. 식별된 팔다리들 중 적어도 하나의 배치를 깊이 맵에서 분석함으로써 컴퓨터 상에서 구동되는 애플리케이션 프로그램을 제어하도록 하는 입력이 생성된다.

일부 사용자 인터페이스 시스템들은 사용자의 응시(gaze)의 방향을 추적한다. 예를 들어, 개시내용이 참조로서 본 명세서에 포함된 미국 특허 제7,762,665호가 디바이스의 동작을 변조하는 방법을 설명하고 있는데, 이 방법은 사용자의 주의 집중(attentive) 상태에 관한 정보를 획득하기 위한 주의 집중 사용자 인터페이스를 제공하는 단계; 및 획득된 정보에 기초하여 디바이스의 동작을 변조하는 단계를 포함하며, 변조된 동작은 디바이스에 의해 개시된다. 바람직하게는, 사용자의 주의 집중 상태에 관한 정보는 주의 집중 사용자 인터페이스에 의해 감지되는 디바이스와 사용자의 눈 접촉이다.

본 발명의 일 실시예에 따르면, 컴퓨터에 의해, 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템(interactive item)들을 나타내는 단계, 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계, 응시 방향에 응답하여, 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계, 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하는 단계, 및 제스처에 응답하여 선택된 상호작용 아이템에 대한 동작을 수행하는 단계를 포함하는 방법이 제공된다.

본 발명의 일 실시예에 따르면, 적어도 사용자의 머리 및 손을 포함하는 3차원(3D) 맵들을 수신하도록 그리고 적어도 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하도록 구성되는 감지 디바이스, 디스플레이, 및 감지 디바이스 및 디스플레이에 연결되는 컴퓨터를 포함하고, 컴퓨터는, 디스플레이 상에 다수의 상호작용 아이템들을 나타내도록, 컴퓨터의 사용자에 의해 수행되는 응시의 방향을 나타내는 입력을 수신하도록, 응시 방향에 응답하여 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하도록, 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 것에 후속하여, 적어도 사용자의 손을 포함하는 3D 맵들의 시퀀스를 수신하도록, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하도록, 그리고 제스처에 응답하여 상호작용 아이템들 중 선택된 하나의 상호작용 아이템에 대한 동작을 수행하도록 구성되는 장치가 또한 제공된다.

본 발명의 일 실시예에 따르면, 프로그램 명령어들이 저장되는 비일시적 컴퓨터-판독가능 매체를 포함하는 컴퓨터 소프트웨어 제품으로서, 명령어들은 컴퓨터에 의해 판독될 때 컴퓨터로 하여금, 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내게 하고, 컴퓨터의 사용자에 의해 수행되는 응시의 방향을 나타내는 입력을 수신하게 하고, 응시 방향에 응답하여, 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하게 하고, 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 것에 후속하여, 적어도 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하게 하고, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하게 하고, 제스처에 응답하여 상호작용 아이템들 중 선택된 하나의 상호작용 아이템에 대한 동작을 수행하게 하는 컴퓨터 소프트웨어 제품이 또한 제공된다.

본 발명의 일 실시예에 따르면, 컴퓨터에 의해, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하는 단계, 물리적 표면을 하나 이상의 물리적 영역들로 분할하는 단계, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능(functionality)을 할당하는 단계, 적어도 컴퓨터의 사용자의 손 - 손은 물리적 영역들 중 하나의 물리적 영역 상에 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하는 단계, 및 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하는 단계를 포함하는 방법이 추가로 제공된다.

본 발명의 일 실시예에 따르면, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하도록, 그리고 적어도 사용자의 손 - 손은 물리적 표면 상에 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하도록 구성되는 감지 디바이스, 디스플레이, 및 감지 디바이스 및 디스플레이에 연결되며, 물리적 표면을 하나 이상의 물리적 영역들로 분할하도록, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능을 할당하도록, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하도록, 그리고 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하도록 구성되는 컴퓨터를 포함하는 장치가 또한 제공된다.

본 발명의 일 실시예에 따르면, 프로그램 명령어들이 저장되는 비일시적 컴퓨터-판독가능 매체를 포함하는 컴퓨터 소프트웨어 제품으로서, 명령어들은 컴퓨터에 의해 판독될 때 컴퓨터로 하여금, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하게 하고, 물리적 표면을 하나 이상의 물리적 영역들로 분할하게 하고, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능을 할당하게 하고, 적어도 컴퓨터의 사용자의 손 - 손은 물리적 영역들 중 하나의 물리적 영역 상에 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하게 하고, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하게 하고, 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하게 하는 컴퓨터 소프트웨어 제품이 추가로 제공된다.

본 발명의 일 실시예에 따르면, 적어도 물리적 표면, 물리적 표면 상에 위치되는 하나 이상의 물리적 객체들, 및 컴퓨터의 사용자의 손 - 손은 물리적 표면에 근접해서 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하는 단계, 제스처에 응답하여 물리적 표면 상에 애니메이션을 투영시키는 단계, 및 하나 이상의 물리적 객체들을 애니메이션 내에 포함시키는 단계를 포함하는 방법이 추가로 제공된다.

본 발명의 일 실시예에 따르면, 적어도 물리적 표면, 물리적 표면 상에 위치되는 하나 이상의 물리적 객체들, 및 사용자의 손 - 손은 물리적 표면에 근접해서 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하도록 구성되는 감지 디바이스, 프로젝터(projector), 및 감지 디바이스 및 프로젝터에 연결되며, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하도록, 프로젝터를 사용하여 제스처에 응답하여 물리적 표면 상에 애니메이션을 나타내도록, 그리고 하나 이상의 물리적 객체들을 애니메이션 내에 포함시키도록 구성되는 컴퓨터를 포함하는 장치가 또한 제공된다.

본 발명의 일 실시예에 따르면, 프로그램 명령어들이 저장되는 비일시적 컴퓨터-판독가능 매체를 포함하는 컴퓨터 소프트웨어 제품으로서, 명령어들은 컴퓨터에 의해 판독될 때 컴퓨터로 하여금, 적어도 물리적 표면, 물리적 표면 상에 위치되는 하나 이상의 물리적 객체들, 및 컴퓨터의 사용자의 손 - 손은 물리적 표면에 근접해서 위치됨 - 을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하게 하고, 3D 맵들을 분석하여 사용자에 의해 수행되는 제스처를 검출하게 하고, 제스처에 응답하여 물리적 표면 상에 애니메이션을 투영시키게 하고, 하나 이상의 물리적 객체들을 애니메이션 내에 포함시키게 하는, 컴퓨터 소프트웨어 제품이 추가로 제공된다.

본 발명의 일 실시예에 따르면, 컴퓨터에 의해, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하는 단계, 물리적 표면을 하나 이상의 물리적 영역들로 분할하는 단계, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능을 할당하는 단계, 적어도 컴퓨터의 사용자의 손에 쥐어진 객체 - 객체는 물리적 영역들 중 하나의 물리적 영역 상에 위치됨 - 를 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계, 3D 맵들을 분석하여 객체에 의해 수행되는 제스처를 검출하는 단계, 및 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하는 단계를 포함하는 방법이 추가로 제공된다.

본 발명의 일 실시예에 따르면, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하도록, 그리고 적어도 사용자의 손에 쥐어진 객체 - 객체는 물리적 표면 상에 위치됨 - 를 포함하는 3차원(3D) 맵들의 시퀀스를 수신하도록 구성되는 감지 디바이스, 디스플레이, 및 감지 디바이스 및 디스플레이에 연결되며, 물리적 표면을 하나 이상의 물리적 영역들로 분할하도록, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능을 할당하도록, 3D 맵들을 분석하여 객체에 의해 수행되는 제스처를 검출하도록, 그리고 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하도록 구성되는 컴퓨터를 포함하는, 장치가 또한 제공된다.

본 발명의 일 실시예에 따르면, 프로그램 명령어들이 저장되는 비일시적 컴퓨터-판독가능 매체를 포함하는 컴퓨터 소프트웨어 제품으로서, 명령어들은 컴퓨터에 의해 판독될 때 컴퓨터로 하여금, 적어도 물리적 표면을 포함하는 2차원(2D) 이미지를 수신하게 하고, 물리적 표면을 하나 이상의 물리적 영역들로 분할하게 하고, 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 기능을 할당하게 하고, 적어도 컴퓨터의 사용자의 손에 의해 쥐어진 객체 - 객체는 물리적 영역들 중 하나의 물리적 영역 상에 위치됨 - 를 포함하는 3차원(3D) 맵들의 시퀀스를 수신하게 하고, 3D 맵들을 분석하여 객체에 의해 수행되는 제스처를 검출하게 하고, 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트하게 하는 컴퓨터 소프트웨어 제품이 추가로 제공된다.

본 발명은 첨부 도면을 참조하여 본 명세서에서 단지 예로서 설명된다.
<도 1>
도 1은, 본 발명의 일 실시예에 따른, 비-촉각적 3차원(3D) 사용자 인터페이스를 구현하는 컴퓨터 시스템의 개략도이다.
<도 2>
도 2는, 본 발명의 일 실시예에 따른, 비-촉각적 3D 사용자 인터페이스를 구현하는 컴퓨터 시스템의 기능적 컴포넌트들을 개략적으로 예시하는 블록도이다.
<도 3>
도 3은, 본 발명의 일 실시예에 따른, 응시 및 제스처들을 검출하는 방법을 개략적으로 예시한 흐름도이다.
<도 4a 내지 도 4g>
총괄하여 도 4로 지칭되는 도 4a 내지 도 4g는, 본 발명의 일 실시예에 따른, 컴퓨터 시스템과 상호작용하는 데 사용될 수 있는 제스처들의 개략도들이다.
<도 5>
도 5는, 본 발명의 일 실시예에 따른, 컴퓨터 상에서 실행되고 디스플레이 상에 나타내는 그림 라이브러리 애플리케이션의 개략도이다.
<도 6a 및 도 6b>
도 6a 및 도 6b는, 본 발명의 일 실시예에 따른, 컴퓨터 상에서 실행되고 디스플레이 상에 나타내는 달력 애플리케이션의 개략도들이다.
<도 7a 및 도 7b>
도 7a 및 도 7b는, 본 발명의 일 실시예에 따른, 디스플레이 상에 나타내는 가상 키보드의 개략도들이다.
<도 8a 내지 도 8d>
총괄하여 도 8로 지칭되는 도 8a 내지 도 8d는, 본 발명의 일 실시예에 따른, 물리적 표면 상의 물리적 영역들의 개략도들이다.
<도 9>
총괄하여 도 9로 지칭되는 도 9a 내지 도 9c는, 물리적 표면 상에서 또는 그 근처에서 사용자의 손의 움직임이 어떻게 컴퓨터로의 "관성적" 입력을 제공할 수 있는지를 보여주는 개략도들이다.
<도 10a 내지 도 10c>
총괄하여 도 10으로 지칭되는 도 10a 내지 도 10c는, 본 발명의 일 실시예에 따른, 드로잉 애플리케이션에 대한 입력 디바이스로서 구성된 물리적 표면의 개략도들이다.
<도 11>
도 11은 "파이 메뉴(pie menu)"가 드로잉 애플리케이션 내에 어떻게 포함될 수 있는지를 보여주는 개략도이다.
<도 12a 및 도 12b>
총괄하여 도 12로 지칭되는 도 12a 및 도 12b는, 본 발명의 일 실시예에 따른, 프로젝터에 의해 조명된 물리적 표면의 개략도들이다.
<도 13a 내지 도 13d>
총괄하여 도 13으로 지칭되는 도 13a 내지 도 13d는, 물리적 표면 상에 위치되는 하나 이상의 물리적 객체들을 물리적 표면 상에 투영된 애니메이션 내에 포함시키는 컴퓨터 시스템의 개략도들이다.

개요

버튼들, 롤러들 또는 터치스크린들과 같은 물리적인 촉각적 입력 디바이스들을 사용할 때, 사용자는 전형적으로 물리적 디바이스를 터치하고/하거나 조작함으로써 사용자 인터페이스의 제어에 결합하고 결합해제한다. 본 발명의 실시예들은 3차원(3D) 감지를 포함하는 사용자 인터페이스를 실행시키는 컴퓨터에 연결된 디스플레이 상에 나타내는 상호작용 아이템들과 결합하기 위해 사용자에 의해 수행될 수 있는 제스처들을 설명한다.

아래에 설명되는 바와 같이, 사용자는 상호작용 아이템들 중 주어진 하나의 상호작용 아이템을 응시함으로써 그 주어진 하나의 상호작용 아이템을 선택할 수 있으며, 터치스크린 또는 터치패드와 같은 촉각적 입력 디바이스 상에서 2차원(2D) 제스처들을 수행함으로써 그 주어진 상호작용 아이템을 조작할 수 있다. 일부 실시예들에서, 컴퓨터는 터치패드 또는 터치스크린을 모방(emulate)하는 가상 표면을 정의할 수 있다. 가상 표면은 책 또는 책상과 같은 물리적 표면 상에 구현될 수 있고, 사용자는 그 물리적 표면 상에서 2D 제스처들을 수행함으로써 사용자 인터페이스와 상호작용할 수 있다. 대안적인 실시예들에서, 아래에 설명되는 바와 같이, 가상 표면은 사용자와 근접해 있는 공간에 구현될 수 있고, 사용자는 3D 제스처들을 수행함으로써 컴퓨터와 상호작용할 수 있다.

추가 실시예들에서, 물리적 표면을 가상 표면으로서 구성할 때, 물리적 표면은 터치패드와 같은 단일 입력 디바이스로서 구성될 수 있다. 대안적으로, 물리적 표면은 물리적 영역들로 분할될 수 있고, 각각의 기능은 물리적 영역들의 각각에 할당될 수 있다. 예를 들어, 제1 물리적 영역은 키보드로서 구성될 수 있으며, 제2 물리적 영역은 마우스로서 구성될 수 있고, 제3 물리적 영역은 터치패드로서 구성될 수 있다.

추가 실시예들에서, 아래에 설명되는 바와 같이, 프로젝터는 물리적 표면 상에 그래픽 이미지들을 투영하도록 구성되어, 그에 의해 물리적 표면이, 사용자에 의해 수행되는 제스처들에 응답하여 시각적 요소들이 그려질 수 있고 조작될 수 있는 상호작용 터치스크린으로서 기능하도록 할 수 있다.

시스템 설명

도 1은 본 발명의 일 실시예에 따른, 컴퓨터(26)의 사용자(22)에 의한 동작을 위한 비-촉각적 3D 사용자 인터페이스(20)의 개략도이다. (간소화를 위해, 단일 사용자 및 사용자 인터페이스만이 도면에 도시되어 있지만, 실제로, 인터페이스(20)는 다수의 사용자들과 동시에 상호작용할 수 있다. 본 발명의 대안적인 실시예들은 상이한 사용자 인터페이스들을 사용할 수 있고/있거나 상이한 디바이스들에 걸쳐서 다수의 사용자 인터페이스들을 지원할 수 있다.) 도시된 실시예에서의 사용자 인터페이스(20)는, 예로서 3D 감지 디바이스(24)에 기초하며, 이 디바이스는 손가락(30), 손(31), 머리(32), 또는 눈들(34)과 같은 신체 또는 신체의 적어도 일부분을 포함하는 3D 장면 정보를 캡처한다. 디바이스(24) 또는 별도의 카메라(도면에는 도시되어 있지 않음)는 또한 그 장면의 컬러 비디오 이미지들을 캡처할 수 있다. 디바이스(24)에 의해 캡처된 정보는 컴퓨터(26)에 의해 처리되며, 이 컴퓨터는 이에 따라 온-스크린 상호작용 아이템들(36)(본 명세서에서는 상호작용 아이템들로도 지칭됨)을 나타내고 조작하도록 디스플레이 스크린(28)을 구동시킨다. 대안적으로, 사용자 인터페이스는 랩톱, 태블릿 컴퓨터, 텔레비전 등과 같은 임의의 유형의 컴퓨터화된 장비와 결합하여 사용될 수 있다.

도 1은 컴퓨터(26)를 타워식 구성으로 나타내고 있지만, 컴퓨터의 다른 구성들이 본 발명의 사상 및 범주 내에 있는 것으로 간주된다. 예를 들어, 컴퓨터(26)는 데스크톱 컴퓨터, 휴대용 컴퓨터(예컨대, 랩톱) 또는 일체형 컴퓨터로서 구성될 수 있다.

컴퓨터(26)는 사용자(22)의 3D 맵을 재구성하기 위해 디바이스(24)에 의해 생성된 데이터를 처리한다. 용어 "3D 맵"(또는 동등하게, "깊이 맵")은 주어진 객체 - 이 경우, 사용자의 신체 - 의 표면을 나타내는 3D 좌표들의 세트를 지칭한다. 일 실시예에서, 디바이스(24)는 스폿(spot)들의 패턴을 객체 상에 투영하고, 투영된 패턴의 이미지를 캡처한다. 이어서, 컴퓨터(26)는 이미지 형성된 패턴 내의 스폿들의 횡방향 변이(shift)들에 기초하여 삼각측량법(triangulation)에 의해 사용자의 신체의 표면 상의 지점들의 3D 좌표들을 계산한다. 3D 좌표들은, 디바이스(24)에 기초하여, 예로서 대체로 수평인 X-축(40), 대체로 수직인 Y-축(42) 및 깊이인 Z-축(44)을 기준으로 측정된다. 투영된 패턴을 사용하는 이러한 종류의 삼각측량법-기반 3D 맵핑을 위한 방법들 및 디바이스들은, 예를 들어 PCT 국제 공개 공보 WO 2007/043036호, WO 2007/105205호 및 WO 2008/120217호에 설명되어 있으며, 이 문헌들의 개시내용은 참조로서 본 명세서에 포함된다. 대안적으로, 시스템(20)은, 당업계에 공지되어 있는 바와 같이, 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들을 사용하는 다른 3D 맵핑 방법들을 이용할 수 있다.

일부 실시예들에서, 디바이스(24)는 사용자의 응시의 방향을 알기 위해, 전형적으로 한쪽 또는 양쪽 눈(34)으로부터 반사되는 광(전형적으로, 적-녹-청 가산혼합 컬러 모델(red-green-blue additive color model)에 의해 생성되는 컬러 및/또는 적외선)을 포함하는 이미지를 처리 및 분석함으로써, 사용자(22)의 눈들(34)의 위치 및 방향을 검출한다. 대안적인 실시예들에서, 컴퓨터(26)는 (자체로 또는 디바이스(24)와 조합하여) 사용자의 눈들(34)의 위치 및 방향을 검출한다. 반사광은 디바이스(24)의 투영 광원 또는 임의의 다른 자연적 광원(예컨대, 태양광) 또는 인공적 광원(예컨대, 램프)으로부터 기인할 수 있다. 동공 중심 및 각막 반사(pupil center and corneal reflections: PCCR)를 검출하는 것과 같이 당업계에 공지되어 있는 기술들을 이용하여, 디바이스(24)는 사용자의 응시의 방향을 알기 위해 동공(38), 홍채(39) 또는 각막(41)과 같은 눈(34)의 요소로부터 반사되는 광을 포함하는 이미지를 처리 및 분석할 수 있다. 추가로, 디바이스(24)는 글린트 효과(glint effect)로서 각막으로부터 반사되는 광을 (컴퓨터(26)에) 전달할 수 있다.

컴퓨터(26)에 의해 3D 맵으로부터 추출되는 사용자의 머리(예컨대, 눈, 코, 또는 콧구멍의 가장자리)의 위치 및 피처(feature)들이 사용자의 눈들의 대략적인 위치 좌표들을 찾는 데 이용될 수 있고, 이에 따라 정확한 눈의 위치 및 응시 방향의 판정을 간소화시키고 응시 측정을 더욱 신뢰성있고 강건하게 만든다. 더욱이, 컴퓨터(26)는, 사용자가 임의의 주어진 시간에 보고 있는 주어진 온-스크린 객체(36)를 식별하기 위해, 3D 맵에 의해 제공되는 머리(32)의 부분들(예컨대, 눈(34))의 3D 위치를 눈 부분 이미지 분석을 통해 획득되는 응시 각도 정보와 용이하게 조합할 수 있다. 응시 추적과 결합한 3D 맵핑의 이러한 이용은, 당업계에 공지되어 있는 일부 눈 추적 시스템들에서와 같이, 머리 위의 센서들 또는 이미터들을 사용하여 머리를 능동적으로 추적할 필요성을 완화시키면서 사용자(22)가 머리(32)를 자유롭게 움직이게 한다.

눈(34)을 추적함으로써, 본 발명의 실시예들은 사용자가 머리(32)를 움직인 후에 사용자(22)를 재-교정할 필요성을 감소시킬 수 있다. 일부 실시예들에서, 컴퓨터(26)는 머리의 움직임을 추적하기 위해 머리(32), 눈(34) 및 동공(38)에 대한 깊이 정보를 이용하여, 신뢰성 있는 응시 각도가 사용자(22)의 단일 교정에 기초하여 계산되게 할 수 있다. PCCR, 동공 추적, 및 동공 형상과 같이 당업계에 공지되어 있는 기술들을 이용하여, 컴퓨터(26)는 머리(32)의 고정 지점으로부터 눈(34)의 응시 각도를 계산할 수 있으며, 응시 각도를 재-계산하고 전술된 기술들의 정확도를 향상시키기 위해 머리의 위치 정보를 이용할 수 있다. 감소된 재교정들 외에도, 머리를 추적하는 추가 이점들은 투영 광원들의 개수를 감소시키는 것 및 눈(34)을 추적하는 데 사용되는 카메라들의 개수를 감소시키는 것을 포함할 수 있다.

디바이스(24)에 의해 생성되는 데이터를 처리하는 것 외에도, 컴퓨터(26)는 물리적 표면(47)(예컨대, 책상) 상에 놓인 키보드(45) 및 터치패드(46)와 같은 촉각적 입력 디바이스들로부터의 신호들을 처리할 수 있다. 터치패드(46)(제스처 패드로도 또한 지칭됨)는 손가락들(30)의 모션 및 위치를 디스플레이(28) 상의 상대적 위치로 변환할 수 있는 특화된 표면을 포함한다. 일부 실시예들에서, 사용자(22)가 주어진 손가락(30)을 터치패드를 따라 이동시킴에 따라, 컴퓨터는 손가락의 모션에 대응하는 위치들에 커서(도시되지 않음)를 응답적으로 나타낼 수 있다. 예를 들어, 사용자(22)가 주어진 손가락(30)을 터치패드(46)를 따라 우측으로부터 좌측으로 이동시킴에 따라, 컴퓨터(26)는 커서를 디스플레이(28) 상에서 우측으로부터 좌측으로 이동시킬 수 있다.

일부 실시예들에서, 디스플레이(28)는, 전형적으로 디스플레이 영역 내에 하나 이상의 손가락들(30) 또는 스타일러스(도시되지 않음)에 의해, 터치의 존재 및 위치를 검출할 수 있는 전자 시각적 디스플레이를 포함하는 터치스크린으로서 구성될 수 있다. 터치스크린과 상호작용할 때, 사용자(22)는 터치패드(46)에 의해 제어되는 커서를 통해서 간접적으로 보다는 오히려, 터치스크린 상에 나타내는 상호작용 아이템들(36)과 직접적으로 상호작용할 수 있다.

추가 실시예들에서, 프로젝터(48)는 컴퓨터(26)에 연결될 수 있고 물리적 표면(47) 위에 위치될 수 있다. 아래에 설명되는 바와 같이, 프로젝터(48)는 물리적 표면(47) 상에 이미지를 투영하도록 구성될 수 있다.

컴퓨터(26)는 전형적으로 범용 컴퓨터 프로세서를 포함하며, 이 프로세서는 아래에 설명되는 기능들을 수행하도록 소프트웨어로 프로그램된다. 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 프로세서에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 비일시적인 유형적 컴퓨터-판독가능 매체들 상에 제공될 수 있다. 대안적으로 또는 추가적으로, 컴퓨터 프로세서의 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 컴퓨터(26)가 도 1에, 예로서, 감지 디바이스(24)와는 별개의 유닛으로서 도시되어 있지만, 컴퓨터의 프로세싱 기능들 중 일부 또는 전부는 감지 디바이스의 하우징 내의 또는 달리 감지 디바이스와 연계되어 있는 적합한 전용 회로에 의해 수행될 수 있다.

다른 대안으로서, 이들 프로세싱 기능들은 (예를 들어, 텔레비전 수상기 내의) 디스플레이(28), 또는 게임 콘솔 또는 미디어 플레이어와 같은 임의의 다른 적합한 종류의 컴퓨터화된 디바이스와 통합되는 적합한 프로세서에 의해 수행될 수 있다. 디바이스(24)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.

다양한 기술들이 사용자(22)의 신체의 3D 맵을 재구성하는 데 이용될 수 있다. 일 실시예에서, 컴퓨터(26)는 디바이스(24)에 의해 생성되는 깊이 데이터로부터 신체의 부위들에 대응하는 3D 접속형 컴포넌트들을 추출한다. 이러한 목적에 이용될 수 있는 기술들은, 예를 들어 2010년 8월 11일자로 출원된 미국 특허 출원 제12/854,187호에 설명되어 있으며, 그 개시내용은 참조로서 본 명세서에 포함된다. 컴퓨터는 전술된 미국 특허 출원 공개 제2010/0034457호에 또는 개시내용이 참조로서 본 명세서에 역시 포함되어 있고 2010년 8월 11자로 출원된 미국 특허 출원 제12/854,188호에 설명되어 있는 바와 같이, 사용자의 신체의 "골격"을 재구성하기 위해 이들 추출된 컴포넌트들을 분석한다. 대안적인 실시예들에서, 다른 기술들이 사용자의 신체의 소정 부위들을 식별하는 데 이용될 수 있으며, 전체적으로 또는 심지어 부분적으로, 전신이 디바이스(24)에 가시적이 되거나 골격이 재구성될 필요가 없다.

재구성된 골격을 이용하여, 컴퓨터(26)는, 최소 객체 크기 및 디바이스(24)로부터 더 먼 거리에서의 감소된 해상도와 같은 문제들로 인해 신체 부위(예컨대, 손가락 끝)가 깊이 맵에 의해 검출되지 않을 수 있다 하더라도, 손가락(30)의 끝과 같은 신체 부위의 위치를 상정할 수 있다. 일부 실시예들에서, 컴퓨터(26)는 신체 부위의 조기 검출로부터 또는 여러 개의 (이전에) 수신된 깊이 맵들을 따라 신체 부위를 추적하는 것으로부터 인체 부위의 예상된 형상에 기초하여 신체 부위를 자동-완성할 수 있다. 일부 실시예들에서, 컴퓨터(26)는 깊이 맵에 의해 검출되지 않는 신체 부위를 위치확인하기 위해 선택적 컬러 비디오 카메라(도시되지 않음)에 의해 캡처되는 2D 컬러 이미지를 이용할 수 있다.

일부 실시예들에서, 이러한 골격 재구성의 결과로서 컴퓨터(26)에 의해 생성되는 정보는 사용자의 머리의 위치 및 방향뿐만 아니라, 팔들, 몸통, 및 가능하게는 다리들, 손들 및 다른 피처들을 마찬가지로 포함한다. 프레임간의 이러한 피처들(즉, 깊이 맵들)에서의 변화들 또는 사용자의 자세 변화들은 사용자에 의해 행해지는 제스처들 및 다른 모션들의 표시를 제공할 수 있다. 사용자 자세, 제스처들 및 다른 모션들은 인터페이스(20)와의 사용자 상호작용에 대한 제어 입력을 제공할 수 있다. 이들 신체 모션들은, 전술된 바와 같이, 사용자의 눈 움직임들을 비롯하여 디바이스(24)에 의해 감지되는 다른 상호작용 양상(modality)들뿐만 아니라, 음성 커맨드들 및 다른 사운드들과 조합될 수 있다. 이와 같이, 인터페이스(20)는 사용자(22)가 다양한 원격 제어 기능들을 수행할 수 있게 하고, 디스플레이(28) 상에 나타나는 애플리케이션들, 인터페이스들, 비디오 프로그램들, 이미지들, 게임들, 및 다른 멀티미디어 콘텐츠와 상호작용할 수 있게 한다.

도 2는 본 발명의 일 실시예에 따른, 사용자 인터페이스(20)의 기능적 컴포넌트들을 개략적으로 예시한 블록도이다. 감지 디바이스(24)는 관심 장면 상에 패턴을 투영시키는 조명 서브어셈블리(50)를 포함한다. 적절히 구성된 비디오 카메라와 같은 깊이 이미지 형성 서브어셈블리(52)는 그 장면 상의 패턴의 이미지들을 캡처한다. 전형적으로, 조명 서브어셈블리(50) 및 이미지 형성 서브어셈블리(52)는 적외선 범위에서 동작하지만, 다른 스펙트럼 범위들도 또한 이용될 수 있다. 선택적으로, 디바이스(24) 내의 컬러 비디오 카메라(도시되지 않음)는 그 장면의 2D 컬러 이미지들을 캡처하며, 마이크로폰(54)은 또한 사운드를 캡처할 수 있다.

프로세서(56)는 서브어셈블리(52)로부터 이미지들을 수신하고, 각각의 이미지에서의 패턴을 메모리(58) 내에 저장된 기준 패턴과 비교한다. 기준 패턴은 전형적으로 디바이스(24)로부터 공지된 거리에 있는 기준 평면 상에 패턴을 투영시킴으로써 미리 캡처된다. 프로세서(56)는 3D 맵의 영역 위에서 패턴의 일부분들의 국부적 변이들을 계산하고, 이러한 변이들을 깊이 좌표들로 변환한다. 이러한 프로세스의 상세사항들은, 예를 들어 PCT 국제 공개 공보 WO 2010/004542호에 설명되어 있으며, 그 개시내용은 참조로서 본 명세서에 포함된다. 대안적으로, 전술된 바와 같이, 디바이스(24)는 입체 이미지 형성, (사운드 기반/음향학적) 음파형 디바이스들, 착용가능 도구들, 레이저들, 또는 TOF(time-of-flight) 측정들과 같이 당업계에 공지되어 있는 다른 수단에 의해 3D 맵들을 생성하도록 구성될 수 있다.

프로세서(56)는 전형적으로 내장형 마이크로프로세서를 포함하며, 이러한 마이크로프로세서는 아래에 설명되는 프로세싱 기능들을 수행하도록 소프트웨어(또는 펌웨어)로 프로그램된다. 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 프로세서에 제공될 수 있고; 대안적으로 또는 추가적으로, 소프트웨어는 광학, 자기, 또는 전자 메모리 매체들과 같은 비일시적인 유형적 컴퓨터-판독가능 매체들 상에 저장될 수 있다. 프로세서(56)는 또한 적합한 입력 및 출력 인터페이스들을 포함하며, 그의 기능들 중 일부 또는 전부를 수행하기 위한 전용 및/또는 프로그래밍가능 하드웨어 로직 회로들을 포함할 수 있다. 이들 프로세싱 기능들 중 일부 및 이들을 수행하는 데 사용될 수 있는 회로들의 상세사항들은 전술된 공개 공보 WO 2010/004542호에 제시되어 있다.

일부 실시예들에서, 응시 센서(60)는 사용자(22)의 2차원 이미지들을 캡처 및 처리함으로써 사용자(22)의 눈들(34)의 응시 방향을 검출한다. 대안적인 실시예들에서, 컴퓨터(26)는 디바이스(24)에 의해 전달되는 3D 맵들의 시퀀스를 처리함으로써 응시 방향을 검출한다. 센서(60)는, 전술된 미국 특허 제7,762,665호에 또는 개시내용이 참조로서 본 명세서에 포함되는 미국 특허 제7,809,160호에 설명되어 있는 방법, 또는 이들 특허들에 인용되어 있는 참조문헌들에 설명되어 있는 대안적인 방법들과 같은, 당업계에 공지되어 있는 눈 추적의 임의의 적합한 방법들을 이용할 수 있다. 예를 들어, 센서(60)는 사용자의 눈 또는 눈들의 안저(fundus) 및/또는 각막으로부터 반사되는 광(전형적으로, 적외선 광)의 이미지를 캡처할 수 있다. 이러한 광은 조명 서브어셈블리(50)에 의해 또는 센서(60)와 연계되어 있는 다른 투영 요소(도시되지 않음)에 의해 눈들을 향해 투영될 수 있다. 센서(60)는 사용자 인터페이스(20)의 전체 관심 영역에 걸쳐서 고해상도로 그의 이미지를 캡처할 수 있고, 이어서 이러한 관심 영역 내의 눈으로부터의 반사를 위치확인할 수 있다. 대안적으로, 이미지 형성 서브어셈블리(52)는 3D 맵핑을 위한 패턴 이미지들을 캡처하는 것 외에도 사용자의 눈들로부터의 반사들(주변 광, 모니터로부터의 반사)을 캡처할 수 있다.

다른 대안으로서, 프로세서(56)는 응시 센서(60)의 시계를 사용자의 안면 또는 눈(34)의 위치로 지향시키도록 스캔 제어부(62)를 구동할 수 있다. 이러한 위치는, 전술된 바와 같이 깊이 맵에 기초하여 또는 3D 맵으로부터 재구성되는 골격에 기초하여, 또는 당업계에 공지되어 있는 이미지-기반 안면 인식의 방법들을 이용하여, 프로세서(56)에 의해 또는 컴퓨터(26)에 의해 판정될 수 있다. 스캔 제어부(62)는, 예를 들어 전기기계 짐벌(gimbal), 또는 광학 또는 광전자 스캐닝 요소, 또는 응시 센서(60)에 장면을 반사시키도록 구성된 마이크로전기기계 시스템(MEMS) 기반 미러와 같이 당업계에 공지되어 있는 임의의 다른 적합한 유형의 스캐너를 포함할 수 있다.

일부 실시예들에서, 스캔 제어부(62)는, 또한, 3D 맵에 의해 제공되는 바와 같이, 디바이스(24)로부터 사용자의 머리까지의 거리에 따라 센서(60)의 배율을 조절하는 광학 또는 전자 줌을 포함할 수 있다. 스캔 제어부(62)에 의해 구현되는 상기의 기술들은 단지 적정한 해상도의 응시 센서(60)가 사용자의 눈들의 이미지들을 높은 정밀도로 캡처할 수 있게 하고, 이에 따라 정밀한 응시 방향 정보를 제공할 수 있게 한다.

대안적인 실시예들에서, 컴퓨터(26)는 스캔 제어의 각도(즉, Z-축(44)에 상대적인 각도)를 이용하여 응시 각도를 계산할 수 있다. 추가 실시예들에서, 컴퓨터(26)는 응시 센서(60)에 의해 캡처된 풍경 및 3D 깊이 맵들에서 식별된 풍경을 비교할 수 있다. 추가 실시예들에서, 컴퓨터(26)는 응시 센서(60)에 의해 캡처된 풍경을, 전체 관심 장면을 포함하는 넓은 시계를 갖는 2D 카메라에 의해 캡처된 풍경과 비교할 수 있다. 추가적으로 또는 대안적으로, 스캔 제어부(62)는 눈의 움직임의 각도를 검증하도록 구성된 (전형적으로, 광학 또는 전기) 센서들을 포함할 수 있다.

프로세서(56)는 사용자의 응시 각도를 추출하기 위해 응시 센서(60)에 의해 캡처된 이미지들을 처리한다. 센서(60)에 의해 이루어진 각도 측정치들을 깊이 이미지 형성 서브어셈블리(52)에 의해 제공된 사용자의 머리의 3D 위치와 조합함으로써, 프로세서는 3D 공간에서 사용자의 정확한 시선을 정밀하게 도출할 수 있다. 3D 맵핑과 응시 방향 감지의 조합은 정확한 응시 방향을 추출하기 위해 정확한 교정 및 다수의 반사 신호들의 비교에 대한 필요성을 감소시키거나 제거한다. 프로세서(56)에 의해 추출된 시선 정보는 컴퓨터(26)가 사용자가 보고 있는 상호작용 아이템을 신뢰성 있게 식별할 수 있게 한다.

두 가지 양상들의 조합은 능동적 투영 디바이스(즉, 조명 서브어셈블리(50))를 사용하지 않고 응시 검출을 허용할 수 있는데, 이는 (예를 들어, PCCR 방법에서 이용되는 바와 같이) 글린트 포인트(glint point)를 검출할 필요가 없기 때문이다. 이러한 조합을 이용하는 것은 당업계에 공지되어 있는 다른 응시 방법들의 유리 반사 문제를 해결할 수 있다. 자연광 반사로부터 도출된 정보, 2D 이미지(즉, 동공 위치를 검출하기 위함) 및 3D 깊이 맵(즉, 머리의 피처들을 검출함으로써 머리의 위치를 식별하기 위함)을 이용하면, 컴퓨터(26)는 응시 각도를 계산할 수 있으며, 사용자가 보고 있는 주어진 상호작용 아이템(36)을 식별할 수 있다.

전술된 바와 같이, 응시 센서(60) 및 프로세서(56)는 사용자의 눈들 중 한쪽 또는 양쪽 모두를 추적할 수 있다. 양쪽 눈(34)이 충분한 정확도로 추적되면, 프로세서는 눈들의 각각에 대한 개별적인 응시 각도 측정치를 제공할 수 있다. 눈들이 먼 거리의 객체를 보고 있을 때, 양쪽 눈들의 응시 각도는 평행할 것이지만; 인근의 객체들의 경우, 응시 각도들은 전형적으로 관심 객체에 근접한 지점에 수렴할 것이다. 이러한 지점은 사용자의 응시가 임의의 주어진 순간에 고정되는 지점의 3D 좌표들을 추출하는 데 있어서 깊이 정보와 함께 이용될 수 있다.

전술된 바와 같이, 디바이스(24)는 동시에 그의 시계 내에 있는 다수의 사용자들의 3D 맵들을 생성할 수 있다. 응시 센서(60)는, 전체 시계의 단일 고해상도 이미지를 제공함으로써 또는 각각의 사용자의 머리의 위치에 대한 스캔 제어부(62)의 스캐닝에 의해, 이들 사용자들 각각의 응시 방향을 마찬가지로 알아낼 수 있다.

프로세서(56)는 범용 직렬 버스(USB) 접속부와 같은 통신 링크(64)를 통해 3D 맵들 및 응시 정보를 컴퓨터(26)의 적합한 인터페이스(66)에 출력한다. 컴퓨터는 중앙 처리 장치(CPU)(68)를 메모리(70) 및 사용자 인터페이스(72)와 함께 포함하며, 디스플레이(28)를 구동하고 다른 컴포넌트들도 포함할 수 있다. 전술된 바와 같이, 디바이스(24)는 대안적으로 미가공 이미지들만을 출력할 수 있고, 전술된 3D 맵 및 응시 계산들은 CPU(68)에 의해 소프트웨어에서 수행될 수 있다. 3D 맵들 및 응시 정보로부터 보다 높은 레벨 정보를 추출하기 위한 미들웨어(middleware)는 프로세서(56), CPU(68), 또는 양쪽 모두에서 구동될 수 있다. CPU(68)는, 전형적으로 애플리케이션 프로그램 인터페이스(API)를 통해, 미들웨어에 의해 제공되는 정보에 기초하여 사용자 인터페이스(72)를 구동시키는 하나 이상의 애플리케이션 프로그램들을 구동시킨다. 그러한 애플리케이션들은, 예를 들어 게임들, 엔터테인먼트, 웹 서핑, 및/또는 사무용 애플리케이션들을 포함할 수 있다.

프로세서(56) 및 CPU(68)가 서로 간에 소정의 분할된 프로세싱 태스크들을 갖는 별도의 기능적 요소들로서 도 2에 도시되어 있지만, 프로세서 및 CPU의 기능들은 대안적으로 단일 프로세싱 유닛에 의해 실행 수 있거나, 또는 이들 기능들은 3개 이상의 프로세싱 유닛들 사이에서 분할될 수 있다. 또한, 디바이스(24)가 특정 배열에서 컴포넌트들의 소정 조합을 포함하는 것으로 도시되어 있지만, 다른 디바이스 구성들이 본 명세서에서 설명되는 목적들에 이용될 수 있고, 본 발명의 범주 내에 있는 것으로 간주된다.

온-스크린 객체들과의 상호작용

도 3은 본 발명의 일 실시예에 따른, 주어진 상호작용 아이템(36)을 선택하고 그에 대한 동작을 수행하기 위해 응시 및 제스처들을 검출하는 방법을 개략적으로 예시한 흐름도이다. 표시 단계(80)에서, 컴퓨터(26)는 디스플레이(28) 상에 다수의 상호작용 아이템들(36)을 나타내고, 제1 수신 단계(82)에서, 프로세서는 사용자에 의해 수행되는 응시의 방향을 나타내는 감지 디바이스(24)로부터의 입력을 수신한다.

일부 실시예들에서, 입력을 수신하는 것은, 깊이 이미지 형성 서브어셈블리(52)로부터 적어도 머리(32)를 포함하는 3D 맵을 수신하는 것, 및 응시 센서(60)로부터 적어도 눈(34)을 포함하는 2D 이미지를 수신하는 것을 포함할 수 있다. 이어서, 컴퓨터(26)는 사용자(22)의 응시 방향을 식별하기 위해, 수신된 3D 깊이 맵 및 2D 이미지를 분석할 수 있다. 응시 검출은 2012년 2월 9일자로 출원된 PCT 특허 출원 PCT/IB2012/050577호에 설명되어 있으며, 이 출원의 개시내용은 참조로서 본 명세서에 포함된다.

전술된 바와 같이, 조명 서브어셈블리(50)는 사용자(22)를 향해 광을 투영시킬 수 있고, 수신된 2D 이미지는 눈(들)(34)의 안저 및/또는 각막으로부터 반사된 광을 포함할 수 있다. 일부 실시예들에서, 컴퓨터(26)는 3D 맵으로부터 X-축(40), Y-축(42) 및 Z-축(44)을 따라 머리의 위치를 식별함으로써 머리(32)의 3D 좌표들을 추출할 수 있다. 대안적인 실시예들에서, 컴퓨터(26)는 2D 이미지로부터 X-축(40) 및 Y-축(42)을 따라 머리의 제1 위치를 식별함으로써 그리고 3D 맵으로부터 Z-축(44)을 따라 머리의 제2 위치를 식별함으로써 머리(32)의 3D 좌표들을 추출한다.

선택 단계(84)에서, 컴퓨터(26)는 컴퓨터가 응시 방향으로 디스플레이(28) 상에 나타내고 있는 주어진 상호작용 아이템(36)을 식별 및 선택한다. 주어진 상호작용 아이템을 선택하는 것에 후속하여, 제2 수신 단계(86)에서, 컴퓨터(26)는 깊이 이미지 형성 서브어셈블리(52)로부터 적어도 손(31)을 포함하는 3D 맵들의 시퀀스를 수신한다.

분석 단계(88)에서, 컴퓨터(26)는 3D 맵들을 분석하여 사용자(22)에 의해 수행되는 제스처를 식별한다. 아래에 설명되는 바와 같이, 제스처들의 예들은 프레스 앤드 홀드 제스처(Press and Hold gesture), 탭 제스처(Tap gesture), 슬라이드-홀드 제스처(Slide to Hold gesture), 스와이프 제스처(Swipe gesture), 선택 제스처(Select gesture), 핀치 제스처(Pinch gesture), 에지로부터의 스와이프 제스처(Swipe From Edge gesture), 선택 제스처(Select gesture), 그랩 제스처(Grab gesture) 및 회전 제스처(Rotate gesture)를 포함하지만, 이들로 제한되는 것은 아니다. 제스처를 식별하기 위해, 컴퓨터(26)는 제스처를 수행하는 동안 3D 맵들의 시퀀스를 분석하여 손(31)(및/또는 손가락들(30))의 초기 및 후속 위치들을 식별할 수 있다.

수행 단계(90)에서, 컴퓨터가 제스처에 응답하여, 선택된 상호작용 아이템에 대한 동작을 수행하고, 방법이 종료된다. 단일 아이템이 선택될 때, 주어진 제스처에 응답하여 수행되는 동작들의 예들은 다음을 포함하지만 이들로 제한되는 것은 아니다:

디스플레이(28) 상에, 선택된 상호작용 아이템에 대한 콘텍스트 정보(context information)를 나타냄.

선택된 상호작용 아이템과 연관된 애플리케이션을 실행시킴.

선택된 상호작용 아이템과 연관된 애플리케이션으로 스위칭함(즉, 태스크 스위칭(task switching)함).

디스플레이(28) 상에서, 선택된 상호작용 아이템의 크기를 변경함.

일부 실시예들에서, 사용자(22)는 응시 관련 포인팅 제스처(gaze related pointing gesture)를 이용하여, 주어진 상호작용 아이템을 선택할 수 있다. 응시 관련 포인팅 제스처는 전형적으로 사용자(22)가 주어진 상호작용 아이템(36)을 선택하기 위해 손가락(30)으로 디스플레이(28)를 향해 가리키는 것을 포함한다. 사용자가 손가락(30)으로 디스플레이(28)를 향해 가리킬 때, 컴퓨터(26)는 사용자의 눈들(34) 중 한쪽(또는 눈들(34) 사이의 한 지점)과 손가락 사이의 라인 세그먼트를 정의할 수 있고, 라인 세그먼트가 디스플레이와 교차하는 목표 지점을 식별할 수 있다. 이어서, 컴퓨터(26)는 목표 지점에 근접해서 나타내는 주어진 상호작용 아이템(36)을 선택할 수 있다. 응시 관련 포인팅 제스처들은 2012년 2월 9일자로 출원된 PCT 특허 출원 PCT/IB2012/050577호에 설명되어 있으며, 이 출원의 개시내용은 참조로서 본 명세서에 포함된다.

추가 실시예들에서, 컴퓨터(26)는 (단계(82)에서 전술된 바와 같이) 제1 입력에 응답하여 응시 검출을 이용하여 주어진 상호작용 아이템(36)을 선택할 수 있고, 터치패드(46)로부터 터치패드 상에서 수행되는 (촉각적) 제스처를 나타내는 제2 입력을 수신할 수 있으며, 터치패드로부터 수신된 제2 입력에 응답하여 동작을 수행할 수 있다.

추가 실시예들에서, 사용자(22)는 손가락(30)이 물리적 표면(47)(예컨대, 도 1에 도시되어 있는 책상)과 접촉하는 동안 주어진 제스처를 수행할 수 있고, 이로써 물리적 표면을 가상 터치패드로 "변환"한다. 추가적인 실시예들에서, 아래에 설명되는 바와 같이, 프로젝터(48)는 물리적 표면(47) 상에 이미지를 투영시킬 수 있고, 이로써 물리적 표면을 가상 터치스크린으로 변환한다.

전술된 바와 같이, 본 발명의 실시예들은 컴퓨터(26)가 디스플레이(28) 상에 상호작용 아이템들(36)을 나타냄으로써 그리고 사용자(22)에 의해 수행되는 3차원 비-촉각적 제스처들을 식별함으로써 터치패드들 및 터치스크린들을 모방할 수 있게 한다. 예를 들어, 컴퓨터(26)는 마이크로소프트 코포레이션(Microsoft Corporation)(미국 워싱톤주 레드몬드(Redmond, Washington) 소재)에 의해 생산된 윈도우즈(Windows) 8™ 운영체제를 구성하여, 사용자(22)에 의해 수행되는 3차원 제스처들에 응답할 수 있다.

도 4a 내지 도 4g는 본 발명의 일 실시예에 따른, 윈도우즈 8™ 운영체제를 실행시키는 컴퓨터와 상호작용할 때 이용되는 촉각적 제스처들에 대응하는 제스처들의 개략도들이다. 일부 실시예들에서, 사용자(22)는 도 4에서 2차원 제스처들로서 설명되는 제스처들을 터치패드(46) 상에서 수행할 수 있다. 추가적으로 또는 대안적으로, 컴퓨터(26)는 감지 디바이스(24)로부터 수신된 입력들을 이용하여 물리적 표면(47) 상에 또는 사용자(22)에 근접해 있는 공간 내에 가상 표면(예컨대, 가상 터치패드, 가상 터치스크린, 가상 키보드 또는 가상 마우스)을 정의할 수 있다. 동작 시, 컴퓨터(26)는 가상 표면 상에서 수행되는 3차원 제스처들을 터치패드(46) 또는 터치스크린(28) 상에서 수행되는 대응하는 2차원 제스처로서 해석할 수 있다. 가상 표면과 상호작용하는 동안, 손(31)은 전형적으로 사용자(22)가 아래에 설명되는 제스처들 중 하나를 수행할 때까지 가상 표면 위에 "머무른다(hover)".

도 4a는 본 발명의 일 실시예에 따른, 프레스 앤드 홀드 제스처를 수행하는 손(31)의 개략도이다. 프레스 앤드 홀드 제스처는 위에서 언급된 PCT/IB2012/050577호에 설명되어 있는 포인트 터치 제스처(Point Touch gesture)와 유사하며, 사용자(22)가, 주어진 상호작용 아이템(36)을 향해 응시하고 디스플레이(28)를 향해 손가락(30)을 밀고("프레스") 적어도 특정된 기간 동안 그 손가락을 비교적 안정적으로 유지하는("홀드") 것을 포함한다. 응시 방향 및 프레스 앤드 홀드 제스처를 식별할 때, 컴퓨터(26)는 선택된 상호작용 아이템(36)에 대한 콘텍스트 정보를 나타낼 수 있다.

전술된 바와 같이, 사용자(22)는 응시 관련 포인팅 제스처를 이용하여 주어진 상호작용 아이템(36)을 선택할 수 있거나, 또는 제스처 패드(46) 상에서 촉각적 제스처를 수행할 수 있다. 응시 관련 포인팅 제스처 및 프레스 앤드 홀드 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 손가락(30)을 밀고("프레스") 적어도 특정된 기간 동안 그 손가락을 비교적 안정적으로 유지할("홀드") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 손가락(30)으로 제스처 패드(46)를 터치하고 적어도 특정된 기간 동안 제스처 패드 상에 그 손가락을 유지시킬 수 있다.

도 4b는 본 발명의 일 실시예에 따른, 탭 제스처를 수행하는 손(31)의 개략도이다. 탭 제스처는 위에서 언급된 PCT/IB2012/050577호에 설명되어 있는 포인트 선택 제스처와 유사하며, 사용자(22)가 주어진 상호작용 아이템(36)을 향해 응시하고 손가락(30)을 디스플레이(28)를 향해 밀고("프레스") 그 손가락을 후퇴시키는("릴리스") 것을 포함한다. 응시 방향 및 탭 제스처를 식별할 때, 컴퓨터(26)는 주어진 상호작용 아이템과 연관된 동작을 수행할 수 있다. 예를 들어, 주어진 상호작용 아이템이 애플리케이션 아이콘을 포함하는 경우, 컴퓨터는 탭 제스처에 응답하여 애플리케이션 아이콘과 연관된 애플리케이션을 실행시킬 수 있다.

응시 관련 포인팅 제스처 및 탭 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 손가락(30)을 밀고("프레스") 그 손가락을 후퇴시킬("릴리스") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 손가락(30)으로 제스처 패드(46)를 터치하고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

도 4c는 본 발명의 일 실시예에 따른, 슬라이드-드래그를 수행하는 손(31)의 개략도이다. 슬라이드-드래그 제스처는 사용자(22)가 상호작용 아이템들(36)을 스크롤(scroll)할 수 있게 하여 디스플레이(28)를 패닝(panning)하게 한다. 슬라이드-드래그 제스처를 수행하기 위해, 사용자(22)는 디스플레이(28)의 임의의 부분을 향해 응시하고 디스플레이를 향해 손가락(30)을 밀고("프레스") 요청된 스크롤 방향의 방향으로 그 손가락을 좌우로 이동시키고("드래그") 그 손가락을 후퇴시킨다("릴리스"). 슬라이드-드래그 제스처를 식별할 때, 컴퓨터(26)는 디스플레이(28) 상에서 상호작용 아이템들을 제스처의 방향으로 스크롤함으로써 "스크린을 이동"시킬 수 있다. 따라서, 디스플레이(28)를 응시하고 슬라이드-드래그 제스처를 수행할 때, 사용자(22)는 사실상 디스플레이 상에 나타내는 모든 상호작용 아이템들을 선택하고 그에 대한 동작을 수행하고 있다.

일부 실시예들에서, 사용자(22)는 좌측 또는 우측을 응시함으로써 스크롤링의 방향을 제어할 수 있는데, 여기서 손가락(30)에 의해 수행되는 제스처는 스크롤링 동작만을 나타내고 스크롤링 방향을 나타내지는 않는다. 추가 실시예들에서, 컴퓨터(26)는 현실 세계 좌표들을 사용하여 스크롤링을 제어할 수 있는데, 여기서 컴퓨터는 센티미터와 같은 거리 단위들로 손가락의 모션을 측정하고 픽셀로는 측정하지 않는다. 현실 세계 좌표들을 사용할 때, 컴퓨터는 검출된 움직임에 상수 또는 가변 계수를 적용할 수 있다. 예를 들어, 컴퓨터는 1센티미터의 손가락 모션을 디스플레이 상에서 10 픽셀의 스크롤링으로 변환할 수 있다.

대안적으로, 컴퓨터는 사용자와 디스플레이 사이의 거리를 보상하는 상수 또는 가변 계수를 갖는 공식을 적용할 수 있다. 예를 들어, 거리를 보상하기 위해, 컴퓨터(26)는 다음 공식 P = D * F를 계산할 수 있는데, 여기서 P = 디스플레이(28) 상에서 스크롤되는 픽셀들의 수, D = 디스플레이(28)로부터 사용자(22)의 거리(센티미터 단위), 및 F = 계수이다.

사용자(22)가 제1 방향을 응시하고 있고 손가락(30)을 제2 방향으로 이동시키고 있음을 컴퓨터(26)가 식별하는 경우들이 존재할 수 있다. 예를 들어, 사용자(22)는 그의 응시를 좌측으로부터 우측으로 향하게 하지만 손가락(30)은 우측으로부터 좌측으로 이동시킬 수 있다. 이들 경우들에서, 컴퓨터(26)는 상충하는 제스처들로 인해 임의의 스크롤링을 중지할 수 있다. 그러나, 응시 및 손가락에 의해 수행되는 슬라이드-드래그 제스처가 방향은 동일하지만 속도는 상이한 스크롤링을 나타내는 경우(예컨대, 사용자가 그의 눈들을 옆으로 급하게 이동시키는 반면, 손가락(30)을 보다 천천히 이동시키는 경우), 컴퓨터는 상호작용 아이템들을 스크롤하는 동안 보간법(interpolation)을 표시된 스크롤링 속도들에 적용할 수 있다.

응시 관련 포인팅 제스처 및 슬라이드-드래그 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 디스플레이(28)를 향해 손가락(30)을 밀고("프레스") 그 손가락을 좌우로 이동시키고("드래그") 그 손가락을 후퇴시킬("릴리스") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 디스플레이(28)를 향해 응시하고 손가락(30)으로 제스처 패드(46)를 터치하고 그 손가락을 좌우로 이동시키고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

도 4d는 본 발명의 일 실시예에 따른, 스와이프 제스처를 수행하는 손(31)의 개략도이다. 스와이프 제스처는 디스플레이(28) 상에서 슬라이드하는 상호작용 아이템(36)을 선택하는 것 또는 컴퓨터 상에서 실행되는 다른 애플리케이션으로 스위칭하는 것(마이크로소프트 윈도우즈(Microsoft Windows)™에서의 알트-탭(Alt-Tab) 키보드 조합과 유사함)과 같은 동작들에 이용될 수 있다. 스와이프 제스처를 수행하기 위해, 사용자(22)는 디스플레이(28) 상에서 슬라이드하는 주어진 상호작용 아이템(36)을 향해 응시하고 디스플레이를 향해 손가락(30)을 밀고("푸시") 그 손가락을 주어진 상호작용 아이템이 슬라이드하고 있는 방향에 대해 90° 각도로 이동시키고("드래그") 그 손가락을 후퇴시킨다("릴리스").

응시 관련 포인팅 제스처 및 스와이프 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 손가락(30)을 밀고("프레스") 그 손가락을 주어진 상호작용 객체가 슬라이드하고 있는 방향에 대해 90° 각도로 이동시키고("드래그") 그 손가락을 후퇴시킬("릴리스") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 제스처 패드(46)를 손가락(30)으로 터치하고 그 손가락을 주어진 상호작용 객체가 슬라이드하고 있는 방향에 대해 90° 각도로 (예컨대, 상호작용 아이템들이 좌측 또는 우측으로 슬라이드하고 있는 경우에 위로 또는 아래로) 이동시키고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

대안적인 실시예에서, 사용자(22)는 선택 제스처를 수행함으로써 디스플레이(28) 상에서 슬라이드하는 상호작용 아이템을 선택할 수 있다. 선택 제스처를 수행하기 위해, 사용자(22)는 디스플레이(28) 상에서 슬라이드하는 상호작용 아이템(36)을 향해 응시하고 손가락(30)을 하향 모션으로 (즉, 가상 표면 상에서) 스와이프한다. 응시 관련 포인팅 제스처 및 선택 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 디스플레이(28) 상에서 슬라이드하는 주어진 상호작용 아이템(36)을 향해 손가락(30)을 밀고 그 손가락을 하향 모션으로 스와이프할 수 있다.

도 5는 컴퓨터(26) 상에서 실행되고 디스플레이(28) 상에 나타내는 그림 라이브러리 애플리케이션(100), 및 컴퓨터 상에서 실행되고 디스플레이를 수평으로 가로질러 "슬라이드"하는 맵 애플리케이션(102)의 개략도이다. 사용자(22)는 전술된 스와이프 또는 선택 제스처들을 수행함으로써 슬라이딩 맵 애플리케이션(102)을 선택할 수 있다.

도 4e는 본 발명의 일 실시예에 따른, (줌하기 위한) 핀치 제스처를 수행하는 손(31)의 개략도이다. 핀치 제스처는 2012년 3월 19일자로 출원된 미국 특허 출원 제13/423,314호에 설명되어 있는 그랩 제스처와 유사하며, 이 출원의 개시내용은 참조로서 본 명세서에 포함된다. 핀치 제스처를 수행하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 디스플레이를 향해 2개 이상의 손가락들(30)을 밀고("프레스") 그 손가락들을 서로를 향해 이동시키고 - 예컨대, 도 4e에 도시되어 있는 바와 같이, 집게 손가락 및/또는 가운데 손가락을 엄지손가락과 함께 핀치함("핀치") - 그 손가락들을 후퇴시킨다("릴리스"). 핀치 제스처에 응답하여, 컴퓨터(26)는 디스플레이 상에 나타내는 주어진 상호작용 아이템의 크기를 변경(즉, 줌)할 수 있다.

응시 관련 포인팅 제스처 및 핀치 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 2개의 손가락들(30)을 밀고("프레스") 서로를 향해 그 손가락들을 이동시키고("핀치") 그 손가락을 후퇴시킬("릴리스") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 제스처 패드(46)를 2개 이상의 손가락들(30)로 터치하고 그 손가락들을 서로를 향해 또는 서로로부터 멀리 이동시키고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

그랩 제스처는 스와이프 제스처와 동일한 기능을 갖는다. 그랩 제스처를 수행하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 응시하고 손바닥을 향해 하나 이상의 손가락들(30)을 접고 디스플레이(28)를 향해 손(31)을 밀거나 디스플레이로부터 멀어지도록 손을 후퇴시키고 릴리스 제스처를 수행한다. 응시 관련 포인팅 제스처 및 그랩 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 그랩 제스처를 수행하고 디스플레이(28)를 향해 손(31)을 밀거나 디스플레이로부터 멀어지도록 손을 후퇴시키고 이어서 릴리스 제스처를 수행할 수 있다. 릴리스 제스처는 위에서 언급된 미국 특허 출원 제 13/423,314호에 설명되어 있다.

도 4f는 본 발명의 일 실시예에 따른, 에지로부터의 스와이프 제스처의 개략도이다. 동작 시, 에지로부터의 스와이프 제스처는 사용자(22)가 숨겨진 메뉴들을 볼 수 있게 하거나 컴퓨터(26) 상에서 실행되는 애플리케이션들 사이에서 스위칭할 수 있게 한다. 에지로부터의 스와이프 제스처를 수행하기 위해, 사용자(22)는 디스플레이(28)의 (외측) 에지(즉, 상측, 하측, 좌측 또는 우측)를 향해 응시하고 디스플레이를 향해 손가락(30)을 밀고 그 손가락을 디스플레이 "내측으로"(즉, 에지로부터 멀리) 이동시킨다. 대안적으로, 사용자(22)는 응시가 디스플레이(28)의 에지를 향하게 하고, 손(31)을 디스플레이의 반대 측으로의 수평방향 스와이프 모션으로 이동시킴으로써 스와이프 제스처를 수행할 수 있다. 본 명세서에 설명되는 실시예들에서, 디스플레이의 "에지에 가깝게"는 디스플레이의 에지로부터 최대 거리(예컨대, 에지의 외부로 또는 양쪽 측면들로부터 6 인치)로 설정될 수 있다.

응시 관련 포인팅 제스처 및 에지로부터의 스와이프 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 디스플레이(28)의 에지를 향해 손가락(30)을 밀고 디스플레이 내측으로 그 손가락을 이동시킬 수 있다. 대안적으로, 사용자(22)는 디스플레이(28)의 에지로부터 멀리 스와이프 제스처를 수행할 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 디스플레이(28)의 에지를 향해 응시하고 제스처 패드(46)를 터치하고 디스플레이 내측으로 이동시키는 것에 대응하는 방향으로 손가락을 이동시키고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

에지로부터의 스와이프 제스처를 식별할 때, 컴퓨터(26)는 "터치된" 에지 상에 "숨겨진" 메뉴를 나타내는 것과 같은 동작을 수행할 수 있다.

도 6a 및 도 6b는 본 발명의 일 실시예에 따른, 달력 애플리케이션(110)의 개략도들이다. 초기에, 컴퓨터(26)는, 도 6a에 도시되어 있는 바와 같이, 달력 애플리케이션(110)을 나타낸다. 사용자(22)가 달력의 우측 에지로부터 시작하는 에지로부터의 스와이프 제스처를 수행하는 것을 검출할 때, 컴퓨터(26)는, 도 6b에 도시되어 있는 바와 같이, (디스플레이의 하부 좌측 코너에 위치되어 있는 흑색 박스(114)에 나타난 시간 및 날짜 정보뿐만 아니라) 달력의 우측 상의 숨겨진 메뉴(112)("참스(Charms)" 메뉴로도 지칭됨)를 나타낸다. 일부 구성들에서, 스크린의 각각의 측부(즉, 좌측, 우측, 상측, 하측) 마다 숨겨진 메뉴(112)가 존재할 수 있다.

추가 실시예들에서, 컴퓨터(26)는 특정 에지(도 6a 및 도 6b에 도시되어 있는 예에서는 우측 에지)로 향하는 사용자의 응시를 식별할 때에만 숨겨진 메뉴를 나타낼 수 있으며, 어떠한 제스처도 손가락(30)에 의해 수행될 것을 요구하지 않을 수 있다.

도 4g는 본 발명의 일 실시예에 따른, 회전 제스처의 개략도이다. 회전 제스처는 사용자(22)가 주어진 상호작용 아이템(36)을 회전시키고 이에 의해 제어할 수 있게 한다. 예를 들어, 선택된 상호작용 아이템(36)은 사용자(22)가 손잡이를 시계방향으로 또는 반시계방향으로 회전시킴으로써 제어할 수 있는 음량 조절 손잡이를 포함할 수 있다. 회전 제스처는 위에서 언급된 미국 특허 출원 제 13/423,314호에 설명되어 있다.

회전 제스처를 수행하기 위해, 사용자(22)는 디스플레이(28) 상에 나타난 주어진 상호작용 아이템(36)을 향해 응시하고 디스플레이를 향해 2개 이상의 손가락들(30)을 밀고("프레스") 그 손가락들을 원형(즉, 시계방향/반시계방향) 모션으로 회전시키고("회전") 그 손가락들을 후퇴시킨다("릴리스"). 일부 실시예들에서, 컴퓨터(26)는 사용자가 회전 제스처를 수행하는 동안 상이한 손들(31)로부터 2개 이상의 손가락들(30)을 함께 핀치하게 할 수 있다.

응시 관련 포인팅 제스처 및 회전 제스처를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용 아이템(36)을 향해 2개 이상의 손가락들(30)을 밀고("프레스") 그 손가락들을 회전시키고("회전") 그 손가락을 후퇴시킬("릴리스") 수 있다. 응시 및 제스처 패드(46)를 이용하여 컴퓨터(26)와 상호작용하기 위해, 사용자(22)는 주어진 상호작용(36)을 향해 응시하고 제스처 패드(46)를 2개 이상의 손가락들(30)로 터치하고 제스처 패드 상에서 그 손가락들을 원형 모션으로 이동시키고 제스처 패드에서 그 손가락을 들어올릴 수 있다.

가상 표면을 통해 상호작용 아이템들(36)을 조작하는 것 외에도, 사용자(22)는 또한 아래에 설명되는 바와 같이 온-스크린 가상 키보드와 같은 디스플레이(28) 상에 나타내는 다른 유형들의 아이템들과 상호작용할 수 있다.

도 7a는 본 발명의 일 실시예에 따른, 가상 키보드(120)의 제1 개략도이다. 도 7a에 도시되어 있는 예에서, 사용자(22)는 손(31) 및/또는 손가락(30)의 모션에 응답하여 컴퓨터(26)가 디스플레이(28) 상에 배치한 커서(122)를 통해 가상 키보드(120)와 상호작용한다. 가상 키보드(120)는 2011년 9월 25일자로 출원된 미국 특허 출원 제13/244,490호에 설명되어 있으며, 이 출원의 개시내용은 참조로서 본 명세서에 포함된다.

일부 실시예들에서, 컴퓨터(26)는 상호작용 아이템들(36)(즉, 가상 표면) 및 키보드(120)를 디스플레이(28) 상에 동시에 나타낼 수 있다. 컴퓨터(26)는 가상 표면 및 키보드로 향하는 제스처들 사이를 다음과 같이 구별할 수 있다:

키보드(120) 외부로 향하는 탭 제스처는 가상 표면(즉, 가상 터치패드 또는 가상 터치스크린)과 연관될 수 있다.

키보드(120) 내측으로 향하는 2개 이상의 접속된 손가락들(30)에 의한 임의의 제스처는 가상 터치패드 제스처로서 해석될 수 있다.

키보드(120) 내측으로 향하는 단일 손가락의 제스처들은 키들이 가상 키보드 상에서 눌리는 것으로 해석될 수 있다.

단일 손가락으로 단일 키들을 누르는 것 외에도, 컴퓨터는, 언어 모델을 이용하여, 사용자가 가상 키보드 상의 적절한 키들 위에서 단일 손가락을 스와이프함으로써 입력할 수 있는 단어들을 식별할 수 있다.

도 7b는 본 발명의 일 실시예에 따른, 가상 키보드(120)의 제2 개략도이다. 도 7b에 도시되어 있는 예에서, 사용자(22)는 먼저 위치(124)에 커서(122)를 위치시키도록 손가락(30)을 이동시키고, 커서가 위치(126)(문자 "N"에 의함), 위치(128)("O"), 및 위치(130)("T")에서 방향을 변경하도록, 도시된 경로 세그먼트들을 따라서, 손가락(30)을 이동시킨다. 가상 키보드 상에서 경로 세그먼트들을 통해 입력된 문자들을 해석하는 것은 위에서 언급된 미국 특허 출원 제13/244,490호에 설명되어 있다.

디바이스(24)에 의해 제공되는 깊이 맵들 및/또는 컬러 이미지들을 이용하는, 가상 표면에 포함될 수 있는 추가적인 특징들은, 예를 들어 다음을 포함한다:

손가락 검출. 컴퓨터(26)는 어떤 손(31)의 어떤 하나 이상의 손가락들(30)이 가상 표면과 상호작용하고 있는지를 식별할 수 있다. 상이한 제스처들이 상이한 손가락들 및/또는 손들에 대해 정의될 수 있다.

컬러 인식 터치스크린. 컴퓨터(26)는 손(31)에 쥐어진 객체의 컬러를 식별할 수 있고, 애플리케이션에 식별된 컬러를 사용할 수 있다. 예를 들어, 컴퓨터(26)가 페인트 프로그램을 실행하고 있고, 사용자(22)가 컬러펜(도시되지 않음)을 픽업(pick up)한 경우, 컴퓨터는 펜의 컬러를 인식할 수 있으며, 가상 표면 상에 사용자에 의해 "그려진" 콘텐츠를 나타낼 때 그 컬러를 사용할 수 있다.

손-인식 가상 표면. 컴퓨터(26)는 어떤 손(왼손/오른손)(31)이 가상 표면을 터치하고 있는지를 판정할 수 있다.

사용자-인식 가상 표면. 컴퓨터(26)는 가상 표면을 터치하고 있고 그와 상호작용하고 있는 주어진 사용자(22)의 아이덴티티(identity)를 판정할 수 있다.

머리 방위-인식 사용자 인터페이스. 응시 관련 포인팅 제스처가 가상 표면을 제어하는 데 이용될 때, 컴퓨터(26)는 머리 움직임의 함수로서 인터페이스를 변경할 수 있다.

사용자-위치 인식 사용자 인터페이스. 컴퓨터(26)는 사용자의 위치, 거리, 및/또는 자세의 함수로서 사용자 인터페이스를 변경할 수 있다. 예를 들어, 사용자가 감지 디바이스(24)에 보다 가깝게 이동할 때, 컴퓨터(26)는 상호작용 아이템들(36)을 더 작은 크기를 이용하여 나타낼 수 있다. 마찬가지로, 사용자가 감지 디바이스(24)로부터 더 멀리 이동할 때, 컴퓨터(26)는 상호작용 아이템들(36)을 더 큰 크기를 이용하여 나타낼 수 있다. 사용자(22)가 수평방향으로 변이될 때, 컴퓨터(26)는 디스플레이(28) 상에 나타내는 상호작용 아이템들을 재배열하여 더 양호한 상호작용성을 가능하게 할 수 있다.

본 명세서에서 설명되는 실시예들은 사용자(22)의 팔다리(예컨대, 손가락(30) 또는 손(31))에 의해 수행되는 제스처들을 나타내는 일련의 3D 맵들을 처리하는 컴퓨터(26)를 갖고 있지만, 다른 제스처 인식 방법들이 본 발명의 사상 및 범주 내에 있는 것으로 간주된다. 예를 들어, 사용자(22)는 닌텐도 가부시키가이샤(Nintendo Co., Ltd)(일본 교토시(KYOTO-SHI) KYT 601-8501 소재)에 의해 제조되는 닌텐도(Nintendo)의 위 리모트(Wii Remote)™(위모트(Wiimote)로도 알려져 있음)와 같은 글러브 제어기(glove controller) 또는 게임 제어기와 같은 모션 센서들을 포함하는 레이저들과 같은 입력 디바이스들을 사용할 수 있다. 추가적으로 또는 대안적으로, 컴퓨터(26)는 초음파 센서들 및/또는 레이저들과 같은 다른 유형들의 감지 디바이스들로부터 사용자에 의해 수행되는 제스처를 나타내는 신호들을 수신 및 처리할 수 있다.

응시-기반 터치스크린 개선

전술된 바와 같이, 본 발명의 실시예들은 사용자 인터페이스(20)를 실행시키는 컴퓨터(26) 상에 가상 터치스크린을 구현하는 데 이용될 수 있다. 일부 실시예들에서, (포인팅 제스처 및 응시 검출뿐만 아니라) 위에서 설명된 터치패드 제스처들은 마찬가지로 가상 터치스크린 상에서 구현될 수 있다. 동작 시, 사용자의 손은 사용자가 본 명세서에서 설명되는 제스처들 중 하나를 수행할 때까지 가상 터치스크린 "위에 머무른다".

예를 들어, 사용자는 숨겨진 메뉴들("참스 메뉴들"로도 지칭됨)을 보기 위해 에지로부터의 스와이프 제스처를 수행할 수 있거나, 또는 핀치 제스처가 가상 터치스크린 상에 나타내는 주어진 상호작용 아이템(36)을 "그랩"하는 데 이용될 수 있다.

물리적 표면 개선

공간에서 사용자(22)에 의해 수행되는 3차원 제스처들을 검출하는 것 외에도, 컴퓨터(26)는 사용자(22)가 물리적 표면(47) 상에서 2차원 제스처들을 수행하는 것을 검출하도록 구성되어, 물리적 표면을 가상 키보드, 가상 마우스, 가상 터치패드 또는 가상 터치스크린과 같은 가상의 촉각적 입력 디바이스로 변환시킬 수 있다.

일부 실시예들에서, 감지 디바이스(24)로부터 수신된 2D 이미지는 적어도 물리적 표면(47)을 포함하고, 컴퓨터(26)는 물리적 표면을 하나 이상의 물리적 영역들로 분할하도록 구성될 수 있다. 동작 시, 컴퓨터(26)는 하나 이상의 물리적 영역들의 각각에 촉각적 입력 디바이스에 대응하는 각각의 기능을 할당할 수 있으며, 적어도 물리적 영역들 중 하나의 물리적 영역 상에 위치되는 손(31)을 포함하는 3차원 맵들의 시퀀스를 수신할 때, 컴퓨터는, 3D 맵들을 분석하여, 사용자에 의해 수행되는 제스처를 검출할 수 있고 그 제스처에 기초하여 물리적 영역들 중 하나의 물리적 영역에 대응하는 촉각적 입력 디바이스에 대한 입력을 시뮬레이트할 수 있다.

총괄하여 도 8로 지칭되는 도 8a 내지 도 8d는 본 발명의 일 실시예에 따른, 물리적 표면(47) 상의 물리적 영역들(142, 144)의 개략도들이다. 도 8에 도시된 예에서, 컴퓨터(26)는 영역(142)을 가상 터치스크린으로서 구성하고, 영역(144)을 가상 마우스로서 구성한다.

도 8a에서, 컴퓨터(26)는3D 감지 디바이스(24)에 의해 제공된 정보를 이용하여 사용자의 손의 위치, 및 영역(142)을 터치하고 있는 임의의 손가락들(30)을 검출한다. 영역(142)(및 물리적 표면(47)) 내의 각각의 지점은 디스플레이(28) 상의 대응하는 지점에 맵핑될 수 있다. 도 8a에서의 예가 영역(142)과 접촉하는 단일 손가락(30)을 도시하고 있지만, 3D 감지 디바이스 및 컴퓨터(26)는 임의의 수의 손가락들(30)을 검출하도록 구성될 수 있어서, 사용자(22)가 스크롤링, 줌, 패닝 등을 비롯한 복잡한 다수 손가락의 제어 제스처들을 수행하게 할 수 있다. 일부 실시예들에서, 컴퓨터(26)는 영역(142)을, 모든 손가락들(30)로부터의 "입력"을 수용할 수 있는 가상 키보드로서 구성할 수 있다.

도 8b는 마우스 영역으로서 키보드의 우측에 있는 영역(144)의 사용을 도시한다. 이 때, 사용자의 손은 (실제의 또는 존재하지 않는) 마우스를 쥐고 있는 것으로 상정된다. 동작 시, 컴퓨터(26)는 영역(144)에서 사용자의 손의 움직임에 응답하여 디스플레이(28) 상에서 커서를 재배치할 수 있다. 3D 감지 디바이스에 의해 검출된 바와 같은 사용자의 손가락들의 (탭핑 모션들과 같은) 모션들은 컴퓨터에 의해 마우스 버튼들 상에서의 클릭들로서 해석될 수 있으며, 각각의 손가락(30)은 상이한 버튼에 대응하도록 할당된다.

도 8c는 키보드의 좌측에 있는 영역 내의 "참스"를 선택하는 왼쪽 손의 사용을 도시하며, 도 8d는 물리적 표면(47)과의 접촉을 반드시 수반하는 것은 아닌 3D 제스처들에 대해 상호작용 영역으로서의 키보드 위의 공간의 사용을 도시한다.

총괄하여 도 9로 지칭되는 도 9a 내지 도 9c는 본 발명의 일 실시예에 따른, 물리적 표면 상에서 또는 그 근처에서 손(31)의 움직임이 어떻게 컴퓨터로의 "관성적" 입력을 제공할 수 있는지를 보여주는 개략도들이다. 3D 감지 디바이스로부터의 입력(즉, 3D 맵들의 시퀀스)에 기초하여, 컴퓨터는, 도 9b 및 도 9c의 좌측의 물리적 표면(47) 상에 중첩되어 있는 선들(150) 및 점들(152)에 의해 예시되어 있는 바와 같이, 사용자의 손가락들 각각의 위치 및 속도 양쪽 모두를 판정할 수 있다. 컴퓨터는 디스플레이 상에 나타내는 하나 이상의 상호작용 아이템들(36)의 움직임의 방향 및 속도를 제어하기 위해 시뮬레이트된 입력 내에 위치 및 속도 정보를 포함시킬 수 있다.

총괄하여 도 10으로 지칭되는 도 10a 내지 도 10c는 본 발명의 일 실시예에 따른, 드로잉 애플리케이션에 대한 입력 디바이스로서 구성된 물리적 표면(47)의 개략도들이다. 동작 시, 컴퓨터(26)는 물리적 표면 상의 터치 좌표들과 드로잉 버퍼 내의 픽셀 좌표들 사이의 정의된 좌표 변환을 이용하여 오프-스크린 버퍼(off-screen buffer) 내에서 사용자의 상호작용을 드로잉 커맨드들로 변환함으로써 그 버퍼에 드로잉을 형성할 수 있다.

도 10에 도시된 예에서, 선들(160)은 사용자(22)가 그림을 "페인트"할 때 손가락들(30)의 이력상 위치(historical position)들을 포함한다. 도 10a에 도시되어 있는 바와 같이, 컴퓨터(26)는 하나 이상의 손가락들(30)로부터의 입력을 수용하도록 구성된 다중-터치 입력 디바이스로서 물리적 표면(47)을 구성할 수 있다.

도 10b는 그려진 선의 두께가, 사용자가 물리적 표면(47) 상에서 손가락(30)을 어떻게 누르는가에 의해 제어될 수 있음을 예시한다. 컴퓨터(26)는 3D 맵들의 시퀀스를 이용하여, 사용자가 물리적 표면을 터치하는 곳을 검출하도록 그리고 손가락의 얼마나 많은 픽셀들이 물리적 표면에 가깝게 있는지(예를 들어, 얼마나 많은 픽셀들이 표면으로부터 1cm 내에 근접해 있는지)를 계산하도록 하는 알고리즘을 실행할 수 있다. 물리적 표면에 대한 손가락의 근접 또는 손가락이 유지되는 각도를 변경함으로써, 사용자는 물리적 표면에 맞대어 가상 "압력"을 생성할 수 있는데, 이러한 압력은 컴퓨터(26)가 선의 두께를 판정하기 위한 시뮬레이트된 입력 내에 포함시킬 수 있다. 도 10b에 도시된 예에서, 선(160B)은 선(160B)이 그려졌을 때 손가락(30)에 의해 가해진 증가된 압력으로 인해 선(160A)보다 더 굵다.

도 10c는 이러한 드로잉 애플리케이션 내에 포함될 수 있는 컬러 인식을 예시한다. 사용자는 손(31)에 펜(162)(또는 캡으로 폐쇄된 마커)과 같은 객체를 쥐고 있고, 디바이스(24) 내의 컬러 비디오 카메라로부터 수신된 2D 이미지는 펜의 컬러를 검출할 수 있으며, 컴퓨터(26)는 현재 그려져 있는 선을 나타낼 때 사용하기 위한 시뮬레이트된 입력 내에 이러한 동일한 컬러를 포함시킬 수 있다.

따라서, 사용자(22)는 객체(예컨대, 전술된 바와 같은, 컬러펜)를 픽업할 수 있으며, 그 객체를 쥔 채로 제스처를 수행할 수 있다. 일부 실시예들에서, 수신된 3D 맵들의 시퀀스는 적어도 객체를 포함하는데, 이는 손(31)이 감지 디바이스(24)의 시계 내에 있지 않을 수 있기 때문이다. 대안적으로, 손(31)이 감지 디바이스(24)의 시계 내에 있을 수 있지만, 그 손은 3D 맵들의 시퀀스가 그 손을 포함하지 않도록 가려질 수 있다. 다시 말하면, 3D 맵들의 시퀀스는 손(31)에 쥐어진 객체에 의해 수행되는 제스처를 나타낼 수 있다. 전술된 실시예들의 모든 특징들은 마찬가지로 손 자체보다는 이러한 종류의 손에 쥐어진 객체의 움직임들을 감지하는 것에 기초하여, 필요한 부분만 약간 수정하여, 구현될 수 있다.

도 10d는, 사용자(22)가 물리적 표면 위를 손(31)으로 문지르고 이러한 제스처가 컴퓨터(26)로 하여금 드로잉 버퍼에서 드로잉의 관련 영역들을 제거하게 하는, 가능한 지우개 모드(eraser mode)를 예시한다. "지우개" 모드에 진입하기 위한 한 가지 가능성은 사용자가 개별 손가락들("드로잉" 모드를 나타낼 것임) 대신에 그의 또는 그녀의 손바닥을 물리적 표면 상에 올려 놓은 것을 검출하는 것이다. 다른 선택안은 사용자가 별도의 제스처를 이용하여 "지우개" 모드에 명시적으로 진입하게 하는 것이다.

이러한 페인트 애플리케이션에서 사용자(22)에게 이용가능한 상호작용들의 세트를 강화하기 위해, 애플리케이션의 사용의 일부로서 메뉴들 및 다른 사용자 인터페이스 요소들을 추가하는 것이 또한 가능하다.

도 11은 "파이 메뉴"(170)가 어떻게 애플리케이션 내에 포함될 수 있는지를 보여주는 개략도이다. 예시된 파이 메뉴는 각각이 상이한 옵션에 대응하는 4개의 섹터들(172)을 갖는다. 일반적으로, 섹터들의 개수는 바뀔 수 있다. 사용자(22)는 물리적 표면(47) 상에서 손가락(30)을 누르고 그 손가락을 짧은 타임아웃 기간 동안 그대로 유지함으로써 파이 메뉴(170)를 활성화시킬 수 있다. 이러한 타임아웃은 시스템이 드로잉 상호작용(이 경우, 사용자는 손가락을 물리적 표면 상에 올려 놓은 후 그 손가락을 매우 빠르게 이동시키기 시작할 것임)과 사용자 인터페이스 상호작용(이 경우, 사용자는 이러한 타임아웃 동안 손가락을 그대로 유지함) 사이를 구별할 수 있게 한다. 사용자(22)는 다음의 두 가지 방식들 중 하나에서 파이 메뉴로부터 주어진 섹터(172)를 선택할 수 있다: 선택을 수행하는 한 가지 방식은, (섹터가 황색으로 하이라이트될 시간 동안) 손가락(30)을 희망 섹터(172) 내로 드래그하고 그 손가락을 물리적 표면으로부터 들어올려 선택을 확인하는 것이다. 다른 방식은 손가락(30)을, 희망 섹터(172)를 가로질러 (파이 메뉴의 중심으로부터 파이 메뉴의 외측 반경 너머 외부로) 스와이프하는 것이다. 이러한 후자의 경우, 선택은 손가락이 파이 메뉴의 외측 반경을 벗어나자마자 수행되며, 표로부터 손가락을 들어올릴 필요가 없다.

총괄하여 도 12로 지칭되는 도 12a 및 도 12b는, 본 발명의 일 실시예에 따른, 프로젝터(48)에 의해 조명되는 물리적 표면(47)의 개략도들이다. 사용자의 경험을 강화하기 위해, 프로젝터(48)가 구성에 추가되어, 전형적으로는 물리적 표면 위에서, 드로잉을 물리적 표면 상에 물리적으로 투영시켜, 물리적 표면(47) 상에 터치스크린을 시뮬레이트할 수 있다. 도 12a는 프로젝터(48)가 이러한 가상 드로잉(180)을 물리적 표면 상에 투영하는 동안 손(31)이 물리적 표면 상에서 드로잉하는 것을 도시한다. 이러한 투영은 사용자들에게 그들이 그들의 드로잉의 중간 결과들을 보기 위해 컴퓨터 모니터를 볼 필요가 없다는 점에서 보다 더 몰입되는 경험을 부여한다. 프로젝터(48)는 또한, 도 12b에서 알 수 있는 바와 같이, 파이 메뉴(170)를 물리적 표면(47) 상에 투영시킬 수 있다.

일부 실시예들에서, 하나 이상의 물리적 객체들은 물리적 표면(47) 상에 위치될 수 있고, 컴퓨터(26)가 감지 디바이스(24)로부터 적어도 물리적 표면, 하나 이상의 물리적 객체들, 및 물리적 표면(47)에 (또는 물리적 표면 상에) 근접하여 위치된 손(31)을 포함하는 3차원 맵들의 시퀀스를 수신할 때, 컴퓨터는 3D 맵들을 분석하여, 사용자에 의해 수행되는 제스처를 검출할 수 있고, 제스처에 응답하여 물리적 표면 상에 애니메이션을 투영할 수 있고, 애니메이션 내에 하나 이상의 물리적 객체들을 포함시킬 수 있다.

동작 시, 깊이 이미지 형성 서브어셈블리(52)로부터 캡처된 3D 맵들은 각각의 물리적 객체의 위치 및 형상을 식별하기 위해 사용될 수 있는 한편, 센서(60)로부터 캡처된 2D 이미지들은 각각의 물리적 객체들에 대한 추가적인 외양 데이터를 포함할 수 있다. 캡처된 3D 맵들 및 2D 이미지들은 사전-학습된 물리적 객체들의 세트로부터 물리적 객체들의 각각을 식별하는 데 이용될 수 있다. 아래 도 13에 설명되는 예는, 사용자(22)가 물리적 표면 상에서 손가락들(30)을 스와이프하는 것에 응답하여, 애니메이트된 볼(ball)들이 물리적 표면(47) 상에 투영되는 게임 애플리케이션 내에 물리적 객체들을 포함시킨다. 동작 시, 애니메이트된 볼들은, 물리적 객체들의 위치들을 검출하고 물리적 객체들과 공동 위치된 가상의 충돌 객체들을 인스턴스화함(instantiating)으로써 물리적 객체들과 "충돌"할 수 있다.

총괄하여 도 13으로 지칭되는 도 13a 내지 도 13d는, 본 발명의 일 실시예에 따른, 사용자(22)가 제스처를 수행하는 동안 물리적 표면(47) 상에 위치되는 하나 이상의 물리적 객체들(190)을 보여주는 개략도들이다. 일부 실시예들에서, 프로젝터(48)는 물리적 표면(47) 상에 하나 이상의 물리적 객체들의 각각을 에워싸고 이로써 하나 이상의 물리적 객체들의 각각의 위치를 나타내는 각각의 윤곽 이미지(192)를 투영할 수 있다.

도 13a에서, 사용자(22)는 물리적 표면(47) 상에 손(31)을 올려 두고 있고, 도 13b에서, 사용자(22)는 물리적 객체들(190) 중 주어진 하나의 물리적 객체를 향해 손을 움직임으로써 제스처를 수행하기 시작한다. 사용자의 제스처에 응답하여, 컴퓨터(26)는 각자의 트레일링 경로들(196)을 갖는 다수의 볼들(194)을 포함하는 애니메이션을 손(31) 및/또는 표면(47) 상에 투영시킬 수 있으며, 각자의 트레일링 경로들은 볼들의 최근 이력상 위치들을 나타낸다.

도 13b 및 도 13c에서, 사용자(22)가 제스처를 완료할 때, 컴퓨터(26)는 주어진 물리적 객체와 충돌하고 그에 대한 윤곽 이미지를 반사시키는 볼들(194) 및 이들의 각자의 트레일링 경로들(196)을 포함하는 애니메이션을 투영시키고, 이로써 각자의 윤곽 이미지를 애니메이션 내에 포함시킨다. 도 13에서의 예가 물리적 표면(47) 상에 투영된 애니메이션을 도시하고 있지만, 디스플레이(28) 상에 애니메이션을 나타내는 것은 본 발명의 사상 및 범주 내에 있는 것으로 간주된다.

전술된 실시예들은 예로서 인용된다는 것이, 그리고 본 발명은 위에서 특히 도시되고 설명된 것으로 제한되는 것은 아니라는 것이 이해될 것이다. 오히려, 본 발명의 범주는, 전술된 다양한 특징들의 조합들 및 서브조합들 양측 모두뿐만 아니라, 상기의 설명을 읽은 당업자가 생각하게 될 것이고 종래기술에는 개시되지 않은 본 발명의 변형들 및 수정들을 포함한다.

Claims

방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템(interactive item)들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시(gaze)의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처(gesture)를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계; 및
상기 검출된 제스처가 스와이프 제스처(Swipe gesture) 및 선택 제스처를 포함하는 목록으로부터 선택되는 것에 응답하여 상기 선택된 상호작용 아이템과 연관된 애플리케이션으로 태스크 스위칭(task switching)하는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 검출된 제스처는 상기 손이 물리적 표면과 접촉하는 동안 상기 손에 의해 수행되는 2차원 제스처를 포함하는, 방법.
제2항에 있어서, 상기 물리적 표면은, 터치패드, 터치스크린, 키보드 및 마우스를 포함하는 목록으로부터 선택되는 가상 표면으로서 구성되는, 방법.
제2항에 있어서, 상기 2차원 제스처에 응답하여 상기 표면 상에 이미지를 투영시키는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 검출된 제스처가 프레스 앤드 홀드 제스처(Press and Hold gesture)를 포함하는 것에 응답하여 디스플레이 상에 상기 선택된 상호작용 아이템에 대한 콘텍스트(context) 정보를 나타내는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 검출된 제스처가 탭 제스처(Tap gesture)를 포함하는 것에 응답하여 상기 선택된 상호작용 아이템과 연관된 동작을 수행하는 단계를 포함하는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 검출된 제스처가 슬라이드-드래그 제스처(Slide to Drag gesture)를 포함하는 것에 응답하여 디스플레이 상에서 상기 선택된 상호작용 아이템을 스크롤(scroll)하는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 검출된 제스처가 핀치 제스처(Pinch gesture) 및 그랩 제스처(Grab gesture)를 포함하는 목록으로부터 선택되는 것에 응답하여 상기 선택된 상호작용 아이템의 크기를 디스플레이 상에서 변경하는 단계를 포함하는 방법.
방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계; 및
상기 검출된 제스처가 에지로부터의 스와이프 제스처(Swipe From Edge gesture)를 포함하는 것에 응답하여 실행 중인 애플리케이션들 사이에서 스위칭하는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법.
방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계; 및
상기 검출된 제스처가 에지로부터의 스와이프 제스처를 포함하는 것에 응답하여 숨겨진 메뉴를 디스플레이 상에 나타내는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법
방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계; 및
상기 검출된 제스처가 회전 제스처를 포함하는 것에 응답하여 상기 선택된 상호작용 아이템의 회전을 디스플레이 상에 나타내는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법.
방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계;
상기 사용자의 상기 손에 쥐어진 객체의 컬러를 식별하는 단계; 및
상기 컬러를 이용하여 콘텐츠를 디스플레이 상에 나타내는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법.
방법으로서,
컴퓨터에 의해, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내는 단계;
상기 컴퓨터의 사용자의 응시의 방향을 나타내는 입력을 수신하는 단계;
상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하는 단계;
상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 단계에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하는 단계 - 상기 3차원 맵들의 시퀀스는 적어도 물리적 표면, 상기 물리적 표면상에 위치되는 하나 이상의 물리적 객체들, 및 상기 물리적 표면에 근접해서 위치되는 상기 손을 포함함 -;
상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하는 단계;
상기 제스처에 응답하여 상기 선택된 상호작용 아이템에 대한 동작을 수행하는 단계;
상기 제스처에 응답하여 상기 물리적 표면 상에 애니메이션을 투영시키는 단계; 및
상기 하나 이상의 물리적 객체들을 상기 애니메이션 내에 포함시키는 단계
를 포함하고,
상기 입력을 수신하는 단계는, 적어도 상기 사용자의 머리를 포함하는 초기 3D 맵을 수신하는 단계, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하는 단계, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하는 단계, 및 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별하는 단계를 포함하는, 방법.
제13항에 있어서, 상기 하나 이상의 물리적 객체들의 각각을 포함하는 각자의 윤곽 이미지(contour image)를 투영시키는 단계, 및 상기 각자의 윤곽 이미지를 상기 애니메이션 내에 포함시키는 단계를 포함하는 방법.
장치로서,
적어도 사용자의 머리 및 손을 포함하는 3차원(3D) 맵들을 수신하도록, 그리고 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하도록 구성되는 감지 디바이스;
디스플레이; 및
상기 감지 디바이스 및 상기 디스플레이에 연결되는 컴퓨터를 포함하고, 상기 컴퓨터는, 상기 디스플레이 상에 다수의 상호작용 아이템들을 나타내도록, 상기 컴퓨터의 사용자에 의해 수행되는 응시의 방향을 나타내는 입력을 수신하도록, 상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하도록, 상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 것에 후속하여, 적어도 상기 사용자의 상기 손을 포함하는 상기 3차원(3D) 맵들의 시퀀스를 수신하도록, 상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하도록, 상기 제스처에 응답하여 상기 상호작용 아이템들 중 상기 선택된 하나의 상호작용 아이템에 대한 동작을 수행하도록, 그리고 상기 검출된 제스처가 스와이프 제스처 및 선택 제스처를 포함하는 목록으로부터 선택되는 것에 응답하여 상기 선택된 상호작용 아이템과 연관된 애플리케이션으로 태스크 스위칭하도록 구성되고,
상기 컴퓨터는, 적어도 상기 사용자의 상기 머리를 포함하는 상기 3D 맵들 중 하나의 초기 3D 맵을 수신하고, 적어도 상기 사용자의 상기 눈을 포함하는 상기 2차원(2D) 이미지를 수신하고, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하고, 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별함으로써, 상기 입력을 수신하도록 구성되는, 장치.
제15항에 있어서, 상기 검출된 제스처는 상기 손이 물리적 표면과 접촉하는 동안 상기 손에 의해 수행되는 2차원 제스처를 포함하는, 장치.
제16항에 있어서, 상기 물리적 표면은, 터치패드, 터치스크린, 키보드 및 마우스를 포함하는 목록으로부터 선택되는 가상 표면으로서 구성되는, 장치.
제16항 또는 제17항에 있어서, 상기 컴퓨터에 연결되고, 상기 2차원 제스처에 응답하여 상기 표면 상에 이미지를 투영시키도록 구성되는 프로젝터(projector)를 포함하는, 장치.
프로그램 명령어들이 저장되는 비일시적 컴퓨터-판독가능 매체로서, 상기 명령어들은 컴퓨터에 의해 판독될 때 상기 컴퓨터로 하여금, 상기 컴퓨터에 연결된 디스플레이 상에 다수의 상호작용 아이템들을 나타내게 하고, 상기 컴퓨터의 사용자에 의해 수행되는 응시의 방향을 나타내는 입력을 수신하게 하고, 상기 응시 방향에 응답하여 상기 다수의 상호작용 아이템들 중 하나의 상호작용 아이템을 선택하게 하고, 상기 상호작용 아이템들 중 상기 하나의 상호작용 아이템을 선택하는 것에 후속하여, 적어도 상기 사용자의 손을 포함하는 3차원(3D) 맵들의 시퀀스를 수신하게 하고, 상기 3D 맵들을 분석하여 상기 사용자에 의해 수행되는 제스처를 검출하게 하고, 상기 제스처에 응답하여 상기 상호작용 아이템들 중 상기 선택된 하나의 상호작용 아이템에 대한 동작을 수행하게 하고, 상기 검출된 제스처가 스와이프 제스처 및 선택 제스처를 포함하는 목록으로부터 선택되는 것에 응답하여 상기 선택된 상호작용 아이템과 연관된 애플리케이션으로 태스크 스위칭하게 하며,
상기 명령어들은 상기 컴퓨터로 하여금, 적어도 상기 사용자의 머리를 포함하는 상기 3D 맵들 중 하나의 초기 3D 맵을 수신하고, 적어도 상기 사용자의 눈을 포함하는 2차원(2D) 이미지를 수신하고, 상기 초기 3D 맵 및 상기 2D 이미지로부터 상기 머리의 3D 좌표들을 추출하고, 상기 머리의 상기 3D 좌표들 및 상기 눈의 상기 2D 이미지에 기초하여 상기 응시의 상기 방향을 식별함으로써, 상기 입력을 수신하게 하는, 비일시적 컴퓨터-판독가능 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제