KR101365394B1

KR101365394B1 - 광선-기반 손가락 제스처 사용자 인터페이스

Info

Publication number: KR101365394B1
Application number: KR1020137031088A
Authority: KR
Inventors: 토마스 에릭슨; 퍼 린네; 조헨 라베노 맹겔스도르프; 로버트 페터슨; 앤더스 얀손; 매그너스 고어트즈
Original assignee: 네오노드, 인크.
Priority date: 2011-11-30
Filing date: 2012-11-14
Publication date: 2014-02-19
Also published as: CN103946766B; JP2014512602A; SG191871A1; JP5692946B2; JP5745141B2; CA2823651C; US9262074B2; KR20130118996A; CA2823651A1; SG10201402952RA; AU2012346380A1; US8884926B1; US8810551B2; US20130093727A1; EP2666075B1; CN103946766A; US20140333558A1; WO2013081819A1; EP2666075A1; AU2012346380B2

Abstract

전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스가 전자 장치를 위한 하우징, 하우징에 장착된 디스플레이, 상기 디스플레이로부터 분리되고 하우징의 두 반대 측면을 관통하는 공동(cavity), 상기 공동 내에 삽입된 오브젝트(object)를 탐지하도록 하우징 내에 장착되는 탐지기, 그리고 상기 탐지기와 디스플레이에 연결되어 상기 디스플레이가 탐지기로부터의 출력에 응답하여 시각적인 표시를 만들도록 하는 처리기를 포함한다.

Description

광선-기반 손가락 제스처 사용자 인터페이스{LIGHT-BASED FINGER GESTURE USER INTERFACE}

본 발명의 분야는 터치-감지 스크린이다.

많은 고객 전자 장치가 현재 손가락 또는 스타일러스 터치를 사용자 입력으로 사용하기 위해 터치 감지 스크린으로 만들어지고 있다. 이들 장치로는 휴대폰이나 자동차 엔터테인먼트 시스템과 같은 작은 화면 장치에서, 노트북 컴퓨터 등 중간 크기의 화면 장치, 그리고 공항에서 역 체크인 스테이션 등의 대형 스크린 장치에 이르고 있다.

터치 감지 스크린으로의 사용자 입력은 기본 스크린 탭으로부터 스윕 제스처 그리고 둘 또는 그 이상의 손가락들 조정, 동시 입력을 포함하는 더욱 정교한 핀치 제스처까지로 진화하였다. 터치 스크린 입력의 단점 중 한 가지는 사용자 손이 사용자가 스크린을 보는 것을 막는다는 것이다. 이는 특히 두 개-손가락 핀치 제스처인 때 특히 그러한데, 이때 두 개의 손가락이 스크린을 대각선으로 벌린다.

따라서 종래의 스크린은 손가락 제스처 입력으로는 이상적이지 못하다. 사용자가 스크린을 보는 것을 막지 않는 손가락 제스처 입력을 위한 입력 존을 제공하는 경제적이고 심미적인 터치 스크린 장치를 제공하는 것이 바람직하다.

본 발명의 특징은 전자 장치의 중공 공동(hollow cavity) 또는 리세스 공동 내 손가락 제스처를 탐지하고 식별하는 광선-기반 사용자 인터페이스를 제공하는 것이다. 상기 손가락 제스처는 손가락의 슬라이딩과 같이 하나-손가락 제스처, 또는 두 개-손가락 회전, 두 개-손가락 핀치 또는 두 개-손가락 펼침과 같은 멀티-손가락 제스처일 수 있다.

본 발명의 또 다른 특징은 3 차원 공동 공간 내에 삽입된 오브젝트의 위치 및 방위를 탐지하는 광선-기반 사용자 인터페이스를 제공하며, 이는 3-차원 터치 인식 및 3-차원 모델링으로 적용된다.

따라서 본 발명의 실시 예에 따라, 전자 장치를 위한 하우징, 상기 하우징에 장착된 디스플레이, 상기 디스플레이로부터 분리되며, 상기 하우징 두 반대 측면을 통과하는 한 공동, 상기 공동 내로 삽입된 오브젝트를 탐지하기 위해 상기 하우징 내에 동작할 수 있도록 장착된 탐지기, 그리고 상기 탐지기와 디스플레이에 연결되어, 상기 탐지기로부터 출력에 응답하여 시각적인 표시를 만들 수 있도록 하는 프로세서를 포함하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스가 제공된다.

본 발명의 또 다른 실시 예에 따라, 전자 장치를 위한 하우징, 상기 하우징에 장착되어, 응용 프로그램에 의해 발생된 출력을 만들기 위한 디스플레이, 상기 디스플레이로부터 분리되며, 상기 하우징 두 반대 측면을 통과하는 한 공동, 상기 공동 내로 삽입된 오브젝트를 탐지하기 위해 상기 하우징 내에 동작할 수 있도록 장착된 센서, 그리고 상기 센서와 디스플레이에 연결되어, 상기 응용 프로그램을 실행하고, 상기 센서의 출력을 수신하며, 그리고 상기 공동 내로 삽입된 5개의 오브젝트의 위치 및 방위 속성, 즉 x-축 위치; y-축 위치; z-축 위치; xz-평면에서 편각; 그리고 yz-평면에서 편각 속성 가운데 하나 이상을 기초로 하여 상기 응용 프로그램으로 입력을 제공하기 위한 하우징 내의 프로세서를 포함하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스가 제공된다.

본 발명의 또 다른 실시 예에 따라, 핸드 헬드 하우징, 하우징 내에 장착된 디스플레이, 상기 디스플레이로부터 분리되고 하우징을 관통하는 공동(cavity), 광선 펄스들을 탐지하는 하우징 내에 장착되는 다수의 에미터, 그리고 하우징 내에 장착되며 수신기 그리고 디스플레이에 연결되어 상기 수신기의 출력을 기초로 이 차원 평면을 따라 상기 공동 내에 삽입된 오브젝트의 윤곽을 결정하도록 하는 계산 유닛을 포함하며, 상기 계산 유닛이 일정 시간 간격 동안 일련의 그와 같은 결정을 실행하고, 그와 같은 시간 간격 동안 공동 내에 삽입된 오브젝트가 공동에 수직인 평면을 따라 이동되어 오브젝트의 연속 섹션에 대한 일련의 이 차원 스캔을 발생시키도록 하고, 그리고 상기 계산 유닛이 그로부터 오브젝트의 삼차원 모델을 만들며 디스플레이로 하여금 상기 모델을 만들도록 하는, 삼차원 모델링 시스템이 더욱 제공된다.

본 발명의 또 다른 추가 실시 예에 따라, 광선-기반 터치 스크린 디스플레이 그리고 상기 디스플레이로부터 분리되고 하우징의 두 반대 측면을 관통하는 공동(cavity)을 포함하여, 상기 공동 내에서 수행된 사용자 제스처에 대한 광선-기반 탐지를 제공하도록 하는 전자 장치가 제공된다. 이들 두 광선-기반 터치 스크린 디스플레이와 손가락-제스처 공동은 공동 내에 삽입되거나 스크린을 터치하는 오브젝트를 제각기 탐지하도록 동작하는, 하우징 내에 장착된 다수의 에미터 및 수신기에 의해 둘러싸인다. 상기 하우징 내 제어기가 에미터와 수신기 세트 모두에 연결되어, 이들에 대한 스캔 시퀀스를 실행하도록 하고, 그리고 한 프로세서가 하우징에 제공되어 각 탐지 신호들을 수신하고 그리고 스크린에서의 하나 또는 둘 이상의 터치 위치를 결정하도록 하며, 또한 상기 공동 내로 삽입된 오브젝트(손가락)의 사용자 제스처를 결정하도록 한다.

하기에서는 첨부 도면을 참조하여 본원 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 실시 예에 따라 광선-기반 탐지를 사용하며, 손가락 제스처 사용자 입력을 위해 한 공동을 갖는 장치, 그리고 이동 제스처를 수행하는 손가락을 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따라 디스플레이로부터 분리된 손가락 제스처 사용자 입력을 위해 터치 스크린 디스플레이 그리고 한 공동을 갖는 장치로서, 이들 둘 다가 광선-기반 탐지를 사용하는 장치를 도시하는 도면.
도 3은 본 발명의 실시 예에 따른, 도 2 장치의 좌측 하단 부에 대한 확대도.
도 4 및 5는 본 발명의 실시 예에 따라, 에미터와 수신기 적층 행을 사용하여, 사용자 제스처 입력 공동 내로 낮추어진 한 오브젝트의 광선 기반 탐지에 대한 개략적 도면.
도 6-8은 본 발명의 한 실시 예에 따라, Y-축 주변 회전 탐지에 대한 개략적 도면.
도 9-11은 본 발명의 실시 예에 따라, X-축 주변 회전 탐지에 대한 개략적 도면.
도 12는 본 발명의 실시 예에 따라, Z-축 주변 회전 제스처에 대한 개략적 도면으로서, 사용자가 두 손가락을 스크린에 올려놓고, 중앙 포인트 둘레로 손가락들을 회전시킴을 도시하는 도면.
도 13은 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위해 한 공동을 갖는 장치에 대한 개략적 도면.
도 14는 본 발명의 실시 예에 따라, 제1 삽입된 오브젝트를 탐지하는 도 13 장치의 개략적 도면.
도 15는 본 발명의 실시 예에 따라, 두 삽입된 오브젝트를 탐지하는 도 13 장치의 개략적 도면.
도 16은 본 발명의 실시 예에 따라, 두-손가락 핀치 제스처를 탐지하는 손가락 제스처 입력을 위한 한 공동의 개략적 도면.
도 17은 본 발명의 실시 예에 따라, 두-손가락 펼침 제스처를 탐지하는 손가락 제스처 입력을 위한 한 공동의 개략적 도면.
도 18은 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위한 한 공동 그리고 그 같은 공동 내로 삽입되는 손가락을 갖는 장치에 대한 개략적 도면.
도 19는 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위한 한 공동 그리고 그 같은 공동으로부터 들어 올려지는 손가락을 갖는 장치에 대한 개략적 도면.
도 20 및 21은 본 발명의 실시 예에 따라, 터치 스크린 제스처 그리고 한 입력 공동 제스처를 결합시키는 사용자 입력에 대한 개략적 도면.
도 22는 본 발명의 실시 예에 따라, 힌지에 의해 연결된 디스플레이 그리고 사용자 입력 공동을 갖는 장치로서, 디스플레이가 직립하고 공동에 의해 지지 됨을 개략적으로 도시한 도면.
도 23 및 24는 본 발명의 실시 예에 따라, 도 22의 장치를 개략적으로 도시한 도면으로서, 상기 공동이 디스플레이 위로 접혀짐을 도시하는 도면.
도 25 및 26은 본 발명의 실시 예에 따라, 장치의 하우징이 접혀지는 때, 터치 스크린에 대한 손가락의 깊이를 탐지하는, 광선-기반 사용자 인터페이스를 갖는 장치를 개략적으로 도시한 도면.
도 27은 본 발명의 실시 예에 따라, 공동이 디스플레이를 따라 위치하는, 도 22 장치를 개략적으로 도시한 도면.
도 28 및 29는 본 발명의 실시 예에 따라, 공동이 장치의 배면 부쪽으로 접혀진, 도 22 장치를 개략적으로 도시한 도면.
도 30은 본 발명의 실시 예에 따라, 장치를 운반하기 위해 핸들로서 형성된, 광선-기반 탐지를 사용하는, 손가락 제스처 사용자 입력을 위한 한 공동을 갖는 장치에 대한 개략적 도면.
도 31은 본 발명의 실시 예에 따라, 개방된 때, 광선-기반 탐지를 사용하는, 손가락 제스처 사용자 입력을 위한 한 공동을 형성하는 수축가능 프레임을 갖는 장치에 대한 개략적 도면.
도 32는 본 발명의 실시 예에 따라, 한지 둘레에서 회전하는, 손가락 제스처 사용자 입력을 위한 한 공동을 갖는 장치에 대한 개략적 도면.
도 33은 본 발명의 실시 예에 따라, 발사 장치 사용자 인터페이스가 어떻게 만들어지는가를 개략적으로 설명하는 흐름도.
도 34는 본 발명의 실시 예에 따라, 공동 평면에 수직으로 이동된 오브젝트의 3D 모델을 스캔닝하여 광선-기반 탐지를 사용하는 공동을 갖는 장치를 개략적으로 도시한 도면.
도 35는 본 발명의 실시 예에 따라, 손가락 제스처 사용자 입력을 위해 디스플레이에서 그리고 공동에서 스캔 시퀀스를 실행하는 단일 제어기의 개략적 도면.
도 36은 본 발명의 실시 예에 따라, 광선-기반 사용자 입력 공동 및 터치 스크린의 제어기를 위한칩 패키지의 예시적 회로 도면.
도 37은 본 발명의 실시 예에 따라, 도 36의 칩 패키지로의 연결을 위해, 각 행에서 4개 또는 5개 광 에미터를 갖는 6개 행의 광 에미터에 대한 예시적 회로 도면.

본 발명의 특징들은 전자 장치로의 사용자 입력에 대한 것이며, 특히 공동 내에서 수행된 사용자 입력 제스처를 탐색하기 위해 동작할 수 있는, 장치로부터 분리된 장치 하우징 내에 제공된 중공의 공동 또는 리세스된 공동에 대한 것이다. 상기 입력 제스처는 손가락을 슬라이딩하는 것과 같은 한-손가락 제스처 이거나, 두 손가락 회전, 두 손가락 핀치 또는 두 손가락 펼침과 같은 멀티-손가락 제스처일 수 있다. 본 발명은 더욱더 공동 속에 삽입된 오브젝트(손가락)의 위치 및 방위를 탐지하는 광선-기반 사용자 인터페이스를 제공하며, 이는 하기에서 설명되는 바, 3 차원 터치 인식 그리고 3 차원 모델링으로의 적용을 갖는다. 본 발명은 광선 기반 탐지 장치에 대하여 설명되며, 음성 방법과 같은 다른 탐지 방법도 본 발명의 범위 내에 속한다.

본 발명에서, 용어 "에미터"는 특히 발광 다이오드(LED)를 포함하는, 발광 요소를 지칭하며, 빛을 디스플레이 표면 또는 한 공동으로 향하게 하는 렌즈 또는 반사경으로 출력시키는 광 섬유 또는 관형 광 가이드(tubular light guide) 출력단을 지칭하는 것이다. 용어 "수신기"는 특히 광 다이오드(PD)를 포함하는, 광 탐지 요소를 지칭하는 것이며, 디스플레이 표면 또는 공동 표면을 횡단한 광선 비임을 수신하고 이들을 광 탐지 요소로 또는 영상 센서로 향하게 하는 광 섬유 또는 관형 광 가이드의 입력단을 지칭하는 것이고, 상기 영상 센서는 특히 전하 결합 소자(CCD) 또는 상보성 금속 산화물 반도체(CMOS) 이미지 센서이다.

본 발명의 실시 예에 따라, 서브 시스템이 터치 스크린 디스플레이에 대한 보완으로 제공되며, 마우스 입력 장치에 의해 제공되는 많은 기능뿐 아니라 새로운 타입의 사용자 상호 작용을 제공하며 그러나 손가락-기반 터치 스크린에서는 존재하지 않는다. 실제로, 상기 장치는 고정되거나 접을 수 있는 상보적인 광학 센서와 결합된 터치 센서가 있는 디스플레이를 포함하며, 아이템이 개방 프레임 안쪽에서 트랙될 수 있도록 한다. 상기 개방 프레임은 고정된 방식으로 또는 접을 수 있는 프레임으로 장치 내에 일체로 된다.

종래 기술의 터치 센서들은 2+1 입력 차원, 즉 X, Y 및 Z를 제공하며, 이때 Z는 비록 제한된 연속된 차원 감지가 기술적으로 가능하지만, 터치와 비-터치를 구분하기 위한 이진 차원일 뿐이다. 터치 스크린에서 Z 차원을 사용하는 것은 손가락이 위치하는 XY 평면으로부터 멀어지고, 눈과 디스플레이 사이 시차 효과로 인해, 디스플레이 영상이 가시성으로부터 더욱 커버되는(닫혀지는) 문제가 있다.

본 발명의 사용자 입력 공동과 결합하면, 터치 스크린이 사용자 인터페이스(UI) 솔루션에 유사한 방식으로 아이템 선택을 위해 사용된다. 본 발명의 사용자 입력 공동 서브시스템은 터치 스크린에서 선택된 아이템과 상호 작용을 위해 사용자 입력의 추가 차원을 제공한다. 한 가지 그와 같은 상호 작용은 한 손으로 터치 디스플레이 상에서 선택되고, 그 다음 다른 손으로 사용자 입력 공동을 통해 외관이 변경되는 오브젝트다. 이 같은 컴비네이션은 고유한 사용자 입력 경험을 제공하며 사용자 상호 작용을 더욱 효과적이게 한다. 이는 스크롤 휠 기능, 우측 또는 중앙 버튼 클릭, 그리고 조합된 조정 버튼 및 클릭을 모방하여 마우스 입력 기능을 복원할 수 있도록 한다.

본 발명의 실시 예에 따라, 사용자 제스처를 탐지하기 위한 사용자 입력 공동이 장치 디스플레이로부터 분리된 장치 하우징에 제공된다. 도 1에서, 본 발명의 실시 예에 따라 광선-기반 탐지를 사용하며, 손가락 제스처 사용자 입력을 위해 한 공동을 갖는 장치, 그리고 이동 제스처를 수행하는 손가락을 개략적으로 도시한다. 도 1은 디스플레이(635) 그리고 하우징(827) 내에 담긴 중공의 사용자 인터페이스 공동(850)을 갖는 전자 장치(826)를 도시한다. 공동(850)은 하우징(827)의 두 반대 측면을 통과한다. 손가락(900)이 이동 제스처를 수행함이 도시된다 - 공동 (850) 안쪽 화살표에 의해 표시된 바와 같이, 공동(850)의 길이 방향을 따라 슬라이딩하는 이동.

공동(850)은 특히 적외선 또는 적외선 가까이 발광 다이오드(LEDs)를 포함하는 하나 또는 둘 이상의 에미터, 그리고 특히 공동 주변에 배치된 광 다이오드(PD)를 포함하는 다수의 수신기를 포함한다. 도 2에서, 본 발명의 실시 예에 따라 디스플레이(635) 그리고 광선 기반 탐지를 사용하는 공동(850)을 모두를 갖는 장치가 도시된다. 도2는 공동(850) 주변을 둘러싸는 에미터 그리고 수신기의 두 적층 행을 도시한다.

도 3에서, 본 발명의 실시 예에 따른, 장치(826)의 좌측 하단 부에 대한 확대 도이다. 장치(826)의 좌측 하단 부에는 에미터(200)와 수신부(300)가 위치하며, 도 3에서 확대된다. 에미터(200)는 광선을 공동(850)으로 돌출시키며, 상기 광선이 수신기(300)에 의해 탐지된다. 상기 공동 내로 삽입된 손가락 또는 스타일러스와 같은 오브젝트는 광선 비임의 일부를 차단하며, 이에 따라 수신기(300)의 일부가 상대적으로 적은 광선 세기를 탐지한다. 수신기(300) 위치의 기하구조, 그리고 이들이 탐지하는 광선 세기는 상기 삽입된 오브젝트의 공동-공간 좌표를 결정하는 데 충분하다. 에미터(200) 그리고 수신기(300)는 제어기에 의해 선택적인 활성화와 비활성화를 위해 조정된다. 일반적으로, 에미터(200) 그리고 수신기(300) 각각은 I/O 커넥터들을 가지며, 신호가 전송되어 어느 에미터 그리고 어느 수신기가 활성화되는가를 명시하도록 한다.

사용자 입력 공동 탐지기는 입력 공동 프레임에 의해 경계된 평면으로 정렬된 유클리드 공간(Euclidean space)을 결정하며, 그와 같은 평면에 수직인 면을 따라 연장된다. 기계적인 디자인에 따라, 이 같은 공간은 상기 디스플레이 평면과 그에 대한 수직인 면에 의해 정해지는 공간과는 다르게 정렬된다. 사용자 입력 공동의 좌표는 X, Y, 및 Z로 표시되며, 이들 축에 대한 회전 각은 α, β 및 γ로 각각 표시된다. 상기 두 손가락 길이 스칼라(그립)는 S 좌표라 불린다. 이들 좌표들에 대하여 하기에서 설명한다.

테이블 I은 공동 서브 시스템에 의해 제공된 입력 좌표를 요약한다. 테이블 I은 디스플레이 터치 서브 시스템을 포함하지 않는다.

상기 X 및 Y좌표는 공동 프레임 에지에 의해 경계가 되는 평면을 따라 있다. 이들 좌표는 에지에 의해 경계가 되는 영역을 정확하게 커버한다. 상기 Z 좌표는 공동 에지에 의해 경계가 되는 평면에 수직인 선분을 따라 연장되며, 사실상 오브젝트가 상기 공동 내 얼마나 멀리 삽입되는 가를 측정한다. Z 좌표에서 탐지가 감지 층들 사이 거리에 의해 정해진 작은 범위 내에서 정확하다. 정확한 범위 내에서 탐지는 두 감지 층들의 신호 수준 차이에 기초한다.

도 4와 5에서, 본 발명의 실시 예에 따라, 에미터와 수신기 적층 행을 사용하여, 사용자 제스처 입력 공동 내로 낮추어진 한 오브젝트의 광선 기반 탐지에 대한 개략적 도면이 도시된다. 흰색 수신기는 기대된 광선을 탐지하며, 블랙 수신기는 삽입된 오브젝트에 의해 차단된다. 도 4와 5는 Z-축과 관련하여 어떻게 깊이를 결정하는 가를 도시한다. 도 4는 손가락이 공동의 상측 부내로 삽입되는 때 수신기의 탐지 패턴을 도시한다. 도 5는 손가락이 공동을 통해 삽입되는 때 수신기의 탐지 패턴을 도시한다.

상기 α와 β 각들은 회전가능하며 X축과 Y축 각각 주변으로 연장된다. 정확성은 감지 층 사이 거리에 관련되며 일반적으로 상기 XY 평면을 향해 수직인 더욱 작은 각에 덜 민감하다. 상기 회전 연장은 센서에 의해서 보다는 인체 해부학에 의해 더욱 제한된다. XY 평면과 관련하여 더욱 작은 각을 탐지함에 있어 이론적인 갭이 있으며, 상기 프레임 에지 자신이 ± 90도 이하의 제한을 정하기도 한다. 감지하는 것은 감지 층들의 탐지 포인트들 사이 각도를 계산함에 의해 수행된다.

도 6 내지 8에서, 본 발명의 한 실시 예에 따라, Y-축 주변 회전 탐지에 대한 개략적 도면을 도시한다. 도 6은 공동 내로 삽입된 손가락이 Y-축 주변에서 한 방향으로 기울어진 때 수신기의 탐지 패턴을 도시한다. 도 7은 공동 내로 삽입된 손가락이 직립하는 때 수신기의 탐지 패턴을 도시한다. 도 8은 공동 낼 삽입된 손가락이 Y-축 주변에서 제2 방향으로 기울어진 때 수신기의 탐지 패턴을 도시한다. 도 9 내지 11에서, 본 발명의 실시 예에 따라, X-축 주변 회전 탐지에 대한 개략적 도면을 도시한다.

따라서, 단일 손가락이 공동 내로 삽입되는 때, 5개의 사용자 입력 좌표가 결정된다; 즉, X, Y, Z, a, 및 β.

두 개의 손가락이 공동 내로 삽입되는 때, 두 추가의 입력 좌표가 결정된다; 즉, γ 및 S, 따라서 총 7개의 입력 좌표를 제공한다. 상기 S 좌표는 스칼라이고 사용자 입력 공동 내로 삽입된 두 개의 손가락 사이 거리에 의해 정해진다. S 좌표의 정확성은 모든 포지티브 값들에 대하여 높다; 그러나, 단일 손가락으로부터 제로 값을 구분하는 것은 쉽지 않다. 상기 두 손가락의 X 및 Y 좌표 사이 거리를 계산함에 의해 감지가 수행된다.

상기 Y 좌표(차원)는 회전에 대한 것이고 Z 축 주변으로 확장된다. 이는 두 개의 손가락 모드에서 가능할 뿐이다. 매우 작은 S 값을 제외하고는 높다. 확장은 비 제한적이다, 즉, 무한 회전에 대하여 감지가 가능할 수 있다. 이 같은 감지는 두 손가락 사이 X 및 Y 델타에 기초한 각을 계산하여 수행된다.

도 12에서는, Z-축 주변 회전 제스처에 대한 개략적 도면으로서, 사용자가 두 손가락을 스크린에 올려놓고, 중앙 포인트 둘레로 손가락들을 회전시킴을 도시한다.

공동 서브 시스템으로부터 입력이 각기 다른 좌표의 범위 및 정확성에 따라 사용된다. X, Y, y 및 S의 정확성은 이동, 회전 및 스크롤링과 같은, 연속적인 오브젝트 조작을 위한 장점이 된다. 낮은 정확성 좌표는 매뉴 탐지와 같은 추가 기능을 위한 장점이다. 사용자 관점에서, 이는 다음과 같이 이해된다; 즉 (i) 한 손가락을 스윕하여 스크롤하고, (ii) 삽입된 손가락을 기울여서 팝-업 매뉴를 개방하며, 그리고 (iii) 두 손가락을 사용하여 크기 조정 및 회전과 같이 오브젝트를 조작한다.

입력 공동 내로 삽입된 손가락의 수는 직관적인 모드 세팅으로 작용한다. 예를 들면, 한 손가락은 스크롤하고 매뉴를 선택할 수 있으며, 그리고 두 손가락이 오브젝트를 조작할 수 있다.

일정 실시 예에서, 낮은-해상도 좌표 α, β 그리고 Z가 조합하여 사용되어 빠른 단일-손가락 제스처가 "기울임-및-삽입" 방식으로 일시적인 명령을 호출할 수 있도록 한다. α, β 그리고 Z의 조합 모두를 사용하는 것은 UI를 복잡하게 할 것이다. 따라서, 밸런스 시나리오가 이 같은 가능성을 제한한다. 예를 들면, 스크롤링을 가능하게 하기 위해 손가락을 똑바로 삽입하고, 그리고 마우스 우측-클릭을 모방하기 위해 손가락을 기울여 삽입하여, 전후 사정(context)-민감 매뉴를 개방하도록 한다.

테이블 II 는 사용자 공동 입력 좌표, 각 좌표를 위한 적절한 제스처, 그리고 UI 기능의 예를 요약한다.

본 발명의 실시 예에서, 다수의 에미터가 직사각 공동의 두 인접한 측면을 따라 배열되며, 다수의 수신기들이 다른 두 인접한 측면을 따라 배열된다. 도 13에서는, 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위해 한 공동을 갖는 장치에 대한 개략적으로 도시한다. 도 13은 디스플레이(800) 그리고 사용자 제스처 입력 공동(850)이 있는 장치(826)를 도시한다. 공동(850)은 에미터(850)와 수신기(300)로 둘러 싸인다. 에미터(200)는 적외선 또는 적외선 가까운 광선을 공동(850) 내로 방출하고, 이는 각 에미터(200)에 직접 반대하여 위치하는 대응하는 수신기(300)에 의해 탐지된다. 오브젝트가 공동(850) 내로 삽입되는 때, 광선이 수신기(300) 일부에 도달하는 것이 막아진다. 수신기 출력으로부터, 어느 광선이 오브젝트에 의해 차단 되었는가를 식별함에 의해, 오브젝트의 위치가 결정된다. 에미터(200)와 수신기(300)에 연결된 에미터-수신기 제어기(776)가 이들 요소들의 활성화를 조정하며 수신기 출력들을 저장한다. 제어기(776)에 포함되거나 제어기(776)와 연결된 계산 유닛이 수신기 출력을 판독하고 그리고 그로부터 삽입된 오브젝트의 존재와 위치를 결정한다. 에미터(200) 그리고 수신기(300)에 연결되고 그리고 디스플레이(635)에 연결된 프로세서(770)(도 3에서 도시됨)는 디스플레이(635)로 하여금 수신기(300)로부터의 출력에 응답하여 가시적인 표시를 만들도록 한다.

도 14에서는, 본 발명의 실시 예에 따라, 제1 삽입된 오브젝트를 탐지하는 장치(826)를 개략적으로 도시한다. 도 14는 공동(850) 내로 삽입된 손가락(900)을 탐지하는 장치(826)를 도시한다. 손가락(900)은 수신기(2, 9)로 표시된, 일부 수신기(300)에 광선이 도달하는 것을 막는다. 본 발명의 실시 예에 따라, 손가락(900)의 위치가 손가락이 차단시키는 적외선 광선의 크로스 라인들로부터 결정된다. 수신기들은 좌측에서 우측으로 1 - 9로 번호가 붙여진다. 그러나 차단된 수신기 만이 표시된다.

도 15에서는, 본 발명의 실시 예에 따라, 두 삽입된 오브젝트를 탐지하는 장치(826)를 개략적으로 도시한다. 도 15는 공동(850) 내로 삽입된 두 손가락(900, 901)을 탐지하는 장치(826)를 도시한다. 손가락(900)은 광선이 수신기(2, 9)에 도달하는 것을 막으며, 손가락(901)은 광선이 수신기(6)에 도달하는 것을 막는다. 본 발명 한 실시 예에 따라, 손가락(900, 901)의 위치가 손가락들이 차단하는 적외선 광선에 대한 크로스 라인들로부터 결정된다. 이는 두 개의 분리된 삽입 포인트를 나타낸다.

도 16에서는, 본 발명의 실시 예에 따라, 두-손가락 핀치 제스처를 탐지하는 손가락 제스처 입력을 위한 한 공동을 개략적으로 도시한다. 본 발명의 한 실시 예에 따라, 도 16은 두-손가락 핀치 제스처를 탐지하는 입력 공동(850)을 도시한다. 시간 경과 시 차단된 수신기에서의 변화를 설명하기 위해 공동(850)이 두 번 도시된다. 도 16에서의 핀치 제스처는, 상측 도면에서 도시된 바와 같이, 수신기(2, 6)가 차단된다. 하측 도면에서 도시된 바와 같이, 손가락(900, 901)이 가까이 접근됨에 따라 수신기(3, 5)가 차단된다. 상기 핀치 제스처의 방향은 따라서 차단된 수신기(300)에서의 변화로부터 결정된다. 상기 핀치 제스처는 하측 도면 아래 두 마주하는 화살표로 표시된다.

도 17에서는, 본 발명의 실시 예에 따라, 두-손가락 펼침 제스처를 탐지하는 손가락 제스처 입력을 위한 한 공동을 개략적으로 도시한다. 도 17은 두 손가락 펼침 제스처를 도시하며, 이는 두 손가락 핀치 제스처와 반대되는 것이다. 공동(850)은 시간 경과 시 차단된 수신기에서의 변화를 설명하기 위해 세 번 도시된다. 도 17의 상기 펼침 제스처는 상측 도면에서 도시된 바와 같이 수신기(4, 5)가 차단된다. 손가락(900, 901)이 떨어져 펼쳐지는 때, 차단된 수신기들 사이 거리가 증가 된다. 따라서, 수신기(3, 5)가 중앙 도면에서 차단되며, 수신기(2, 6)가 하측 도면에서 차단된다. 따라서 상기 펼침 제스처의 방향은 차단된 수신기(300)에서 변화로부터 결정된다. 상기 펼침 제스처는 하측 도면 아래 두 외향 화살표로 표시된다.

오늘날 많은 장치에서, 터치 스크린에서 수행된 핀치 제스처는 디스플레이된 스크린 이미지에 대한 줌-아웃 기능을 작동시키며, 터치 스크린에서 수행된 펼침 제스처는 디스플레이된 스크린 이미지에 대한 줌-인 기능을 작동시킨다. 본 발명은 스크린에서 이미지에 대한 사용자의 뷰(view)를 해치지 않고 공동(850) 내에서 이들 제스처를 수행할 수 있도록 한다. 사용자의 뷰를 막는 이 같은 문제는 특히 핀치와 펼침 제스처가 스크린 대각선으로 수행되는 때 심각한데, 이는 사용자의 손이 그와 같은 경우 스크린의 상당 부분을 차단하기 때문이다. 일정 실시 예에 따라, 공동(850)을 따라 공동(850)을 따라 제1 방향으로 단일 손가락을 이동시킴은 터치 스크린에서 종래의 핀치 제스처에 해당하며, 공동(850)을 따라 반대 방향으로 단일 손가락을 이동시킴은 터치 스크린에서 종래의 펼침 제스처에 해당한다. 이는 본 발명 장치의 기존 애플리케이션 소프트웨어의 용이한 적용을 허용하며, 이에 의해 사용자 제스처 입력 공동 드라이버가 핀치 또는 펼침 제스처에 동등한 메시지를 호스트 프로세서 또는 응용 소프트웨어로 보낸다.

도 13-17로부터, 손가락이 공동 내에 삽입되는 때, 공동(850)의 좁은 에지를 따라 수신기가 차단됨이 명백하다. 이는 공동이 좁은 형상의 결과이다. 따라서, 입력 제스처가 한 에지 만을 따라 있는 탐지기에 기초하여 서로 구분된다. 따라서, 좁은 공동을 사용하는 일정 실시 예에서, 또는 그렇지 않으면 한 차원(좌표) 만으로의 탐지를 요구하는 일정 실시 예에서, 에미터 및 수신기가 더욱 긴 공동 에지를 따라 제공되며, 좁은 에지를 따라서는 제공되지 않는다. 제2 에지를 따라 손가락이 삽입되는 것은 중요하지 않기 때문에 삽입된 손가락을 좁은 에지를 따라 탐지하는 것은 필요하지 않다; 하나 또는 둘 이상의 손가락이 상기 긴 에지를 따라 삽입되었고 그와 같은 에지에 대하여 어떤 제스처를 이들이 수행하였는가를 아는 것이 중요할 뿐이다.

선택적으로, 그와 같은 경우 한 에미터-탐지기 쌍이 좁은 공동 에지에 제공되며 이는 손가락이 삽입되었는지를 결정하기 위해 사용된다. 이는 긴 에지를 따라 다수의 에미터에 펄스를 제공하기 위해 요구되는 파워와 비교하여 파워를 절약한다. 일단 손가락 삽입이 탐지되면, 긴 에지를 따라 에미터-탐지기 쌍들이 활동 하게 되어 사용자 제스처의 정확한 내용을 결정하도록 한다.

도 2 및 3에서, 광선 에미터(200)는 공동(850)의 적어도 한 벽을 따라 층으로 배열되며, 공동(850)의 공간 내로 광선 펄스를 방출시킨다. 광선 수신기(300)는 공동(850)의 반대편 벽을 따라 유사한 층으로 배열되며, 공동 공간이 비어있는 때 방출된 광선 펄스를 탐지한다. 그러나 오브젝트(900)가 공동(850)내로 삽입되는 때 이는 방출된 광선 펄스 일부가 수신기(300)에 도달하는 것을 차단한다. 따라서, 프로세서(770)는 공동(950) 내 공동(850) 내 오브젝트의 존재를 타지 할 수 있고 그리고 다른 층들에서의 수신기(300) 출력에 기초하여, 오브젝트가 공동(850) 내로 삽입되는 깊이를 탐지할 수 있다. 상기 손가락이 공동(850) 내로 더욱 깊이 진행함에 따라, 위층 그리고 아래층 내 수신기(300)에 의해 탐지된다. 제1 상측 층 탐지 그리고 뒤이은 하측 층 탐지 사이 시간이 사용되어 공동 내로 오브젝트가 내려가는 속도를 결정하도록 한다. 이는 시스템으로 하여금 하드 또는 신속한 삽입을 소프트 또는 느린 삽입과 구분할 수 있도록 하기 때문에, 사용자 인터페이스의 유용한 속성이다. 이 같은 정보는 가령 아바타의 액션에 적용된 가변 힘을 지원하는 게임 환경에서, 또는 브러시 스트로크 힘이 그 두께를 변경시키는 예술 페인 브러시 렌더링(artistic paintbrush rendering)에서 유용하다. 공동으로부터 오브젝트를 제거하는 속도는 다른 층들 내 오브젝트 제거를 탐지하는 사이 간격을 결정함에 의해 유사하게 계산된다.

에미터와 수신기의 멀티플 적층 층들의 또 다른 장점은 공동을 통한 접근 각 그리고 공동 내 오브젝트의 스탠딩 각을 결정할 수 있도록 한다는 것이다. 이 같은 정보에 대한 한 사용은 손가락을 삽입하고 이를 다양한 방향으로 기울이도록 하는 사용자 제스처를 가능하게 한다. 예를 들면, 서류를 스크롤하기 위해 사용자가 그의 손가락을 삽입하며, 스크롤하기 위해 손가락의 저부를 이동시키지 않고 전방을 향하여 손가락을 기울인다. 기울임 정도가 스크롤링 속도를 정한다.

에미터와 수신기의 멀티플 적층 층들의 또 다른 장점은 이 것이 한 명령으로 다중 터치로 둘 또는 그 이상의 터치를 탐지할 수 있도록 한다는 것이다. 두 개의 대각선 반대방향 터치와 같은 다중의 동시 발생 터치들은 대각선 터치의 두 경우에서 수신기의 탐지 패턴이 동일하기 때문에, 즉 좌측 상단과 우측 하단의 터치가 우측 상단과 좌측 하단 터치에서와 같은 동일한 패턴의 차단 수신기 발생시키기 때문에 모호하다. 한 터치가 두 번째 터치 조금 전에 작동되는 때, 이는 터치 패턴을 명확하게 할 수 있다. 예를 들면, 첫 번째 탐지된 터치가 좌측 하단 코너에 있는 것으로 명확하게 결정되면, 그러면, 뒤이은 두 번째 터치는 우측 상단 코너에 있어야 한다. 에미터 그리고 수신기의 멀티플 적층 층들을 갖는 시스템에서, 각 층은 다른 손가락 이전에 한 손가락이 삽입된 것을 탐지하는 기회를 제공하며, 이 것이 탐지되는 개연성을 증가시킨다.

도 18에서는, 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위한 한 공동 그리고 그 같은 공동 내로 삽입되는 손가락을 갖는 장치에 대한 개략적 도면이 도시된다. 도 18은 도 1-3의 광선-기반 사용자 인터페이스를 도시하며, 오브젝트(900)가 공동(850) 내로 내려 보내진다.

도 19에서는, 본 발명의 실시 예에 따라, 광선-기반 탐지를 사용하는 손가락 제스처 사용자 입력을 위한 한 공동 그리고 그 같은 공동으로부터 들어 올려지는 손가락을 갖는 장치에 대한 개략적 도면을 도시한다. 도 19는 도 1-3의 광선-기반 사용자 인터페이스를 도시하며, 오브젝트(900)가 공동(850)으로부터 올려 진다.

본 발명의 또 다른 특징에 따라, 한 장치가 사용자 제스처 입력 공동 그리고 터치 민감 디스플레이 모두를 포함한다. 이는 조합 제스처를 허용하며, 사용자가 스크린 상에서 제스처를 수행하고 공동 내에서 제스처를 수행한다. 이와 관련하여, 도 20 및 21을 참조하며, 본 발명의 실시 예에 따라, 터치 스크린 제스처 그리고 한 입력 공동 제스처를 결합시키는 사용자 입력에 대한 개략적 도면을 도시한 것이다. 도 20과 21은 터치 스크린 디스플레이(635)와 관련하여 사용된 도 1-3의 광선-기반 사용자 인터페이스를 도시한다. 도 20에서 한 영상이 스크린 상에서 디스플레이된다. 사용자는 상기 영상을 줌하고자 한다. 종래 시스템에서, 줌 기능은 이미지의 디스플레이 부분 중앙에서 자동으로 줌 인(zoom in)된다. 종래의 시스템에서 이미지의 다른 부분에서 줌 인하기 위해, 사용자는 이미지를 보여줄 필요가 있으며 다음에 줌 제스처, 핀치 또는 펼침 제스처를 수행한다. 도 20에서, 사용자는 터치된 위치 주변 중심에서 줌을 수행하는 동안 필요한 픽쳐 요소를 터치함에 의해 줌 기능을 위한 센터를 선택한다. 그 결과는, 도 21에서 도시된 바와 같이, 터치된 위치 주변 줌 이미지 중심이다. 일정한 경우, 사용자는 스크린 물체를 두드림에 의해 그 물체를 선택한다. 뒤 이은 크기 조정 동작이 공동 내 제스처에 응답하여 수행되며, 사용자가 스크린을 터치하지 않는 때 수행된다. 이 같은 크기 조정 동작은 선택된 물체에서 크기 조정된 이미지를 중앙에 위치시킨다. 다른 경우, 사용자는 손가락을 디스플레이 위로 드래그하여 이미지를 보여주며, 상기 입력 공동에서 제스처를 수행하여 이미지 크기를 조정하도록 한다. 따라서, 크기 조정 및 보여주기는 동시에 발생되며 사용자가 두 동작을 조정한다.

도 22에서는, 본 발명의 실시 예에 따라, 힌지에 의해 연결된 디스플레이 그리고 사용자 입력 공동을 갖는 장치로서, 디스플레이가 직립하고 공동에 의해 지지 됨을 개략적으로 도시한 도면이 도시된다. 도 22는 좌측 손가락(900)이 디스플레이를 터치함을 도시하며, 두 우측 손가락(902, 903)은 사용자 공동 내로 삽입된다.

도 23 및 24는 본 발명의 실시 예에 따라, 도 22의 장치를 개략적으로 도시한 도면으로서, 상기 공동이 디스플레이 위로 접혀짐을 도시하는 도면이다. 도 22-24는 하우징의 한 섹션 내에서 디스플레이(635)를 갖고 하우징의 다른 한 섹션 내에서 공동(850)을 갖는 전자 장치에 대한 광선-기반 사용자 인터페이스를 도시한다. 이들 두 센셕들은 힌지(835)에 의해 연결되며, 섹션을 서로에 대하여 접을 수 있도록 한다. 디스플레이(635)는 제1 섹션에서 장착되며, 공동(850)이 제2 섹션 내에 위치한다. 공동(850) 주변 프레임은 상기 섹션들이 접히는 때 제1 섹션의 에지를 따라 맞춰진다.

사용자 입력 공동 프레임 그리고 동일한 평면 상의 디스플레이 유닛을 에지 가운데 한 에지 가까이에서 중앙 축에 정렬함에 의해, 프레임이 디스플레이 관련 계속하여 회전될 수 있다. 이는 프레임이 개방될 수 있는 범위까지 사용자가 제한되지 않기 때문에, 유연성을 제공하며 유닛을 견고하게 만든다. 사용자 입력 공동 프레임을 디스플레이 유닛 보다 여러 배수 두껍게 만듦으로써, 프레임의 감지 층들이 접혀졌을때 상기 프레임이 디스플레이 유닛을 에워싼다. 디스플레이 유닛을 사용자 입력 공동 프레임에 고정시키는 힌지(835) 내 두 축에서 콜렉터 레일을 사용함에 의해(도시되지 않음), 꼬이는 선들이 없으며, 사용자 입력 공동 프레임이 힌지(835) 주변에서 계속 회전할 수 있다. 적어도 두 개의 콜렉터가 파워 공급을 위해 사용된다. 제어 및 터치 이벤트 데이터가 파워 신호에서 겹쳐지며, 흑은 그들 자신의 콜렉터 레일을 갖는다.

도 25 및 26에서, 본 발명의 실시 예에 따라, 장치의 하우징이 접혀지는 때, 터치 스크린에 대한 손가락의 깊이를 탐지하는, 광선-기반 사용자 인터페이스를 갖는 장치를 개략적으로 도시한다. 이 같은 장치 디스플레이는 터치 스크린(860)이다. 중공의 프레임(850)이 터치 스크린(860)으로 접혀진 때, 터치 탐지의 멀티플 층들이 제공된다; 즉, 상기 중공의 프레임을 둘러싸는 에미터와 수신기에 의해 제공된 더욱 높은 층 그리고 터치 스크린에 의해 제공된 더욱 낮은 층이 제공된다. 도 25에서, 프레임(850)이 두 개의 적층 에미터 층(202, 203), 그리고 수신기(302, 303)에 의해 둘러싸인다. 다른 실시 예에서, 에미터 및 수신기의 단 하나 층이 제공된다. 터치 스크린(860)은 에미터(201) 그리고 수신기(301) 한 층에 의해 둘러싸인다. 그러나, 상기 터치 스크린(860)을 위해 사용된 터치 탐지 기술은 광선-기반 대신 저항성 또는 용량성과 같은 다른 기술이 적용될 수도 있다. 중공 프레임이 디스플레이 위로 접혀진 때, 상기 중공 프레임 베젤(bezel)이 터치 스크린 위로 다소 들어 올려져서, 디스플레이 위에서 오브젝트 탐지를 제공하도록 한다.

도 26은 접혀진 프레임을 도시하며, 3D 터치 스크린(861)을 포함한다. 도 26은 프레임이 스크린 위로 접혀진때, 상기 스크린이 3개의 에미터(201-203) 및 수신기(301-303) 적층 층에 의해 디스플레이 위의 각기 다른 높이에서 둘러싸임을 도시한다.

도 27은 본 발명의 실시 예에 따라, 공동이 디스플레이를 따라 위치하는, 도 22 장치를 개략적으로 도시한 도면이다. 도 28 및 29는 본 발명의 실시 예에 따라, 공동이 장치의 배면 부쪽으로 접혀진, 도 22 장치를 개략적으로 도시한 도면이다. 도 27은 힌지(835)에 의해 조인된 터치 스크린(860)을 따라 공동(850)을 갖는 개방 장치를 도시한다. 도 28은 터치 스크린(860)의 배면 부 쪽으로 공동(850)을 접은 것을 도시한다.

도 29는 장치의 정면에서 접혀진 프레임, 터치 스크린(860), 그리고 장치의 터치 감지 배면 부(back)(862)를 도시한다. 도 29는 접혀진 프레임을 두 번 도시한다. 도 29의 상측 부분에서, 장치가 터치 스크린(860) 그리고 터치 감지 배면 부(862)를 갖는 것으로 도시된다. 도 29의 하측 부분에서, 좌측 손가락(900)이 터치 스크린을 터치하고 있으며, 우측 손가락(902)은 장치의 터치 감지 배면 부를 잡고 있다.

도 27은 힌지(835)에 의해 조인된 터치 스크린(860)을 따라 공동(850)을 갖는 개방 장치를 도시한다. 이와 같이 펼쳐진 동작 모드에서, 사용자 입력 공동이 디스플레이 유닛으로부터 분리되며 확장된 디스플레이 XY 평면과 정렬되거나, 그와 일정한 각도로 정렬된다. 상기 사용자 입력 공동 서브 시스템은 앞서 설명된 7개의 사용자 좌표를 제공한다. 가장 편리한 사용자 입력 공동 프레임의 각도가 사용자에 의해 조정될 수 있다. 대개, 사용자가 디스플레이 터치를 사용하여 오브젝트를 선택하며, 다음에 사용자 입력 공동을 사용하여 선택된 오브젝트를 조작하도록 한다.

사용자 공동 프레임을 사용자를 향해 또는 사용자로부터 멀리 접는 것은 사용자 경우에 달려있다. 몇 가지 사용자 경우가 다음과 같다.

공중에서 유닛을 접을 때, 입력 공동 프레임을 사용자를 향하여 약 45도로 하거나 사용자로부터 멀어지도록 90도로 접음으로써 편리함이 달성된다.

유닛이 테이블 위에 있는 때, 디스플레이가 테이블 상에서 편평하게 놓이며 사용자 입력 공동 프레임이 90도의 각도로 일직선으로 위치한다. 선택적으로, 장치가 테이블 위에 있는 때, 사용자 입력 공동 프레임은 완전히 접혀져서 디스플레이의 연장을 형성하도록 할 수 있다. 또 다른 선택적 실시로써, 도 22에서 도시된 바와 같이, 프레임이 직립 디스플레이를 위한 지지로서 더블(doubles)될 수 있기도 하다.

3D 영역에서 Z방향을 따라 이동시키는 것은 2D 입력을 사용하는 경우 항상 도전이 되어 왔다. 마우스를 사용하는 때, 스크롤 휠 및/또는 우측 클릭 플러스 Y 이동은 Z 방향으로 오브젝트를 조작하는 스탠다드 방법이 되어왔다. 이들 중 어느 방법도 터치 스크린을 사용하는 때는 이용될 수 없다.

가령 수평 디스플레이 상에서 오른 쪽에서 프레임을 직립하여 세움에 의해, YZ 평면을 따라 사용자 입력 공동 프레임을 정렬함은 3D UI를 위한 공동의 Y 좌표에 직관적인 Z 이동 조정을 만든다. 또한, 상기 공동 내 사용자의 제스처는 사용자의 디스플레이 뷰를 방해하지 않으며, 이는 디스플레이 상부에서 손가락의 Z 방향 이동이 방해되지 않도록 한다.

도 30에서는, 본 발명의 실시 예에 따라, 장치를 운반하기 위해 핸들로서 형성된, 광선-기반 탐지를 사용하는, 손가락 제스처 사용자 입력을 위한 한 공동을 갖는 장치(826)에 대한 개략적 도면을 도시한다. 터치 감지 공동(850)이 핸들을 형성하고, 그리고 상기 장치가 핸들 내 손가락 제스처를 탐지한다.

도 31에서는, 본 발명의 실시 예에 따라, 개방된 때, 광선-기반 탐지를 사용하는, 손가락 제스처 사용자 입력을 위한 한 공동을 형성하는 수축가능 프레임을 갖는 장치에 대한 개략적 도면을 도시한다. 도 31은 손가락 제스처를 탐지하는 사용자 인터페이스 공동(850) 그리고 터치 스크린(860)을 도시한다. 공동(850)은 수축 가능한 3-면 프레임(863)을 연장시킴에 의해 형성된다. 한 화살표(864)가 프레임(863)의 연장-수축 경로를 나타낸다.

도 32에서는, 본 발명의 실시 예에 따라, 한지 둘레에서 회전하는, 손가락 제스처 사용자 입력을 위한 한 공동을 갖는 장치에 대한 개략적 도면을 도시한다. 도 32는 손가락 제스처를 탐지하는 사용자 인터페이스 공동(850) 그리고 디스플레이(635)를 도시하다. 공동(850)은 회전가능 힌지(835)에 의해 장치에 연결된 프레임(863)에 의해 형성된다.

안드로이드 론쳐 애플리케이션(Android Launcher Application)

본 발명의 특징은 사용자 인터페이스 제스처 공동을 안드로이드^®동작 시스템으로 합체하기 위한 아키텍쳐를 포함한다. 유사한 아키텍쳐가 다른 동작 시스템을 위해 사용된다. 상기 안드로이드 론쳐는 초기 UI이며 이로부터 사용자가 애플리케이션을 작동시킨다. 상기 론쳐는 사용자가 "홈" 버튼을 처리하는 때 작동된다. 안드로이드는 스탠다드 론쳐를 제공하며, 많은 제3자 론쳐들이 있다. 많은 장치 벤더들이 그들 자신의 론쳐를 제공한다. 본 발명의 특징은 본 발명에 의해 제공된 특징들을 제공하는 안드로이드 UI를 포함한다; 즉, 스크린으로부터 분리된 터치 입력 공동, 그리고 스크린의 Z-평면과 관련한 터치 정보, 종래의 터치 스크린 장치에 의해 제공된 이진 터치 이상/노-처치 정보(beyond the binary touch/no-touch information).

일반적으로, 안드로이드 론쳐는 멀티플 스크린 내로 나눠진 작업 공간을 제공한다. 사용자는 스윕 제스처를 수행하여, 즉 스크린 폭을 가로질러 손가락을 글라이딩하여, 각기 다른 스크린 사이에서 스위치한다. 작업 공간의 일정 영역이 고정되어 스크린에 따라 스위치되지 않도록 한다. "독(dock)"이라 불리는 이 같이 고정된 영역은 가령 다이얼러, 프로그램 작성자, 그리고 인터넷 조사와 같은 잘 알려진 애플리케이션을 론칭하기 위한 아이콘을 포함한다. 이 같은 작업 공간은 스크린 스위치에 동기되어 슬라이딩하는 모든 스크린에 의해 공유된 백그라운드를 갖는다.

각 스크린에는 위젯, 바로 가기, 폴더 및 라이브 폴더이며, 이때 라이브 폴더는 콘텐츠 공급자의 화면에 실시간 뷰이다. 따라서, 한 라이브 폴더는 사용자가 애플리케이션을 론치할 것을 가용하지 않고 소스로부터 데이터를 디스플레이한다. 따라서 한 라이브 폴더는 연락처, 북마크, 이메일, 재생 목록, 그리고 RSS 피드(feeds)를 표시하도록 사용될 수 있다. 스크린은 대개 그리드 레이아웃을 가져서, 아이콘과 위젯이 어떠한 임의의 위치에도 배치 될 수 없도록 한다. 스크린에서 한 아이템을 오래 홀드하게되면, 그 아이템은 "트래시 빈(trash bin)"으로 이동되거나 드래그 될 수 있다. 스크린의 빈 부분에서 오래 홀드하게되면, 사용자가 스크린에 추가될 새로운 아이템을 선택하도록 매뉴가 오픈된다.

상기 론쳐는 또한 애플리케이션 "드로어(drawer)"를 제공하는 데, 이는 어떤 스크린으로부터 오픈되어서 모든 설치된 애플리케이션의 리스트를 레벨 또는 아이콘으로서 포함한다. 대개 이와 같은 리스트는 스크롤 가능한 리스트이거나 멀티-페이지 그리드 형태이다. 상기 애플리케이션 드로어 내에 애플리케이션 라벨 또는 아이콘을 오래 잡고 있게 되면, 상기 애플리케이션이 애플리케이션이 어떤 스크린에 위치할 수 있는 한 모드로 스위치 된다.

요약하면, 한 론쳐가 위젯, 라이브 폴더 그리고 애프리케이션 시작을 처리할 수 있으며, 사용자 폴더, 바로가기 그리고 월페이퍼(wallpaper)를 처리할 수 있어야 한다.

대부분의 론쳐에서의 작업 공간은 바로가기, 위젯, 폴더 그리고 라이브 폴더를 담고 있는 스크린으로 나뉘어진다. 본 발명을 위한 론쳐의 한 실시 예에서 상기 작업공간은 개념적으로 3D 영역으로 구성되며, 상기 작업 공간 스크린은 다양한 오브젝트, 표면 또는 아이템들의 논리적 그룹핑을 제공하는 가상 룸들 사이에서 분산된다. 상기 론쳐 UI는 명백히 2D 또는 3D로 모델이 될 수 있는 스크린 그래프이다. 본 발명의 실시 예에서, 비록 3D 백그라운드와 2D화면에 적절한 이미지 타입 사이에는 차이가 있다 해도, 상기 론쳐는 3D 영역을 위한 백그라운드 이미지로서 화면을 포함한다. 대부분의경우, 3D 백그라운드의 아웃룩은 디자인 처리에서 분리된 엔티티로서 처리되는 데스크톱 화면과 충분히 다르다.

본 발명의 실시 예에서, 사용자 인터페이스 제스처 공동은 디스플레이 스크린 둘레에서 회전하거나 슬라이드하여 스크린 위로 맵되는 추가의 입력층을 제공하도록 한다. 안드로이드 데스크톱 UI는 두 상이한 모드; 즉, 폐쇄 및 개방 모드를 지지한다. 폐쇄 모드에서, 사용자 인터페이스 공동이 상기 디스플레이 스크린을 둘러싸서 스크린 상으로 맵되는 추가의 입력층을 제공하도록 한다. 오픈 모드에서 상기 공동은 스크린으로부터 분리된다. 오픈 모드에서, 상기 장치는 두 분리된 서브 시스템으로부터, 즉, 스크린으로부터 그리고 공동으로부터, 멀티-차원 입력을 수신한다. 폐쇄 모드에서는, 단지 하나의 입력이 있을 뿐이다; 즉, 사용자가 스크린에서 수행하는 터치들(touches). 이들 터치들은 스크린에 의해 그리고 공동에 의해 탐지된다.

애플리케이션 아키텍쳐(Application Architectures)

사용자 인터페이스(UI) 표시를 위한 다양한 아키텍쳐가 유사한 개념에 기초한다; 즉, UI의 현재 구조를 대표하는 데이터 객체들의 그래프로서, 이는 자주 "모델"로 칭하여지며, "뷰"라 불리는 것 내의 스크린에서 그래프로 만들어진다. 데이터 객체 그래프에서 노드는 텍스트, 이미지, 버튼 그리고 체크박스와 같은 정적인 그리고 상호 작용하는 UI 객체를 나타낸다. 동일한 데이터 객체 그래프에 대한 각기 다른 그래프 표시는 동시에 존재할 수 있다.

UI 모델에 대한 다양한 실시가 사용 중이다. 웹 브라우저 그리고 많은 단어 처리기의 경우, UI의 구조는 다큐먼트 오브젝트 모델(DOM)이며, ANDOID™의 경우, 그 구조는 "뷰 트리"이며, 그리고 FLASH^®의 경우, 그 구조는 "장면(scene)"이다. 중요한 개념은 하드웨어 플랫폼, 동작 시스템, 실행시간 환경 그리고 프로그래밍 언어에 관계없이 동일하다. 많은 플랫폼 벤더들은 사용된 UI 모델을 선호한다. ANDROID™ 환경에서, 프로그래머는 "애플리케이션 리소스"라 불리는, XML 파일 세트를 사용하고, UI 모델을 설명하며, 그리고 자바^® 프로그램 언어를 사용하도록 추천되며, 이는 DALVIK^® 실행 시간 엔진을 위해 바이트 코드로 컴파일된다. 그러나, 개발자 요구는 네가티브 디벨로프먼트 키드(NDK)를 통해, 프로그래밍 언어를 위해 네가티브 C 코드를 사용하고, 스크립팅 층 SLA4를 통해, ANDROID™를 위해 스크립팅 언어를 사용하는 능력으로 안내하였다.

본 발명의 특징은 어떠한 플랫폼, 모델, 프로그래밍 환경 그리고 실행 시간 환경에도 적용될 수 있다. 본 발명의 실시 예에 따라, 상기 UI 데이터 객체 그래프는 사용자 입력 공동에 의해 발생된 사용자 이벤트에 기초하여, 실행 시간으로 조작된다.

상기 UI를 대표하는 데이터 오브젝트 그래프는 텍스트 표시로부터 팽창된다. 특히 웹 브라우저의 경우, 상기 팽창된 형태는 HTML 다큐먼트이며, 상기 평창 형태는 OOXML 다큐먼트일 수 있고, 그리고 SILVERLIGHT^® 경우, 상기 팽창된 형태는 XAML 다큐먼트일 수 있다. 한 다큐먼트로부터 팽창되는 것 외에, 데이터 객체 그래프는 웹 브라우저, 다큐먼트 에디터 그리고 데스크톱과 같은 실행 애플리케이션에서 이벤트에 응답하여, 가령 사용자가 UI와 상호 작용하기 위해 키보드 또는 포인터를 사용하는 때 한 이벤트에 응답하여, 조작될 수 있다.

본 발명의 특징은 UI 모델을 조작함에 대한 것이다. 사용자 인터페이스 공동이 터치 스크린, 마우스 그리고 키보드와 같은 다른 입력 장치와 유사한 처리 체인을 통해 상기 UI와 상호 작용한다. 즉, 낮은 수준 장치 드라이버가 사용자 입력 공동으로부터 원시 이벤트를 캡쳐하고 이들을 동작 시스템을 통하여 실행 애플리케이션으로 디스패치하며, 이는 다시 이들을 해석하고 상기 UI 모델에 적절한 수정을 적용시킨다.

본 발명의 실시 예에 따라, 상기 UI 모델과 사용자 상호작용은 특히 다음의 작용을 포함한다. 이동(Moving) - 이동에 응답하여, 현재 뷰의 범위, 즉, UI 모델의 가시적인 부분이 변경된다. 예를 들면, 한 다큐먼트에서 스크롤링, 그리고 ANDROID™ 론쳐 내 각기 다른 테스크톱 스크린 사이에서 스위칭. 선택(Selection) - 선택함에 응답하여, 특정 오브젝트 또는 오브젝트 그룹이 또 다른 작용을 한다; 가령, 파일 아이콘을 선택하고, 그리고 텍스트 에디터로 단어 그룹을 선택한다. 조작 - 조작에 응답하여, 앞서 선택된 오브젝트 또는 오브젝트 그룹이 변경된다: 가령 드로잉 프로그램에서 선택된 이미지를 회전시키고, 그리고 단어 프로세서에서 선택된 텍스트를 굵게 한다. 이송(transfer) - 이송에 응답하여, 앞서 선택된 오브젝트 또는 오브젝트 그룹이 상기 UI 모델 내 새로운 위치로 이동되거나, 또 다른 프로그램을 위해 또 다른 모델로 이송되거나, 또 다른 장치에서 또 다른 모델로 이송된다; 예를 들면, 다큐먼트 내에서 오브젝트를 드래깅-드롭핑하고, 선택된 파일을 새로운 폴더로 이동시킨다.

사용자 입력 공동은 특히 통상적인 PC 환경에서 사용된 입력 이벤트를 다시 발생시키며, 이는 특히 수정자 키이(CTRL, ALT), 추가 마우스 버튼 그리고 스크롤 휠을 포함하는 터치 기반 인터페이스에서는 이용될 수 없다. 중간 장치 드라이버 층이 사용자 입력 공동 이벤트를 표적 애플리케이션에 익숙한 이벤트로 번역하기 때문에, 그와 같은 이벤트를 지지하기 위해 상기 표적 애플리케이션의 프로그램 코드를 수정할 것이 요청되지 않는다. 예로서, 특히 콘텍스트 매뉴 줌, 커트 앤드 페이스트, 스크롤링 및 오픈닝을 포함한다. 따라서, 제3자 애플리케이션은 수정 없이 본 발명의 사용자 입력 공동을 사용할 수 있다.

또한, 본 발명 사용자 입력 공동은 하기에서 설명하는 바와 같이, 특히 오브젝트에 대한 3차원 조작을 포함하는 다양한 신규한 타입의 사용자 입력 사건을 발생시킨다. 이 같은 사건들을 지지하기 위해, 특정 애플리케이션 코드가 요구된다; 즉, 기존 애플리케이션은 수정을 필요로 한다. 상기 애플리케이션 코드의 사건 처리기는 사용자 입력 공동과 병렬로, 스탠다드 입력 장치로부터 사건에 대하여 들으며, 새로운 특징에 해당하는 패턴에 따라 UI 모델을 조작한다.

다양한 선택이 본 발명의 사용자 입력 공동에 의해 제공된 신규한 입력 패턴을 사용하는 새로운 애플리케이션을 기록하기 위해 이용될 수 있다. 모든 자바^® 모델에서, 모든 애플리케이션이 자바^®프로그래밍 언어로 기록되며 DALVIK^® 프레임워크로 컴파일 된다. 이는 ANDROID™ 애플리케이션을 발생시키는 통상의 방법이나, 두 가지 중요한 단점을 갖는다; 즉, 성능과 유연성.

선택적인 모델이 JAVA^® 그리고 C를 결합시킨다. 이 같은 모델에서, 상기 프로그램 논리가 JAVA^®로 기록되며 시간-중요 부분은 C로 기록되고, JAVA^® 네이티브 인터페이스(JNI)를 통하여 JAVA^® 층에 노출된다. 이와 같이 함으로써, 성능을 개선시키고, 그리고 코드가 필요에 따라 JAVA^® 층으로부터 C 층으로 포트될 수 있기 때문에, 이는 프로젝트를 시작하기 위한 좋은 방법이다.

그러나 또 다른 선택적 모델은 자바^® 스크립팅 그리고 C를 결합한다. 이 같은 모델에서, 역시 상기 프로그램 논리는 자바^®로 기록되며 시간-중요 부분은 C로 기록되고, 그리고 애플리케이션 동적 부분은 PYTHON^®, Ruby 또는 JAVASCRIPT^®와 같은 자바^®층에 의해 호스트되고, 실시간으로 해석되는 스크립팅 언어로 기록된다. 이는 개발 중에 유연성을 개선시키는데, 애플리케이션을 다시 컴파일하고 다시 설치할 필요 없이 작은 변화가 만들어질 수 있기 때문이다.

각기 다른 모델은 스크립팅 및 C만을 사용한다. 이는 애플리케이션이 자바™층 없이 네이티브 애플리케이션으로서 출현하는 어프로치이며, 동적 부분이 원격 절차 콜(RPC)을 통해 애플리케이션과 통신하는 스크립팅 층에 의해 처리된다. 이는 복잡하지만, 그러나 매우 유연한 모델이고, 게이밍(gaming)에서 통상 사용된다.

론쳐 UI는 2D 또는 3D로 모델이 만들어진 장면 그래프이다. 안드로이드™ 리소스 파일로서 UI 정의 시스템에 대한 어떠한 연결도 없다; 모든 것이 단일 뷰 내에 담겨 있다. 도 33을 참조한다. 이는 본 발명의 실시 예에 따라, 발사 장치 사용자 인터페이스가 어떻게 만들어지는가를 개략적으로 설명하는 흐름도이다. 도 33은 단 하나의 GLSurfaceView 내에서 론쳐 UI가 어떻게 처리되는 가를 도시하며, 이는 렌더러(renderer)를 사용하여 완전한 론쳐 UI 장면을 만들도록 한다.

애플리케이션(Applications)

본 발명의 손가락 제스처 사용자 인터페이스가 많은 다양한 애플리케이션에서 광범위한 장점을 갖는다. 특히 이들 애플리케이션 가운데 몇 가지가 다음 설명에서 설명된다.

본 발명의 실시 예에 따라, 공동 내로 삽입된 오브젝트(물체)는 두 개의 손가락이다; 즉, (i) 시계 방향 회전, (ii) 시계 반대 방향 회전, (iii) 손가락 핀치, 그리고 (iv) 손가락 펼침.

본 발명의 한 실시 예에 따라, 디스플레이는 공동에 삽입되는 오브젝트에 대한 응답으로 3 차원으로 회전되는 그래픽을 만드는, 입체 뷰 포트이다.

본 발명의 한 실시 예에 따라, 상기 디스플레이는 한 이미지를 보여주고 또는 한 손가락 제스처에 응답하여 한 다큐먼트 또는 리스트를 스크롤하고, 그리고 한 이미지를 줌하거나, 오브젝트를 회전시키거나, 두 손가락 제스처에 응답하여 한 파일을 개방한다.

본 발명의 실시 예에 따라, 상기 디스플레이는 이동 제스처에 응답하여 위젯 스냅 샷, 문서, 웹 페이지 북마크, 앨범 아트워크 또는 사진에 대한 애니메이션 탐색을 하며, 그리고 두 손가락 제스처에 응답하여 위젯, 문서, 웹 페이지, 앨범 또는 사진을 개방하도록 한다.

본 발명의 한 실시 예에 따라, 상기 디스플레이는 이동 제스처에 응답하여 위젯 스냅 샷, 문서, 웹 페이지 북마크, 앨범 아트워크 또는 사진에 대한 애니메이션 탐색을 하며, 그리고 제1의 두 손가락 제스처에 응답하여 느린 애니메이션을 만들고; 제2의 두 손가락 제스처에 응답하여 위젯, 문서, 웹 페이지, 앨범 또는 사진을 개방하도록 하며; 그리고 제3의 두 손가락 제스처에 응답하여 이들을 폐쇄하도록 한다.

본 발명의 한 실시 예에 따라, 커트(cut) 및 페이스트 루틴이 제공된다. 이 같은 루틴에서, 사용자는 한 손으로 디스플레이에서 텍스트 또는 오브젝트를 터치하여 텍스트 또는 오브젝트를 선택한다. 다른 손의 엄지 그리고 인지는 사용자 입력 공동 프레임 내로 들어가고, 함께 핀치 제츠처로 이동하며, 그리고 프레임으로부터 제거된다. 이 것이 상기 텍스트 또는 오브젝트를 상징적으로 잡는 커트 오퍼레이션이다. 상기 커트 오브젝트의 표적 위치는 한 손으로 디스플레이를 터치함에 의해 표시되며, 다음에 함께 모아진 엄지와 집게의 다른 손을 사용자 입력 프레임 내로 삽입시키고, 다음에 이들을 펼침 제스처로 떨어 지게 하여, 이는 상징적으로 이전에 붙잡았던 텍스트 또는 오브젝트를 새로운 위치로 떨어뜨림을 나타낸다.

본 발명의 한 실시 예에 따라, 애플리케이션 프로그램이 한 콘텍스트를 규정하고, 그리고 상기 콘텍스트와 관련된 기능이 손가락 제스처에 응답하여 작동된다. 예를 들면, 디스플레이가 예각으로 공동 내에서 손가락을 기울임에 응답하여 콘텍스트-관련 옵션의 메뉴를 만든다.

본 발명의 실시 예에 따라, 디스플레이는 이미지를 만들며, 이미지 내 선택된 위치를 식별하고, 그리고 손가락의 제스처에 응답하여 선택된 위치를 처리한다.

본 발명의 실시 예에 따라, 상기 디스플레이는 터치 스크린 디스플레이이며, 사용자 인터페이스가 터치 스크린에서 손가락 제스처를 탐지하고 또한 공동 내 손가락 제스처를 탐지한다. 상기 디스플레이는 터치 스크린에서 손가락 제스처에 응답하여 이미지를 보여주고, 공동 내 손가락 제스처에 응답하여 이미지의 크기를 조정한다. 터치 스크린에서의 손가락 제스처는 특히 손가락 이동이며, 그리고 공동 내 손가락 제스처는 특히 손가락 핀치 또는 손가락 이동이다.

본 발명의 실시 에에 따라, 하나 또는 둘 이상의 오브젝트가 만들어지며, 이들 중 하나가 선택된 오브젝트 인 것으로 표시되고, 그리고 애플리케이션 프로그램이 사용자 입력 공동에서 수행된 손가락 제스처에 응답하여 상기 선택된 오브젝트를 처리한다. 첫 번째 예로서, 선택된 오브젝트는 한 서류 내 선택된 텍스트이며, 애플리케이션 프로그램이 상기 선택된 텍스트를 상기 서류 내 그 위치에 유지시키고 선택되지 않은 텍스트를 이동시키며, 이에 의해 공동 내 손가락 제스처에 응답하여, 서류 내 다른 위치에 상기 선택된 텍스트를 위치시킨다. 또한, 상기 선택된 텍스트는 공동 내 두 번째 손가락 제스처에 응답하여 다른 위치에 고정된다.

두 번째 예로서, 상기 선택된 오브젝트는 아이콘이고, 그리고 애플리케이션 프로그램이 디스플레이에서 상기 선택된 아이콘을 그 위치에 유지시키며 선택되지 않은 아이콘은 이동시키고, 이에 의해 상기 공동 내 한 손가락 제스처에 응답하여 UI 내 한 다른 위치에 상기 선택된 아이콘을 위치시킨다. 예를 들면, 상기 공동 내 사용자 제스처, 특히 한 이동 제스처에 응답하여, 현재 안드로이드 스크린에서 선택되지 않은 모든 아이콘이 디스플레이에서 그래프적으로 일소되고 한 다른 스크린으로부터의 아이콘이 그래프적으로 상기 디스플레이 위로 이동된다. 이와 같이 하여 상기 선택된 아이콘을 한 다른 안드로이드 스크린에 위치시킨다. 또한, 상기 아이콘 텍스트는 제2 손가락 제스처, 특히 사용자의 손가락을 상기 공동으로부터 제거시킴에 응답하여 다른 위치에 고정된다.

세 번째 예로서, 상기 선택된 오브젝트는 접촉 리스트에서 한 엔트리이며, 애플리케이션 프로그램이 상기 공동 내 제1 손가락 제스처에 응답하여 상기 선택된 엔트리로 전화 호출을 개시하며, 상기 공동 내 제2 손가락 제스처에 응답하여 상기 선택된 엔트리로 어드레스된 SMS 다이얼로그 박스를 개방한다.

네 번째 예로서, 상기 선택된 오브젝트는 캘린더 내 선택된 시간 간격이며, 상기 애플리케이션 프로그램이 상기 캘린더로 하여금 레졸루션을 증가시키거나 감소 시킬 수 있도록 하여, 상기 선택된 시간 간격 주변에서 중심을 갖는 각각 더욱 큰 또는 작은 시간 간격을 제공하도록 한다.

다섯 번째 예로서, 상기 선택된 오브젝트는 한 파일이며, 상기 애플리케이션은 파일 매니저이다. 상기 파일 매니저는 공동 내 최초 손가락 제스처에 응답하여 선택된 파일의 특성을 제공하며, 상기 최초 제스처의 확장에 응답하여 선택된 파일을 개방한다. 또한, 상기 파일 시스템은 멀티플 레벨 폴더를 가지며, 상기 파일 매니저가 상기 공동 내 최초 제스처에 응답하여 선택된 파일의 특성을 제공하고, 상기 최초 제스처 확장에 응답하여 선택된 파일을 그 폴더 내 한 아이콘으로서 디스플레이 하고, 그리고 상기 최초 제스처의 또 다른 확장에 응답하여 상기 폴더를 다음 단계 폴더 내 한 아이콘으로서 디스플레이 한다.

여섯 번째 예로서, 선택된 오브젝트는 소셜 네트워크 내 사람이며, 그리고 애플리케이션 프로그램이 소셜 네트워크 애플리케이션이다. 상기 애플리케이션이 공동 내 최초 제스처에 응답하여 제1 다수의 사람을 선택된 사람에게 연결되도록 하며, 최초 제스처의 확장에 응답하여 제2 다수의 사람을 제1 다수의 사람에 연결되도록 한다.

일곱 번째 예로서, 상기 선택된 오브젝트가 음악 라이브러리 내 노래 또는 가수이며, 애플리케이션 프로그램은 뮤직 라이브러리 매니저이다. 상기 뮤직 라이브러리 매니저는 제1 다수의 노래가 공동 내 최초 손가락 제스처에 응답하여 선택된 노래 또는 가수에 관련되도록 하며, 최초 제스처의 확장에 응답하여 제2 다수의 노래를 제1 다수의 노래에 연결되도록 한다.

여덟 번째 예로서, 상기 선택된 오브젝트가 레스토랑 또는 호텔이며, 애플리케이션 프로그램은 레스토랑 또는 호텔을 위한 예약 프로그램이다. 상기 예약 프로그램은 공동 내 최초 손가락 제스처에 응답하여, 스타일, 가격, 위치 또는 다른 파라미터와 관련하여, 선택된 레스토랑 또는 호텔과 유사한 다수의 레스토랑 또는 호텔를 디스플레이하고, 최초 제스처의 확장에 응답하여 추가의 유사한 레스토랑 또는 호텔을 디스플레이한다.

도 34에서는, 본 발명의 실시 예에 따라, 3차원 모델링 입력 시스템을 개략적으로 도시한다. 프레임(863) 내 상기 공동은 커피 머그와 같은 솔리드 오브젝트 위에 올려 놓이는 것으로 도시된다. 이는 아래를 향하는 화살표에 의해 표시된다. 아래로 놓이는 때 상기 프레임에 의해 실행된 일련의 탐지가 오브젝트의 2-D 슬라이스들로서 결합되어서 솔리드 오브젝트의 3-D 모델을 제공하도록 한다.

한 선택적 실시 예는 에미터 또는 수신기를 상기 공동의 한 에지를 따라 위치하는 길고 얇은 광선 가이드 한 단부로 결합시킴에 의해 시스템 내 컴포넌트의 수를 줄인다. 이와 같은 광선 가이드는 광학적 터치 패널을 위한 조명(ILLUMINATION FOR OPTICAL TOUCH PANEL)이라는 명칭으로 Lieberman 등에게 허여된 미국 특허 제 7,333,095호에서 설명된다.

사용자 제스처 공동 컴포넌트 캘리브레이션(Calibration of User Gesture Cavity Components)

오브젝트 탐지에 대한 에미터 그리고 탐지기의 눈금 조정이 2011. 3. 22. 출원되고 2011. 7. 14. 미국 공개 공보 제2011/0169781호로 공개된 "터치 스크린 눈금 조정 그리고 갱신 방법"이라는 명칭의 출원인의 동시 계류 출원 번호 제13/053,229호에서 설명된다.

광선 기반 터치 스크린을 위한 ASIC 제어기(ASIC Controller for Light-Based Touch Screens)

본 발명의 특징은 단일 디바이스 내 사용자 제스처 입력 공동과 광선 기반 터치 스크린 모두를 제어하기 위해, 프로그램 가능 상태 머신 디자인 그리고 사용에 대한 것이다. 제어기가 터치 스크린 그리고 사용자 제스처 입력 공동 모두에서의 일련의 에미터 그리고 탐지기에 대하여 스캐닝 프로그램을 실행한다. 상기 스캐닝 프로그램은 스캔 시퀀스, 전류 레벨 그리고 펄스 폭을 결정한다. 상기 스캔 시퀀스 레지스터를 구성시킴으로써, 상기 호스트 프로세서가 어느 LED-PD 쌍이 작동되는 가를 결정한다. 따라서 제어기가 스크린을 둘러싸는 LED-PD 쌍을 위한, 사용자 입력 제스처 공동 내 LED-PD 쌍을 위한, 또는 이들 모두를 작동시킨다. 상기 호스트 프로세서는 LED 각각 그리고 PD 각각을 스크린 또는 공동 어느 하나에 관련시키며 그에 따라 그 결과를 처리한다. 예를 들면, 스크린에 터치하는 것은 입력 공동 내 사용자 제스처보다 더욱 정밀한 것을 요구한다. 따라서, 스크린에 대한 탐지 결과가 일시적이고 공간적으로 필터되며, 입력 공동에서의 탐지 결과는 필터되지 않거나, 또는 택일적으로 공간적으로만 필터되며, 선택적으로 각기 다른 세트의 필터 계수를 사용한다. 또한, 스캔 시퀀스 구성 레지스터는 오버샘플 작동 순서를 가능하게 하며, 특히 각 에미터를 두 개의 탐지기로 그리고 하나씩 순서로 작용시킴을 가능하게 하며, 이때 각 에미터는 단 하나의 탐지기로 작동된다. 대개, 사용자 입력 공동 주변 에미터 그리고 탐지기는 서로 대향하도록 정렬된다. 본 발명의 일정 실시 예에서, 적어도 두 세트의 스캔 구성 레지스터가 제공되어 두 각기 다른 스캔 패턴을 구성시킬 수 있도록 한다; 즉 상기 스크린 주변 에미터와 탐지기를 위한 한 세트, 그리고 상기 사용자 입력 공동 주변 에미터와 탐지기를 위한 한 세트. 또 다른 실시 예에서, 스크린을 위한 스캔 스퀀스가 상기 사용자 입력 공동을 위한 스캔 시퀀스로부터 분리되어 구성되고 실행된다.

제어기는 LED 전류 제어를 위한 통합 LED 드라이버, 포토 탐지기 전류 측정을 위한 통합 수신기 드라이버, 그리고 직렬 주변 인터페이스(SPI)와 같은, 스탠다드 버스 인터페이스를 사용하여 상기 제어기와 호스트 처리기 사이 통신을 가능하게 하는 통합 A/D 변환기를 포함한다.

본 발명에 따라, 한 프로그램이 예를 들면 SPI를 통해 제어기로 적재된다. 그 뒤에, 스캐닝 실행이 상기 호스트 프로세서로부터 독립적으로 실행되어, 전체 시스템 파워 소모를 최적합 하게 한다. 상기 스캔 데이터가 준비되는 때, 상기 제어기는 INT 핀을 통해 상기 호스트 프로세서로 한 인터럽트를 발생시킨다.

도 35에서는, 본 발명의 실시 예에 따라, 광선-기반 터치 스크린(860) 그리고 사용자 입력 공동(850)을 위한 ASIC의 단순 블록 도를 도시한다. 제어기(776)는 터치 스크린(860) 그리고 공동(850)을 둘러싸는 에미터(200) 그리고 수신기(300)를 활성화한다.

도 36에서는, 본 발명의 실시 예에 따라, 광선-기반 터치 스크린 및 사용자 입력 공동의 제어기를 위한 칩 패키지(731)의 회로 도면이다. 도 36에서 도시된 바와 같이, 상기 칩 패키지의 바깥 측에 있는 다수의 광 에미터(200)를 선택적으로 작동시키기 위한 에미터 구동기 회로(740), 그리고 광 에미터(200)를 에미터 구동기 회로(740)에 연결시키기 위한 신호 안내 핀(732)을 포함한다. 에미터 구동기 회로(740)는 2009년 2월 15일 출원된 '광-기반 터치 스크린'이라는 명칭의 출원인의 동시 계류 특허 출원에서 설명되며, 본원 발명에서 참고로 원용된다. 특히, 2009년 7월 30일 출원된 미국 공보 제2009/0189878호에서 개시된 출원의 문단 [0073], 문단 [0087] - [0091], 그리고 도 11이 참고로 인용된다.

에미터 구동기 회로(740)는 프로그램 가능 전류 소스를 통해 각 에미터-탐지기 쌍을 위한 개별적인 광 에미터 펄스 지속시간 그리고 펄스 전류를 구성하기 위한 회로(742)를 포함한다. 상기 회로(742)는 2011년 3월 21일 출원된 '시프트-정렬 에미터 및 수신기 렌즈'라는 명칭의 출원인의 동시 계류 특허 출원 미국 출원 번호 제13/052511호에서 설명되며, 그 개시 내용이 참고로 원용된다. 특히, 2011년 7월 7일 제출된 미국 공보 제2011/0163998호에서 공개된 출원의 문단 [0343] - [0358] 및 도 99-101이 참고로 원용된다.

칩 패키지(731)는 칩 패키지 바깥 쪽에 있는 다수의 광 탐지기(300)를 선택적으로 작동시키기 위한 탐지기 구동기 회로(750), 그리고 광 탐지기(300)를 탐지기 구동기 회로(750)로 연결시키기 위한 신호 안내 핀(733)을 포함한다. 탐지기 구동기 회로(750)는 연속적 피드백 대역 통과 필터를 수행함에 의해 광 탐지기(300)로부터 수신된 전류를 필터하기 위한 회로(755), 그리고 상기 대역 통과 필터된 전류를 디지털화 하기 위한 회로(756)를 포함한다. 회로(755)는 상기 언급된 미국 공개 공보 제2009/0189878A1호에서 개시된 출원의 문단 [0076], 문단 [107] - [0163], 그리고 도 14-23B에서 설명된다. 칩 패키지(731)는 또한 광 탐지기(300)에서 탐지된 광선의 측정된 양을 나타내는 탐지 신호를 발생시키기 위해 탐지기 신호 처리 회로(753)를 포함한다.

칩 패키지(731)는 호스트 처리기(722)와 통신하기 위한 I/O 핀(736), 그리고 파워 소스에 연결하기 위한 안내 핀을 더욱 포함한다. 칩 패키지(731)는 에미터 구동기 회로(740) 그리고 탐지기 구동기 회로(750)를 조정하기 위한 제어기 회로(759)를 더욱 포함한다. 제어기 회로(759)는 직렬 주변 인터페이스(SPI)(775)를 위한 버스 스탠다드를 사용하여 호스트 프로세서(731)와 통신한다. 칩 패키지(731)는 제어기 회로(759)의 동작을 광선-기반 터치 스크린을 위한 적어도 하나의 추가 제어기(774)와 조정하기 위한 칩 선택(CS) 핀(737)을 더욱 포함한다.

도 36에서 도시된 제어기는 상기 언급된 요소 모두를 칩 패키지(731) 내에 패키지하며, (i) 이에 의해 50 개 에미터-수신 쌍과 같은 전체 스캔 시퀀스의 자동 실행을 가능하게 하며, 그리고 (ii) 이에 의해 호스트 프로세서(772)에 의한 뒤이은 분석을 위해 레지스터 어레이 내에 탐지 신호들을 저장한다.

도 37에서, 본 발명의 실시 예에 따라, 칩 패키지(731)의 핀(732)들로의 연결을 위해, 각 행에서 4개 또는 5개 광 에미터를 갖는 6개 행의 광 에미터에 대한 회로 도면이 도시된다. 도 35에서 도시된 바와 같이, 광 에미터의 제1 부분이 터치 스크린(860)의 두 가장자리 주변에 물리적으로 배치되고, 제 2 부분이 입력 공동(850) 주변에 물리적으로 배치되지만, 11개의 라인 LED_ROWl, LED_ROW6 그리고 LED_COLl, LED_COL5가 30 개 광 에미터를 위한 2 차원의 어드레싱을 제공한다. 테이블 III은 LED들이 어떻게 LED_ROW 그리고 LED_COL 핀들로 맵핑되는 가를 도시한다. 특히, LED 매트릭스는 제어기에서 m + n I/O 핀에 의해 지지된 LED들의 m x n 어레이를 포함한다.

따라서, LED는 행과 열 I/O 핀 선택에 의해 평가된다. 상기 제어기는 행과 열을 선택하기 위한 푸시-풀 구동기를 포함한다. 상기 LED들의 행과 열 좌표가 상기 LED들과 푸시-풀 구동기의 물리적인 위치와 무관하다는 것은 잘 알려진 사실이다. 특히, 상기 LED들은 장방형 매트릭스로 물리적으로 위치하여질 필요가 없다.

본 발명 제어기의 선택적 실시 예에서, 전류 소스 구동기가 푸시-풀 구동기를 대신하여 사용된다. 본 발명 제어기의 또 다른 선택적 실시 예에서, 푸시-풀 구동기의 일부는 전류 소스 구동기와 결합되며, 푸시-풀 구동기의 다른 부분은 전류 싱크 구동기와 결합된다.

본 발명의 제어기가 일련의 에미터-수신기 쌍을 스캔하는 때, LED 구동기가 LED 전류 제어 레지스터 그리고 LED 펄스 길이 제어 레지스터 내 세팅에 따라 한 LED로 일정 전류의 양을 공급한다. LED들은 스캔 레인지 레지스터 내 세팅에 따라 작동하도록 선택된다. 상기 스캔 레인지 레지스터들은 스크린 에지 각각을 따라 그리고 공동 에지를 따라 작동될 제1 LED, 에지 각각을 따라 작동될 LED의 수, 그리고 작동된 LED들 사이 단계 팩터(step factor)를 지정한다. 0 이라는 단계 팩터는 각 단계에서 다음 LED가 작동됨을 나타내며, 1 이라는 단계 팩터는 하나 걸러 LED가 작동됨을 나타낸다. 따라서, 홀수 또는 짝수 LED만을 작동시키기 위해서는, 1 이라는 단계 팩터가 사용된다. 2 또는 그 이상 숫자의 단계 팩터는 2 또는 그 이상의 LED들 각각의 단계를 위해 사용된다. 추가의 한 레지스터가 LED 각각으로 작동된 PD들의 수를 구성한다. 0이라는 값은 LED 각각이 단일의 상응하는 PD로 작동됨을 나타내며, 1 이라는 값은 LED 각각이 두 개의 PD들로 작동됨을 나타낸다. LED 각각으로 작동된 PD들의 수는 상기 터치 스크린 주변에서 이용될 수 있는 PD들의 수와 같다. 대개, 제어기가 스크린 요소들 그리고 공동 요소들을 위한 분리된 스캔 시퀀스를 작동시킨다. 이들 작동은 시퀀스 각각에 포함된 요소들의 인덱스로 차별화된다. 예를 들면, 요소(1-20)가 스크린 LED들이고, 그리고 요소(21-30)는 공동 LED들이다.

본 발명의 제어기는 요구되는 LED들로 전류를 보내기 위해 한 mux를 제어한다. 상기 LED mux 제어는 제어 레지스터를 스캐닝하여 세트된다. 상기 제어기는 구동기들이 상기 LED들에 펄스를 제공하는 때 바른 PD 수신기를 자동으로 동기화한다. 12-비트 ADC 수신기 정보가 PD 데이터 레지스터에 저장된다. 스캐닝이 완성되자 마자, 제어기는 호스트 처리기로 인터럽트를 발생시키며, 자동으로 스탠바이 모드를 입력한다.

일정 터치 스크린 구성에서, 스크린-관련 에미터가 수신기들과 시프트-정렬되며, 에미터들이 두 개 이상의 수신기에 의해 탐지되고 수신기를 탐지하는 때마다 한번 또는 두 번 이상 작동된다. 예를 들면, 한 에미터가 신속하게 계속하여 3 번 작동 될 수 있음, 매 작동마다 다른 수신기가 작동된다. 또한, 에미터 작동 사이 간격 동안 한 수신기가 더욱 작동되어 주변 광선 세기를 결정하도록 한다.

또 다른 터치 스크린 구성에서, 스크린-관련 에미터 그리고 수신기들이 정렬되며, 그러나 에미터 각각은 두 개 이상의 수신기에 의해 탐자되며, 에미터 각각은 수신기를 각각 탐지하기 위해 분리하여 작동된다. 에미터-수신기 작동 패턴들은 2010년 1월 5일, 출원된 '터치 스크린의 스캐닝'이라는 명칭의 출원인의 동시 계류 특허 출원, 미국 출원 제12/667,692호에서 설명되며, 그 내용이 본원에서 참고로 원용된다. 특히 2011년 2월 24일 미국 공보 제 2011/0043485호로 공개된 출원의 문단 [0029], [0030], [0033] 및 [0034]이 참고로 원용된다.

본 발명의 한 실시 예에 따라, 제어기는 단순한 상태 머신이고 ARM 코어와 같은 프로세서 코어를 포함하지 않는다. 따라서, 본 발명 제어기의 가격은 저렴하다. 본 발명의 제어기를 사용하는 광선-기반 터치 스크린은 비교 대상의 용량성 터치 스크린보다 가격이 저렴한데, 이는 용량성 터치 스크린이 많은 수의 신호를 통합하고 터치 위치를 계산하기 위해 프로세서 코어를 필요로 하기 때문이다. 신속한 응답 시간을 달성하기 위해, 이 같은 계산을 호스트 프로세서로 오프로딩하는 대신, 용량성 터치 스크린은 지정된 프로세서 코어를 사용하여 터치 위치를 계산하도록 한다. 다음에 이는 용량성 터치 스크린을 위한 재료의 비용을 증가시킨다. 용량성 터치 스크린과 구별하여, 본 발명의 광선-기반 터치 스크린은 두 이웃하는 수신기 값들을 사용하여 한 축을 따라 터치 위치를 계산하도록 하며, 이는 호스트가 한 터치 위치를 계산할 수 있도록 하며, 결과적으로 저-비용 제어기의 사용을 가능하게 한다. 또한, 본 발명의 가르침에 따른 장치들은 터치 스크린과 사용자 제스처 공동 모두를 위한 동일한 제어기를 사용함에 의해 효율적으로 자원을 사용한다.

본 발명은 작은 크기, 중간 크기, 그리고 큰 크기 스크린을 포함하여, 터치 감지 스크린을 갖는 전자 장치로 광범위 적용을 갖는다. 이 같은 장치로는 특히, 컴퓨터, 홈 엔터테인먼트 시스템, 카 엔터테인먼트 시스템, 보안 시스템, PDAs, 핸드 폰, 전자 게임 그리고 장난감, 디지털 포토 프레임, 디지털 악기, 전자-북 리더, TVs 그리고 GPS 네비게이터를 포함한다.

앞서 명세서 설명에서, 본 발명은 특정 예시적 실시 예에 대하여 설명되었다. 그러나 첨부된 청구범위에서 기재된 본 발명의 넓은 사상 및 범위를 벗어나지 않는 한도에서 다양한 수정 및 변경이 상기 특정 예시적 실시 예에 대하여 가해질 수 있다. 따라서, 상기 명세서 및 도면은 본 발명에 대한 제한 목적이 아니라 설명 목적으로 이해되어야 한다.

Claims

하우징의 정면 외측 표면 내 한 정면 개구(opening), 하우징의 배면 외측 표면 내 한 배면 개구, 그리고 공동을 형성하기 위해 상기 정면 개구로부터 상기 배면 개구로 연장되는 내측 측벽을 포함하는 전자 장치를 위한 하우징;
상기 하우징에 장착되며, 전체 공동이 디스플레이 측면을 따라 배치되고, 디스플레이로부터 분리되는 디스플레이;
상기 내측 측면 벽에 장착되며, 상기 공동 내에 삽입된 손가락의 병진운동 제스처를 탐지하도록 동작하는 탐지기; 그리고
상기 탐지기와 디스플레이에 연결되어, 사용자 인터페이스 입력 명령으로서 상기 탐지된 제스처를 해석하여 상기 디스플레이 상에 만들어진 그래픽을 수정하기 위한 프로세서를 포함하는 전자 장치를 위한 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 하우징이 두 개의 섹션을 서로를 향하여 접을 수 있도록 하는 힌지에의해 연결된 제1 및 제2 섹션을 포함하고, 그리고 상기 디스플레이가 상기 제1 섹션 내에 장착되고 상기 공동이 상기 제2 섹션에서 상기 섹션들이 접히는 때 제1 섹션의 에지 주위에 맞는 프레임 내에 위치함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 공동이 상기 장치를 운반하기 위한 핸들 내에 위치함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1 항에 있어서, 상기 공동이 세 개의 측면상에서 전자 장치를 둘러싸는 오므릴 수 있는 프레임을 연장함에 의해 형성됨을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 프로세서가 상기 운동 제스처를 만들어진 그래픽을 확대하기 위한 명령으로서 해석함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 탐지기가 손가락이 공동 내에 삽입됨에 응답하여 5개 이상의 위치와 방위 속성; 즉, (i) x-축 위치; (ii) y-축 위치; (iii) z-축 위치; (iv) xz-평면에서 편각, (v) yz-평면에서 편각 속성을 탐지할 수 있도록 동작하며, 상기 위치와 편각들이 공동 상부 개구의 길이와 폭을 따라 x와 y 축을, 그리고 상부로부터 저부까지 높이를 따라 z축을 기준으로 함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 탐지기가 상기 공동 안쪽 멀티-손가락 펼침 제스처를 탐지하도록 더욱 동작함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 프로세서가 이동 제스처 센서를 통해 탐지 함에 응답하여 위젯, 문서, 웹 페이지 북마크, 앨범 아트워크 또는 사진의 스냅 샷의 애니메이션 탐색을 할 수 있도록 함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제8항에 있어서, 상기 탐지기가 공동 안쪽 멀티-손가락 펼침 제스처를 탐지하도록 더욱 동작할 수 있으며, 상기 프로세서가 상기 탐지된 멀티-손가락 펼침 제스처를 위젯, 문서, 웹 페이지, 앨범 또는 사진을 오픈하기 위한 사용자 인터페이스 입력 명령으로서 해석함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제9항에 있어서, 상기 탐지기가 공동 안쪽 멀티-손가락 핀치 제스처를 탐지하도록 더욱 동작할 수 있으며, 상기 프로세서가 상기 탐지된 멀티-손가락 핀치 제스처를 오픈 위젯, 문서, 웹 페이지, 앨범 또는 사진을 클로즈하기 위한 사용자 입력 명령으로서 해석함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 탐지기가 상부로부터 저부까지 공동의 높이를 따라 손가락의 삽입 속도를 탐지하도록 더욱 동작할 수 있으며, 사용자 인터페이스 입력 명령의 속성이 상기 속도에 따라 정해짐을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 탐지기가 상기 공동의 상부 개구 길이와 깊이를 따라 x 축과 y 축 그리고 상기 공동의 높이를 따라 z축을 기준으로 공동 안쪽으로 손가락의 두 편각, 즉 (i) xz-평면에서 편각; 그리고 (ii) yz-평면에서 편각을 탐지하도록 더욱 동작할 수 있으며, 그리고
상기 프로세서가 상기 편각을 사용자 인터페이스 입력 명령으로서 해석함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제 12항에 있어서, 상기 공동의 안쪽에서 손가락 기울임을 포함하는 제스처가 상기 디스플레이로 하여금 한 팝-업 메뉴를 만들도록 함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제1항에 있어서, 상기 탐지기가 상기 공동 안쪽에서 멀티-손가락 회전을 탐지하도록 더욱 동작할 수 있음을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
제14항에 있어서, 상기 탐지가가 상기 멀티-손가락 회전 제스처를 탐지함에 응답하여, 상기 프로세서가 상기 디스플레이로 하여금 디스플레이된 이미지의 회전을 만들도록 함을 특징으로 하는 전자 장치를 위한 광선-기반 손가락 제스처 사용자 인터페이스.
하우징의 정면 외측 표면 내 한 개구 그리고 공동을 형성하기 위해 상기 개구로부터 하우징 내로 연장되는 내측 측벽을 포함하는 전자 장치를 위한 하우징;
상기 하우징에 장착되며, 전체 공동이 디스플레이 측면을 따라 배치되고, 디스플레이로부터 분리되는 디스플레이;
상기 내측 측면 벽에 장착되며, 상기 공동의 개구 길이와 깊이를 따라 x 축과 y 축 그리고 상기 공동의 깊이를 따라 z축을 기준으로 공동 안쪽으로 손가락의 두 편각, 즉 xz-평면에서 편각과 yz-평면에서 편각을 탐지하도록 동작하는 탐지기; 그리고
상기 탐지기와 디스플레이에 연결되어, 사용자 인터페이스 입력 명령으로서 상기 탐지된 편각 내 변경을 해석하기 위한 프로세서를 포함하는 전자 장치를 위한 손가락 제스처 사용자 인터페이스.
제16항에 있어서, 상기 프로세서가 상기 공동 안쪽에서 손가락을 기울임을 포함하는 제스처를 탐지하는 탐지기에 응답하여 상기 디스플레이가 팝-업 메뉴를 만들도록 함을 특징으로 하는 전자 장치를 위한 손가락 제스처 사용자 인터페이스.
제16항에 있어서 상기 프로세서가 상기 공동 안쪽에서 손가락을 기울임을 포함하는 제스처를 탐지하는 탐지기에 응답하여 상기 디스플레이가 디스플레이된 이미지를 회전시키도록 함을 특징으로 하는 전자 장치를 위한 손가락 제스처 사용자 인터페이스.