KR101519194B1 - 제스쳐 인식을 제어하고 수정하기 위한 델리게이트를 갖는 제스쳐 인식기 - Google Patents

Abstract

소프트웨어 애플리케이션은 복수의 뷰와 애플리케이션 상태를 포함한다. 이 방법은, 하나 이상의 뷰를 디스플레이하는 단계를 포함하고, 각각의 뷰는 각각의 제스쳐 인식기에 대응하는 델리게이트를 갖는 각각의 제스쳐 인식기를 포함한다. 이 방법은 하나 이상의 이벤트를 검출하는 단계와, 각각의 제스쳐 인식기를 이용하여 상기 하나 이상의 이벤트의 각각의 이벤트를 처리하는 단계를 포함한다. 각각의 이벤트의 처리는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하는 단계, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 델리게이트를 실행하는 단계; 및 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하는 단계를 포함한다. 이 방법은, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하는 단계를 포함한다.

Description

제스쳐 인식을 제어하고 수정하기 위한 델리게이트를 갖는 제스쳐 인식기{GESTURE RECOGNIZERS WITH DELEGATES FOR CONTROLLING AND MODIFYING GESTURE RECOGNITION}

본 발명은 대체로 제스쳐 입력을 인식하기 위한 장치 및 방법을 포함한 사용자 인터페이스 처리에 관한 것이지만 이것으로 한정되는 것은 아니다.

전자 장치는 통상 컴퓨팅 장치와 상호작용하는데 이용될 수도 있는 사용자 인터페이스를 포함한다. 사용자 인터페이스는, 사용자 인터페이스의 다양한 양태와 상호작용하기 위한 키보드, 마우스, 및 터치 감응면과 같은 디스플레이 및/또는 입력 장치를 포함할 수도 있다. 입력 장치로서 터치 감응면을 갖춘 일부 장치에서는, 제1 세트의 터치 기반의 제스쳐(예를 들어, 탭, 더블 탭, 수평 스와이프(swipe), 수직 스와이프, 핀치(pinch), 디핀치(depinch), 두 손가락 스와이프 중에서 2개 이상)가 특정한 정황(예를 들어, 제1 애플리케이션의 특정한 모드)에서 적절한 입력으로서 인식되며, 다른 상이한 세트의 터치 기반의 제스쳐는 다른 정황(예를 들어, 상이한 애플리케이션 및/또는 제1 애플리케이션 내의 상이한 모드나 정황)에서 적절한 입력으로서 인식된다. 그 결과, 터치 기반의 제스쳐를 인식하고 이에 응답하는데 요구되는 소프트웨어 및 논리는 복잡해질 수 있으며, 애플리케이션이 업데이트되거나 새로운 애플리케이션이 컴퓨팅 장치에 추가될 때마다 수정판(revision)을 요구할 수 있다. 터치 기반의 제스쳐가 아닌 입력 소스를 이용하는 사용자 인터페이스에서 이들 문제 및 유사한 문제들이 발생할 수도 있다.

따라서, 컴퓨팅 장치 상의 모든 애플리케이션 프로그램들의 사실상 모든 정황이나 모드에 용이하게 적응될 수 있고 애플리케이션이 업데이트되거나 새로운 애플리케이션이 컴퓨팅 장치에 추가될 때 수정판을 요구하지 않거나 거의 요구하지 않으며, 터치 기반의 제스쳐 및 이벤트뿐만 아니라 다른 입력 소스로부터의 제스쳐 및 이벤트들도 인식하기 위한 포괄적인 체제나 메커니즘을 갖는 것이 바람직할 것이다.

전술된 단점들을 해결하기 위해, 일부 실시예들에 따라, 하나 이상의 이벤트 센서를 가지며 복수의 뷰(view)와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 실행하도록 구성된 전자 장치에서 한 방법이 실행된다. 이 방법은 복수의 뷰들 중에서 하나 이상의 뷰를 디스플레이하는 단계를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트(delegate)를 가진다. 이 방법은 하나 이상의 이벤트를 검출하는 단계와, 각각의 제스쳐 인식기를 이용하여 상기 하나 이상의 이벤트의 각각의 이벤트를 처리하는 단계를 포함한다. 각각의 이벤트의 처리는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하는 단계, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 각각의 제스쳐 인식기의 대응하는 델리게이트를 실행하는 단계, 및 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하는 단계를 포함한다. 이 방법은, 각각의 이벤트에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하는 단계를 더 포함한다.

일부 실시예들에 따라, 전자 장치는, 이벤트를 검출하기 위한 하나 이상의 이벤트 센서, 하나 이상의 프로세서, 메모리, 및 메모리에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 복수의 뷰와 애플리케이션 상태를 갖는 소프트웨어 애플리케이션을 포함한다. 소프트웨어 애플리케이션은 복수의 뷰들 중 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트(delegate)를 가진다. 소프트웨어 애플리케이션은, 하나 이상의 이벤트를 검출하기 위한 명령어와 각각의 제스쳐 인식기를 이용하여 검출된 이벤트들의 각각의 이벤트를 처리하기 위한 명령어를 더 포함한다. 각각의 이벤트의 처리를 위한 명령어는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 대응하는 델리게이트를 실행하며; 및 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은, 각각의 이벤트에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 컴퓨터 판독가능한 저장 매체는, 이벤트를 검출하기 위한 하나 이상의 이벤트 센서를 갖는 전자 장치의 하나 이상의 프로세서에 의해 실행되기 위한 하나 이상의 프로그램을 저장한다. 하나 이상의 프로그램은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 포함한다. 소프트웨어 애플리케이션은 복수의 뷰들 중 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 소프트웨어 애플리케이션은, 하나 이상의 이벤트를 검출하고 각각의 제스쳐 인식기를 이용하여 검출된 이벤트들의 각각의 이벤트를 처리하기 위한 명령어를 더 포함한다. 각각의 이벤트의 처리를 위한 명령어는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 대응하는 델리게이트를 실행하며; 및 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은, 각각의 이벤트에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 터치 감응면을 가지며 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 실행하도록 구성된 전자 장치에서 소정의 방법이 실행된다. 이 방법은 복수의 뷰들 중 하나 이상의 뷰를 디스플레이하는 단계를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 각각의 제스쳐 인식기를 포함한다. 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 이 방법은, 터치 감응면 상에서 하나 이상의 터치를 검출하는 단계를 포함하고, 각각의 터치는 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다. 이 방법은 하나 이상의 터치의 각각의 터치를 처리하는 단계를 더 포함한다. 각각의 터치를 처리하는 단계는, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하는 단계, 및 수신 터치값이 미리정의된 기준을 만족하면, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 단계를 포함한다. 각각의 터치를 처리하는 단계는 또한, 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하는 단계를 포함한다. 이 방법은, 각각의 터치에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하는 단계를 더 포함한다.

일부 실시예들에 따라, 전자 장치는, 터치 감응면, 하나 이상의 프로세서, 메모리, 및 메모리에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 포함한다. 소프트웨어 애플리케이션은 복수의 뷰들 중 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함한다. 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 소프트웨어 애플리케이션은, 터치 감응면 상에서 하나 이상의 터치를 검출하기 위한 명령어를 포함하고, 각각의 터치는 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다. 소프트웨어 애플리케이션은 하나 이상의 터치의 각각의 터치를 처리하기 위한 명령어를 더 포함한다. 각각의 터치를 처리하기 위한 명령어는, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하고, 수신 터치값이 미리정의된 기준을 만족하면, 각각의 제스쳐 인식기에서 각각의 터치를 처리하기 위한 명령어를 포함한다. 각각의 터치를 처리하기 위한 명령어는 또한, 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은, 각각의 터치에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 컴퓨터 판독가능한 저장 매체는, 터치 감응면을 갖는 전자 장치의 하나 이상의 프로세서에 의해 실행되기 위한 하나 이상의 프로그램을 저장한다. 하나 이상의 프로그램은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 포함한다. 소프트웨어 애플리케이션은 복수의 뷰들 중 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함한다. 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 소프트웨어 애플리케이션은, 터치 감응면 상에서 하나 이상의 터치를 검출하기 위한 명령어를 포함하고, 각각의 터치는 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다. 소프트웨어 애플리케이션은 하나 이상의 터치의 각각의 터치를 처리하기 위한 명령어를 더 포함한다. 각각의 터치를 처리하기 위한 명령어는, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하고, 수신 터치값이 미리정의된 기준을 만족하면, 각각의 제스쳐 인식기에서 각각의 터치를 처리하기 위한 명령어를 포함한다. 각각의 터치를 처리하기 위한 명령어는 또한, 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은, 각각의 터치에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 터치 감응면을 가지며 소프트웨어 애플리케이션을 실행하도록 구성된 전자 장치에서 한 방법이 수행된다. 이 방법은 소프트웨어 애플리케이션의 하나 이상의 뷰를 디스플레이하는 단계를 포함한다. 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기를 포함한다. 복수의 제스쳐 인식기는 적어도 하나의 이산(discrete) 제스쳐 인식기와 적어도 하나의 연속(continuous) 제스쳐 인식기를 포함한다. 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지(action message)를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다. 이 방법은 또한, 하나 이상의 터치를 검출하는 단계와, 하나 이상의 제스쳐 인식기를 이용하여 각각의 터치를 처리하는 단계를 포함한다. 각각의 터치의 처리는 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 단계, 및 각각의 제스쳐 인식기에서의 각각의 터치의 처리의 결과에 따라 하나 이상의 각각의 액션 메시지를 소프트웨어 애플리케이션에 조건부로 전송하는 단계를 포함한다. 이 방법은 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행하는 단계를 더 포함한다.

일부 실시예들에 따라, 전자 장치는, 터치 감응면, 하나 이상의 프로세서, 메모리, 및 메모리에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 소프트웨어 애플리케이션을 포함하고, 소프트웨어 애플리케이션은 소프트웨어 애플리케이션의 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기를 포함한다. 복수의 제스쳐 인식기는 적어도 하나의 이산 제스쳐 인식기와 적어도 하나의 연속 제스쳐 인식기를 포함한다. 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다. 소프트웨어 애플리케이션은 또한, 하나 이상의 터치를 검출하기 위한 명령어와, 하나 이상의 제스쳐 인식기를 이용하여 각각의 터치를 처리하기 위한 명령어를 포함한다. 각각의 터치를 처리하기 위한 명령어는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하고, 각각의 제스쳐 인식기에서의 각각의 터치의 처리의 결과에 따라 하나 이상의 각각의 액션 메시지를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 컴퓨터 판독가능한 저장 매체는, 터치 감응면을 갖는 전자 장치의 하나 이상의 프로세서에 의한 실행을 위한 하나 이상의 프로그램을 저장한다. 하나 이상의 프로그램은 소프트웨어 애플리케이션을 포함하고, 소프트웨어 애플리케이션은 소프트웨어 애플리케이션의 하나 이상의 뷰를 디스플레이하기 위한 명령어를 포함한다. 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기를 포함한다. 복수의 제스쳐 인식기는 적어도 하나의 이산 제스쳐 인식기와 적어도 하나의 연속 제스쳐 인식기를 포함한다. 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다. 소프트웨어 애플리케이션은 하나 이상의 터치를 검출하기 위한 명령어와, 하나 이상의 제스쳐 인식기를 이용하여 각각의 터치를 처리하기 위한 명령어를 포함한다. 각각의 터치를 처리하기 위한 명령어는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하고, 각각의 제스쳐 인식기에서의 각각의 터치의 처리의 결과에 따라 하나 이상의 각각의 액션 메시지를 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어를 포함한다. 소프트웨어 애플리케이션은 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행하기 위한 명령어를 더 포함한다.

일부 실시예들에 따라, 전자 장치는 하나 이상의 이벤트를 감지하도록 구성된 하나 이상의 이벤트 감지 유닛과, 하나 이상의 이벤트 감지 유닛에 결합된 처리 유닛을 포함한다. 처리 유닛은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 실행하고, 복수의 뷰들 중의 하나 이상의 뷰의 디스플레이를 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 처리 유닛은, 하나 이상의 이벤트 감지 유닛에 의해 감지된 하나 이상의 이벤트를 검출하고, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 대응하는 델리게이트를 실행하며, 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송함으로써, 각각의 제스쳐 인식기를 이용하여 하나 이상의 이벤트의 각각의 이벤트를 처리하도록 구성된다. 처리 유닛은, 각각의 이벤트에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

일부 실시예들에 따라, 전자 장치는 하나 이상의 터치를 수신하도록 구성된 터치 감응면 유닛과, 터치 감응면 유닛에 결합된 처리 유닛을 포함한다. 처리 유닛은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 실행하고, 복수의 뷰들 중의 하나 이상의 뷰의 디스플레이를 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 처리 유닛은 터치 감응면 유닛 상에서 수신된 하나 이상의 터치를 검출하도록 구성된다. 하나 이상의 터치들 각각은 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다. 처리 유닛은, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하고, 수신 터치값이 미리정의된 기준을 만족하면, 각각의 제스쳐 인식기에서 각각의 터치를 처리하고 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송함으로써, 하나 이상의 터치의 각각의 터치를 처리하도록 구성된다. 처리 유닛은, 각각의 터치에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

일부 실시예들에 따라, 전자 장치는 하나 이상의 터치를 수신하도록 구성된 터치 감응면 유닛과, 터치 감응면 유닛에 결합된 처리 유닛을 포함한다. 처리 유닛은, 소프트웨어 애플리케이션을 실행하고 소프트웨어 애플리케이션의 하나 이상의 뷰들의 디스플레이를 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기를 포함하고, 복수의 제스쳐 인식기는 적어도 하나의 이산 제스쳐 인식기와 적어도 하나의 연속 제스쳐 인식기를 포함한다. 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다. 처리 유닛은, 터치 감응면 유닛 상에서 수신된 하나 이상의 터치를 검출하고, 하나 이상의 제스쳐 인식기를 이용하여 각각의 터치를 처리하도록 구성된다. 처리 유닛은, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하고, 각각의 제스쳐 인식기에서의 각각의 터치의 처리의 결과에 따라 하나 이상의 각각의 액션 메시지를 소프트웨어 애플리케이션에 조건부로 전송함으로써, 각각의 터치를 처리하도록 구성된다. 처리 유닛은, 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

도 1a 및 도 1b는 일부 실시예들에 따른 전자 장치를 나타내는 블록도이다.
도 2는 일부 실시예들에 따른 예시적 전자 장치의 입력/출력 처리 스택의 도면이다.
도 3a는 일부 실시예들에 따른, 예시적 뷰 계층구조(view hierarchy)를 나타낸다.
도 3b는 일부 실시예들에 따른 이벤트 처리를 위한 예시적 컴포넌트들을 나타내는 블록도이다.
도 3c는 일부 실시예들에 따른 제스쳐 인식기들의 예시적 클래스(class)와 인스턴스(instance)를 나타내는 블록도이다.
도 4a 내지 도 4d는 일부 실시예들에 따른, 예시적 상태 머신(state machine)을 나타내는 플로차트이다.
도 5a는 일부 실시예들에 따른, 이벤트 정보의 흐름을 나타내는 블록도이다.
도 5b 및 도 5c는 일부 실시예들에 따른, 제스쳐 인식 방법을 나타내는 고수준 플로차트이다.
도 6a 및 도 6b는 일부 실시예들에 따른, 델리게이트로부터 얻어진 정보에 따라 각각의 이벤트를 처리하는 예시적 방법을 나타내는 플로차트이다.
도 7a 및 도 7b는 일부 실시예들에 따른, 델리게이트로부터 얻어진 수신 터치값에 따라 각각의 터치를 처리하는 예시적 방법을 나타내는 플로차트이다.
도 8a 및 도 8b는 일부 실시예들에 따른, 이산 제스쳐 인식기와 연속 제스쳐 인식기를 포함하는 소프트웨어 애플리케이션에서 각각의 터치를 처리하는 예시적 방법을 나타내는 플로차트이다.
도 9는 일부 실시예들에 따른 전자 장치의 기능적 블록도이다.
도 10은 일부 실시예들에 따른 전자 장치의 기능적 블록도이다.
도 11은 일부 실시예들에 따른 전자 장치의 기능적 블록도이다.
도면 전체에 걸쳐 유사한 참조 번호는 대응하는 부분을 가리킨다.

이제 실시예들을 상세히 참조할 것이며, 그 예들은 첨부된 도면들에 예시되어 있다. 이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위하여 다양한 구체적인 세부사항이 개시된다. 그러나, 본 발명은 이들 구체적인 세부사항 없이도 실시될 수 있다는 것은 당업자에게 명백할 것이다. 다른 사례에서, 공지된 방법, 프로시져, 컴포넌트, 회로, 및 네트워크는 실시예들의 양태를 불필요하게 모호하게 하지 않도록 상세히 설명되지 않았다.

비록, 용어, 제1, 제2, 등이 다양한 요소들을 설명하기 위해 여기에 사용될 수도 있지만, 이들 요소들은 이들 용어에 의해 제한되어서는 안 된다는 것을 이해할 것이다. 이들 용어들은 한 요소를 다른 요소로부터 구분하기 위해서만 사용된다. 본 발명의 범위로부터 벗어나지 않고, 예를 들어, 제1 접촉은 제2 접촉이라 명명할 수 있고, 마찬가지로 제2 접촉은 제1 접촉이라 명명할 수 있다. 제1 접촉 및 제2 접촉 양쪽 모두는 접촉이지만, 동일한 접촉은 아니다.

여기 본 발명의 설명에서 사용되는 용어는 특정한 실시예를 설명하기 위한 것일 뿐이며, 본 발명을 제한하기 위한 것이 아니다. 본 발명의 설명 및 첨부된 특허청구범위에서 사용될 때, 단수 형태, "한(a)", "하나의(an)", 그(the)"는, 문맥상 달리 표시하지 않는 한, 마찬가지로 복수 형태도 포함하는 것을 의도한 것이다. 본 명세서에서 사용될 때 용어 "및/또는"은 연관된 나열된 항목들 중 하나 이상의 임의의 조합 및 모든 가능한 조합을 지칭하며 포함한다는 것을 이해할 것이다. 용어 "포함한다" 및/또는 "포함하는"은, 본 명세서에서 사용될 때, 진술된 특징, 완전체, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징, 완전체, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재나 추가를 배제하는 것은 아님을 추가로 이해할 것이다.

본 명세서에서 사용될 때, 용어 "만일"은 문맥에 따라 "~할 때", 또는 "~시에" 또는 "판정에 응답하여" 또는 "검출에 응답하여"를 의미하는 것으로 해석될 수도 있다. 마찬가지로, 문구 "~라고 판정된다면" 또는 "만일 [진술된 조건이나 이벤트]가 검출된다면"은, 문맥에 따라, "~라고 판정시에" 또는 "~라는 판정에 응답하여" 또는 "(진술된 조건이나 이벤트)의 검출시에" 또는 "(진술된 조건이나 이벤트)의 검출에 응답하여"를 의미하는 것으로 해석될 수도 있다.

본 명세서에서 사용될 때, 용어 "이벤트"는 장치의 하나 이상의 센서에 의해 검출된 입력을 말한다. 특히, 용어 "이벤트"는 터치 감응면 상의 터치를 포함한다. 이벤트는 하나 이상의 서브-이벤트를 포함한다. 서브-이벤트는 통상, 이벤트에 대한 변화(예를 들어, 터치-다운, 터치 이동, 및 터치의 들어 올림은 서브-이벤트가 될 수 있다)를 말한다. 하나 이상의 서브-이벤트들의 시퀀스들 내의 서브-이벤트들은, 무엇보다도, 키 누름, 키 누름 유지, 키 누름 해제, 버튼 누름, 버튼 누름 유지, 버튼 누름 해제, 조이스틱 이동, 마우스 이동, 마우스 버튼 누름, 마우스 버튼 해제, 펜 스타일러스 터치, 펜 스타일러스 이동, 펜 스타일러스 해제, 구두 명령, 검출된 안구 움직임, 생체인증 입력, 및 사용자의 검출된 생리학적 변화를 포함한 많은 형태를 포함할 수 있지만, 이것으로 한정되는 것은 아니다. 이벤트는 단일의 서브-이벤트(예를 들어, 장치의 짧은 측방향 이동)를 포함할 수도 있기 때문에, 본 명세서에서 사용될 때 용어 "서브-이벤트"는 이벤트를 지칭하기도 한다.

본 명세서에서 사용될 때, 용어 "이벤트 인식기" 및 "제스쳐 인식기"는 상호교환가능하게 사용되어 제스쳐나 기타의 이벤트(예를 들어, 장치의 움직임)를 인식할 수 있는 인식기를 지칭한다.

앞서 언급한 바와 같이, 입력 장치로서 터치 감응면을 갖춘 일부 장치에서는, 제1 세트의 터치 기반의 제스쳐(예를 들어, 탭, 더블 탭, 수평 스와이프, 수직 스와이프 중에서 2개 이상)가 특정한 정황(예를 들어, 제1 애플리케이션의 특정한 모드)에서 적절한 입력으로서 인식되며, 다른 상이한 세트의 터치 기반의 제스쳐는 다른 정황(예를 들어, 상이한 애플리케이션 및/또는 제1 애플리케이션 내의 상이한 모드나 정황)에서 적절한 입력으로서 인식된다. 또한, 2개 이상의 적절한 입력(또는 제스쳐)이 서로 간섭하거나 충돌할 수도 있다(예를 들어, 단일 탭을 검출한 후, 단일 탭을 완전한 단일 탭 제스쳐로 인식할지, 또는 더블 탭 제스쳐의 일부로서 인식할지를 결정할 필요가 있다). 그 결과, 터치 기반의 제스쳐를 인식하고 응답하는데 요구되는 소프트웨어 및 논리는 복잡해질 수 있으며, 애플리케이션이 업데이트되거나 새로운 애플리케이션이 컴퓨팅 장치에 추가될 때마다 수정판(revision)을 요구할 수 있다.

터치 기반의 제스쳐를 이용하여 터치 감응면을 갖는 장치에서 실행중인 애플리케이션을 제어할 때, 터치는 시간적 및 공간적 양태 양쪽 모두를 가진다. 페이즈(phase)라 불리는 시간적 양태는, 터치가 시작된 때, 터치가 이동중인지 정지 상태인지의 여부, 및 터치가 종료한 때 ― 즉, 손가락이 스크린으로부터 들어 올려진 때를 가리킨다. 터치의 공간적 양태는 한 세트의 뷰 또는 터치가 발생하는 사용자 인터페이스 윈도우이다. 터치가 검출되는 뷰 또는 윈도우는 뷰 계층구조 내의 프로그램 레벨(programmatic levels)에 대응할 수도 있다. 예를 들어, 터치가 검출되는 최하위 레벨의 뷰는 히트 뷰(hit view)라 불리고, 적절한 입력으로서 인식되는 이벤트 세트는, 적어도 부분적으로, 터치 기반의 제스쳐를 시작하는 초기 터치의 히트 뷰에 기초하여 결정될 수도 있다.

도 1a 및 도 1b는, 일부 실시예들에 따른, 전자 장치(102, 104)의 상이한 실시예들을 나타내는 블록도이다. 전자 장치(102 또는 104)는, 데스크탑 컴퓨터 시스템, 랩탑 컴퓨터 시스템, 노트북 컴퓨터 시스템, 모바일 전화, 스마트폰, PDA(personal digital assistant) 또는 네비게이션 시스템을 포함하는 임의의 전자 장치일 수도 있지만, 이것으로 한정되는 것은 아니다. 전자 장치는, 사용자 인터페이스를 제시하도록 구성된 터치 스크린 디스플레이(예를 들어, 터치 감응 디스플레이(156), 도 1b)를 갖춘 휴대형 전자 장치, 사용자 인터페이스를 제시하도록 구성된 터치 스크린 디스플레이를 갖춘 컴퓨터, 터치 감응면과 사용자 인터페이스를 제시하도록 구성된 디스플레이를 갖춘 컴퓨터, 또는, 소비자 전자 장치, 모바일 전화, 비디오 게임 시스템, 전자 음악 플레이어, 태블릿 PC, 전자 서적 판독 시스템, 전자 서적, PDA, 전자 오거나이저, 전자메일 장치, 랩탑, 넷북 또는 기타의 컴퓨터, 키오스크 컴퓨터, 자판기, 스마트 기기 등을 포함한 기타 임의 형태의 컴퓨팅 장치일 수도 있으나, 이것으로 한정되는 것은 아니다. 전자 장치(102 또는 104)는 사용자 인터페이스(113)를 포함한다.

일부 실시예들에서, 전자 장치(104)는 터치 스크린 디스플레이를 포함한다. 이들 실시예들에서, 사용자 인터페이스(113)는, 전자 장치(102 및 104)와 상호작용하기 위해 사용자에 의해 사용되는 온-스크린 키보드(미도시)를 포함할 수도 있다. 대안으로서, 키보드는 전자 장치(104)(또는 전자 장치(102))와는 분리되거나 별개일 수도 있다. 예를 들어, 키보드는 전자 장치(102 또는 104)에 결합된 유선 또는 무선 키보드일 수도 있다.

일부 실시예들에서, 전자 장치(102)는, 전자 장치(102)에 결합된 디스플레이(126) 및 하나 이상의 입력 장치(128)(예를 들어, 키보드, 마우스, 트랙볼, 마이크로폰, 물리적 버튼(들), 터치패드 등)를 포함한다. 이들 실시예들에서, 하나 이상의 입력 장치(128)는 선택적으로 전자 장치(102)로부터 분리되거나 별개일 수도 있다. 예를 들어, 하나 이상의 입력 장치는, 선택적으로 전자 장치와 분리될 수도 있는, 키보드, 마우스, 트랙패드, 트랙볼, 및 전자 펜 중 하나 이상을 포함할 수도 있다. 선택적으로, 장치(102 또는 104)는, 하나 이상의 가속도계, 자이로스코프, GPS 시스템, 스피커, 적외선(IR) 센서, 생체인증 센서, 카메라 등과 같은 하나 이상의 센서(130)를 포함할 수도 있다. 입력 장치(128) 또는 센서(130)로서 상기 기술된 다양한 예시적 장치들의 상기 설명은 여기서 설명되는 실시예들의 동작에 어떤 중요성을 갖지 않으며, 여기서 입력 장치로서 기술되는 임의의 입력 또는 센서 장치는 동등하게 센서로서도 기술될 수도 있으며, 그 반대도 마찬가지일 수도 있다는 점에 유의한다. 일부 실시예들에서, 하나 이상의 센서(130)에 의해 생성되는 신호는 이벤트를 검출하기 위한 입력 소스로서 이용된다.

일부 실시예들에서, 전자 장치(104)는 터치 감응 디스플레이(156)(즉, 터치 감응면을 갖는 디스플레이)와 전자 장치(104)에 결합된 하나 이상의 입력 장치(128)를 포함한다. 일부 실시예들에서, 터치 감응 디스플레이(156)는 2개 이상의 별개의 동시발생적(또는 부분적으로 동시발생적) 터치를 검출할 능력을 가지며, 이들 실시예들에서, 디스플레이(156)는 때때로 여기서는 멀티터치 디스플레이 또는 멀티터치 감응 디스플레이라고 불린다.

여기서 논의되는 전자 장치(102 또는 104)의 일부 실시예들에서, 입력 장치(128)는 전자 장치(102 또는 104)에 배치된다. 다른 실시예들에서, 하나 이상의 입력 장치(128)는 전자 장치(102 또는 104)로부터 분리되고 별개이다; 예를 들어, 하나 이상의 입력 장치(128)는 케이블(예를 들어, USB 케이블)에 의해 또는 무선 접속(예를 들어, 블루투스 접속)에 의해 전자 장치(102 또는 104)에 결합될 수도 있다.

입력 장치(128)를 이용할 때, 또는 전자 장치(104)의 터치 감응 디스플레이(156) 상에서 터치 기반의 제스쳐를 수행할 때, 사용자는 전자 장치(102 또는 104)의 하나 이상의 CPU(110)에 의해 처리되는 서브-이벤트들의 시퀀스를 생성한다. 일부 실시예들에서, 전자 장치(102 또는 104)의 하나 이상의 CPU(110)는 이벤트를 인식하기 위해 서브-이벤트들의 시퀀스를 처리한다.

전자 장치(102 또는 104)는 통상 하나 이상의 단일-코어 또는 멀티-코어 처리 유닛("CPU" 또는 "CPU들")(110) 뿐만 아니라 각각 하나 이상의 네트워크나 기타의 통신 인터페이스(112)를 포함한다. 전자 장치(102 또는 104)는 메모리(111)와 이들 컴포넌트들을 상호접속하기 위한 하나 이상의 통신 버스(115)를 각각 포함한다. 통신 버스(115)는 시스템 컴포넌트들(여기서는 미도시)을 상호접속하고 이들간의 통신을 제어하는 회로(때때로 칩셋이라고 함)를 포함할 수도 있다. 앞서 간략하게 논의된 바와 같이, 전자 장치(102 또는 104)는 디스플레이(예를 들어, 디스플레이(126) 또는 터치 감응 디스플레이(156))를 포함하는 사용자 인터페이스(113)를 포함한다. 또한, 전자 장치(102 또는 104)는 통상, 입력 장치(128)(예를 들어, 키보드, 마우스, 터치 감응면, 키패드 등)를 포함한다. 일부 실시예들에서, 입력 장치(128)는 온-스크린 입력 장치(예를 들어, 디스플레이 장치의 터치 감응면)를 포함한다. 메모리(111)는, DRAM, SRAM, DDR RAM 또는 기타의 랜덤 액세스 솔리드 스테이트 메모리 장치와 같은 고속 랜덤 액세스 메모리를 포함할 수도 있으며; 하나 이상의 자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 장치 또는 기타의 비휘발성 솔리드 스테이트 저장 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 메모리(111)는, 선택적으로, CPU(들)(110)로부터 원격 위치한 하나 이상의 저장 장치를 포함할 수도 있다. 메모리(111), 또는 대안으로서 메모리(111) 내부의 비휘발성 메모리 장치(들)은, 컴퓨터 판독가능한 저장 매체를 포함한다. 일부 실시예들에서, (전자 장치(102 또는 104)의) 메모리(111)나 메모리(111)의 컴퓨터 판독가능한 저장 매체는 다음과 같은 프로그램, 모듈 및 데이터 구조나, 그 서브세트를 저장한다:

● 다양한 기본적인 시스템 서비스를 처리하고 하드웨어 의존형 태스크를 수행하기 위한 프로시져들을 포함한, 운영 체제(118);

● 전자 장치(102 또는 104)를 각각, 그들의 하나 이상의 각각의 통신 인터페이스(112)(유선 또는 무선), 및 인터넷, 기타의 광역 네트워크, 근거리 통신망(local area network), 중거리 통신망(metropolitan area networks), 등등과 같은 하나 이상의 통신 네트워크를 통해 다른 장치들에 접속하는데 이용되는 통신 모듈(120);

● 디스플레이(126) 또는 터치 감응 디스플레이(156) 상에 사용자 인터페이스 객체를 포함하는 사용자 인터페이스를 디스플레이하는데 이용되는 사용자 인터페이스 모듈(122);

● 프로세스를 제어(예를 들어, 히트 뷰 결정, 쓰레드(thread) 관리, 및/또는 이벤트 모니터링 등))하는데 이용되는 제어 애플리케이션(124); 일부 실시예들에서는 제어 애플리케이션(124)은 런-타임 애플리케이션을 포함한다; 다른 실시예들에서는, 런-타임 애플리케이션은 제어 애플리케이션(124)을 포함한다;

● 운영 체제(118)나 애플리케이션 소프트웨어(132) 내의 다양한 대안적 실시예에서 구현될 수도 있는 이벤트 전달 시스템(130); 그러나, 일부 실시예들에서는, 이벤트 전달 시스템(130)의 일부 양태는 운영 체제(118)에서 구현될 수도 있는 반면 다른 양태들(예를 들어, 이벤트 처리기의 적어도 서브세트)은 애플리케이션 소프트웨어(132)에서 구현된다;

● 하나 이상의 소프트웨어 애플리케이션(예를 들어, 전자메일 애플리케이션, 웹 브라우저 애플리케이션, 텍스트 메시징 애플리케이션 등)을 포함할 수도 있는 애플리케이션 소프트웨어(132); 각각의 소프트웨어 애플리케이션은 통상, 적어도 실행시에, 소프트웨어 애플리케이션의 상태를 나타내는 애플리케이션 상태와, 그 컴포넌트(예를 들어, 제스쳐 인식기 및 델리게이트)를 가진다; 후술되는 애플리케이션 내부 상태(317)(도 3b)를 참조한다;

● 소프트웨어 애플리케이션의 상태와 그 컴포넌트(예를 들어, 제스쳐 인식기 및 델리게이트)를 나타내는 애플리케이션 상태; 어떤 애플리케이션, 뷰 또는 기타의 정보가 터치 감응 디스플레이(156) 또는 디스플레이(126)의 다양한 영역을 점유하는지를 나타내는 디스플레이 상태; 장치의 다양한 센서(130), 입력 장치(128), 및/또는 터치 감응 디스플레이(156)로부터 얻어진 정보를 포함하는 센서 상태; 및 장치의 위치 및/또는 자세에 관한 위치 정보 중에서 하나 이상을 포함하는, 장치/전역 내부 상태(134).

상기 식별된 요소들 각각은 앞서 언급된 메모리 장치들 중 하나 이상에 저장될 수도 있으며, 여기서 기술된 기능들을 수행하기 위한 한 세트의 명령어에 대응한다. 이 명령어 세트는 하나 이상의 프로세서(예를 들어, 하나 이상의 CPU(110))에 의해 실행될 수 있다. 앞서 식별된 모듈들 또는 프로그램들(즉, 명령어 세트)은 별개의 소프트웨어 프로그램들, 프로시져 또는 모듈들로서 구현될 필요는 없으므로, 이들 모듈들의 다양한 서브세트들은 다양한 실시예들에서 결합되거나 그렇지 않으면 재배열될 수도 있다. 일부 실시예들에서, 메모리(111)는 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수도 있다. 또한, 메모리(111)는 전술되지 않은 추가의 모듈과 데이터 구조를 저장할 수도 있다.

도 2는 본 발명의 일부 실시예들에 따른 예시적 전자 장치나 기기(예를 들어, 장치(102 또는 104))의 입력/출력 처리 스택(200)의 도면이다. 장치의 하드웨어(예를 들어, 전자 회로)(212)는 입력/출력 처리 스택(200)의 기저(base) 레벨에 있다. 하드웨어(212)는 도 1a 및/또는 도 1b에 도시된 컴포넌트들과 같은, 다양한 하드웨어 인터페이스 컴포넌트들을 포함할 수 있다. 하드웨어(212)는 또한 앞서 언급된 하나 이상의 센서(130)를 포함할 수 있다. 입력/출력 처리 스택(200)의 다른 모든 요소들(132, 204-210)은 하드웨어(212)로부터 수신된 입력을 처리하고 하드웨어 사용자 인터페이스(예를 들어, 디스플레이, 스피커, 장치 진동 액츄에이터 중 하나 이상)를 통해 제공되는 다양한 출력을 생성하는 소프트웨어 프로시져, 또는 소프트웨어 프로시져의 일부이다.

드라이버 또는 한 세트의 드라이버(210)는 하드웨어(212)와 통신한다. 드라이버(210)는 하드웨어(212)로부터 수신된 입력 데이터를 수신하고 처리할 수 있다. 코어 운영 체제("OS")(208)는 드라이버(들)(210)과 통신할 수 있다. 코어 OS(208)는 드라이버(들)(210)로부터 수신된 미가공(raw) 입력 데이터를 처리할 수 있다. 일부 실시예들에서, 드라이버(210)는 코어 OS(208)의 일부인 것으로 간주될 수 있다.

한 세트의 OS 애플리케이션 프로그래밍 인터페이스("OS API")(206)는 코어 OS(208)와 통신하는 소프트웨어 프로시져들이다. 일부 실시예들에서, API(206)는 장치의 운영 체제에 포함되지만, 코어 OS(208)보다 위의 레벨에 있다. API(206)는 여기서 논의되는 전자 장치 또는 기기 상에서 실행되는 애플리케이션에 의한 사용을 위해 설계된다. 사용자 인터페이스(UI) API(204)는 OS API(206)를 이용할 수 있다. 장치 상에서 실행 중인 애플리케이션 소프트웨어("애플리케이션")(132)는 사용자와 통신하기 위하여 UI API(204)를 이용할 수 있다. UI API(204)는, 차례로, 하위 레벨 요소들과 통신할 수 있고, 궁극적으로는, 다양한 사용자 인터페이스 하드웨어, 예를 들어, 멀티터치 디스플레이(156)와 통신할 수 있다.

각 계층 입력/출력 처리 스택(200)은 그 아래의 계층을 이용할 수 있지만, 이것은 항상 요구되는 것은 아니다. 예를 들어, 일부 실시예들에서, 애플리케이션(132)은 OS API(206)와 때때로 통신할 수 있다. 일반적으로, OS API 계층(206)의 계층 또는 그 위의 계층들은 코어 OS(208), 드라이버(들)(210), 또는 하드웨어(212)에 직접 액세스하지 못할 수도 있는데, 이것은 이들 계층들은 프라이빗(private)으로 간주되기 때문이다. 계층(132) 내의 애플리케이션들과 UI API(204)는 대개 콜(call)을 OS API(206)로 향하게 하고, OS API(206)는, 차례로, 계층들 코어 OS(208), 드라이버(들)(210), 및 하드웨어(212)에 액세스한다.

다른 방식으로 말하자면, 전자 장치(102 또는 104)의 하나 이상의 하드웨어 요소(212), 및 예를 들어, 드라이버(210)(도 2에 도시), 코어 OS(운영 체제)(208)(도 2에 도시), 운영 체제 API 소프트웨어(206)(도 2에 도시), 및 애플리케이션 및 사용자 인터페이스 API 소프트웨어(204)(도 2에 도시)와 같은 장치 상에서 실행 중인 소프트웨어는, 하나 이상의 입력 장치(들)(128) 및/또는 터치 감응 디스플레이(156)에서 (제스쳐에서 서브-이벤트에 대응할 수도 있는) 입력 이벤트를 검출하고, 한 세트의 현재 활성인 이벤트 인식기에 의해 사용되는 (장치(102 또는 104)의 메모리에 저장되는) 다양한 데이터 구조를 생성 또는 업데이트하여 입력 이벤트들이 애플리케이션(132)에 전달되는 이벤트에 대응하는지의 여부와 시기를 결정한다. 이벤트 인식 방법론, 장치 및 컴퓨터 프로그램 제품의 실시예는 이하에서 더 상세히 기술된다.

도 3a는 예시적인 뷰 계층구조(300)를 도시하며, 이것은, 이 예에서는, 최외곽 뷰(302)에 디스플레이된 검색 프로그램이다. 최외곽 뷰(302)는 일반적으로 사용자가 직접 상호작용할 수도 있는 전체 사용자 인터페이스를 에워싸며, 종속 뷰, 예를 들어,

● 검색 결과를 그룹화하고 수직으로 스크롤될 수 있는 검색 결과 패널(304);

● 텍스트 입력을 허용하는 검색 필드(306); 및

● 퀵 액세스를 위한 애플리케이션들을 그룹화하는 홈 행(home row, 310)을 포함한다.

이 예에서, 각각 종속 뷰는 하위 레벨 종속 뷰를 포함한다. 다른 예에서, 계층구조(300) 내의 뷰 레벨의 수는 계층구조의 브랜치들마다 상이할 수 있고, 여기서 하나 이상의 종속 뷰는 하위 레벨 종속 뷰를 가지며, 하나 이상의 다른 종속 뷰는 이러한 임의의 하위 레벨 종속 뷰를 갖지 않을 수도 있다. 도 3a에 도시된 예를 계속하면, 검색 결과 패널(304)은 각각의 검색 결과에 대한 별개의 종속 뷰(305)(패널(304)에 종속됨)를 포함한다. 여기서, 이 예는 맵 뷰(305)라 불리는 종속 뷰에서 하나의 검색 결과를 나타낸다. 검색 필드(306)는 내용 소거 아이콘 뷰(307)라 불리는 종속 뷰를 포함하며, 이것은 사용자가 내용 소거 아이콘 뷰(307) 상에서 특정 액션(예를 들어, 단일 터치 또는 탭 제스쳐)을 수행할 때 검색 필드의 내용을 소거한다. 홈 행(310)은 종속 뷰들(310-1, 310-2, 310-3, 및 310-4)을 포함하며, 이것은, 각각, 연락처 애플리케이션, 전자메일 애플리케이션, 웹 브라우저, 및 iPod 뮤직 인터페이스에 대응한다.

터치 서브-이벤트(301-1)는 최외곽 뷰(302)에 나타나 있다. 검색 결과 패널(304) 및 맵 뷰(305) 양쪽 모두 위의 터치 서브-이벤트(301-1)의 위치를 가정하면, 터치 서브-이벤트는 또한 이들 뷰들 위에 각각 301-2 및 301-3으로서 표현된다. 터치 서브-이벤트의 능동적 참여 뷰(actively involved view)들은, 뷰들 검색 결과 패널(304), 맵 뷰(305), 및 최외곽 뷰(302)를 포함한다. 서브-이벤트 전달 및 능동적 참여 뷰들에 관한 추가 정보는 도 3b 및 도 3c를 참조하여 이하에 제공된다.

뷰(및 대응하는 프로그램 레벨)는 네스팅(nest)될 수 있다. 즉, 뷰는 다른 뷰를 포함할 수 있다. 결과적으로, 제1 뷰와 연관된 소프트웨어 요소(들)(예를 들어, 이벤트 인식기)는 제1 뷰 내의 뷰들과 연관된 하나 이상의 소프트웨어 요소를 포함하거나 이들에 링크될 수 있다. 일부 뷰들은 애플리케이션과 연관될 수 있는 반면, 다른 뷰들은, 그래픽 사용자 인터페이스, 윈도우 관리자 등과 같은, 고수준 OS 요소들과 연관될 수 있다.

도 3b는 일부 실시예들에 따른 이벤트 처리를 위한 예시적 컴포넌트(예를 들어, 이벤트 처리 컴포넌트(390))를 나타내는 블록도이다. 일부 실시예들에서, 메모리(111)(도 1a 및 도 1b)는 이벤트 인식기 전역 메소드(311)(예를 들어, 운영 체제(118) 내) 및 각각의 애플리케이션(132-1)를 포함한다.

일부 실시예들에서, 이벤트 인식기 전역 메소드(311)는 이벤트 모니터(312), 히트 뷰 결정 모듈(313), 활성 이벤트 인식기 결정 모듈(314), 및 이벤트 디스패처 모듈(315)을 포함한다. 일부 실시예들에서, 이벤트 인식기 전역 메소드(311)는 이벤트 전달 시스템(130) 내에 위치한다. 일부 실시예들에서, 이벤트 인식기 전역 메소드(311)는 운영 체제(118)에서 구현된다.

대안으로서, 이벤트 인식기 전역 메소드(311)는 애플리케이션(132-1)에서 구현된다. 역시 또 다른 실시예에서, 이벤트 인식기 전역 메소드(311)는 단독형 모듈로서 구현되거나, 메모리(111)에 저장된 또 다른 모듈(예를 들어, 접촉/움직임 모듈(미도시))의 일부로서 구현된다.

이벤트 모니터(312)는 센서(130), 터치 감응 디스플레이(156), 및/또는 입력 장치(128)로부터 이벤트 정보를 수신한다. 이벤트 정보는, 이벤트에 대한 정보(예를 들어, 멀티터치 제스쳐의 일부 또는 장치(102 또는 104)의 움직임으로서, 터치 감응 디스플레이(156) 상의 사용자 터치) 및/또는 서브-이벤트(예를 들어, 터치 감응 디스플레이(156)를 가로지른 터치의 이동)를 포함한다. 예를 들어, 터치 이벤트에 대한 이벤트 정보는 터치의 위치와 타임 스탬프 중 하나 이상을 포함한다. 마찬가지로, 스와이프(swipe) 이벤트에 대한 이벤트 정보는 스와이프의 위치, 타임 스탬프, 방향, 및 속도 중 2개 이상을 포함한다. 센서(130), 터치 감응 디스플레이(156), 및 입력 장치(128)는, 이벤트 모니터(312)에 직접, 또는 이벤트 정보를 검색하고 저장하는 주변장치 인터페이스를 통해, 정보 이벤트 및 서브-이벤트 정보를 전송한다. 센서(130)는 근접 센서, 가속도계(들), 자이로스코프, 마이크로폰, 및 비디오 카메라 중 하나 이상을 포함한다. 일부 실시예들에서, 센서(130)는 또한, 입력 장치(128) 및/또는 터치-감응 디스플레이(156)를 포함한다.

일부 실시예들에서, 이벤트 모니터(312)는 미리결정된 간격으로 센서(130) 및/또는 주변장치 인터페이스에 요청을 전송한다. 응답하여, 센서(130) 및/또는 주변장치 인터페이스는 이벤트 정보를 전송한다. 다른 실시예들에서, 센서(130) 및 주변장치 인터페이스는, 중요한 이벤트가 있을 때에만(예를 들어, 미리결정된 노이즈 임계를 넘는 및/또는 미리결정된 지속기간 이상의 입력을 수신하는 것) 이벤트 정보를 전송한다.

이벤트 모니터(312)는 이벤트 정보를 수신하고 그 이벤트 정보를 전달할 애플리케이션(132-1) 및 애플리케이션(132-1)의 애플리케이션 뷰(316-2)를 결정한다.

일부 실시예들에서, 이벤트 인식기 전역 메소드(311)는 또한 히트 뷰 결정 모듈(313) 및/또는 활성 이벤트 인식기 결정 모듈(314)을 포함한다.

히트 뷰 결정 모듈(313)은, 터치 감응 디스플레이(156)가 하나 보다 많은 뷰를 디스플레이할 때, 하나 이상의 뷰 내에서 이벤트 또는 서브-이벤트가 발생하는 장소를 결정하기 위한 소프트웨어 프로시져를 제공한다. 뷰들은, 제어 요소와, 사용자가 디스플레이 상에서 볼 수 있는 기타의 요소들로 구성된다.

애플리케이션(132-1)과 연관된 사용자 인터페이스의 또 다른 양태는 세트 뷰(set view, 316)로서, 때때로 여기서는 애플리케이션 뷰 또는 사용자 인터페이스 윈도우라고 불리며, 여기에 정보가 표시되고, 터치 기반의 제스쳐가 발생한다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰는 애플리케이션의 뷰 계층구조 내의 특정한 뷰에 대응할 수도 있다. 예를 들어, 터치가 검출되는 최하위 레벨 뷰는 히트 뷰(hit view)라 불리고, 적절한 입력으로서 인식되는 이벤트 세트는, 적어도 부분적으로, 터치 기반의 제스쳐를 시작하는 초기 터치의 히트 뷰에 기초하여 결정될 수도 있다.

히트 뷰 결정 모듈(313)은 이벤트 및/또는 서브-이벤트에 관련된 정보를 수신한다. 애플리케이션이 계층구조로 조직화된 다수의 뷰를 가질 때, 히트 뷰 결정 모듈(313)은 히트 뷰를 이벤트나 서브-이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황에서, 히트 뷰는 개시 이벤트나 서브-이벤트가 발생하는 최하위 레벨 뷰이다(즉, 제스쳐를 형성하는 이벤트 및/또는 서브-이벤트의 시퀀스 내의 첫 번째 이벤트 또는 서브-이벤트). 일단 히트 뷰가 히트 뷰 결정 모듈에 의해 식별되면, 히트 뷰는 통상적으로, 히트 뷰라고 식별되었던 입력 소스나 동일한 터치에 관련된 모든 이벤트 및/또는 서브-이벤트를 수신한다.

활성 이벤트 인식기 결정 모듈(314)은, 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 이벤트 및/또는 서브-이벤트의 특정한 시퀀스를 수신해야 하는지를 결정한다. 일부 애플리케이션 정황에서, 활성 이벤트 인식기 결정 모듈(314)은 히트 뷰만이 이벤트 및/또는 서브-이벤트의 특정한 시퀀스를 수신해야 한다고 결정한다. 다른 애플리케이션 정황에서는, 활성 이벤트 인식기 결정 모듈(314)은 이벤트나 서브-이벤트의 물리적 위치를 포함하는 모든 뷰는 능동적 참여 뷰라고 결정하므로, 모든 능동적 참여 뷰는 이벤트 및/또는 서브-이벤트의 특정한 시퀀스를 수신해야 한다고 결정한다. 다른 애플리케이션 정황에서, 만일 터치 이벤트 및/또는 서브-이벤트가 하나의 특정한 뷰와 연관된 영역으로 완전히 제한되더라도, 계층구조 내의 더 높은 뷰들은 여전히 능동적 참여 뷰로서 남아 있다.

이벤트 디스패처 모듈(315)은 이벤트 정보를 이벤트 인식기(여기서는 "제스쳐 인식기"라고도 함)(예를 들어, 이벤트 인식기 320-1)에 송달한다. 활성 이벤트 인식기 결정 모듈(314)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(315)은 활성 이벤트 인식기 결정 모듈(314)에 의해 결정된 이벤트 인식기에 이벤트 정보를 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(315)은 이벤트 큐 내에 이벤트 정보를 저장하고, 이것은 각각의 이벤트 인식기(320)(또는 각각의 이벤트 인식기(320) 내의 이벤트 수신기(331))에 의해 회수된다.

일부 실시예들에서, 애플리케이션(132-1)은, 애플리케이션이 활성이거나 실행 중일 때 터치 감응 디스플레이(156) 상에 디스플레이된 현재의 애플리케이션 뷰(들)을 가리키는 애플리케이션 내부 상태(317)를 포함한다. 일부 실시예들에서, 장치/전역 내부 상태(134)는 어떤 애플리케이션(들)이 현재 활성인지를 결정하기 위해 이벤트 인식기 전역 메소드(311)에 의해 사용되며, 애플리케이션 내부 상태(317)는 이벤트 정보를 전달할 애플리케이션 뷰(316)를 결정하기 위해 이벤트 인식기 전역 메소드(311)에 의해 사용된다.

일부 실시예들에서, 애플리케이션 내부 상태(317)는, 애플리케이션(132-1)이 실행을 재개할 때 사용될 재개 정보, 애플리케이션(132-1)에 의한 표시에 준비되거나 표시 중인 정보를 가리키는 사용자 인터페이스 상태 정보, 애플리케이션(132-1)의 이전 상태나 뷰로 사용자가 되돌아갈 수 있게 하기 위한 상태 큐, 및 사용자에 의해 취해진 이전 액션들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은, 추가의 정보(예를 들어, 도 3c의 344)를 포함한다. 일부 실시예들에서, 애플리케이션 내부 상태(317)는 정황 정보/텍스트 및 메타데이터(318)를 더 포함한다.

일부 실시예들에서, 애플리케이션(132-1)은 하나 이상의 애플리케이션 뷰(316)를 포함하며, 그 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내부에서 발생하는 터치 이벤트를 처리하기 위한 명령어를 포함한다. 애플리케이션(132-1)의 적어도 하나의 애플리케이션 뷰(316)는 하나 이상의 이벤트 인식기(320) 및 하나 이상의 이벤트 처리기(322)를 포함한다. 통상적으로, 각각의 애플리케이션 뷰(316)는 복수의 이벤트 인식기(320)와 복수의 이벤트 처리기(322)를 포함한다. 다른 실시예들에서, 하나 이상의 이벤트 인식기(320)는, 사용자 인터페이스 키트(미도시) 또는 애플리케이션(132-1)이 메소드나 기타의 속성을 상속받는 상위 레벨 객체와 같은, 별개의 모듈의 일부이다. 일부 실시예들에서, 각각의 애플리케이션 뷰(316)는 또한, 데이터 갱신기, 객체 갱신기, GUI 갱신기 및/또는 수신된 이벤트 데이터 중 하나 이상을 포함한다.

각각의 이벤트 인식기(320-1)는 이벤트 디스패처 모듈(315)로부터 이벤트 정보를 수신하고, 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(320-1)는 이벤트 수신기(331)와 이벤트 비교기(332)를 포함한다.

이벤트 정보는 이벤트(예를 들어, 터치)나 서브-이벤트(예를 들어, 터치 이동)에 대한 정보를 포함한다. 이벤트 또는 서브-이벤트에 따라, 이벤트 정보는 또한 이벤트나 서브-이벤트의 위치와 같은 추가의 정보를 포함한다. 이벤트 또는 서브-이벤트가 터치의 이동에 관한 것일 때, 이벤트 정보는 또한 서브-이벤트의 속도와 방향을 포함할 수도 있다. 일부 실시예들에서, 이벤트는 한 배향으로부터 다른 배향(예를 들어, 초상화 배향으로부터 풍경화 배향, 또는 그 반대)으로의 장치의 회전을 포함하며, 이벤트 정보는 장치의 현재 배향(장치 자세라고도 함)에 관한 대응하는 정보를 포함한다.

이벤트 비교기(332)는 이벤트 정보를 하나 이상의 미리정의된 제스쳐 정의(여기서는 "이벤트 정의"라고도 함)와 비교하고, 이 비교에 기초하여, 이벤트나 서브-이벤트를 결정하거나, 이벤트나 서브-이벤트의 상태를 결정 또는 갱신한다. 일부 실시예들에서, 이벤트 비교기(332)는 하나 이상의 제스쳐 정의(333)(전술된 바와 같이, 여기서는 "이벤트 정의"라고도 함)를 포함한다. 제스쳐 정의(333)는, 제스쳐의 정의(예를 들어, 이벤트 및/또는 서브-이벤트들의 미리정의된 시퀀스), 예를 들어, 제스쳐 1(334-1), 제스쳐 2(334-2), 및 기타를 포함한다. 일부 실시예들에서, 제스쳐 정의(333) 내의 서브-이벤트들은, 예를 들어, 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 한 예에서, 제스쳐 1(334-1)에 대한 정의는 표시된 객체 상의 더블 탭이다. 더블 탭은, 예를 들어, 제스쳐의 미리결정된 페이즈 동안에 표시된 객체 상의 제1 터치(터치 시작), 제스쳐의 다음 미리결정된 페이즈 동안의 제1 들어-올림(터치 종료), 제스쳐의 후속하는 미리결정된 페이즈 동안의 표시된 객체 상의 제2 터치(터치 시작), 및 제스쳐의 마지막 미리결정된 페이즈 동안의 제2 들어-올림(터치 종료)을 포함한다. 또 다른 예에서, 제스쳐 2(334-2)에 대한 정의는 표시된 객체 상의 드래깅(dragging)이다. 드래깅은, 예를 들어, 표시된 객체 상의 터치(또는 접촉), 터치-감응 디스플레이(156)를 가로지른 터치의 이동, 및 터치의 들어-올림(터치 종료)을 포함한다.

일부 실시예들에서, 이벤트 인식기(320-1)는 또한 이벤트 전달(335)을 위한 정보를 포함한다. 이벤트 전달(335)을 위한 정보는 대응하는 이벤트 처리기(322)의 참조를 포함한다. 선택적으로, 이벤트 전달(335)을 위한 정보는 액션-타겟 쌍(들)을 포함한다. 일부 실시예들에서, 제스쳐(또는 제스쳐의 일부)를 인식하는 것에 응답하여, 이벤트 정보(예를 들어, 액션 메시지(들))가 액션-타겟 쌍(들)에 의해 식별된 하나 이상의 타겟에 전송된다. 다른 실시예들에서, 제스쳐(또는 제스쳐의 일부)를 인식하는 것에 응답하여, 액션-타겟 쌍(들)이 활성화된다.

일부 실시예들에서, 제스쳐 정의(333)는 각각의 사용자-인터페이스 객체에 대한 제스쳐의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(332)는 어느 사용자 인터페이스 객체가 서브-이벤트와 연관되어 있는지를 결정하기 위해 히트 테스트(hit test)를 수행한다. 예를 들어, 터치 감응 디스플레이(156) 상에 3개의 사용자 인터페이스 객체가 표시되어 있는 애플리케이션 뷰에서, 터치 감응 디스플레이(156) 상에서 터치가 검출되면, 이벤트 비교기(332)는, 만약 있다면, 3개의 사용자 인터페이스 객체 중, 어느 것이 터치 (이벤트)와 연관되어 있는지를 결정하기 위해 히트 테스트를 수행한다. 만일 각각의 표시된 객체가 각각의 이벤트 처리기(322)와 연관되어 있다면, 이벤트 비교기(332)는 어느 이벤트 처리기(322)가 활성화되어야 하는지를 결정하기 위해 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(332)는 히트 테스트를 트리거링한 객체와 이벤트와 연관된 이벤트 처리기(322)를 선택한다.

일부 실시예들에서, 각각의 제스쳐(333)에 대한 정의는 또한, 이벤트 및/또는 서브-이벤트의 시퀀스가 이벤트 인식기의 이벤트 타입에 대응하는지의 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 액션을 포함한다.

각각의 이벤트 인식기(320-1)가 일련의 이벤트 및/또는 서브-이벤트가 제스쳐 정의(333) 내의 어떠한 이벤트와도 정합하지 않는다고 판정하면, 각각의 이벤트 인식기(320-1)는 이벤트 실패 상태로 진입하고, 그 후, 각각의 이벤트 인식기(320-1)는 터치 기반의 제스쳐의 후속하는 이벤트 및/또는 서브-이벤트를 무시한다. 이 상황에서, 만약 있다면, 히트 뷰에 대해 여전히 활성으로 남아 있는 다른 이벤트 인식기들은, 진행중인 터치 기반의 제스쳐의 이벤트 및/또는 서브-이벤트들을 계속 추적 및 처리한다.

일부 실시예들에서, 각각의 이벤트 인식기(320-1)는 이벤트 인식기 상태(336)를 포함한다. 이벤트 인식기 상태(336)는 각각의 이벤트 인식기(320-1)의 상태를 포함한다. 이벤트 인식기 상태들의 예는 도 4a 내지 도 4d를 참조하여 이하에서 더 상세히 기술된다.

일부 실시예들에서, 이벤트 인식기 상태(336)는 인식기 메타데이터 및 속성(337-1)을 포함한다. 일부 실시예들에서, 인식기 메타데이터 및 속성(337-1)은 다음 중 하나 이상을 포함한다: A) 이벤트 전달 시스템이 능동적 참여 이벤트 인식기들로의 이벤트 및/또는 서브-이벤트의 전달을 어떻게 수행해야 하는지를 나타내는 구성가능한 속성, 플래그, 및/또는 리스트; B) 이벤트 인식기들이 어떻게 서로 상호작용하는지를 나타내는 구성가능한 속성, 플래그, 및/또는 리스트; C) 이벤트 인식기들이 이벤트 정보를 어떻게 수신하는지를 나타내는 구성가능한 속성, 플래그, 및/또는 리스트; D) 이벤트 인식기들이 제스쳐를 어떻게 인식하는지를 나타내는 구성가능한 속성, 플래그, 및/또는 리스트; E) 이벤트 및/또는 서브-이벤트들이 뷰 계층구조 내의 다양한 레벨들에 전달될지의 여부를 나타내는 구성가능한 속성, 플래그, 및/또는 리스트; 및 F) 대응하는 이벤트 처리기(322)의 참조.

일부 실시예들에서, 이벤트 인식기 상태(336)는 이벤트/터치 메타데이터(337-2)를 포함한다. 이벤트/터치 메타데이터(337-2)는, 검출된 각각의 이벤트/터치에 대한 이벤트/터치 정보를 포함하고 제스쳐 정의(333)에 대응한다. 이벤트/터치 정보는, 각각의 이벤트/터치의 위치, 타임 스탬프, 속도, 방향, 거리, 스케일(또는 스케일 변화) 및 각도(또는 각도 변화) 중에서 하나 이상을 포함한다.

일부 실시예들에서, 각각의 애플리케이션 뷰는 하나 이상의 델리게이트(321)를 포함한다. 각각의 델리게이트(321)는 각각의 이벤트 인식기(320)에 할당된다. 대안으로서, 각각의 이벤트 인식기(320)는 대응하는 델리게이트(321)를 갖지만, 델리게이트(321)는 실행시 각각의 인식기(320)에 반드시 할당되는 것은 아니고, 대신에 이벤트 인식기에 대한 델리게이트는 애플리케이션의 실행 이전에 확립될 수도 있다(예를 들어, 이벤트 인식기에 대한 델리게이트는, 애플리케이션 뷰의 델리게이트 속성에 의해 표시되고, 대응하는 애플리케이션 뷰(316)가 초기화될 때 확립될 수도 있다). 일부 실시예들에서, 일부 이벤트 인식기는 할당된(또는 대응하는) 델리게이트를 갖지 않는다. 대응하는 델리게이트가 없는 이벤트 인식기는, 이벤트 인식 배타성(event recognition exclusivity)을 지배하는 디폴트 룰(default rule)과 같은, 디폴트 룰에 따라 수행한다. 일부 실시예들에서, 일부 이벤트 인식기는 다수의 할당된(또는 대응하는) 델리게이트를 가진다. 델리게이트는 대응하는 이벤트 인식기의 행동을 수정하고, 복수의 이벤트 인식기의 행동을 조율하는데에도 이용될 수 있다. 이하에 설명되는 일부 실시예들에서, 델리게이트는, 각각의 이벤트 인식기에 할당될 때, 각각의 이벤트 인식기의 동작의 다수의 양태를 수정한다.

일부 실시예들에서, 각각의 이벤트 인식기(320)는, 제스쳐의 하나 이상의 특정한 이벤트 및/또는 서브-이벤트가 인식될 때 각각의 이벤트 인식기(320)와 연관된 이벤트 처리기(322)를 활성화한다. 일부 실시예들에서, 각각의 이벤트 인식기(320)는 이벤트와 연관된 이벤트 정보를 이벤트 처리기(322)에 전달한다.

이벤트 처리기(322)는, 활성화될 때, 데이터의 생성 및/또는 갱신, 객체의 생성 및 갱신, 디스플레이 정보를 준비하고 디스플레이(126)나 터치 감응 디스플레이(156) 상에서의 표시를 위해 전송하는 것 중 하나 이상을 수행한다.

일부 실시예들에서, 각각의 애플리케이션 뷰(316-2)는 뷰 메타데이터(323)를 포함한다. 뷰 메타데이터(323)는 뷰에 관한 데이터를 포함한다. 선택적으로, 뷰 메타데이터는, 이벤트 인식이로의 이벤트 및/또는 서브-이벤트 전달에 영향을 주는 다음과 같은 속성들을 포함한다.

● 뷰에 대해 세트될 때, 뷰 계층구조에서 그 조상뿐만 아니라 뷰와 연관된 이벤트 인식기들로의 이벤트 및/또는 서브-이벤트의 전달을 방지하는 정지 속성(stop property; 324-1);

● 뷰에 대해 세트될 때, 뷰와 연관된 이벤트 인식기들로의 이벤트 및/또는 서브-이벤트의 전달을 방지하지만, 뷰 계층구조에서 그 조상으로의 이벤트 및/또는 서브-이벤트의 전달을 허용하는 스킵 속성(skip property; 324-2);

● 뷰에 대해 세트될 때, 뷰가 히트 뷰가 아니라면 뷰와 연관된 이벤트 인식기들로의 이벤트 및/또는 서브-이벤트들의 전달을 방지하는 노히트 스킵 속성(NoHit skip property; 324-3); 전술된 바와 같이, 히트 뷰 결정 모듈(313)은 히트-뷰를 서브-이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다;

● 기타의 뷰 메타데이터(324-4).

일부 실시예들에서, 뷰 계층구조 내의 제1 능동적 참여 뷰는 그 제1 능동적 참여 뷰와 연관된 이벤트 인식기들로의 각각의 서브-이벤트의 전달을 방지하도록 구성될 수도 있다. 이러한 행동은 스킵 속성(324-2)을 구현할 수 있다. 애플리케이션 뷰에 대해 스킵 속성이 세트되면, 뷰 계층구조 내의 다른 능동적 참여 뷰들과 연관된 이벤트 인식기들에 대해 각각의 서브-이벤트의 전달은 여전히 수행된다.

대안으로서, 뷰 계층구조 내의 제1 능동적 참여 뷰는, 그 제1 능동적 참여 뷰가 히트 뷰가 아니라면 제1 능동적 참여 뷰와 연관된 이벤트 인식기들로의 각각의 서브-이벤트의 전달을 방지하도록 구성될 수도 있다. 이러한 행동은 노히트 스킵 속성(324-3)을 구현할 수 있다.

일부 실시예들에서, 뷰 계층구조 내의 제2 능동적 참여 뷰는, 그 제2 능동적 참여 뷰와 연관된 이벤트 인식기와 그 제2 능동적 참여 뷰의 조상들과 연관된 이벤트 인식기들로의 각각의 서브-이벤트의 전달을 방지하도록 구성된다. 이러한 행동은 정지 속성(324-1)을 구현할 수 있다.

터치 감응 디스플레이 상의 사용자 터치의 이벤트 처리에 관한 앞선 논의는, 모두가 터치 스크린 상에서 개시되는 것은 아닌 입력 장치들을 갖는 전자 장치(102 또는 104)를 작동하기 위해 다른 형태의 사용자 입력, 예를 들어, 단일의 또는 다수의 키보드 누름이나 유지를 동반하거나 동반하지 않는 마우스 이동 및 마우스 버튼 누름의 조정, 터치 패드 상에서의 탭, 드래그, 스크롤 등과 같은 사용자 움직임, 펜 스타일러스 입력, 장치의 움직임(예를 들어, 회전), 구두 명령, 검출된 안구 움직임, 생체인증 입력 및/또는 이들의 임의의 조합에도 적용될 수 있으며, 이들은 인식될 제스쳐를 정의하는 이벤트 및/또는 서브-이벤트에 대응하는 입력으로서 이용될 수도 있다는 점을 이해해야 한다.

도 3c는 일부 실시예들에 따른 제스쳐 인식기(예를 들어, 이벤트 처리 컴포넌트(390))의 예시적 클래스와 인스턴스를 나타내는 블록도이다.

소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 하나 이상의 이벤트 인식기(340)를 가진다. 일부 실시예들에서, 각각의 이벤트 인식기(예를 들어, 340-2)는 이벤트 인식기 클래스이다. 각각의 이벤트 인식기(예를 들어, 340-2)는 이벤트 인식기 특유 코드(341)(예를 들어, 이벤트 인식기의 동작을 정의하는 한 세트의 명령어) 및 상태 머신(342)을 포함한다.

일부 실시예들에서, 소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))의 애플리케이션 상태(317)는 이벤트 인식기의 인스턴스를 포함한다. 이벤트 인식기의 각각의 인스턴스는 상태(예를 들어, 이벤트 인식기 상태(336))를 갖는 객체이다. 각각의 이벤트 인식기 인스턴스의 "실행"은, 대응하는 이벤트 인식기 특유의 코드(예를 들어, 341)를 실행하고 이벤트 인식기 인스턴스(343)의 상태(336)를 갱신하거나 유지함으로써 구현된다. 이벤트 인식기 인스턴스(343)의 상태(336)는 이벤트 인식기 인스턴스의 상태 머신(342)의 상태(338)를 포함한다.

일부 실시예들에서, 애플리케이션 상태(317)는 복수의 이벤트 인식기 인스턴스(343)를 포함하고, 각각은 애플리케이션의 뷰에 결속된("부착된"이라고도 함) 이벤트 인식기에 대응한다. 일부 실시예들에서, 애플리케이션 상태(317)는 각각의 이벤트 인식기(예를 들어, 340-2)의 복수의 인스턴스(예를 들어, 343-1 내지 343-L)를 포함한다. 일부 실시예들에서, 애플리케이션 상태(317)는 복수의 이벤트 인식기(예를 들어, 340-1 내지 340-R)의 인스턴스(343)를 포함한다.

일부 실시예들에서, 제스쳐 인식기의 각각의 인스턴스(343-2)는 이벤트 인식기 상태(336)를 포함한다. 앞서 논의된 바와 같이, 이벤트 인식기 상태(336)는 인식기 메타데이터 및 속성(337-1)과 이벤트/터치 메타데이터(337-2)를 포함한다. 이벤트 인식기 상태(336)는 또한, 제스쳐 인식기의 각각의 인스턴스(343-2)가 어느 뷰에 부착되는지를 가리키는, 뷰 계층구조 참조(들)(337-3)을 포함한다.

일부 실시예들에서, 인식기 메타데이터 및 속성(337-1)은, 하기의 것들, 또는 그 서브세트가나 수퍼셋을 포함한다:

● 배타성 플래그(exclusivity flag; 339): 이벤트 인식기에 대해 세트될 때, 이벤트 인식기에 의한 제스쳐의 인식시에, 이벤트 전달 시스템이 (예외 리스트(353)에 나열된 기타 임의의 이벤트 인식기를 제외한) 능동적 참여 뷰들의 기타 임의의 이벤트 인식기들로의 이벤트 및/또는 서브-이벤트의 전달을 중단해야 하는지를 나타냄; 이벤트 또는 서브-이벤트의 수신이, 그 대응하는 배타성 플래그(339)에 의해 표시된 바와 같이, 특정한 이벤트 인식기로 하여금 배타적 상태로 진입하게끔 하면, 후속하는 이벤트 및/또는 서브-이벤트들은 (예외 리스트(353)에 열거된 기타 임의의 이벤트 인식기들 뿐만 아니라) 배타적 상태의 이벤트 인식기에만 전달된다;

● 배타성 예외 리스트(exclusivity exception list; 353): 각각의 이벤트 인식기에 대한 이벤트 인식기 상태(336)에 포함될 때, 만약 있다면, 이 리스트(353)는 각각의 이벤트 인식기가 배타적 상태에 진입한 이후에도 계속 이벤트 및/또는 서브-이벤트를 수신해야 하는 이벤트 인식기 세트를 나타낸다; 예를 들어, 만일 단일 탭 이벤트에 대한 이벤트 인식기가 배타적 상태에 진입하고, 현재 관여된 뷰들이 더블 탭 이벤트에 대한 이벤트 인식기를 포함한다면, 리스트(353)는 더블 탭 이벤트 인식기를 나열하여 단일 탭 이벤트가 검출된 후에도 더블 탭 이벤트가 인식될 수 있게 한다. 따라서, 배타성 예외 리스트(353)는 이벤트 인식기들이 공통된 이벤트 및/또는 서브-이벤트의 시퀀스를 공유하는 상이한 제스쳐를 인식하도록 허용한다. 예를 들어, 단일 탭 제스쳐 인식은 다른 이벤트 인식기들에 의한 더블 탭이나 트리플 탭 제스쳐의 후속 인식을 못하게 하지 않는다.

● 대기 리스트(wait-for list; 351): 각각의 이벤트 인식기에 대한 이벤트 인식기 상태(336)에 포함될 때, 만약 있다면, 이 리스트(351)는, 각각의 이벤트 인식기가 각각의 이벤트를 인식할 수 있기 이전에 이벤트 실패 또는 이벤트 취소 상태로 진입해야 하는 이벤트 인식기 세트를 나타낸다; 사실상, 나열된 이벤트 인식기들은 대기 리스트(351)를 갖는 이벤트 인식기보다 이벤트 인식에 대한 더 높은 우선권을 가진다;

● 지연 터치 개시 플래그(delay touch began flag; 352): 이벤트 인식기에 대해 세트될 때, 이벤트 인식기로 하여금, 이벤트 및/또는 서브-이벤트들의 시퀀스가 이 이벤트 인식기의 제스쳐 타입에 대응하지 않는다고 판정된 후까지, 이벤트 인식기의 각 히트 뷰로의 이벤트 및/또는 서브-이벤트(터치 개시 또는 핑거 다운 서브 이벤트, 및 후속 이벤트 포함)의 전송을 지연하게 한다; 이 플래그는 제스쳐가 인식되는 경우 히트 뷰가 이벤트 및/또는 서브-이벤트들 중 임의의 것을 보는 것을 방지하는데 이용될 수 있다; 이벤트가 인식기가 제스쳐를 인식하는데 실패하면, 터치 개시 서브-이벤트(및 후속하는 터치 종료 서브-이벤트)가 히트 뷰에 전달될 수 있다; 한 예에서, 히트 뷰로의 이러한 서브-이벤트들의 전달은 사용자 인터페이스로 하여금, 객체와 연관된 액션의 호출 없이, 객체를 간단히 하이라이트하게끔 한다;

● 지연 터치 종료 플래그(delay touch end flag; 363): 이벤트 인식기에 대해 세트될 때, 이벤트 인식기로 하여금, 서브-이벤트들의 시퀀스가 이 이벤트 인식기의 이벤트 타입에 대응하지 않는다고 판정될 때까지 이벤트 인식기의 각각의 히트 뷰 또는 레벨로의 서브-이벤트(예를 들어, 터치 종료 서브-이벤트)의 전송을 지연하게끔 한다; 이것은 제스쳐가 늦게 인식되는 경우, 히트 뷰가 터치 종료 서브-이벤트에 작용하는 것을 방지하는데 이용될 수 있다; 터치 종료 서브-이벤트가 전송되지 않는 한, 히트 뷰나 레벨에 터치 취소가 전송될 수 있다; 만일 이벤트가 인식된다면, 애플리케이션에 의한 대응하는 액션이 수행되고, 터치 종료 서브-이벤트가 히트 뷰나 레벨에 전달된다; 및

● 터치 취소 플래그(touch cancellation flag; 364): 이벤트 인식기에 대해 세트될 때, 이벤트 인식기로 하여금, 이벤트 및/또는 서브-이벤트들의 시퀀스가 이 이벤트 인식기의 제스쳐 타입에 대응하지 않는다고 판정될 때 이벤트 인식기의 각각의 히트 뷰에 터치 또는 입력 취소를 전송하게끔 한다; 히트 뷰에 전송된 터치나 입력 취소는, 이전 이벤트 및/또는 서브-이벤트(예를 들어, 터치 개시 서브-이벤트)가 취소되었음을 나타낸다; 터치나 입력 취소는 이벤트 인식기의 상태가 이벤트 취소 상태(418)(도 4b)로 진입하게끔 한다.

일부 실시예들에서, 하나 이상의 이벤트 인식기는, 그 이벤트 인식기가 이벤트를 인식한 후까지 서브-이벤트들의 시퀀스들 중 하나 이상의 서브-이벤트들의 전달을 지연하도록 적합화(adapted)될 수도 있다. 이러한 행동은 지연된 이벤트를 반영한다. 예를 들어, 다중 탭 제스쳐가 가능한 뷰에서 단일 탭 제스쳐를 고려해 보자. 그 경우, 탭 이벤트는 "탭 + 지연" 인식기가 된다. 본질적으로, 이벤트 인식기가 이러한 행동을 구현하면, 이벤트 인식기는, 서브-이벤트들의 시퀀스가 사실상 그 이벤트 정의에 대응한다는 것이 확실할 때까지 이벤트 인식을 지연할 것이다. 이러한 행동은, 수신자 뷰(recipient view)가 취소된 이벤트에 적절히 응답할 수 없을 때 적절할 수도 있다. 일부 실시예들에서, 이벤트 인식기는, 서브-이벤트들의 시퀀스가 그 이벤트 정의에 대응하지 않는다는 것을 이벤트 인식기가 확신할 때까지 그 각각의 능동적 참여 뷰에 대한 이벤트 인식 상태의 갱신을 지연할 것이다. 지연 터치 개시 플래그(352), 지연 터치 종료 플래그(363) 및 터치 취소 플래그(364)는, 이벤트 인식기 및 뷰 상태 정보 갱신 뿐만 아니라 서브-이벤트 전달 기술을 특정한 요구에 맞추기 위해 제공된다.

일부 실시예들에서, 인식기 메타데이터 및 속성(337-1)은, 하기의 것들, 또는 그 서브세트가나 수퍼셋을 포함한다:

● 상태 머신 상태/페이즈(state machine state/phase; 338): 각각의 이벤트 인식기 인스턴스(예를 들어, 343-2)에 대한 상태 머신(예를 들어, 342)의 상태를 나타낸다; 상태 머신 상태/페이즈(338)는 후술되는 바와 같이 "이벤트 가능", "이벤트 인식", "이벤트 실패" 등과 같은 다양한 상태값을 가질 수 있다; 대안으로서 또는 추가적으로, 상태 머신 상태/페이즈(338)는 터치 데이터 구조가 이전 터치 데이터 구조에 의해 참조되지 않았던 새로운 터치를 정의한다는 것을 나타낼 수 있는 "터치 페이즈 개시"와 같은 다양한 페이즈값을 가질 수 있다; "터치 페이즈 이동(touch phase moved)" 값은, 정의된 터치가 이전 위치로부터 이동했음을 나타낼 수 있다; "터치 페이즈 정지"값은 터치가 동일한 위치에 머물렀음을 나타낼 수 있다; "터치 페이즈 종료" 값은 터치가 종료했다(예를 들어, 사용자가 멀티터치 디스플레이의 표면으로부터 자신의 손가락을 들어올렸다)는 것을 나타낼 수 있다; "터치 페이즈 취소 값"은 터치가 장치에 의해 취소되었다는 것을 나타낼 수 있다; 취소된 터치는 반드시 사용자에 의해 종료된 것이 아니라, 장치가 무시하기로 결정한 터치일 수 있다; 예를 들어, 장치는 터치가 부주의로 발생되었다고 판정하고(즉, 휴대형 멀티터치 가능형 장치를 포켓에 둔 결과), 그 이유로 터치를 무시할 수 있다; 상태 머신 상태/페이즈(338)의 각각의 값은 정수(여기서는 "제스쳐 인식기 상태 값")일 수 있다;

● 액션-타겟 쌍(들)(action-target pair(s); 345) : 각각의 쌍은, 이벤트나 터치를 제스쳐나 제스쳐의 일부로서 인식하는 것에 응답하여 각각의 이벤트 인식기 인스턴스가 식별된 액션 메시지를 전송하는 타겟을 식별한다.

● 델리게이트(delegate; 346): 각각의 이벤트 인식기 인스턴스에 델리게이트가 할당될 때 대응하는 델리게이트에 대한 참조이다; 델리게이트가 각각의 이벤트 인식기 인스턴스에 할당되지 않으면, 델리게이트(346)는 널(null) 값을 포함한다;

● 인에이블된 속성(enabled property; 347) : 각각의 이벤트 인식기 인스턴스가 인에이블되어 있는지의 여부를 나타냄; 일부 실시예들에서, 각각의 이벤트 인식기 인스턴스가 인에이블되어 있지 않을 때(예를 들어, 디스에이블), 각각의 이벤트 인식기 인스턴스는 이벤트나 터치를 처리하지 않는다.

일부 실시예들에서, 예외 리스트(353)는 또한 비배타적 이벤트 인식기들에 의해서도 사용될 수 있다. 특히, 비배타적 이벤트 인식기가 이벤트나 서브-이벤트를 인식할 때, 후속하는 이벤트 및/또는 서브-이벤트는, 그 이벤트나 서브-이벤트를 인식한 이벤트 인식기의 예외 리스트(353)에 나열된 배타적 이벤트 인식기들을 제외하고, 현재 활성인 뷰들과 연관된 배타적 이벤트 인식기들에 전달되지 않는다.

일부 실시예들에서, 이벤트 인식기들은, 원치 않는 이벤트 및/또는 서브-이벤트들이 히트 뷰에 전달되는 것을 방지하기 위해 지연 터치 종료 플래그(363)와 연계하여 터치 취소 플래그(364)를 이용하도록 구성될 수도 있다. 예를 들어, 단일 탭 제스쳐의 정의와 더블 탭 제스쳐의 처음 반쪽의 정의는 동일하다. 일단 단일 탭 이벤트 인식기가 단일 탭을 성공적으로 인식하고 나면, 원치 않는 액션이 발생할 수 있다. 만일 지연 터치 종료 플래그가 세트되면, 단일 탭 이벤트 인식기는 단일 탭 이벤트가 인식될 때까지 히트 뷰에 서브-이벤트들을 전송하는 것이 방지된다. 또한, 단일 탭 이벤트 인식기의 대기 리스트는 더블 탭 이벤트 인식기를 식별할 수도 있고, 그렇게 하여, 더블 탭 이벤트 인식기가 이벤트 불가능 상태에 진입할 때까지 단일 탭 이벤트 인식기가 단일 탭을 인식하는 것을 방지할 수 있다. 대기 리스트의 이용은 더블 탭 제스쳐가 수행될 때 단일 탭과 연관된 액션의 실행을 피한다. 대신에, 더블 탭 이벤트의 인식에 응답하여, 더블 탭과 연관된 액션만이 실행될 것이다.

특히 터치-감응면 상의 사용자 터치의 형태로 되돌아가면, 앞서 언급한 바와 같이, 터치와 사용자 제스쳐는 즉각적일 필요가 없는 동작을 포함할 수도 있다, 예를 들어, 터치는 소정 시간 동안 손가락을 디스플레이에 맞대어 이동시키거나 쥐고 있는 동작을 포함할 수 있다. 그러나, 터치 데이터 구조는, 특정한 시간에서 터치의 상태(또는, 더 일반적으로는, 임의의 입력 소스의 상태)를 정의한다. 따라서, 터치 데이터 구조에 저장된 값들은 단일 터치 과정에 걸쳐 변할 수 있으므로, 상이한 시점에서의 단일 터치의 상태가 애플리케이션에 전달되는 것을 가능케한다.

각각의 터치 데이터 구조는 다양한 엔트리를 포함할 수 있다. 일부 실시예들에서, 터치 데이터 구조는 하기의 것, 또는 그 서브세트가나 수퍼셋과 같은, 적어도 터치-특유의 엔트리들에 대응하는 데이터를 이벤트/터치 메타데이터(337-2)에 포함할 수도 있다:

● "뷰에 대한 제1 터치" 엔트리(first touch for view entry; 348): 터치 데이터 구조가 특정한 뷰에 대한 제1 터치를 정의하는지 여부를 나타낸다(뷰가 예시화되었기 때문).

● "터치별 정보" 엔트리(per touch info entry, 349): 터치 데이터 구조가 관련되어 있는 특정한 시간(예를 들어, 터치 시간)을 가리키는 "타임 스탬프" 정보를 포함한다; 선택적으로, "터치별 정보" 엔트리(349)는 대응하는 터치의 위치와 같은 다른 정보를 포함한다; 및

● 선택적 "탭 카운트" 엔트리(tap count entry, 350): 초기 터치의 위치에서 얼마나 많은 탭들이 순차적으로 수행되었는지를 나타낸다; 탭은, 특정한 위치에서 터치 감응 패널에 맞대어 손가락을 신속히 눌렀다가 들어 올리는 것으로서 정의될 수 있다; 만일 패널의 동일한 위치에서 빨리 연속하여 다시 한번 손가락을 눌렀다 떼면, 다중 순차 탭이 발생할 수 있다; 이벤트 전달 시스템(130)은 탭을 카운트하여, "탭 카운트" 엔트리(350)를 통해 이 정보를 애플리케이션에게 중계할 수 있다; 동일한 위치에서의 다수의 탭들은 종종 터치 가능형 인터페이스에 대한 명령을 기억하기에 유용하고 용이한 것으로 여겨진다; 따라서, 탭을 카운팅함으로써, 이벤트 전달 시스템(130)은 다시 한번 애플리케이션으로부터 소정의 데이터 처리를 경감할 수 있다.

따라서, 각각의 터치 데이터 구조는, (위치와 같은) 터치와 연관된 기타의 정보뿐만 아니라, 특정한 시간에서 각각의 터치(또는 기타의 입력 소스)와 함께 무엇이 발생하고 있는지(예를 들어, 터치가 정지 상태인지 이동중인지 등)를 정의할 수 있다. 따라서, 각각의 터치 데이터 구조는 특정한 시점에서 특정한 터치의 상태를 정의할 수 있다. 동일한 시간을 참조하는 하나 이상의 터치 데이터 구조가, 소정 시점에서 특정 뷰가 수신하고 있는 모든 터치의 상태를 정의할 수 있는 터치 이벤트 데이터 구조에 추가될 수 있다(앞서 언급한 바와 같이, 일부 터치 데이터 구조는, 또한 종료하여 더 이상 수신되고 있지 않은 터치를 참조할 수도 있다). 뷰에서 발생하고 있는 터치들을 기술하는 연속 정보를 소프트웨어에 제공하기 위하여, 시간의 경과에 따라 뷰를 구현하는 소프트웨어에 다수의 터치 이벤트 데이터 구조가 전송될 수 있다.

선택적으로 멀티터치 제스쳐를 포함한 복잡한 터치 기반의 제스쳐를 처리하는 능력은, 다양한 소프트웨어 애플리케이션에 복잡성을 추가할 수 있다. 일부 경우에는 진보되고 바람직한 인터페이스 특징을 구현하기 위해 이러한 추가적인 복잡성이 필요할 수 있다. 예를 들어, 게임은 상이한 뷰들에서 발생하는 복수의 동시 터치를 처리하는 능력을 요구할 수도 있는데, 이것은 게임은 종종, 동시에 다수 버튼의 누름의 처리나, 가속도계 데이터와 터치 감응면 상의 터치의 결합을 요구하기 때문이다. 그러나, 일부 더 단순한 애플리케이션 및/또는 뷰는 진보된 인터페이스 특징을 요구할 필요가 없다. 예를 들어, 단순한 소프트 버튼(즉, 터치 감응 디스플레이 상에 표시된 버튼)은 멀티터치 기능보다는 단일 터치에서 만족스럽게 동작할 수 있다. 이들 경우에, 기저 OS는 단일 터치(예를 들어, 소프트 버튼 상의 단일 터치 또는 탭)에 의해서만 동작가능하도록 의도된 뷰와 연관된 소프트웨어 컴포넌트에 불필요하거나 과도한 터치 데이터(예를 들어, 멀티터치 데이터)를 전송할 수도 있다. 소프트웨어 컴포넌트는 이 데이터를 처리할 필요가 있을 수도 있기 때문에, 단일 터치만이 관련되어 있는 뷰와 연관되어 있더라도, 다중 터치를 처리하는 소프트웨어 애플리케이션의 모든 복잡성을 특징으로 할 필요가 있을 수도 있다. 전통적으로 마우스 인터페이스 환경(즉, 다양한 버튼 등)에서 프로그램하기에 용이한 소프트웨어 컴포넌트들은 멀티터치 환경에서는 훨씬 더 복잡하기 때문에, 이것은 장치에 대한 소프트웨어의 개발 비용을 증가시킬 수 있다.

복잡한 터치 기반의 제스쳐를 인식하는데 있어서 복잡성을 줄이기 위해, 일부 실시예들에 따라 이벤트 인식기들의 행동을 제어하기 위해 델리게이트가 사용될 수 있다. 후술되는 바와 같이, 델리게이트는, 예를 들어, 대응하는 이벤트 인식기(또는 제스쳐 인식기)가 이벤트(예를 들어, 터치) 정보를 수신할 수 있는지; 대응하는 이벤트 인식기(또는 제스쳐 인식기)가 상태 머신의 초기 상태(예를 들어, 이벤트 가능 상태)로부터 또 다른 상태로 천이할 수 있는지; 및/또는 대응하는 이벤트 인식기(또는 제스쳐 인식기)가, 다른 이벤트 인식기(들)(또는 제스쳐 인식기(들))이 이벤트를 인식하는 것을 차단하지 않거나 다른 이벤트 인식기(들)(또는 제스쳐 인식기(들))에 의해 이벤트 인식을 차단당하지 않고도, 이벤트(예를 들어, 터치)를 대응하는 제스쳐로서 동시에 인식할 수 있는지를 결정할 수 있다.

그러나, 터치 감응면 상의 사용자 터치들의 평가와 처리의 복잡성에 관한 앞선 논의는 또한, 전자 장치(102 또는 104)를 작동시키기 위한 터치 스크린 상에서 모두가 개시되는 것은 아닌 모든 형태의 사용자 입력들, 예를 들어, 이벤트 및/또는 인식될 이벤트를 정의하는 서브-이벤트들에 대응하는 입력으로서 이용될 수도 있는, 단일의 또는 다수의 키보드 누름이나 유지를 동반하거나 동반하지 않는 마우스 이동 및 마우스 버튼 누름의 조정, 장치의 회전이나 기타의 움직임, 터치 패드 상의 탭, 드래그, 스크롤 등과 같은 사용자 움직임, 펜 스타일러스 입력, 구두 명령, 검출된 안구 움직임, 생체인증 입력, 사용자의 검출된 생리적 변화, 및/또는 이들의 임의의 조합에도 역시 적용된다는 점을 이해하여야 한다.

도 4a 내지 도 4d는 일부 실시예들에 따른, 예시적 상태 머신(state machine)에 대한 플로차트이다. 제스쳐 인식기는 이산 제스쳐 인신기와 연속 제스쳐 인식기를 포함할 수도 있다. 이산 제스쳐 인식기는 통상 미리정의된 기간 내에 발생하는 간단한 제스쳐(예를 들어, 탭이나 스와이프 제스쳐)를 인식하는데 유용하지만, 더욱 근본적으로는 제스쳐의 인식시에 단 하나의 액션 메시지나 한 세트의 액션 메시지가 애플리케이션에 전달될 필요가 있는 제스쳐를 인식하기 위한 것이다. 연속 제스쳐 인식기는 터치의 이동을 포함하는(그에 따라 터치 위치의 추적을 요구하는) 제스쳐의 인식(예를 들어, 팬, 핀치, 또는 회전 제스쳐)에 유용하며, 더욱 근본적으로는, 제스쳐의 과정에 걸쳐 액션 메시지의 시퀀스가 애플리케이션에 전달될 필요가 있는 제스쳐를 인식하기 위한 것이다. 일부 실시예들에서는, 이산 이벤트 인식기 상태 머신(400) 및 연속 이벤트 인식기 상태 머신(402)은 상이한 상태를 가진다.

도 4a는 일부 실시예들에 따른 3개 상태를 포함하는 이산 이벤트 인식기 상태 머신(400)을 나타낸다. 수신된 이벤트 및/또는 서브-이벤트에 기초하여 이벤트 인식기 상태 머신(342)의 상태 천이를 관리함으로써, 이벤트 인식기는 이벤트 정의를 효과적으로 표현한다. 예를 들어, 탭 제스쳐는 2개, 또는 선택적으로, 3개의 서브-이벤트들에 의해 효과적으로 정의될 수도 있다. 첫 번째, 터치가 검출되어야 하고, 이것이 서브-이벤트 1이 될 것이다. 예를 들어, 터치 서브-이벤트는, 이벤트 인식기 상태 머신(342)을 갖는 이벤트 인식기를 포함하는 뷰에서 사용자의 손가락이 터치 감응면을 터치하는 것일 수도 있다. 두 번째, 터치가 임의의 주어진 방향으로 실질적으로 움직이지 않고(예를 들어, 터치 위치의 임의의 이동이, 디스플레이 상에서 거리(예를 들어, 5 mm)로서 또는 픽셀 수(예를 들어, 5 픽셀)로서 측정될 수 있는 미리정의된 임계값보다 작고) 지연이 충분히 짧은 경우, 선택적 측정된 지연은 서브-이벤트 2로서 역할할 것이다. 마지막으로, 터치의 종료(예를 들어, 터치 감응면으로부터의 사용자의 손가락의 들어올림)는 서브-이벤트 3으로서 역할할 것이다. 이들 서브-이벤트들의 수신에 기초하여 상태들 간에 천이하도록 이벤트 인식기 상태 머신(342)을 코딩함으로써, 이벤트 인식기 상태 머신(342)은 탭 제스쳐 이벤트 정의를 효과적으로 표현한다. 이산 이벤트 인식기 상태 머신(400)은, 전술된, 탭 제스쳐를 인식하도록 구성된 이벤트 인식기 상태 머신(342)의 예시적 구현이다.

이벤트 타입에 관계없이, (이산 이벤트 인식기 상태 머신(400)으로서 구현된 이벤트 인식기 상태 머신을 포함한) 이벤트 인식기 상태 머신(342)은, 이벤트 인식기 상태 머신의 초기 상태를 나타내는 이벤트 가능 상태(410)에서 시작한다. 이벤트 인식기 상태 머신(342)은, 어떤 이벤트 및/또는 서브-이벤트가 수신되는지에 따라 임의의 남아 있는 상태들로 진행할 수도 있다.

이벤트 가능 상태(410)로부터 시작하여, 만일 제스쳐 정의에서 제1 이벤트 또는 서브-이벤트가 아닌 이벤트 또는 서브-이벤트가 수신된다면, 이산 이벤트 인식기 상태 머신(400)은 이벤트 실패 상태(430)로 천이할 것이다.

이벤트 가능 상태(410)로부터 시작하여, 만일 제스쳐에 대한 제스쳐 정의를 단독으로 포함하는 이벤트 또는 서브-이벤트가 수신된다면, 이산 이벤트 인식기 상태 머신(400)은 이벤트 인식 상태(420)로 천이할 것이다. 그러나, 수신된 이벤트 또는 서브-이벤트가 제스쳐에 대한 제스쳐 정의를 포함하더라도, 이산 이벤트 인식기 상태 머신(400)은 그럼에도 불구하고 대응하는 이벤트 인식기의 메타데이터(예를 들어, 속성), 대응하는 델리게이트에 의해 결정된 하나 이상의 값, 및/또는 애플리케이션 상태에 따라, 이벤트 실패 상태(430)로 천이할 수도 있다.

일부 실시예들에서, 이벤트 인식 상태(420)로의 천이 후에, 대응하는 이벤트 인식기는 지연 플래그(예를 들어, 지연 터치 종료 플래그(363))를 검사(441)한다. 만일 지연 플래그가 오르면(441-예), 대응하는 이벤트 인식기는 지연 플래그가 내릴 때까지 이벤트 정보의 전달을 지연한다(442).

일부 실시예들에서, 대응하는 이벤트 인식기는 대기 리스트(351)를 포함하고, 대응하는 이벤트 인식기는 소정 상태에 도달하기 위해 대기 리스트(351)에 나열된 이벤트 인식기들을 기다린다. 예를 들어, 뷰가 단일 탭 제스쳐 인식기와 더블 탭 제스쳐 인식기를 포함할 때, 단일 탭 제스쳐 인식기는 더블 탭 제스쳐 인식기가 실패하기를 기다리도록 구성될 수 있다. 사실상, 이벤트 인식 상태(420)로의 단일 탭 제스쳐 인식기의 천이는 더블 탭 제스쳐 인식기의 이벤트 인식 실패를 요구한다(요건으로 한다). 그 결과, 탭 이벤트가 있을 때, 그 탭 이벤트가 멀티탭 제스쳐의 일부가 아닌 한, 단일 탭 제스쳐 인식기는 그 탭 이벤트를 인식한다.

지연 및 대기(442) 후에, 만약 있다면, 대응하는 제스쳐 인식기는 애플리케이션에 이벤트를 전달한다(443). 일부 실시예들에서, 이벤트는 액션 메시지의 형태로 전달된다. 일부 실시예들에서, 액션 메시지는 액션-타겟 쌍(들)(345)에 따라 전달된다. 일부 실시예들에서, 대응하는 제스쳐 인식기는 액션-타겟 쌍(들)(345)을 활성화한다.

도 4b는 일부 실시예들에 따른 6개 상태를 포함하는 연속 이벤트 인식기 상태 머신(402)을 나타낸다.

앞서 논의된 바와 같이, 연속 이벤트 인식기 상태 머신(402)은 이벤트 가능 상태(410)로부터 시작한다.

이벤트 가능 상태(410)로부터 시작하여, 만일 제스쳐 정의에서 이벤트(들) 및/또는 서브-이벤트(들)의 시작 시퀀스의 일부가 아닌 이벤트 또는 서브-이벤트가 수신된다면, 이산 이벤트 인식기 상태 머신(400)은 이벤트 실패 상태(430)로 천이할 것이다.

이벤트 가능 상태(410)로부터 시작하여, 만일 주어진 제스쳐 정의에서 이벤트(들) 및/또는 서브-이벤트(들)의 시작 시퀀스의 일부인 이벤트 또는 서브-이벤트가 수신된다면, 연속 이벤트 인식기 상태 머신(402)은 이벤트 개시 상태(412)로 천이할 것이다. 이산 제스쳐 인식기(400)와 유사하게, 만일 수신된 이벤트 또는 서브-이벤트가 제스쳐 정의에서 이벤트(들) 및/또는 서브-이벤트(들)의 시작 시퀀스의 일부를 포함하더라도, 연속 이벤트 인식기 상태 머신(402)은 대응하는 이벤트 인식기의 메타데이터(예를 들어, 속성), 대응하는 델리게이트에 의해 결정된 하나 이상의 값, 및/또는 애플리케이션 상태에 따라 이벤트 실패 상태(430)로 천이할 수도 있다.

이벤트 개시 상태(412)로부터, 만일 다음 이벤트 또는 서브-이벤트가 주어진 제스쳐 정의에서 중간 이벤트 또는 서브-이벤트이지만, 최종 이벤트 또는 서브-이벤트가 아니라면, 연속 이벤트 인식기 상태 머신(402)은 이벤트 변경 상태(414)로 천이하여 머무를 것이다. 연속 이벤트 인식기 상태 머신(402)은, 수신된 이벤트 및/또는 서브-이벤트의 시퀀스가 계속해서 제스쳐 정의의 일부인 한, 이벤트 변경 상태(414)에 머무를 수 있다. 만일, 연속 이벤트 인식기 상태 머신(402)이 이벤트 변경 상태(414)에 있는 임의의 시간에서, 연속 이벤트 인식기 상태 머신(402)이 제스쳐 정의의 일부가 아닌 이벤트 또는 서브-이벤트를 수신한다면, 연속 이벤트 인식기 상태 머신(402)은 이벤트 실패 상태(430)로 천이함으로써, (만약 있다면) 현재의 이벤트가 이 이벤트 인식기(즉, 연속 이벤트 인식기 상태 머신(402)에 대응하는 이벤트 인식기)에 대응하는 이벤트의 유형이 아니라고 판정하게 된다. 반면, 만일, 연속 이벤트 인식기 상태 머신(402)이 이벤트 개시 상태(412) 또는 이벤트 변경 상태(414)에 있고, 연속 이벤트 인식기 상태 머신(402)이 제스쳐 정의에서 마지막 이벤트 또는 서브-이벤트를 수신한다면, 연속 이벤트 인식기 상태 머신(402)은 이벤트 종료 상태(416)로 천이함으로써, 성공적인 이벤트 인식을 완료하게 된다.

일부 실시예들에서, 각각의 제스쳐 인식기 상태는 제스쳐 인식기 상태값을 가진다. 일부 실시예들에서, (이산 이벤트 인식기 상태 머신(400)에 대한) 이벤트 인식 상태(420) 및 (연속 이벤트 인식기 상태 머신(402)에 대한) 이벤트 종료 상태(416)는, 한 타입의 제스쳐 인식기에 의한 제스쳐의 인식에 응답하도록 구성된 소프트웨어 컴포넌트가 다른 타입의 제스쳐 인식기에도 응답할 수 있도록, 동일한 제스쳐 인식기 상태값을 가진다.

이벤트 개시 상태(412) 또는 이벤트 변경 상태(414)에서, 미리정의된 중단(interruption) 이벤트(예를 들어, 운영 체제(118) 또는 제어 애플리케이션(124)에서 미리정의된, 착신 전화 통화 등)이 발생하면, 연속 이벤트 인식기 상태 머신(402)은 이벤트 취소 상태(418)로 천이한다.

제스쳐 인식기 타입에 관계없이, 각각의 제스쳐 인식기(예를 들어, 343)는, 대응하는 이벤트 인식기 상태 머신(예를 들어, 342)이 이벤트 가능 상태(410)로 되돌아가도록 리셋될 수 있다.

도 4c 및 도 4d는 일부 실시예들에 따른 상태 천이에서의 델리게이트의 역할을 도시한다. 도 4c 및 도 4d에서, 하나 이상의 델리게이트에 의한 액션(또는 결정)은 음영진 박스(예를 들어, 450-456)에 의해 표시된다.

도 4c는 일부 실시예에 따른 이산 이벤트 인식기 상태 머신(400)에 대한 상태 천이에서 델리게이트의 역할을 도시한다. 이하에서 논의되는 예들에서, 상태 머신(400)은 대응하는 델리게이트를 갖는 특정의 이산 이벤트 인식기에 대응한다.

이벤트 가능 상태(410)로부터 시작하여, 만일 이벤트 또는 서브-이벤트가 검출되면, 이벤트 인식기에 대응하는 델리게이트는 이벤트 인식기가 이벤트 또는 서브-이벤트를 수신해야 할지를 결정한다(450). 만일 델리게이트가, 대응하는 이벤트 인식기가 이벤트 또는 서브-이벤트를 수신하지 못하게 하는 값을 반환한다면, 대응하는 이벤트 인식기는 이벤트 또는 서브-이벤트를 수신하지 않는다(또는, 이벤트 또는 서브-이벤트를 무시한다). 그 결과, 대응하는 이벤트 인식기는 이벤트 가능 상태(410)에 머무른다. 만일 대응하는 이벤트 인식기가 이벤트 또는 서브-이벤트를 수신하지 못하게 하는 델리게이트가 없다면, 대응하는 이벤트 인식기에 대한 디폴트 동작은 이벤트 또는 서브-이벤트를 수신하는 것이다.

한 세트의 이벤트 인식기들의 델리게이트들에 의한 "수신해야 하는가" 동작(450)은 어떤 이벤트 인식기가 터치 감응 디스플레이 또는 감응면 상의 어떤 터치를 수신할 것인지를 결정하는데 이용될 수 있다는 점에 유의한다. 예를 들어, 사용자가 2개의 터치를 이용하여 2개의 객체를 개별적으로 또는 동시에 재위치설정하거나 2개의 상이한 객체를 선택하는 것을 허용하는 뷰에서, 2개의 이벤트 인식기들의 델리게이트는, 하나의 이벤트 인식기는 2개의 터치 중 첫번째 터치만을 수신하는 것을 허용하고, 두번째 이벤트 인식기는 2개의 터치 중 두번째 것만을 수신하는 것을 허용하도록 구성될 수 있다. 따라서 2개의 터치들 각각에 대한 모든 정보는, 그 대응하는 델리게이트에 의해, 그 터치를 수신하도록 허용된 이벤트 인식기로만 향한다. 다수의 이벤트 인식기와 어느 터치가 어느 이벤트 인식기에 의해 처리되는지를 결정하는 대응하는 델리게이트의 이용에 의해, 훨씬 더 복잡한 멀티터치 입력이 인식되고 처리될 수 있다.

만일 이벤트 인식기가 이벤트 또는 서브-이벤트를 수신하는 것이 허용되면, 이벤트 인식기(또는 제어 애플리케이션(124) 또는 운영 체제(118))에 대응하는 델리게이트는, 이벤트 인식기에 의한 이벤트 또는 서브-이벤트의 인식이 그 이벤트를 이미 인식한 또 다른 이벤트 인식기에 의해 차단될지를 결정한다(451). 이러한 초기 레벨의 차단은 디폴트 배타성 룰에 기초하며, 델리게이트에 의해 무효화될 수 있다. 만일 이벤트 또는 서브-이벤트의 인식이 차단된다면, 대응하는 델리게이트(또는 운영 체제(118) 또는 제어 애플리케이션(124))는 또한, 델리게이트에 의해 결정된 하나 이상의 값에 따라 이벤트 인식기에 의한 이벤트의 동시 인식이 허용될지를 결정한다(452). 예를 들어, 만일 이벤트 인식기가 처음에 그 이벤트를 인식했던 이벤트 인식기의 배타성 예외 리스트(353)에 있다면, 델리게이트는 양쪽 이벤트 인식기들에 의한 동시 인식을 허용한다. 또 다른 예에서, 만일 이벤트 인식기의 배타성 플래그(339)가 세트되어 있지 않다면, 델리게이트는 양쪽 이벤트 인식기들에 의한 동시 인식을 허용한다. 만일 동시 인식이 허용되지 않으면, 이벤트 인식기는 이벤트 실패 상태(430)로 천이한다.

만일 대응하는 이벤트 인식기가 이벤트 또는 서브-이벤트를 인식하는 것으로부터 차단되지 않거나(451-아니오), 동시 인식이 허용된다면(452-예), 대응하는 이벤트 인식기는 이벤트 또는 서브-이벤트가 대응하는 제스쳐 정의와 정합하는지를 결정한다(453). 만일 이벤트 또는 서브-이벤트가 대응하는 제스쳐 정의와 정합하지 않는다면(453-아니오), 대응하는 제스쳐 인식기는 이벤트 실패 상태(430)로 천이한다.

만일 이벤트 또는 서브-이벤트가 대응하는 제스쳐 정의와 정합한다면(453-예), 대응하는 델리게이트(또는 운영 체제(118) 또는 제어 애플리케이션(124))는 델리게이트에 의해 결정된 하나 이상의 값에 따라 이벤트 가능 상태(410) 바깥으로 천이할 수 있는지("시작해야 하는가"(454))를 결정한다. 만일 이벤트 인식기가 델리게이트에 의해 이벤트 가능 상태(410) 바깥으로 천이하는 것이 허용되지 않는다면(454-아니오), 대응하는 이벤트 인식기는 이벤트 실패 상태(430)에 놓인다. 만일 이벤트 인식기가 이벤트 가능 상태(410) 바깥으로 천이하는 것이 허용된다면(454-예), 대응하는 이벤트 인식기는 이벤트 인식 상태(420)로 천이한다.

대응하는 이벤트 인식기가 이벤트 인식 상태(420)로 천이하면, 대응하는 이벤트 인식기(또는 운영 체제(118) 또는 제어 애플리케이션(124))은 또한 다른 이벤트 인식기들에 의한 이벤트 또는 서브-이벤트의 인식을 허용할지를 결정한다(455). 일부 실시예들에서, 적어도 하나의 이벤트 인식기의 델리게이트(또는 애플리케이션)가 동시 인식을 허용하는 속성을 설정하지 않는 한, 다른 모든 이벤트 인식기들이 동일한 이벤트를 인식하는 것을 방지하는 것이 디폴트이다. 만일 이벤트 또는 서브-이벤트를 인식했던 이벤트 인식기에 대응하는 델리게이트가 다른 이벤트 인식기들이 이벤트 또는 서브-이벤트를 인식하는 것을 허용할 것이라고 결정하면(455-예), 델리게이트(또는 운영 체제(118)나 제어 애플리케이션(124))는 이들이 이벤트 또는 서브-이벤트를 동시에 인식할 수 있도록 다른 이벤트 인식기의 속성을 설정한다(456). 만일 델리게이트가 다른 이벤트 인식기들이 이벤트 또는 서브-이벤트를 인식하는 것을 허용하지 않는다면, 다른 이벤트 인식기들은 이벤트 또는 서브-이벤트를 인식하는 것이 방지된다.

일부 실시예들에서, 각각의 이벤트 인식기가 이벤트 또는 서브-이벤트를 인식하는 것을 방지하기에 앞서, 이벤트 인식기의 델리게이트도 호출되어 이벤트 또는 서브-이벤트의 동시 인식을 허용할 것인지를 알아본다(452 참조). 이들 실시예들에서, 동시 인식은 그 이벤트를 인식하는 제1 이벤트 인식기의 델리게이트 또는 제2 이벤트 인식기의 델리게이트에 의해 인에이블될 수 있다. 도 4c의 452 및 455에 의해 도시된 바와 같이, 이들 실시예들에서 동시 인식을 허용할지에 대한 결정은, 이벤트가 적어도 하나의 이벤트 인식기의 이벤트 정의와 정합할 때에만 이루어진다.

전술된 델리게이트 동작은, 애플리케이션 뷰(또는 동시에 표시된 뷰 세트)에 의해 사용되는 한 세트의 이벤트 인식기에 대한 델리게이트에서 구현될 때, 이벤트 인식기들의 상호작용을 맞춤화하는데 이용될 수 있다. 델리게이트는, 단 하나의 이벤트 인식기만이 동일한 수신된 이벤트(들)에 기초하여 제스쳐를 인식하는 것을 허용하는, 디폴트 배타성 룰에 대한 예외를 구현할 수 있다. 디폴트 배타성 룰에 대한 예외를 구현함으로써 호환 이벤트 인식기들에 의한 동시 이벤트 인식을 허용하는 델리게이트의 이용은, 소프트웨어 애플리케이션에서 많은 유용한 기능의 구현을 용이하게 한다. 이벤트 인식기들의 행동을 수정하고 제어하는 델리게이트의 이용은, 상호 배타적 세트의 상호 호환형 제스쳐들과 같은, 복잡한 관계의 컴팩트한 표현과 구현을 허용한다.

도 4d는 일부 실시예들에 따른 연속 이벤트 인식기 상태 머신(402)에 대한 상태 천이에서 델리게이트의 역할을 도시한다. 이하에서 논의되는 예들에서, 상태 머신(402)은 대응하는 델리게이트를 갖는 특정의 연속 이벤트 인식기에 대응한다. 도 4c에 도시되고 도 4c를 참조하여 앞서 논의된 모든 델리게이트 동작은 대응하는 델리게이트를 갖는 연속 이벤트 인식기에 동등하게 적용가능하므로, 도 4d에 도시된 델리게이트 동작은 도 4c와 동일한 참조 번호를 가진다. 유일한 차이점은, 상태 머신에서 한 상태의 명칭이 상태 머신(400)의 "이벤트 인식"(420)으로부터 상태 머신(402)의 "이벤트 개시"(412)로 변했다는 것이다.

이벤트 개시 상태(412)로부터, 대응하는 이벤트 인식기는 전술된 다른 상태들로 천이한다. 간략하게 말하면, 이벤트 변경 상태(414)로부터 이벤트 실패 상태(416)로의 천이는 도시되어 있지 않다.

이하의 테이블은, 전술된 이벤트 인식기들의 상태에 관련된 예시적 서브-이벤트 시퀀스(예를 들어, 단일 탭)의 처리를 표 형태로 제공하고 있다. 이 예에서, 서브-이벤트 시퀀스는 단일 탭을 포함하고, 뷰는 2개의 탭 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 더블 탭 제스쳐 인식기를 포함한다. 이 예에서도, 양쪽 제스쳐 인식기는 서브-이벤트 시퀀스를 동시에 수신하고 인식하도록 구성된다. 동시 인식은 단일 탭 제스쳐 인식기에 할당된 델리게이트 또는 제2 탭 제스쳐 인식기에 할당된 델리게이트에 의해 허용될 수 있다.

서브-이벤트 정보의 전달이 개시되기 이전에(시퀀스 #0), 양쪽 제스쳐 인식기들은 이벤트 가능 상태(410)에 있다. 손가락 내림 서브-이벤트를 검출하고(시퀀스 #1) 지연을 측정한(시퀀스 #2) 후에도, 양쪽 제스쳐 인식기는 이벤트 가능 상태(410)에 머물러 있다. 손가락 들어올림의 검출(시퀀스 #3)에 응답하여, 단일 탭 제스쳐 인식기는 이벤트 인식 상태(420)로 천이한다. 추가 지연의 검출 후에, 단일 탭 제스쳐 인식기는, 리셋될 때까지 이벤트 인식 상태(420)에 머무르며, 리셋의 경우, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)로 복귀한다. 반면, 더블 탭 제스쳐 인식기는, 측정된 추가 지연이 미리정의된 지속기간(예를 들어, 더블 탭 제스쳐 인식기가 제2 손가락 내림 서브-이벤트를 예상하는 동안)을 초과할 때 이벤트 실패 상태(430)로 천이한다.

이하의 테이블은, 하나의 제스쳐 인식기의 행동이 수정될 때 예시적 서브-이벤트 시퀀스의 처리를 표 형태로 나타낸다. 이 예에서, 서브-이벤트 시퀀스는 단일 탭을 포함하고, 뷰는 2개의 탭 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 더블 탭 제스쳐 인식기를 가진다. 이 예에서도, 단일 탭 제스쳐 인식기는 그 델리게이트에 의해 서브-이벤트를 수신하는 것이 허용되지 않는다.

단일 탭 제스쳐 인식기는 그 델리게이트에 의해 서브-이벤트를 수신하는 것이 허용되지 않기 때문에, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)에 머무른다. 더블 탭 제스쳐 인식기는, 측정된 제2 지연이 미리정의된 임계치를 초과할 때(시퀀스 #4) 이벤트 실패 상태(430)로 천이한다.

이하의 테이블은, 하나의 제스쳐 인식기의 행동이 수정될 때 예시적 서브-이벤트 시퀀스의 처리를 표 형태로 나타낸다. 이 예에서, 서브-이벤트 시퀀스는 단일 탭을 포함하고, 뷰는 2개의 탭 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 더블 탭 제스쳐 인식기를 가진다. 이 예에서도, 양쪽 모두의 제스쳐 인식기들은 서브-이벤트 시퀀스를 동시에 인식하는 것이 허용되지 않는다.

전술된 것과 유사하게, 손가락 들어올림을 검출(시퀀스 #3)한 후에, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)로부터 이벤트 인식 상태(420)로 천이한다. 일반적으로, 서브-이벤트 시퀀스를 인식하는 제1 제스쳐 인식기는 그 서브-이벤트 시퀀스를 아직 인식하지 않은 다른 제스쳐 인식기들이 그 서브-이벤트 시퀀스를 인식하는 것을 차단한다. 동시 인식이 허용되지 않는다면, 차단된 제스쳐 인식기는 이벤트 실패 상태(430)로 천이한다. 이 경우, 동시 인식이 허용되지 않기 때문에, 단일 탭 제스쳐 인식기가 서브-이벤트 시퀀스를 인식하면(시퀀스 #3에서), 더블 탭 제스쳐 인식기는 리셋될 때까지 이벤트 실패 상태(430)로 천이하여 머무른다.

이하의 테이블은, 하나의 제스쳐 인식기의 행동이 그 델리게이트에 의해 수정되고, 한쪽 또는 양쪽 인식기들의 델리게이트(들)에 의해 취해진 액션에 따라 2개의 제스쳐 인식기들의 동작이 조율될 때, 예시적 서브-이벤트 시퀀스의 처리를 표 형식으로 제공한다. 이 예에서, 서브-이벤트 시퀀스는 단일 탭을 포함하고, 뷰는 2개의 탭 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 더블 탭 제스쳐 인식기를 가진다. 이 예에서도, 단일 탭 제스쳐 인식기는 개시(또는 이벤트 가능 상태(410) 바깥으로의 천이)가 허용되지 않는다.

손가락 들어올림을 검출(시퀀스 #3)한 후에, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)로부터 이벤트 인식 상태(420)로의 천이를 시도한다. 그러나, 단일 탭 제스쳐 인식기에 할당된 델리게이트는 이벤트 인식 상태(420)로의 상태 천이를 허용하지 않고, 그 결과, 단일 탭 제스쳐 인식기는 이벤트 실패 상태(430)로 천이한다. 더블 탭 제스쳐 인식기는, 측정된 지연이 미리정의된 임계치를 초과할 때(시퀀스 #4) 이벤트 실패 상태(430)로 천이한다.

이하의 테이블은, 하나의 제스쳐 인식기의 행동이 수정되고, 한쪽 또는 양쪽 인식기들의 델리게이트(들)에 의해 취해진 액션에 따라 2개의 제스쳐 인식기들의 동작이 조율될 때, 예시적 서브-이벤트 시퀀스의 처리를 표 형식으로 제공한다. 이 예에서, 서브-이벤트 시퀀스는 단일 탭을 포함하고, 뷰는 2개의 탭 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 더블 탭 제스쳐 인식기를 가진다. 이 예에서도, 단일 탭 제스쳐 인식기는 더블 탭 제스쳐 인식기의 실패를 기다린다(또는 요구한다).

손가락 들어올림을 검출(시퀀스 #3)한 후에, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)로부터 이벤트 인식 상태(420)로의 천이를 시도한다. 그러나, "대기" 요건이나 (더블 탭 제스쳐 인식기가 실패하는) 실패 요건으로 인해, 단일 탭 제스쳐 인식기는 이벤트 인식 상태(420)로의 천이를 지연한다. 측정된 제2 지연이 미리정의된 임계치를 초과하여(시퀀스 #4) 더블 탭 제스쳐 인식기가 실패하면, 단일 탭 제스쳐 인식기는 이벤트 인식 상태(420)로 천이한다. "대기" 요건 및/또는 실패 요건은 델리게이트를 이용하여 구현되거나 제스쳐 인식기에서 구현될 수도 있다.

이하의 테이블은 예시적 서브-이벤트 시퀀스의 처리를 표 형식으로 나타낸다. 이 예에서, 서브-이벤트 시퀀스는 다수의 중간 서브-이벤트를 내포하는 팬 제스쳐를 포함하며, 뷰는 2개의 제스쳐 인식기: 단일 탭 제스쳐 인식기 및 팬 제스쳐 인식기를 가진다. 이 예에서도, 양쪽 제스쳐 인식기는 서브-이벤트 시퀀스를 동시에 인식하도록 허용된다.

서브-이벤트 정보의 전달이 개시되기 이전에(시퀀스 #0), 양쪽 제스쳐 인식기들은 이벤트 가능 상태(410)에 있다. 손가락 내림 서브-이벤트를 검출하고(시퀀스 #1) 지연을 측정한(시퀀스 #2) 후에도, 단일 탭 제스쳐 인식기는 이벤트 가능 상태(410)에 머무르는 반면, 팬 제스쳐 인식기는 이벤트 개시 상태(412)로 천이한다. 손가락 움직임의 검출(시퀀스 #3)에 응답하여, 단일 탭 제스쳐 인식기는, 서브-이벤트가 단일 탭에 대한 제스쳐 정의와 정합하지 않기 때문에 이벤트 실패 상태(430)로 천이한다. 단일 탭 제스쳐 인식기는, 이후에 리셋될 때까지 이벤트 실패 상태(430)에 머무른다. 그러나, 팬 제스쳐 인식기는 손가락 움직임의 검출(시퀀스 #4)에 응답하여 이벤트 변경 상태(414)로 천이하고, 일부 실시예들에서는, 손가락 접촉의 새로운 위치를 포함한 액션 메시지(들)을 전송한다. 추가적인 손가락 움직임의 검출(시퀀스 #4 및 시퀀스 #5) 후에, 팬 제스쳐 인식기는 이벤트 변경 상태(414)에 머무르면서, 손가락 움직임이 검출될 때마다 액션 메시지(들)을 전송한다. 손가락 들어올림이 검출되면(시퀀스 #6), 팬 제스쳐 인식기는 이벤트 종료 상태(416)로 천이한다.

이벤트 인식기들 사이의 상호작용과 이벤트 정보의 흐름으로 되돌아가면, 도 5a는 일부 실시예들에 따른 이벤트 정보의 흐름을 나타내는 블록도이다. (예를 들어, 운영 체제(118) 또는 제어 애플리케이션(124) 내의) 이벤트 디스패처 모듈(315)은 이벤트 정보를 수신하고, 그 이벤트 정보를 애플리케이션(예를 들어, 132-1)에 전송한다. 일부 실시예들에서, 애플리케이션(132-1)은, 뷰 계층구조(506)에서 복수의 뷰들(예를 들어, 뷰(316)에 대응하는 508, 510, 및 512)과 복수의 뷰들에서 복수의 제스쳐 인식기(516-1 내지 516-6)을 포함한다. 애플리케이션(132-1)은 또한, 타겟-액션 쌍(예를 들어, 522-1. 522-2, 및 522-3)에서 타겟 값들에 대응하는 하나 이상의 이벤트 처리기(520)를 포함한다. 이벤트 디스패처 모듈(315)은 히트 뷰 결정 모듈(313)로부터 히트 뷰 정보를 수신하고 히트 뷰(예를 들어, 512) 또는 히트 뷰(예를 들어, 512)에 부착된 이벤트 인식기(들)에 이벤트 정보를 전송한다. 일부 실시예들에서, 히트 뷰에 부착된 제스쳐 인식기들의 서브세트만이 이벤트 정보(또는 터치 정보)를 수신하는 것(또는 수신하도록 구성되는 것)이 허용된다. 이벤트 정보를 수신하는 것이 허용된 이들 제스쳐 인식기들은 여기서는 "수신 제스쳐 인식기"라 불린다. 도 5a에서, 제스쳐 인식기(516-1 및 516-2)는 한 세트의 수신 제스쳐 인식기(514) 세트 내에 있다. 그 결과, 이벤트 디스패처 모듈(315)은 수신 제스쳐 인식기 세트 내의 제스쳐 인식기(516-1 및 516-2) 양쪽 모두에 이벤트 정보를 전송한다.

일부 실시예들에서, 제스쳐 인식기들은 서로가 이벤트 또는 서브-이벤트를 대응하는 제스쳐로서 인식하는 것을 차단하거나 방지할 수도 있다. 이 예에서, 제스쳐 인식기 1(516-1)은 제스쳐 인식기 2(516-2)가 이벤트 또는 서브-이벤트를 대응하는 제스쳐로서 인식하는 것을 방지한다. 그 결과, 이 예에서는, 제스쳐 인식기 1(516-1)만이 대응하는 타겟-액션 쌍(예를 들어, 타겟:액션 1(522-1))에 액션 메시지(518)를 전송한다.

도 5b 및 도 5c는 일부 실시예들에 따른, 제스쳐 인식 방법을 나타내는 플로차트이다. 도 5b는 제스쳐 인식기가 대응하는 델리게이트를 호출하는 플로차트를 나타내고, 도 5c는 소프트웨어 애플리케이션이 각각의 제스쳐 인식기에 대응하는 델리게이트를 호출하는 플로차트를 나타낸다. 도 5b 및 도 5c에서, 각각의 컬럼은 각각의 엔티티 또는 컴포넌트(예를 들어, 소프트웨어 애플리케이션, 제스쳐 인식기, 또는 델리게이트)에서 수행되는 프로세스들을 나타낸다.

도 5b에서, 소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 복수의 뷰들(예를 들어, 506, 508, 510) 중의 하나 이상의 뷰들을 디스플레이한다(530). 복수의 뷰들은 복수의 제스쳐 인식기들(예를 들어, 516-1 내지 516-6)을 포함한다. 소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 복수의 제스쳐 인식기들의 적어도 서브세트에 별개의 델리게이트를 할당한다(532). 일부 실시예들에서, 각각의 제스쳐 인식기는 대응하는 델리게이트에 할당된다(533-1). 일부 실시예들에서, 각각의 델리게이트는 대응하는 제스쳐 인식기에 할당된다(533-2). 대안으로서, 델리게이트와 제스쳐 인식기 사이의 대응관계는 런타임 이전에 확립될 수도 있다. 이하의 논의를 통틀어, 할당된 델리게이트에 대한 각각의 참조는 또한 대응하는 델리게이트를 의미할 수도 있고, 델리게이트가 할당된 제스쳐 인식기에 대한 각각의 참조는 또한 특정한 델리게이트에 대응하는 제스쳐 인식기를 의미할 수도 있다.

소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 하나 이상의 이벤트를 검출하고(534), 하나 이상의 제스쳐 인식기(예를 들어, 320)를 이용하여 각각의 이벤트를 처리한다(536).

각각의 이벤트는 (하나 이상의 제스쳐 인식기들(예를 들어, 320) 중의) 각각의 제스쳐 인식기에서 처리된다(538). 델리게이트의 동작을 설명하기 위해, 이벤트를 처리하는 각각의 제스쳐 인식기는 대응하는 델리게이트를 갖는 것으로 가정한다. 각각의 제스쳐 인식기는 할당된 델리게이트를 호출하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 할당된 델리게이트가 실행된다(540). 응답하여, 각각의 제스쳐 인식기는, 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에게 조건부로 전송한다(542).

하나 이상의 이벤트에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션이 실행된다(544).

즉, 이들 실시예들에서, 각각의 제스쳐 인식기는 제스쳐 인식기의 행동을 결정하는 하나 이상의 값을 얻기 위해 할당된 델리게이트를 호출한다. 전술된 바와 같이, 그 대응하는 델리게이트에 의해 수정된 제스쳐 인식기의 행동은 터치/이벤트 정보를 수신할지의 여부, 이벤트 가능 상태를 벗어나 천이할지의 여부, 및/또는 동시 인식을 허용할지의 여부를 포함한다. (때때로 다른 제스쳐 인식기들의 델리게이트의 조율된 액션과 더불어) 델리게이트에 의한 동작은 또한, 어느 제스쳐 인식기가 어느 터치를 수신할지를 제어하고, 어느 제스쳐 인식기가 "이벤트 인식" 또는 "이벤트 개시" 상태로의 천이가 허용되는지를 결정하며, 동시 인식을 허용 또는 디스에이블함으로써, 2개 이상의 제스쳐 인식기들의 동작을 조율한다.

도 5c에서, 소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 복수의 뷰들(예를 들어, 506, 508, 510) 중의 하나 이상의 뷰들을 디스플레이한다(530). 복수의 뷰들은 복수의 제스쳐 인식기들(예를 들어, 516-1 내지 516-6)을 포함한다. 소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 복수의 제스쳐 인식기들의 적어도 서브세트에 별개의 델리게이트를 할당한다(532). 일부 실시예들에서, 각각의 제스쳐 인식기는 대응하는 델리게이트에 할당된다(533-1). 일부 실시예들에서, 각각의 델리게이트는 대응하는 제스쳐 인식기에 할당된다(533-2). 대안으로서, 델리게이트와 제스쳐 인식기 사이의 대응관계는 런타임 이전에 확립될 수도 있다.

소프트웨어 애플리케이션(예를 들어, 애플리케이션(132-1))은 하나 이상의 터치를 검출하고(535), 하나 이상의 제스쳐 인식기를 이용하여 하나 이상의 터치들 각각을 처리한다(546). 하나 이상의 터치들 각각을 처리하는데 있어서, 소프트웨어 애플리케이션은 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별한다(548). 일부 실시예들에서, 후보 제스쳐 인식기들은 히트 뷰에 부착된 제스쳐 인식기들(예를 들어, 도 5a의 제스쳐 인식기(516-1, 516-2, 및 516-3))이다.

애플리케이션 상태에 따라 "수신 터치값"을 얻기 위해 각각의 후보 제스쳐 인식기에 할당된 델리게이트가 실행된다(550). "수신 터치값"은 각각의 후보 제스쳐 인식기가 이벤트/터치 정보를 수신할 수 있는지(예를 들어, 도 4c-4d의 "수신해야 하는가" 단계(450))를 결정하는데 이용된다.

각각의 델리게이트로부터 얻어진 수신 터치값에 기초하여, 한 세트의 수신 제스쳐 인식기들이 식별된다(552). 수신 제스쳐 인식기 세트는 후보 제스쳐 인식기들의 서브세트를 포함한다(552). 일부 실시예들에서, 수신 제스쳐 인식기 세트는 각각의 할당된 델리게이트를 갖지 않는 모든 후보 제스쳐 인식기들을 포함한다. 하나 보다 많은 후보 제스쳐 인식기들이 대응하는 델리게이트를 가진다면, 후보 제스쳐 인식기가 이벤트/터치 정보를 수신할 수 있는지를 결정하기 위해 이러한 후보 제스쳐 인식기 각각의 델리게이트가 실행된다. 후보 제스쳐 인식기들에 대응하는 델리게이트들로부터 얻어진 "수신 터치값들"은 수신 제스쳐 인식기 세트를 식별하는데 이용된다.

수신 제스쳐 인식기 세트에서 각각의 터치가 처리된다(554). 만일 각각의 제스쳐 인식기에 의한 각각의 터치의 처리가 결과적으로 이벤트나 터치의 인식으로 이어진다면(도 4c 및 도 4d의 "정의와 정합"(453) 참조), 각각의 제스쳐 인식기에 대응하는 (만약 있다면) 델리게이가 호출되어 이벤트나 제스쳐의 인식이 허용되지를 결정한다. 이것은 도 4c 및 도 4d를 참조하여 전술된 "시작해야 하는가" 동작(454)에 대응한다. 델리게이트는 상태 천이가 허용될 것인지의 여부를 가리키는 하나 이상의 값을 반환한다. 각각의 제스쳐 인식기는, 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 소프트웨어 애플리케이션에게 조건부로 전송한다(542). 각각의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션이 실행된다(545).

즉, 이들 실시예들에서, 소프트웨어 애플리케이션(또는 운영 체제(118) 또는 제어 애플리케이션(124))은, 각각의 후보 제스쳐 인식기들 중 (만약 있다면) 어느 것이 각각의 터치를 처리해야 하는지를 가리키는 값을 얻기 위해 각각의 후보 제스쳐 인식기들에 대응하는 델리게이트들을 호출한다. 또한, 제스쳐 인식기들의 행동의 다른 양태들은 할당된 델리게이트에 의해 더욱 수정될 수 있다.

도 6a 및 도 6b는 일부 실시예들에 따른, 델리게이트로부터 얻어진 정보에 따라 각각의 이벤트를 처리하는 예시적 방법을 나타내는 플로차트이다.

복수의 뷰들(예를 들어, 애플리케이션 뷰(316)과 소프트웨어 애플리케이션의 애플리케이션 상태(예를 들어, (317))를 포함하는 소프트웨어 애플리케이션(예를 들어, 132)을 실행하도록 구성되고 하나 이상의 이벤트 센서(예를 들어, 130)를 갖는 전자 장치(예를 들어, 장치(102 또는 104))에서 방법(600)이 수행된다(602).

장치는 복수의 뷰들 중에서 하나 이상의 뷰를 디스플레이한다(604). 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기(예를 들어, 이벤트 인식기(320-1))를 포함한다. 일부 실시예들에서, 하나 이상의 디스플레이된 뷰들의 적어도 서브세트는 하나 이상의 제스쳐 인식기를 포함하고, 하나 이상의 디스플레이된 뷰들의 나머지는 제스쳐 인식기를 포함하지 않는다.

하나 이상의 제스쳐 인식기들의 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 일부 실시예들에서, 모든 제스쳐 인식기들이 대응하는 델리게이트를 갖는 것은 아니다(즉, 일부 실시예들에서, 일부 제스쳐 인식기들은 대응하는 델리게이트를 갖지 않는다). 일부 실시예들에서, 각각의 제스쳐 인식기는 2개 이상의 델리게이트에 대응하고, 여기서, 각각의 델리게이트는 별개의 조건들에 대해 대응하는 제스쳐 인식기에 대한 별개의 값을 결정한다(예를 들어, 제1 델리게이트는 "수신해야 하는가"(450)를 결정하고, 제2 델리게이트는 "인식 차단"(451)을 결정하는 등등). 일부 실시예들에서, 2개 이상의 제스쳐 인식기들은 동일한 델리게이트에 대응(예를 들어, 이용)한다.

일부 실시예들에서, 장치는 각각의 델리게이트(예를 들어, 델리게이트(321-1))를 각각의 제스쳐 인식기(예를 들어, 320-1)(예를 들어, 도 5b의 단계(532)의 설명 참조)에 할당한다(606). 대안으로서, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가지므로, 델리게이트는 런타임시에 할당될 필요가 없다. 이벤트/제스쳐 인식기의 할당된 델리게이트에 대한 여기서의 모든 참조는 이벤트/제스쳐 인식기의 대응하는 델리게이트에 동등하게 적용가능한 것으로 이해되어야 하며, 대응하는 델리게이트에 대한 모든 참조는 할당된 델리게이트에 동등하게 적용가능한 것으로 이해되어야 한다.

일부 실시예들에서, 하나 이상의 디스플레이된 뷰들은 복수의 제스쳐 인식기들을 포함하고, 장치는 복수의 제스쳐 인식기들의 적어도 서브세트에 별개의 델리게이트를 할당한다(608). 즉, 일부 제스쳐 인식기들은 델리게이트를 할당받지 않을 수도 있기 때문에, 장치는 제스쳐 인식기의 수보다 적은 수의 델리게이트를 가질 수도 있다.

장치는 하나 이상의 이벤트를 검출한다(610). 일부 실시예들에서, 장치는 센서(130), 입력 장치(128), 및/또는 터치 감응 디스플레이(156)를 이용하여 하나 이상의 이벤트를 검출한다.

장치는 각각의 제스쳐 인식기를 이용하여 하나 이상의 이벤트들의 각각의 이벤트를 처리한다(612). 각각의 이벤트의 처리는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 처리하는 것(예를 들어, 이벤트 비교기(332)를 이용하여 이벤트와 제스쳐 정의(333)를 비교하는 것), 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 대응하는 델리게이트를 실행하는 것(예를 들어, 도 5b의 540), 및 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보(예를 들어, 제스쳐 인식기가 "탭 제스쳐" 또는 "스와이프 제스쳐"와 같은 이벤트를 인식할지의 여부, 이벤트의 위치 및 타임 스탬프와 같은 관련된 이벤트 정보, 및/또는 기타의 추가 정보)를 소프트웨어 애플리케이션에 조건부로 전송하는 것을 포함한다.

일부 실시예들에서, 델리게이트는 ("시작해야 하는가", "수신해야 하는가", 및 "동시 인식"과 같은) 이벤트 인식기 속성을 결정하고, 실행시에, 하나 이상의 대응하는 값을 반환하기 위한 명령어를 가진다. 일부 실시예들에서, 이벤트 인식기 속성에 대한 값은 애플리케이션 상태에 따라 소프트웨어 애플리케이션에 의해 설정될 수 있다. 일부 실시예들에서, 속성에 대한 값은 개발자에 의해 미리정의된다. 일부 실시예들에서, 각각의 이벤트/제스쳐 인식기의 내부 속성은 이벤트/제스쳐 인식기에 대응하는 델리게이트에 의해 무효화될 수 있는 디폴트 값을 가진다.

예를 들어, 제스쳐 인식기가 (예를 들어, 제스쳐 인식기의 대응하는 델리게이트에 의해 결정된, 제스쳐 인식기가 이벤트 가능 상태(410)를 벗어나 이벤트 인식 상태(420) 또는 이벤트 개시 상태(412)로 천이할 수 있는지의 여부, 또는 제스쳐 인식기가 차단 제스쳐 인식기의 존재에도 불구하고 이벤트를 동시에 인식할 수 있는지의 여부를 가리키는 하나 이상의 값에 기초하여) 이벤트를 인식하도록 허용될 때, 장치는 각각의 이벤트에 대응하는 정보를 전송한다. 일부 실시예들에서, 장치는, 이벤트가 대응하는 제스쳐 정보 또는 그 일부와 정합할 때에만, 각각의 이벤트에 대응하는 정보를 전송한다. 또한, 애플리케이션 상태 또는 기타의 조건은 각각의 제스쳐 인식기가 각각의 이벤트에 대응하는 정보를 전송하는 것을 방지할 수도 있다.

장치는, 각각의 제스쳐 인식기로부터 수신되고 각각의 이벤트에 대응하는 정보에 따라, 소프트웨어 애플리케이션(예를 들어, 132-1)을 실행한다(614). 예를 들어, 소프트웨어 애플리케이션(예를 들어, 132-1)은 복수의 이벤트 처리기(322)를 포함하고, 하나 이상의 이벤트 처리기(322)는 각각의 제스쳐 인식기로부터 수신된 정보에 따라 활성화된다(예를 들어, 액션-타겟 쌍(345)에 나열된 이벤트 처리기(322)가 활성화된다).

일부 실시예들에서, 하나 이상의 이벤트 센서(예를 들어, 130)는 하나 이상의 터치를 검출하도록 구성된 터치 감응면(예를 들어, 156 또는 별개의 센서 감응면)을 포함하고, 하나 이상의 이벤트는 하나 이상의 터치를 포함하며, 각각의 이벤트를 처리하는 것은 각각의 터치를 처리하는 것을 포함한다(616). 일부 실시예들에서, 하나 이상의 이벤트 센서(예를 들어, 130)는 가속도계를 포함하고, 하나 이상의 이벤트는 또한 전자 장치의 회전이나 기타의 움직임을 포함한다.

일부 실시예들에서, 장치는 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라 각각의 제스쳐 인식기에서 각각의 터치를 조건부로 수신한다(618). 예를 들어, 각각의 제스쳐 인식기는, 대응하는 델리게이트에 의해 결정된 하나 이상의 값(예를 들어, "수신 터치값")이 각각의 제스쳐 인식기가 각각의 터치를 수신하는 것을 허용할 때에만(예를 들어, 도 4c-4d의 "수신해야 하는가"(450)), 각각의 터치를 수신한다.

일부 실시예들에서, 각각의 터치를 처리하는 것은, 대응하는 델리게이트에 의해 결정된 하나 이상의 값이 미리정의된 터치 무시 기준과 정합할 때 각각의 제스쳐 인식기가 터치를 무시하는 것을 포함한다(620). 이들 실시예들에서, 단계(618)에 기술된 바와 같이 각각의 터치를 조건부로 수신하는 것 대신에, 각각의 제스쳐 인식기는 각각의 터치를 무시한다.

일부 실시예들에서, 각각의 터치를 처리하는 것은, 대응하는 델리게이트에 의해 결정된 하나 이상의 값이 미리정의된 터치 무시 기준과 정합할 때 각각의 제스쳐 인식기가 각각의 터치를 수신하는 것을 차단하는 것을 포함한다(622). 이들 실시예들에서, 각각의 터치는 차단되고 그에 따라 각각의 제스쳐 인식기에 도달하지 않기 때문에, 제스쳐 인식기는 각각의 터치를 조건부로 수신하거나 무시할 필요성을 갖지 않는다. 일부 실시예들에서, 각각의 제스쳐 인식기가 각각의 터치를 수신하는 것을 차단하는 것은, 이벤트 디스패처 모듈(315)이 대응하는 제스쳐 인식기에 이벤트 정보를 전송하지 않도록 명령하는 것을 포함한다.

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때(예를 들어, 각각의 터치가 제스쳐 정의 또는 그 일부와 정합할 때), 대응하는 델리게이트에 의해 상태 천이가 인에이블되면(예를 들어, 도 4c-4d에서 "시작해야 하는가"(454)) 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 인에이블하는 것을 포함한다(624). 일부 실시예들에서, 상태 천이는, 상태 천이 인에이블 값(예를 들어, "시작해야 하는가" 값)이 대응하는 델리게이트에 의해 상태 천이 기준을 만족한다고 판정될 때 인에이블된다.

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때, 대응하는 델리게이트에 의해 상태 천이가 인에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블하는 것을 포함한다(626). 즉, 상태 천이는, 대응하는 델리게이트가 천이를 인에이블하더라도(예를 들어, 차단하지 않더라도) 조건부로 인에이블된다. 예를 들어, 상태 천이에 대한 조건은: 각각의 터치/이벤트가 제스쳐 정의 또는 그 일부와 정합하는지의 여부, 각각의 제스쳐 인식기가 각각의 터치/이벤트를 수신하는 것이 허용되어 있는지의 여부, 및/또는 각각의 터치/이벤트의 인식이 차단되어 있는지의 여부를 포함한다.

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때, 제스쳐를 인식한 또 다른 제스쳐 인식기에 의해 상태 천이가 방지/디스에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 (조건부로) 디스에이블하는 것을 포함한다. 특히, 제스쳐 인식기들은 쌍을 이루어(또는 그룹화되어) 하나의 제스쳐 인식기가 다른 제스쳐 인식기(들)이 이벤트 인식 상태(420) 또는 이벤트 개시 상태(412)로 천이하지 못하게 할 수 있다(예를 들어, 제1 제스쳐 인식기가 제2 제스쳐 인식기를 방지하도록 구성되면, 이벤트/터치 인식시에, 제2 제스쳐 인식기에 대응하는 델리게이트에 의해 반환된 값에 관계없이, 제1 제스쳐 인식기는 제2 제스쳐 인식기가 이벤트/터치를 인식하지 못하게 한다).

일부 실시예들에서, 복수의 제스쳐 인식기들이 우선순위(예를 들어, 코드의 시퀀스, 인스턴스화의 시퀀스, 각각의 제스쳐 인식기에 대응하는 뷰 계층구조, 또는 개발자나 소프트웨어 애플리케이션에 의해 할당된 우선순위)에 기초하여 나열된다. 2개 이상의 제스쳐 인식기가 각각의 터치를 동시에 인식할 때, 가장 높은 우선순위의 제스쳐 인식기는 다른 모든 제스쳐 인식기들이 각각의 터치를 인식하는 것을 차단한다.

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 제2 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리하는 것을 포함한다(628). 예를 들어, 제2 제스쳐 인식기에 대응하는 델리게이트는, 또 다른 제스쳐 인식기가 이벤트의 인식을 차단하더라도, 제2 제스쳐 인식기가 제2 제스쳐 인식기에서 제스쳐를 처리하는 것을 허용할 수도 있다(예를 들어, 도 4c-4d에서 단계(452)).

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 각각의 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리하는 것을 포함한다(630). 예를 들어, 제스쳐 인식기에 대응하는 델리게이트는, 또 다른 제스쳐 인식기가 이벤트의 인식을 차단하더라도, 제2 제스쳐 인식기가 제2 제스쳐 인식기에서 제스쳐를 처리하는 것을 허용할 수도 있다(예를 들어, 도 4c-4d에서 단계 455 및 456).

일부 실시예들에서, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 제1 및 제2 제스쳐 인식기에 각각 대응하는 델리게이트에 의해 결정된 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리하는 것을 포함한다.

도 7a 및 도 7b는 일부 실시예들에 따른, 델리게이트로부터 얻어진 수신 터치값에 따라 각각의 터치를 처리하는 예시적 방법을 나타내는 플로차트이다.

복수의 뷰들(예를 들어, 316)과 소프트웨어 애플리케이션의 애플리케이션 상태(예를 들어, 317)를 포함하는 소프트웨어 애플리케이션을 실행하도록 구성되고 터치 감응면(예를 들어, 156)을 갖는 전자 장치(예를 들어, 장치(104))에서 방법(700)이 수행된다(702).

장치는 복수의 뷰들(예를 들어, 316) 중에서 하나 이상의 뷰를 디스플레이한다(704). 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 제스쳐 인식기(예를 들어, 320-1, 또는 343-2)를 포함하고, 하나 이상의 제스쳐 인식기들의 각각의 제스쳐 인식기는 대응하는 델리게이트(예를 들어, 321-1 또는 346)를 가진다.

장치는 터치 감응면(예를 들어, 156 또는 130) 상의 하나 이상의 터치를 검출한다(706). 하나 이상의 터치들 각각은 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다.

장치는 하나 이상의 터치의 각각의 터치를 처리한다(708)(예를 들어, 이벤트 비교기(332)를 이용하여 각각의 터치가 제스쳐 정의(333)와 정합하는지의 여부를 판정(453)하는 것). 각각의 터치를 처리하는 것은, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하는 것(710)(예를 들어, 도 5c의 550); 수신 터치값이 미리정의된 기준(예를 들어, 일부 실시예에서 미리정의된 기준은 각각의 제스쳐 인식기가 수신 제스쳐 인식기인 것임(552))을 만족하면, 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것(예를 들어, 554); 및 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하는 것(예를 들어, 542)을 포함한다.

일부 실시예들에서, 복수의 뷰들은 복수의 제스쳐 인식기(예를 들어, 도 3b의 애플리케이션 뷰(316) 및 인식기(320); 도 5a의 뷰(508, 510, 및 512) 및 제스쳐 인식기(516))를 포함한다(712). 별개의 델리게이트들은 복수의 제스쳐 인식기들의 적어도 서브세트에 대응한다. 선택적으로, 장치는 별개의 델리게이트(예를 들어, 321)를 복수의 제스쳐 인식기(예를 들어, 320)의 적어도 서브세트에 할당한다. 하나 이상의 터치의 각각의 터치를 처리하는 것은: 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별하는 것(예를 들어, 548); 대응하는 델리게이트를 갖는 각각의 후보 제스쳐 인식기에 대해, 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 대응하는 델리게이트를 실행하는 것(예를 들어, 550); 얻어진 수신 터치값에 따라 후보 제스쳐 인식기들의 서브세트를 포함하는 하나 이상의 수신 제스쳐 인식기들을 식별하는 것(예를 들어, 552); 및 하나 이상의 수신 제스쳐 인식기의 각 제스쳐 인식기에서 각각의 터치를 처리하는 것(예를 들어, 554)을 포함한다.

일부 실시예들에서, 복수의 제스쳐 인식기들 중 후보 제스쳐 인식기 세트를 식별하는 것은, 히트 뷰에 부착된 한 세트의 제스쳐 인식기를 식별하는 것을 포함한다. 선택적으로, 복수의 제스쳐 인식기들 중 후보 제스쳐 인식기 세트를 식별하는 것은, 각각의 터치에 대응하는 제스쳐 정의를 포함하는 한 세트의 제스쳐 인식기를 식별하는 것을 포함한다. 또한, 일부 실시예들에서 수신 제스쳐 인식기 세트를 식별하는 것은, 대응하는 델리게이트가 수신 터치 기준을 만족하는 각각의 수신 터치 값을 제공하는 후보 제스쳐 인식기 서브세트를 식별하는 것을 포함한다(예를 들어, 수신 터치값은 대응하는 제스쳐 인식기가 각각의 터치를 수신할 수 있다는 것을 가리킨다).

일부 실시예들에서, 하나 이상의 수신 제스쳐 인식기의 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 대응하는 델리게이트를 갖는 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 델리게이트를 실행하며, 각각의 제스쳐 인식기에 의한 각각의 터치의 처리의 결과에 따라, 및 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하는 것을 포함한다(718). 장치는, 하나 이상의 터치에 대응하고 하나 이상의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행한다.

일부 실시예들에서, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때(예를 들어, 각각의 터치가 제스쳐 정의 또는 그 일부와 정합할 때), 대응하는 델리게이트에 의해 상태 천이가 인에이블되면(예를 들어, 도 4c-4d에서 "시작해야 하는가"(454)) 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 인에이블하는 것을 포함한다(720).

일부 실시예들에서, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때, 대응하는 델리게이트에 의해 상태 천이가 인에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블하는 것을 포함한다(722). 예를 들어, 상태 천이에 대한 조건은, 각각의 터치/이벤트가 제스쳐 정의 또는 그 일부와 정합하는지의 여부, 각각의 제스쳐 인식기가 각각의 터치/이벤트를 수신하는 것이 허용되어 있는지의 여부, 각각의 터치/이벤트의 인식이 차단되어 있는지의 여부, 및/또는 시스템 레벨 명령어(예를 들어, 셧다운 프로세스 또는 애플리케이션보다 높은 우선권을 갖는 기타의 프로세스)가 상태 천이를 방지하는지의 여부를 포함한다.

일부 실시예들에서, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 제2 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리하는 것을 포함한다(724). 예를 들어, 제2 제스쳐 인식기에 대응하는 델리게이트는, 제2 제스쳐 인식기가 제2 제스쳐 인식기에서 제스쳐를 처리하는 것을 허용할 수도 있다(예를 들어, 도 4c-4d에서 단계(452)).

일부 실시예들에서, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 것은, 각각의 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리하는 것(예를 들어, 도 4c-4d의 단계들(455 및 456))을 포함한다(726).

장치는, 각각의 제스쳐 인식기로부터 수신되고 각각의 터치에 대응하는 정보에 따라, 소프트웨어 애플리케이션을 실행한다(716)(예를 들어, 545). 예를 들어, 소프트웨어 애플리케이션(예를 들어, 132-1)은 복수의 이벤트 처리기(322)를 포함하고, 하나 이상의 이벤트 처리기(322)는 각각의 제스쳐 인식기로부터 수신된 정보에 따라 활성화된다(예를 들어, 액션-타겟 쌍(345)에 나열된 이벤트 처리기(322)가 활성화된다).

도 8a 및 도 8b는 일부 실시예들에 따른, 이산 제스쳐 인식기와 연속 제스쳐 인식기를 포함하는 소프트웨어 애플리케이션에서 각각의 터치를 처리하는 예시적 방법을 나타내는 플로차트이다.

소프트웨어 애플리케이션을 실행하도록 구성되고 터치 감응면을 갖는 전자 장치(예를 들어, 장치(104))에서 방법(800)이 수행된다(802).

디스플레이는 소프트웨어 애플리케이션(예를 들어, 132-1)의 하나 이상의 뷰들(예를 들어, 316)을 디스플레이한다(804). 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기(예를 들어, 320)를 포함한다. 복수의 제스쳐 인식기는 적어도 하나의 이산 제스쳐 인식기(예를 들어, 도 4a 및 도 4c)와 적어도 하나의 연속 제스쳐 인식기(예를 들어, 도 4b 및 도 4d)를 포함한다.

일부 실시예들에서, 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다.

일부 실시예들에서, 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일 세트의 액션 메시지를 전송하도록 구성된다. 복수의 타겟-액션 쌍이 각각의 이산 제스쳐 인식기에 할당될 때, 단일 세트의 액션 메시지는 복수의 액션 메시지를 포함한다. 단일 타겟-액션 쌍이 각각의 이산 제스쳐 인식기에 할당될 때, 단일 세트의 액션 메시지는 단일 액션 메시지를 포함한다.

일부 실시예들에서, 각각의 제스쳐 인식기는 한 세트의 제스쳐 인식기 상태(예를 들어, 도 4a-4d)를 가진다(822).

일부 실시예들에서, 이산 제스쳐 인식기는 하기의 상태들을 포함하는 제1 세트의 제스쳐 인식기 상태를 가진다(824):

● 제스쳐 가능 상태(410), 이산 제스쳐 인식기의 초기 상태에 대응;

● 제스쳐 인식 상태(420), 각각의 제스쳐의 인식에 대응; 및

● 제스쳐 실패 상태(430), 하나 이상의 터치를 각각의 제스쳐로서 인식하는 이산 제스쳐 인식기의 실패에 대응.

일부 실시예들에서, 연속 제스쳐 인식기는 하기 상태들을 포함하는 제2 세트의 제스쳐 인식기 상태를 가진다:

● 제스쳐 가능 상태(410), 연속 제스쳐 인식기의 초기 상태에 대응;

● 제스쳐 개시 상태(412), 각각의 제스쳐의 초기 인식에 대응;

● 제스쳐 변경 상태(414), 각각의 터치의 위치에서의 각각의 변화에 대응;

● 제스쳐 종료 상태(416), 각각의 인식된 제스쳐의 완료에 대응;

● 제스쳐 취소 상태(418), 각각의 제스쳐의 인식의 중단에 대응; 및

● 제스쳐 실패 상태(430), 하나 이상의 터치를 각각의 제스쳐로서 인식하는 연속 제스쳐 인식기의 실패에 대응.

일부 실시예들에서, 제스쳐 인식기 상태는 할당된 값(예를 들어, 제스쳐 인식기 상태값))을 가진다. 일부 실시예들에서, 제스쳐 인식 상태 및 제스쳐 종료 상태는 동일한 제스쳐 인식기 상태값을 가진다(826).

일부 실시예들에서, 적어도 하나의 이산 제스쳐 인식기는, 하나 이상의 탭 제스쳐 인식기, 및 스와이프 제스쳐 인식기를 포함하고, 적어도 하나의 연속 제스쳐 인식기는, 하나 이상의 길게 누름 제스쳐 인식기, 핀치 제스쳐 인식기, 팬 제스쳐 인식기, 회전 제스쳐 인식기, 및 변형 제스쳐 인식기를 포함한다(828).

일부 실시예들에서, 적어도 하나의 이산 제스쳐 인식기는, 탭 제스쳐 인식기, 및 스와이프 제스쳐 인식기를 포함하고, 적어도 하나의 연속 제스쳐 인식기는, 길게 누름 제스쳐 인식기, 핀치 제스쳐 인식기, 팬 제스쳐 인식기, 회전 제스쳐 인식기, 및 변형 제스쳐 인식기를 포함한다(830).

탭 제스쳐 인식기는 탭 제스쳐를 인식하도록 구성되고; 스와이프 제스쳐 인식기는 스와이프 제스쳐(예를 들어, 터치 감응면 상의 터치의 플리커)를 인식하도록 구성되며; 길게 누름 제스쳐 인식기는 길게 누름 제스쳐(예를 들어, 터치의 누름과 유지)를 인식하도록 구성되고, 핀치 제스쳐 인식기는 핀치 제스쳐(예를 들어, 2개 이상의 터치의 접촉 및 상태적 이동)를 인식하도록 구성되고, 팬 제스쳐 인식기는 팬 제스쳐(예를 들어, 하나 이상의 터치의 터치 및 코히어런트 움직임)를 인식하도록 구성되고, 회전 제스쳐 인식기는 회전(예를 들어, 2개 이상의 터치의 접촉과 회전 이동)을 인식하도록 구성되고; 변형 제스쳐 인식기는 변형 제스쳐(예를 들어, 팬, 회전, 및 핀치를 나타내는 2개 이상의 터치의 동시 움직임)를 인식하도록 구성된다.

일부 실시예들에서, 적어도 하나의 이산 제스쳐 인식기(예를 들어, 하나 이상의 앞서 언급한 이산 제스쳐 인식기)와 적어도 하나의 연속 제스쳐 인식기(예를 들어, 하나 이상의 앞서 언급한 연속 제스쳐 인식기)는, 소프트웨어 라이브러리로 배포되어, 소프트웨어 개발자들이 그 소프트웨어 라이브러리를 이용하여 이들을 임의의 서드 파티 소프트웨어에 통합할 수 있게 한다. 비교하여, 뷰들은 뷰 스타일(예를 들어, 사용자 인터페이스 객체 및 프레임의 색상, 크기, 및 형상)을 가진다. 일부 실시예들에서, 미리정의된 뷰 스타일은, UI 인터페이스 API(예를 들어, 도 2의 204)의 일부로서 배포되어, 소프트웨어 개발자들이 소프트웨어 라이브러리(또는 템플릿)를 이용함으로써 미리정의된 뷰 스타일을 갖는 소프트웨어 애플리케이션을 개발할 수 있게 한다.

장치는 하나 이상의 터치를 검출한다(도 8a의 808). 일부 실시예들에서, 장치는, 센서(130), 입력 장치(128), 및/또는 터치 감응 디스플레이(156)를 이용하여 하나 이상의 이벤트를 검출한다.

장치는 하나 이상의 제스쳐 인식기를 이용하여 터치들 각각을 처리한다(810). 각각의 터치의 처리는, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 것(예를 들어, 이벤트 비교기(332)를 이용하여 이벤트와 제스쳐 정의(333)를 비교하고, 이벤트가 제스쳐 정의(333) 또는 그 일부와 정합하는지를 결정하는 것), 및 각각의 제스쳐 인식기에서의 각각의 터치의 처리 결과에 따라 소프트웨어 애플리케이션에 하나 이상의 각각의 액션 메시지를 조건부로 전송하는 것(예를 들어, 각각의 터치가 제스쳐 정의와 정합할 때 액션 메시지를 전송하는 것)을 포함한다(812).

일부 실시예들에서, 소프트웨어 애플리케이션은 애플리케이션 상태를 가진다(814). 하나 이상의 각각의 액션 메시지를 조건부로 전송하는 것은, 추가로 소프트웨어 애플리케이션의 애플리케이션 상태에 따라 하나 이상의 각각의 액션 메시지를 조건부로 전송하는 것을 포함한다. 예를 들어, 소프트웨어 애플리케이션의 애플리케이션 상태는 하나 이상의 각각의 액션 메시지의 전송을 지연하거나 방지할 수도 있다(예를 들어, 시스템 자원이 과도이용될 때, 더 높은 우선순위의 프로세스가 처리될 필요가 있을 때 등).

장치는, 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행한다(816). 예를 들어, 소프트웨어 애플리케이션(예를 들어, 132-1)은 복수의 이벤트 처리기(322)를 포함하고, 하나 이상의 이벤트 처리기(322)는 하나 이상의 제스쳐 인식기로부터 수신된 액션 메시지에 따라 활성화된다.

일부 실시예들에서, 장치는 각각의 제스쳐 인식기로부터 추가의 정보를 요청한다(818). 소프트웨어 애플리케이션을 실행하는 것은, 추가로 추가 정보에 따라 소프트웨어 애플리케이션을 실행하는 것을 포함한다. 예를 들어, 각각의 제스쳐 인식기는 추가 정보(예를 들어, 각각의 서브-이벤트에 대한 타임 스탬프, 지터의 양, 속도, 방향, 지속기간, 스케일 팩터, 각도 등과 같은 상세 정보)를 제공할 수 있다.

일부 실시예들에서, 추가 정보는 각각의 제스쳐 인식기에서 처리되는 각각의 터치의 수와 위치를 포함한다(820).

일부 실시예들에 따라, 도 9는 전술된 본 발명의 원리에 따라 구성된 전자 장치(900)의 기능 블록도를 도시한다. 장치의 기능 블록들은, 본 발명의 원리를 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수도 있다. 당업자라면, 도 9에 기술된 기능 블록들은 전술된 본 발명의 원리를 구현하기 위해 결합되거나 서브-블록들로 분리될 수도 있다는 것을 이해할 것이다. 따라서, 여기서의 설명은 여기서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가의 정의를 지원할 수도 있다.

도 9에 도시된 바와 같이, 전자 장치(900)는 하나 이상의 이벤트를 감지하도록 구성된 하나 이상의 이벤트 감지 유닛(902)과, 하나 이상의 이벤트 감지 유닛(902)에 결합된 처리 유닛(906)을 포함한다. 일부 실시예들에서, 전자 장치는 또한 처리 유닛(906)에 결합된 디스플레이 유닛(904)을 포함한다. 일부 실시예들에서, 처리 유닛(906)은, 실행 유닛(908), 디스플레이 인에이블 유닛(910), 검출 유닛(912), 이벤트 처리 유닛(914), 전송 유닛(916), 인식기 인에이블 유닛(918), 차단 유닛(920), 및 할당 유닛(922)을 포함한다.

처리 유닛(906)은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 (예를 들어, 실행 유닛(908)에 의해) 실행하고, 복수의 뷰들 중 하나 이상의 뷰의 디스플레이를 (예를 들어, 디스플레이 유닛(904) 상의 디스플레이 인에이블 유닛(910)에 의해) 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰들의 각각의 뷰는 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 처리 유닛은(906), 하나 이상의 이벤트 감지 유닛(902)에 의해 감지된 하나 이상의 이벤트를 (예를 들어, 검출 유닛(912)에 의해) 검출하고, 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 이벤트를 (예를 들어, 이벤트 처리 유닛(914)에 의해) 처리하고, 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 대응하는 델리게이트를 (예를 들어, 실행 유닛(908에 의해) 실행하며, 각각의 제스쳐 인식기에 의한 각각의 이벤트의 처리의 결과에 따라 그리고 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 이벤트에 대응하는 정보를 (예를 들어, 전송 유닛(916)에 의해) 소프트웨어 애플리케이션에 조건부로 전송함으로써, 각각의 제스쳐 인식기를 이용하여 하나 이상의 이벤트의 각각의 이벤트를 (예를 들어, 이벤트 처리 유닛(914)에 의해) 처리한다. 처리 유닛은(906), 각각의 이벤트에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 (예를 들어, 실행 유닛(908)에 의해) 실행하도록 구성된다.

일부 실시예들에서, 하나 이상의 이벤트 감지 유닛(908)은 하나 이상의 터치를 검출하도록 구성된 터치 감응면 유닛(예를 들어, 도 10의 터치 감응면 유닛(1002))을 포함하고, 하나 이상의 이벤트는 하나 이상의 터치를 포함하며, 처리 유닛(906)은 각각의 터치를 (예를 들어, 이벤트 처리 유닛(914)에 의해) 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, 각각의 제스쳐 인식기가, 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 각각의 터치를 조건부로 수신하는 것을 (예를 들어, 인식기 인에이블 유닛(918)에 의해) 인에이블하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914) 및/또는 인식기 인에이블 유닛(918)에 의해) 대응하는 델리게이트에 의해 결정된 하나 이상의 값이 미리정의된 터치 무시 기준과 정합할 때 각각의 제스쳐 인식기가 각각의 터치를 무시하는 것을 인에이블함으로써 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914) 및/또는 차단 유닛(920)에 의해) 대응하는 델리게이트에 의해 결정된 하나 이상의 값이 미리정의된 터치 무시 기준과 정합할 때 각각의 제스쳐 인식기가 각각의 터치를 수신하는 것을 차단함으로써 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914) 및/또는 이벤트 인에이블 유닛(918)에 의해) 검출된 터치가 각각의 제스쳐 정의와 일치할 때, 대응하는 델리게이트에 의해 상태 천이가 인에이블된 경우 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 인에이블함으로써 각각의 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914) 및/또는 이벤트 인에이블 유닛(918)에 의해) 검출된 터치가 각각의 제스쳐 정의와 일치할 때, 대응하는 델리게이트에 의해 상태 천이가 인에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블함으로써, 각각의 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914)에 의해), 제2 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리함으로써, 각각의 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(906)은, (예를 들어, 이벤트 처리 유닛(914)에 의해), 각각의 제스쳐 인식기에 대응하는 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리함으로써 각각의 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 하나 이상의 디스플레이된 뷰들은 복수의 제스쳐 인식기들을 포함하고, 처리 유닛(906)은, (예를 들어, 할당 유닛(922)에 의해) 복수의 제스쳐 인식기들의 적어도 서브세트에 별개의 델리게이트를 할당하도록 구성된다.

일부 실시예들에 따라, 도 10은 전술된 본 발명의 원리에 따라 구성된 전자 장치(1000)의 기능 블록도를 도시한다. 장치의 기능 블록들은, 본 발명의 원리를 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수도 있다. 당업자라면, 도 10에 기술된 기능 블록들은 전술된 본 발명의 원리를 구현하기 위해 결합되거나 서브-블록들로 분리될 수도 있다는 것을 이해할 것이다. 따라서, 여기서의 설명은 여기서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가의 정의를 지원할 수도 있다.

도 10에 도시된 바와 같이, 전자 장치(1000)는 하나 이상의 터치를 수신하도록 구성된 터치 감응면 유닛(1002)과, 터치 감응면 유닛(1002)에 결합된 처리 유닛(1006)을 포함한다. 일부 실시예들에서, 전자 장치(1000)는 또한 처리 유닛(1006)에 결합된 디스플레이 유닛(1004)을 포함한다. 일부 실시예들에서, 처리 유닛(1006)은, 실행 유닛(1008), 디스플레이 인에이블 유닛(1010), 검출 유닛(1012), 터치 처리 유닛(1014), 전송 유닛(1016), 할당 유닛(1018), 식별 유닛(1020), 및 인식기 인에이블 유닛(1022)을 포함한다.

처리 유닛(1006)은, 복수의 뷰와 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하는 소프트웨어 애플리케이션을 (예를 들어, 실행 유닛(1008)에 의해) 실행하고, 복수의 뷰들 중 하나 이상의 뷰의 디스플레이를 (예를 들어, 디스플레이 유닛(1004) 상의 디스플레이 인에이블 유닛(1010)에 의해) 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가진다. 처리 유닛(1006)은, (예를 들어, 검출 유닛(1012)에 의해) 터치 감응면 유닛(1002) 상에서 수신된 하나 이상의 터치를 검출하도록 구성된다. 각각의 터치는 하나 이상의 디스플레이된 뷰들 내에 떨어지는 터치 위치를 가진다. 처리 유닛(1006)은, (예를 들어, 실행 유닛(1008)에 의해) 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행하고, 수신 터치값이 미리정의된 기준을 만족하면, (예를 들어, 터치 처리 유닛(1014)에 의해) 각각의 제스쳐 인식기에서 각각의 터치를 처리하며, (예를 들어, 전송 유닛(1016)에 의해) 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송함으로써 하나 이상의 터치의 각각의 터치를 처리하도록 구성된다. 처리 유닛(1006)은, (예를 들어, 실행 유닛(1008)에 의해) 각각의 터치에 대응하는, 각각의 제스쳐 인식기로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

일부 실시예들에서, 복수의 뷰들은 복수의 제스쳐 인식기들을 포함한다. 처리 유닛(1006)은, (예를 들어, 할당 유닛(1018)에 의해) 복수의 제스쳐 인식기들 중 적어도 서브세트에 별개의 델리게이트를 할당하고, (예를 들어, 식별 유닛(1020)에 의해) 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별하고; 할당된 델리게이트를 갖는 각각의 후보 제스쳐 인식기에 대해, (예를 들어, 실행 유닛(1008)에 의해) 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 할당된 델리게이트를 실행하고; (예를 들어, 식별 유닛(1020)에 의해) 얻어진 수신 터치값에 따라 후보 제스쳐 인식기들의 서브세트를 포함하는 하나 이상의 수신 제스쳐 인식기들을 식별하며; (예를 들어, 터치 처리 유닛(1014)에 의해) 하나 이상의 수신 제스쳐 인식기의 각 제스쳐 인식기에서 각각의 터치를 처리함으로써, 하나 이상의 터치들의 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(1006)은, (예를 들어, 터치 처리 유닛(1014)에 의해) 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 델리게이트가 할당된 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하고, (예를 들어, 실행 유닛(1008)에 의해) 애플리케이션 상태에 따라 하나 이상의 값을 결정하기 위해 할당된 델리게이트를 실행하고, (예를 들어, 전송 유닛(1016)에 의해) 각각의 제스쳐 인식기에 의한 각각의 터치의 처리 결과에 따라, 및 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라, 각각의 터치에 대응하는 정보를 소프트웨어 애플리케이션에 조건부로 전송하고, (예를 들어, 실행 유닛(1008)에 의해) 하나 이상의 터치에 대응하는, 하나 이상의 수신 제스쳐 인식기들로부터 수신된 정보에 따라 소프트웨어 애플리케이션을 실행함으로써, 하나 이상의 수신 제스쳐 인식기의 각각의 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(1006)은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때, (예를 들어, 인식기 인에이블 유닛(1022)에 의해) 할당된 델리게이트에 의해 상태 천이가 인에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 인에이블함으로써, 각각의 수신 제스쳐 인식기에서의 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(1006)은, 검출된 터치가 각각의 제스쳐 정의와 일치할 때, (예를 들어, 인식기 인에이블 유닛(1022)에 의해) 할당된 델리게이트에 의해 상태 천이가 인에이블되면 각각의 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블함으로써, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(1006)은, (예를 들어, 터치 처리 유닛(1014)에 의해) 제2 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리함으로써, 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에서, 처리 유닛(1006)은, (예를 들어, 터치 처리 유닛(1014)에 의해), 각각의 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라 제2 제스쳐 인식기에서 각각의 터치를 동시에 처리함으로써 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하도록 구성된다.

일부 실시예들에 따라, 도 11은 전술된 본 발명의 원리에 따라 구성된 전자 장치(1100)의 기능 블록도를 도시한다. 장치의 기능 블록들은, 본 발명의 원리를 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수도 있다. 당업자라면, 도 11에 기술된 기능 블록들은 전술된 본 발명의 원리를 구현하기 위해 결합되거나 서브-블록들로 분리될 수도 있다는 것을 이해할 것이다. 따라서, 여기서의 설명은 여기서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가의 정의를 지원할 수도 있다.

도 11에 도시된 바와 같이, 전자 장치(1100)는 하나 이상의 터치를 수신하도록 구성된 터치 감응면 유닛(1102)과, 터치 감응면 유닛(1102)에 결합된 처리 유닛(1106)을 포함한다. 일부 실시예들에서, 전자 장치(1100)는 또한 처리 유닛(1106)에 결합된 디스플레이 유닛(1104)을 포함한다. 일부 실시예들에서, 처리 유닛(1106)은, 실행 유닛(1108), 디스플레이 인에이블 유닛(1110), 검출 유닛(1112), 터치 처리 유닛(1114), 전송 유닛(1116), 및 요청 유닛(1118)을 포함한다.

처리 유닛(1106)은, (예를 들어, 실행 유닛(1108)에 의해) 소프트웨어 애플리케이션을 실행하고, (예를 들어, 디스플레이 유닛(1104) 상의 디스플레이 인에이블 유닛(1110)에 의해) 소프트웨어 애플리케이션의 하나 이상의 뷰의 디스플레이를 인에이블하도록 구성된다. 하나 이상의 디스플레이된 뷰는 복수의 제스쳐 인식기를 포함하고, 복수의 제스쳐 인식기는 적어도 하나의 이산 제스쳐 인식기와 적어도 하나의 연속 제스쳐 인식기를 포함한다. 이산 제스쳐 인식기는 각각의 제스쳐에 응답하여 단일의 액션 메시지를 전송하도록 구성되고, 연속 제스쳐 인식기는 각각의 인식된 제스쳐의 연속 인식된 서브-이벤트들에서 액션 메시지를 전송하도록 구성된다. 처리 유닛(1106)은, (예를 들어, 검출 유닛(1112)에 의해) 터치 감응면 유닛(1102) 상에서 수신된 하나 이상의 터치를 검출하고, (예를 들어, 터치 처리 유닛(1114)에 의해) 하나 이상의 제스쳐 인식기를 이용하여 각각의 터치를 처리하도록 구성된다. 처리 유닛(1106)은, (예를 들어, 터치 처리 유닛(1114)에 의해) 각각의 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 각각의 제스쳐 인식기에서 각각의 터치를 처리하고, (예를 들어, 전송 유닛(1116)에 의해) 각각의 제스쳐 인식기에서의 각각의 터치의 처리의 결과에 따라 하나 이상의 각각의 액션 메시지를 소프트웨어 애플리케이션에 조건부로 전송함으로써, 각각의 터치를 처리하도록 구성된다. 처리 유닛(1106)은, (예를 들어, 실행 유닛(1108)에 의해) 하나 이상의 터치에 대응하는 하나 이상의 제스쳐 인식기로부터 수신된 하나 이상의 액션 메시지에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

일부 실시예들에서, 각각의 제스쳐 인식기는 한 세트의 제스쳐 인식기 상태를 가진다.

일부 실시예들에서, 이산 제스쳐 인식기는, 이산 제스쳐 인식기의 초기 상태에 대응하는 제스쳐 가능 상태; 각각의 제스쳐의 인식에 대응하는 제스쳐 인식 상태; 및 하나 이상의 터치를 각각의 제스쳐로서 인식하는 이산 제스쳐 인식기의 실패에 대응하는 제스쳐 실패 상태를 포함하는 제1 세트의 제스쳐 인식기 상태를 가진다. 연속 제스쳐 인식기는, 제스쳐 가능 상태; 각각의 제스쳐의 초기 인식에 대응하는 제스쳐 개시 상태; 각각의 터치의 위치에서의 각각의 변화에 대응하는 제스쳐 변경 상태; 각각의 인식된 제스쳐의 완료에 대응하는 제스쳐 종료 상태; 각각의 제스쳐의 인식의 중단에 대응하는 제스쳐 취소 상태; 및 하나 이상의 터치를 각각의 제스쳐로서 인식하는 연속 제스쳐 인식기의 실패에 대응하는 제스쳐 실패 상태를 포함하는 제2 세트의 제스쳐 인식기 상태를 가진다.

일부 실시예들에서, 제스쳐 인식 상태 및 제스쳐 종료 상태는 동일한 제스쳐 인식기 상태값을 가진다.

일부 실시예들에서, 소프트웨어 애플리케이션은 애플리케이션 상태를 가지고; 처리 유닛(1106)은, (예를 들어, 전송 유닛(1116)에 의해) 추가로 소프트웨어 애플리케이션의 애플리케이션 상태에 따라 하나 이상의 각각의 액션 메시지를 조건부로 전송하도록 구성된다.

일부 실시예들에서, 처리 유닛(1106)은, (예를 들어, 요청 유닛(1118)에 의해) 각각의 제스쳐 인식기로부터 추가 정보를 요청하고, (예를 들어, 실행 유닛(1108)에 의해) 추가로 추가 정보에 따라 소프트웨어 애플리케이션을 실행하도록 구성된다.

일부 실시예들에서, 추가 정보는 각각의 제스쳐 인식기에서 처리되는 각각의 터치의 수와 위치를 포함한다.

일부 실시예들에서, 적어도 하나의 이산 제스쳐 인식기는, 하나 이상의 탭 제스쳐 인식기, 및 스와이프 제스쳐 인식기를 포함하고, 적어도 하나의 연속 제스쳐 인식기는, 하나 이상의 길게 누름 제스쳐 인식기, 핀치 제스쳐 인식기, 팬 제스쳐 인식기, 회전 제스쳐 인식기, 및 변형 제스쳐 인식기를 포함한다.

일부 실시예들에서, 적어도 하나의 이산 제스쳐 인식기는, 탭 제스쳐 인식기, 및 스와이프 제스쳐 인식기를 포함하고, 적어도 하나의 연속 제스쳐 인식기는, 길게 누름 제스쳐 인식기, 핀치 제스쳐 인식기, 팬 제스쳐 인식기, 회전 제스쳐 인식기, 및 변형 제스쳐 인식기를 포함한다.

전술된 설명은, 설명을 위해, 구체적인 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적 논의는, 철저히 남김없이 드러내거나 본 발명을 정확히 개시된 형태로 제한하기 위한 것이 아니다. 상기의 교시에 비추어 많은 수정과 변형이 가능하다. 본 발명의 원리와 그 실제적 적용을 최상으로 설명함으로써 당업자가 본 발명 및 고려중인 특정한 이용에 적합한 다양한 수정을 가한 다양한 실시예들을 최상으로 이용할 수 있도록, 실시예들이 선택되고 설명되었다.

Claims (61)

1. 터치 감응면을 가지며 소프트웨어 애플리케이션을 실행하도록 구성된 전자 장치 - 상기 소프트웨어 애플리케이션은 복수의 뷰들과 상기 소프트웨어 애플리케이션의 애플리케이션 상태를 포함함 - 에서:
   상기 복수의 뷰들 중 하나 이상의 뷰들을 디스플레이하는 단계 ― 상기 하나 이상의 디스플레이된 뷰들의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기를 포함하며, 각각의 제스쳐 인식기는 대응하는 델리게이트(delegate)를 가짐 ―;
   상기 터치 감응면 상에서 하나 이상의 터치들을 검출하는 단계 ― 각각의 터치는 상기 디스플레이된 뷰들 중 하나 이상 내에 속하는 터치 위치를 가짐 ―;
   상기 하나 이상의 터치들의 각각의 터치를 처리하는 단계 ― 상기 처리 단계는, 상기 하나 이상의 터치들을 검출한 이후에 상기 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행함으로써 상기 애플리케이션 상태에 기초한 수신 터치값을 얻는 단계와, 상기 수신 터치값이 미리정의된 기준을 만족하면, 상기 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하는 단계와, 상기 각각의 제스쳐 인식기에 의한 상기 각각의 터치의 처리의 결과에 따라 그리고 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송하는 단계를 포함함 ― ; 및
   상기 각각의 제스쳐 인식기로부터 수신되고 상기 각각의 터치에 대응하는 정보에 따라 상기 소프트웨어 애플리케이션을 실행하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 복수의 뷰들은 제1 복수의 제스쳐 인식기들을 포함하고;
   상기 방법은 상기 제1 복수의 제스쳐 인식기들의 적어도 한 서브세트에 별개의 델리게이트를 할당하는 단계 - 상기 서브세트는 제2 복수의 제스쳐 인식기들을 포함함 - 를 포함하며;
   상기 하나 이상의 터치들의 각각의 터치를 처리하는 단계는,
   상기 제1 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별하는 단계와,
   할당된 델리게이트를 갖는 각각의 후보 제스쳐 인식기에 대해, 상기 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 상기 할당된 델리게이트를 실행하는 단계와,
   상기 얻어진 수신 터치값들에 따라, 상기 후보 제스쳐 인식기들의 한 서브세트를 포함하는 하나 이상의 수신 제스쳐 인식기들을 식별하는 단계와,
   상기 수신 제스쳐 인식기들 중 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하는 단계
   를 포함하는 방법.
3. 제2항에 있어서, 상기 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 각각의 터치를 처리하는 단계는,
   상기 각각의 수신 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 델리게이트가 할당된 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하는 단계와,
   상기 할당된 델리게이트를 실행함으로써 상기 애플리케이션 상태에 따라 하나 이상의 값들을 얻는 단계와,
   상기 각각의 수신 제스쳐 인식기에 의한 상기 각각의 터치의 처리의 결과에 따라 그리고 상기 할당된 델리게이트를 실행하여 얻어진 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송하는 단계
   를 포함하고,
   상기 방법은, 상기 수신 제스쳐 인식기들 중 하나 이상의 수신 제스쳐 인식기로부터 수신되고 상기 터치들 중 하나 이상의 터치에 대응하는 정보에 따라 상기 소프트웨어 애플리케이션을 실행하는 단계를 포함하는 방법.
4. 제3항에 있어서, 상기 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 단계는, 검출된 터치가 상기 각각의 제스쳐 정의와 일치할 때, 상기 할당된 델리게이트에 의해 상태 천이가 인에이블되면 상기 각각의 수신 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블하는 단계를 포함하는 방법.
5. 제3항 또는 제4항에 있어서, 상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 제2 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하는 단계를 더 포함하는 방법.
6. 제3항 또는 제4항에 있어서, 상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 각각의 수신 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하는 단계를 더 포함하는 방법.
7. 제3항 또는 제4항에 있어서,
   상기 각각의 수신 제스쳐 인식기에서 각각의 터치를 처리하는 단계는, 상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값에 따라 상기 각각의 터치를 처리하는 단계를 포함하는 방법.
8. 제3항 또는 제4항에 있어서,
   상기 할당된 델리게이트와는 상이한 제2 델리게이트는 상기 각각의 수신 제스쳐 인식기에 할당되고,
   상기 방법은,
   상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 각각의 제스쳐 인식기에 할당된 상기 제2 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하는 단계를 더 포함하는 방법.
9. 전자 장치로서,
   터치 감응면;
   하나 이상의 프로세서들;
   메모리; 및
   상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램
   을 포함하며,
   상기 하나 이상의 프로그램들은 소프트웨어 애플리케이션을 포함하며, 상기 애플리케이션은 복수의 뷰들과 상기 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하며,
   상기 소프트웨어 애플리케이션은,
   상기 복수의 뷰들 중 하나 이상의 뷰들을 디스플레이하고 ― 상기 하나 이상의 디스플레이된 뷰들의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기들을 포함하고, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가짐 ―;
   상기 터치 감응면 상에서 하나 이상의 터치들을 검출하고 ― 각각의 터치는 상기 디스플레이된 뷰들 중 하나 이상 내에 속하는 터치 위치를 가짐 ―;
   상기 하나 이상의 터치들의 각각의 터치를 처리하고 ― 이러한 처리는, 상기 하나 이상의 터치들을 검출한 이후에 상기 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행함으로써 상기 애플리케이션 상태에 기초한 수신 터치값을 얻고, 상기 수신 터치값이 미리정의된 기준을 만족하면, 상기 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하고, 상기 각각의 제스쳐 인식기에 의한 상기 각각의 터치의 처리의 결과에 따라 그리고 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송하는 것을 포함함 ― ; 그리고
   상기 각각의 제스쳐 인식기로부터 수신되고 상기 각각의 터치에 대응하는 정보에 따라 상기 소프트웨어 애플리케이션을 실행하기 위한
   명령어들을 포함하는 전자 장치.
10. 제9항에 있어서,
    상기 복수의 뷰들은 제1 복수의 제스쳐 인식기들을 포함하고,
    상기 소프트웨어 애플리케이션은,
    상기 제1 복수의 제스쳐 인식기들의 적어도 한 서브세트에 별개의 델리게이트들을 할당하기 위한 명령어들 - 상기 서브세트는 제2 복수의 제스쳐 인식기들을 포함함 - ; 및
    상기 하나 이상의 터치들의 각각의 터치를 처리하기 위한 명령어들
    을 포함하고,
    상기 하나 이상의 터치들의 각각의 터치를 처리하기 위한 명령어들은,
    상기 제1 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별하고; 할당된 델리게이트를 갖는 각각의 후보 제스쳐 인식기에 대해, 상기 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 상기 할당된 델리게이트를 실행하며; 상기 얻어진 수신 터치값들에 따라 상기 후보 제스쳐 인식기들의 서브세트를 포함하는 하나 이상의 수신 제스쳐 인식기들을 식별하고, 상기 수신 제스쳐 인식기들 중 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들을 포함하는, 전자 장치.
11. 제10항에 있어서,
    상기 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들은,
    상기 각각의 수신 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 델리게이트가 할당된 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하고; 상기 할당된 델리게이트를 실행함으로써 상기 애플리케이션 상태에 따라 하나 이상의 값들을 얻으며; 상기 각각의 수신 제스쳐 인식기에 의한 각각의 터치의 처리의 결과에 따라 그리고 상기 할당된 델리게이트를 실행하여 얻어진 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송하기 위한 명령어들을 포함하고,
    상기 소프트웨어 애플리케이션은 상기 수신 제스쳐 인식기들 중 하나 이상으로부터 수신되고 상기 터치들 중 하나 이상에 대응하는 정보에 따라 실행되도록 구성된 전자 장치.
12. 제11항에 있어서, 상기 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들은,
    검출된 터치가 상기 각각의 제스쳐 정의와 일치할 때, 상기 할당된 델리게이트에 의해 상태 천이가 인에이블되면 상기 각각의 수신 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블하기 위한 명령어들을 포함하는 전자 장치.
13. 제11항 또는 제12항에 있어서, 상기 소프트웨어 애플리케이션은,
    상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 제2 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하기 위한 명령어들을 포함하는 전자 장치.
14. 제11항 또는 제12항에 있어서, 상기 소프트웨어 애플리케이션은,
    상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 각각의 수신 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하기 위한 명령어들을 포함하는 전자 장치.
15. 터치 감응면을 갖는 전자 장치에 의한 실행을 위한 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능한 저장 매체로서,
    상기 하나 이상의 프로그램들은 소프트웨어 애플리케이션을 포함하며, 상기 애플리케이션은 복수의 뷰들과 상기 소프트웨어 애플리케이션의 애플리케이션 상태를 포함하며,
    상기 소프트웨어 애플리케이션은,
    상기 복수의 뷰들 중 하나 이상의 뷰들을 디스플레이하고 ― 상기 하나 이상의 디스플레이된 뷰들의 각각의 뷰는 하나 이상의 각각의 제스쳐 인식기들을 포함하고, 각각의 제스쳐 인식기는 대응하는 델리게이트를 가짐 ―;
    상기 터치 감응면 상에서 하나 이상의 터치들을 검출하고 ― 각각의 터치는 상기 디스플레이된 뷰들 중 하나 이상 내에 속하는 터치 위치를 가짐 ―;
    상기 하나 이상의 터치들의 각각의 터치를 처리하고 ― 이러한 처리는, 상기 하나 이상의 터치들을 검출한 이후에 상기 각각의 제스쳐 인식기에 대응하는 델리게이트를 실행함으로써 상기 애플리케이션 상태에 기초한 수신 터치값을 얻고, 상기 수신 터치값이 미리정의된 기준을 만족하면, 상기 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하고, 상기 각각의 제스쳐 인식기에 의한 상기 각각의 터치의 처리의 결과에 따라 그리고 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송하는 것을 포함함 ― ; 그리고
    상기 각각의 제스쳐 인식기로부터 수신되고 상기 각각의 터치에 대응하는 정보에 따라 상기 소프트웨어 애플리케이션을 실행하기 위한
    명령어들을 포함하는 컴퓨터 판독가능한 저장 매체.
16. 제15항에 있어서,
    상기 복수의 뷰들은 제1 복수의 제스쳐 인식기들을 포함하고,
    상기 소프트웨어 애플리케이션은,
    상기 제1 복수의 제스쳐 인식기들의 적어도 한 서브세트에 별개의 델리게이트들을 할당하기 위한 명령어들 - 상기 서브세트는 제2 복수의 제스쳐 인식기들을 포함함 - ; 및
    상기 하나 이상의 터치들의 각각의 터치를 처리하기 위한 명령어들
    을 포함하고,
    상기 하나 이상의 터치들의 각각의 터치를 처리하기 위한 명령어들은,
    상기 제1 복수의 제스쳐 인식기들 중 한 세트의 후보 제스쳐 인식기를 식별하고; 할당된 델리게이트를 갖는 각각의 후보 제스쳐 인식기에 대해, 상기 애플리케이션 상태에 따라 수신 터치값을 얻기 위해 상기 할당된 델리게이트를 실행하며; 상기 얻어진 수신 터치값들에 따라 상기 후보 제스쳐 인식기들의 서브세트를 포함하는 하나 이상의 수신 제스쳐 인식기들을 식별하고, 상기 수신 제스쳐 인식기들 중 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체.
17. 제16항에 있어서,
    상기 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들은,
    상기 각각의 수신 제스쳐 인식기에 대응하는 각각의 제스쳐 정의에 따라 델리게이트가 할당된 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하고; 상기 할당된 델리게이트를 실행함으로써 상기 애플리케이션 상태에 따라 하나 이상의 값들을 얻으며; 상기 각각의 수신 제스쳐 인식기에 의한 각각의 터치의 처리의 결과에 따라 그리고 상기 할당된 델리게이트를 실행하여 얻어진 하나 이상의 값들에 따라, 상기 각각의 터치에 대응하는 정보를 상기 소프트웨어 애플리케이션에 조건부로 전송함으로써, 상기 하나 이상의 수신 제스쳐 인식기들의 각각의 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들을 포함하고,
    상기 소프트웨어 애플리케이션은 상기 수신 제스쳐 인식기들 중 하나 이상으로부터 수신되고 상기 터치들 중 하나 이상에 대응하는 정보에 따라 실행되도록 구성되는 컴퓨터 판독가능한 저장 매체.
18. 제17항에 있어서, 상기 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들은,
    검출된 터치가 상기 각각의 제스쳐 정의와 일치할 때, 상기 할당된 델리게이트에 의해 상태 천이가 인에이블되면 상기 각각의 수신 제스쳐 인식기에서의 대응하는 상태 천이를 조건부로 인에이블함으로써, 상기 각각의 수신 제스쳐 인식기에서 상기 각각의 터치를 처리하기 위한 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체.
19. 제16항 또는 제17항에 있어서, 상기 소프트웨어 애플리케이션은,
    상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서, 상기 제2 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 터치를 동시에 처리하기 위한 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체.
20. 제16항 또는 제17항에 있어서, 상기 소프트웨어 애플리케이션은,
    상기 각각의 수신 제스쳐 인식기에 할당된 델리게이트에 의해 결정된 하나 이상의 값들에 따라, 상기 각각의 수신 제스쳐 인식기와는 상이한 제2 제스쳐 인식기에서 상기 각각의 터치를 동시에 처리하기 위한 명령어들을 포함하는 컴퓨터 판독가능한 저장 매체.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제

Images