KR101381063B1 - 터치 스크린 디스플레이를 갖는 다기능 장치 상에서의 편집 방법 및 그래픽 사용자 인터페이스 - Google Patents

Abstract

일부 실시예에서, 장치는 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고 손가락 제스처에 의한 입력을 검출한다. 손가락 제스처에 응답하여, 장치는 콘텐츠를 선택하고, 선택된 콘텐츠를 시각적으로 구분하며, 및/또는 검출된 입력에 기초하여 선택된 콘텐츠를 업데이트한다. 일부 실시예에서, 장치는 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역을 디스플레이하고, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출하며, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 선택된 콘텐츠에 대해 대응하는 동작을 수행한다. 예시적인 동작은 콘텐츠의 잘라내기, 복사, 및 붙여넣기를 포함한다.

Description

터치 스크린 디스플레이를 갖는 다기능 장치 상에서의 편집 방법 및 그래픽 사용자 인터페이스{METHODS AND GRAPHICAL USER INTERFACES FOR EDITING ON A MULTIFUNCTION DEVICE WITH A TOUCH SCREEN DISPLAY}

개시된 실시예는 일반적으로 터치 스크린 디스플레이를 갖는 다기능 장치에 관한 것이며, 보다 상세하게는 이러한 장치 상에서 편집(예를 들어, 사용자-선택 콘텐츠의 잘라내기, 복사 또는 붙여넣기)을 수행하는 것에 관한 것이다.

전자 장치가 보다 콤팩트해지고 주어진 장치에 의해 수행되는 기능의 수가 증가함에 따라, 사용자가 다기능 장치와 쉽게 상호작용할 수 있게 해주는 사용자 인터페이스를 설계하는 것이 중요한 과제가 되었다. 이 과제는 데스크톱 또는 랩톱 컴퓨터보다 훨씬 더 작은 화면을 가지는 핸드헬드 휴대용 장치에 특히 중요하다. 이러한 상황이 유감스러운 이유는 사용자 인터페이스라는 수단을 통해 사용자가 콘텐츠 뿐만 아니라, 장치의 특징, 도구 및 기능에 액세스하려는 사용자 시도를 비롯한 사용자 동작 또는 거동에 대한 응답도 수신하기 때문이다. 일부 휴대용 통신 장치(예를 들어, 때때로 휴대폰, 셀 폰, 셀룰러 전화 등이라고 하는 이동 전화)는 더 많은 푸시 버튼을 추가하거나, 푸시 버튼의 밀도가 증가되거나, 푸시 버튼의 기능이 중복되거나, 사용자가 데이터에 액세스하고 데이터를 저장 및 조작할 수 있게 해주는 복잡한 메뉴 시스템을 사용하는 것에 의존해 왔다. 그 결과, 이러한 종래의 사용자 인터페이스에서는 종종 사용자가 복잡한 키 시퀀스(key sequence) 및 메뉴 계층구조를 기억하고 있어야만 한다.

실제 푸시 버튼을 포함하고 있는 사용자 인터페이스와 같은 많은 종래의 사용자 인터페이스는 또한 유연성이 없다. 이것이 유감스러운 이유는 유연성이 없는 것으로 인해 사용자 인터페이스가 휴대용 장치 상에서 실행되는 응용 프로그램에 의해 또는 사용자에 의해 구성 및/또는 적응될 수 없기 때문이다. 다수의 키 시퀀스 및 메뉴 계층구조를 기억하기 위한 시간 소비 요구사항 및 원하는 푸시 버튼을 활성화시키는 데 있어서의 어려움과 결합될 때, 이러한 비유연성은 대부분의 사용자들을 좌절시킬 것이다.

터치 스크린 디스플레이를 갖는 다기능 장치 상의 종래의 사용자 인터페이스는 텍스트 및 그래픽을 편집하는 간단하고 직관적인 방식을 제공하지 않는다. 잘라내기, 복사 및 붙여넣기와 같은 편집 기능(존재하는 경우)은 종종 찾아서 사용하기 어려우며, 그로써 사용자에 대한 상당한 인지 부담을 야기한다. 그에 부가하여, 종래의 편집 방법은 필요 이상으로 오래 걸리며, 그로써 에너지를 낭비한다. 이 후자의 문제는 배터리-작동 장치에서 특히 중요하다.

그에 따라, 보다 빠르고 보다 효율적인 콘텐츠 편집 방법 및 인터페이스를 갖는 터치 스크린 디스플레이를 가지는 다기능 장치가 필요하다. 이러한 방법 및 인터페이스는 사용자에 대한 인지 부담을 감소시키며 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 다기능 장치의 경우, 이러한 방법 및 인터페이스는 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

<발명의 개요>

터치 스크린 디스플레이를 갖는 다기능 장치에 대한 사용자 인터페이스와 연관된 상기 결점 및 기타 문제점이 개시된 장치에 의해 감소되거나 제거된다. 일부 실시예에서, 장치는 터치 스크린 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예에서, 장치는 휴대용(예를 들어, 노트북 컴퓨터 또는 핸드헬드 장치)이다. 일부 실시예에서, 장치는 터치 감응 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"라고도 함)를 가진다. 일부 실시예에서, 장치는 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서, 메모리, 및 메모리에 저장되어 있는, 다수의 기능을 수행하는 하나 이상의 모듈, 프로그램, 또는 명령어 집합을 가진다. 일부 실시예에서, 사용자는 주로 터치 스크린 디스플레이 상에서의 손가락 접촉 및 제스처를 통해 GUI와 상호작용한다. 일부 실시예에서, 기능은 이미지 편집, 그리기, 프레젠테이션, 워드 프로세싱, 웹 사이트 제작, 디스크 저작, 스프레드시트 작성, 게임 플레이, 전화 통화, 화상 회의, 이메일 보내기, 인스턴트 메시징, 운동 보조, 디지털 사진 촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 및/또는 디지털 비디오 재생을 포함할 수 있다. 이들 기능을 수행하는 실행가능 명령어가 하나 이상의 프로세서에 의해 실행되도록 구성된 컴퓨터 판독가능 저장 매체 또는 기타 컴퓨터 프로그램 제품에 포함될 수 있다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 제1 배율로 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하는 단계, 편집가능 콘텐츠 상에서 손가락 제스처를 검출하는 단계, 편집가능 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 편집가능 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 단계, 편집가능 콘텐츠의 확장된 부분 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 단계, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 편집가능 콘텐츠의 확장된 부분을 변경하는 단계, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 단계, 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 단계, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기 및 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하는 단계, 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 삽입 마커를 디스플레이하는 단계 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 대응함 -, 및 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 단계 - 제1 명령 디스플레이 영역은 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 제1 배율의 편집가능 콘텐츠, 콘텐츠 확대기, 삽입 마커, 및 명령 디스플레이 영역을 포함하고, 편집가능 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 편집가능 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분이 제1 배율보다 큰 제2 배율로 확장되고, 콘텐츠 확대기가 디스플레이되며, 콘텐츠 확대기는 편집가능 콘텐츠의 확장된 부분, 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하고, 콘텐츠 확대기가 움직이고 편집가능 콘텐츠의 확장된 부분이 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 검출된 움직임에 따라 변경되며, 삽입 마커가 손가락 접촉의 검출된 움직임에 따라 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기 및 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것이 중단되며, 삽입 마커가 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 디스플레이되고 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 대응함 -, 명령 디스플레이 영역이 삽입 마커에 인접하여 디스플레이된다 - 명령 디스플레이 영역은 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 제1 배율로 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하는 명령어, 편집가능 콘텐츠 상에서 손가락 제스처를 검출하는 명령어, 편집가능 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 편집가능 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 명령어, 편집가능 콘텐츠의 확장된 부분 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 명령어, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 편집가능 콘텐츠의 확장된 부분을 변경하는 명령어, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 명령어, 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 명령어, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기 및 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하는 명령어, 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 삽입 마커를 디스플레이하는 명령어 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 대응함 -, 및 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 명령어 - 제1 명령 디스플레이 영역은 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 제1 배율로 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하고, 편집가능 콘텐츠 상에서 손가락 제스처를 검출하며, 편집가능 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 편집가능 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하고, 편집가능 콘텐츠의 확장된 부분 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하며, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하고, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 편집가능 콘텐츠의 확장된 부분을 변경하며, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하며, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기 및 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하고, 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 삽입 마커를 디스플레이하며 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 대응함 -, 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하게 하는 - 제1 명령 디스플레이 영역은 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 - 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 제1 배율로 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하는 수단, 편집가능 콘텐츠 상에서 손가락 제스처를 검출하는 수단, 편집가능 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 편집가능 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 수단, 편집가능 콘텐츠의 확장된 부분 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 수단, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 수단, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 편집가능 콘텐츠의 확장된 부분을 변경하는 수단, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 수단, 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 수단, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기 및 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하는 수단, 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 삽입 마커를 디스플레이하는 수단 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 대응함 -, 및 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 수단 - 제1 명령 디스플레이 영역은 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 제1 배율로 터치 스크린 디스플레이 상에 읽기 전용 콘텐츠를 디스플레이하는 단계, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출하는 단계, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 읽기 전용 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 단계, 읽기 전용 콘텐츠의 확장된 부분 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에 있는 위치 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 단계, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 읽기 전용 콘텐츠의 확장된 부분을 변경하는 단계, 손가락 접촉의 검출된 움직임에 따라 위치 마커를 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 단계, 위치 마커가 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 단계, 및 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 읽기 전용 콘텐츠의 확장된 부분, 및 위치 마커를 디스플레이하는 것을 중단하는 단계, 및 제1 배율의 읽기 전용 콘텐츠 내의 현재 위치에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 단계 - 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 대응하고, 제1 명령 디스플레이 영역은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 - 를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 제1 배율의 읽기 전용 콘텐츠, 콘텐츠 확대기, 위치 마커, 및 명령 디스플레이 영역을 포함하고, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 읽기 전용 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분이 제1 배율보다 큰 제2 배율로 확장되고, 콘텐츠 확대기가 디스플레이되며, 콘텐츠 확대기가 읽기 전용 콘텐츠의 확장된 부분 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에 있는 위치 마커를 디스플레이하고, 콘텐츠 확대기가 움직이고 읽기 전용 콘텐츠의 확장된 부분이 손가락 접촉의 검출된 움직임에 따라 변경되며, 위치 마커가 손가락 접촉의 검출된 움직임에 따라 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 위치 마커가 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 읽기 전용 콘텐츠의 확장된 부분, 및 위치 마커를 디스플레이하는 것이 중단되고, 명령 디스플레이 영역이 제1 배율의 읽기 전용 콘텐츠 내의 현재 위치에 인접하여 디스플레이되며, 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 대응하고, 명령 디스플레이 영역은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함한다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 제1 배율로 터치 스크린 디스플레이 상에 읽기 전용 콘텐츠를 디스플레이하는 명령어, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출하는 명령어, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 읽기 전용 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 명령어, 읽기 전용 콘텐츠의 확장된 부분 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에 있는 위치 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 명령어, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 읽기 전용 콘텐츠의 확장된 부분을 변경하는 명령어, 손가락 접촉의 검출된 움직임에 따라 위치 마커를 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 명령어, 위치 마커가 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 명령어, 및 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 읽기 전용 콘텐츠의 확장된 부분, 및 위치 마커를 디스플레이하는 것을 중단하는 명령어, 및 제1 배율의 읽기 전용 콘텐츠 내의 현재 위치에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 명령어 - 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 대응하고, 제1 명령 디스플레이 영역은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 - 를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 제1 배율로 터치 스크린 디스플레이 상에 읽기 전용 콘텐츠를 디스플레이하고, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출하며, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 읽기 전용 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하고, 읽기 전용 콘텐츠의 확장된 부분 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에 있는 위치 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하며, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하고, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 읽기 전용 콘텐츠의 확장된 부분을 변경하며, 손가락 접촉의 검출된 움직임에 따라 위치 마커를 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 위치 마커가 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하며, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 읽기 전용 콘텐츠의 확장된 부분, 및 위치 마커를 디스플레이하는 것을 중단하고, 제1 배율의 읽기 전용 콘텐츠 내의 현재 위치에 인접하여 제1 명령 디스플레이 영역을 디스플레이하게 하는 - 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 대응하고, 제1 명령 디스플레이 영역은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 - 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 제1 배율로 터치 스크린 디스플레이 상에 읽기 전용 콘텐츠를 디스플레이하는 수단, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출하는 수단, 읽기 전용 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 읽기 전용 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 수단, 읽기 전용 콘텐츠의 확장된 부분 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에 있는 위치 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 수단, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 수단, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 읽기 전용 콘텐츠의 확장된 부분을 변경하는 수단, 손가락 접촉의 검출된 움직임에 따라 위치 마커를 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 수단, 위치 마커가 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 수단, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 읽기 전용 콘텐츠의 확장된 부분, 및 위치 마커를 디스플레이하는 것을 중단하는 수단, 및 제1 배율의 읽기 전용 콘텐츠 내의 현재 위치에 인접하여 제1 명령 디스플레이 영역을 디스플레이하는 수단 - 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치에 대응하고, 제1 명령 디스플레이 영역은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 - 을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 단계, 콘텐츠 상에서 손가락 제스처를 검출하는 단계, 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 단계, 콘텐츠의 확장된 부분 및 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 단계, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 확장된 부분을 변경하는 단계, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 단계, 삽입 마커가 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 단계, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 콘텐츠의 확장된 부분, 및 삽입 마커를 디스플레이하는 것을 중단하는 단계, 및 삽입 마커의 제2 위치와 연관된 콘텐츠를 선택하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 제1 배율의 콘텐츠, 콘텐츠 확대기, 삽입 마커, 및 명령 디스플레이 영역을 포함하고, 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 콘텐츠의 일부분이 제1 배율보다 큰 제2 배율로 확장되고, 콘텐츠의 확장된 부분 및 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기가 디스플레이되며, 콘텐츠 확대기가 움직이고 콘텐츠의 확장된 부분이 손가락 접촉의 검출된 움직임에 따라 변경되며, 삽입 마커가 손가락 접촉의 검출된 움직임에 따라 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 삽입 마커가 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 콘텐츠의 확장된 부분, 및 삽입 마커를 디스플레이하는 것이 중단되고, 삽입 마커의 제2 위치와 연관된 콘텐츠가 선택된다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 명령어, 콘텐츠 상에서 손가락 제스처를 검출하는 명령어, 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 명령어, 콘텐츠의 확장된 부분 및 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 명령어, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 확장된 부분을 변경하는 명령어, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 명령어, 삽입 마커가 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 명령어, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 콘텐츠의 확장된 부분, 및 삽입 마커를 디스플레이하는 것을 중단하는 명령어, 및 삽입 마커의 제2 위치와 연관된 콘텐츠를 선택하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고, 콘텐츠 상에서 손가락 제스처를 검출하며, 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하고, 콘텐츠의 확장된 부분 및 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하며, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하고, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 확장된 부분을 변경하며, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고, 삽입 마커가 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하며, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 콘텐츠의 확장된 부분, 및 삽입 마커를 디스플레이하는 것을 중단하고, 삽입 마커의 제2 위치와 연관된 콘텐츠를 선택하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 수단, 콘텐츠 상에서 손가락 제스처를 검출하는 수단, 콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서 터치 스크린 디스플레이 상의 콘텐츠의 일부분을 제1 배율보다 큰 제2 배율로 확장하는 수단, 콘텐츠의 확장된 부분 및 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 수단, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 수단, 콘텐츠 확대기를 움직여 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 확장된 부분을 변경하는 수단, 손가락 접촉의 검출된 움직임에 따라 삽입 마커를 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 수단, 삽입 마커가 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 수단, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 콘텐츠 확대기, 콘텐츠의 확장된 부분, 및 삽입 마커를 디스플레이하는 것을 중단하는 수단, 및 삽입 마커의 제2 위치와 연관된 콘텐츠를 선택하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 단계, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출하는 단계, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한 것에 응답하여, 단어를 선택하는 단계, 및 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 콘텐츠, 콘텐츠 내의 단어, 시작점 객체, 및 끝점 객체를 포함하고, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한 것에 응답하여, 단어가 선택되고, 시작점 객체 및 끝점 객체가 단어의 각각의 끝부분에 디스플레이된다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 명령어, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출하는 명령어, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한 것에 응답하여, 단어를 선택하는 명령어, 및 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출하며, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한 것에 응답하여, 단어를 선택하고, 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 수단, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출하는 수단, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한 것에 응답하여, 단어를 선택하는 수단, 및 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 단계, 터치 스크린 디스플레이 상에서 하나 이상의 손가락을 검출하는 단계, 터치 스크린 디스플레이 상에서 하나 이상의 손가락에 의해 행해지는 제스처를 인식하는 단계 - 제스처는 콘텐츠의 일부분을 선택하거나 선택하는 것을 돕는 동작을 하는 복수의 소정의 제스처 중 하나의 제스처임 -, 및 제스처를 인식한 것에 응답하여 콘텐츠에 대해 동작을 수행하는 단계를 포함한다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 명령어, 터치 스크린 디스플레이 상에서 하나 이상의 손가락을 검출하는 명령어, 터치 스크린 디스플레이 상에서 하나 이상의 손가락에 의해 행해지는 제스처를 인식하는 명령어 - 제스처는 콘텐츠의 일부분을 선택하거나 선택하는 것을 돕는 동작을 하는 복수의 소정의 제스처 중 하나의 제스처임 -, 및 제스처를 인식한 것에 응답하여 콘텐츠에 대해 동작을 수행하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고, 터치 스크린 디스플레이 상에서 하나 이상의 손가락을 검출하며, 터치 스크린 디스플레이 상에서 하나 이상의 손가락에 의해 행해지는 제스처를 인식하고 - 제스처는 콘텐츠의 일부분을 선택하거나 선택하는 것을 돕는 동작을 하는 복수의 소정의 제스처 중 하나의 제스처임 -, 제스처를 인식한 것에 응답하여 콘텐츠에 대해 동작을 수행하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 수단, 터치 스크린 디스플레이 상에서 하나 이상의 손가락을 검출하는 수단, 터치 스크린 디스플레이 상에서 하나 이상의 손가락에 의해 행해지는 제스처를 인식하는 수단 - 제스처는 콘텐츠의 일부분을 선택하거나 선택하는 것을 돕는 동작을 하는 복수의 소정의 제스처 중 하나의 제스처임 -, 및 제스처를 인식한 것에 응답하여 콘텐츠에 대해 동작을 수행하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 단계 - 디스플레이된 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 단계, 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 명령 디스플레이 영역을 디스플레이하는 단계 - 명령 디스플레이 영역은 하나 이상의 명령 아이콘을 포함함 -, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출하는 단계, 및 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 선택된 콘텐츠에 대해 대응하는 동작을 수행하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분되는 선택된 콘텐츠를 포함하는 콘텐츠, 및 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역을 포함하고, 명령 디스플레이 영역이 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 디스플레이되고, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 대응하는 동작이 선택된 콘텐츠에 대해 수행된다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 명령어 - 디스플레이된 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 명령어, 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 명령 디스플레이 영역을 디스플레이하는 명령어 - 명령 디스플레이 영역은 하나 이상의 명령 아이콘을 포함함 -, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출하는 명령어, 및 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 선택된 콘텐츠에 대해 대응하는 동작을 수행하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고 - 디스플레이된 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하며, 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 명령 디스플레이 영역을 디스플레이하고 - 명령 디스플레이 영역은 하나 이상의 명령 아이콘을 포함함 -, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출하며, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 선택된 콘텐츠에 대해 대응하는 동작을 수행하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 수단 - 디스플레이된 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 수단, 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 명령 디스플레이 영역을 디스플레이하는 수단 - 명령 디스플레이 영역은 하나 이상의 명령 아이콘을 포함함 -, 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출하는 수단, 및 명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 선택된 콘텐츠에 대해 대응하는 동작을 수행하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 콘텐츠를 포함하는 사용자 인터페이스 요소를 디스플레이하는 단계 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 단계, 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역 요소를 디스플레이하는 단계 - 명령 디스플레이 영역 요소는 콘텐츠를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이되고, 명령 아이콘의 활성화는 선택된 콘텐츠에 대해 대응하는 동작의 수행을 시작함 -, 및 하나 이상의 소정의 우선순위 요소 - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 디스플레이하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 콘텐츠를 포함하는 사용자 인터페이스 요소를 포함하고, 콘텐츠는 선택된 콘텐츠, 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역 요소, 및 하나 이상의 소정의 우선순위 요소 - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 포함하며, 선택된 콘텐츠는 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분되고, 명령 디스플레이 영역 요소는 콘텐츠를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이되고, 명령 아이콘의 활성화는 선택된 콘텐츠에 대해 대응하는 동작의 수행을 시작한다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 콘텐츠를 포함하는 사용자 인터페이스 요소를 디스플레이하는 명령어 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 명령어, 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역 요소를 디스플레이하는 명령어 - 명령 디스플레이 영역 요소가 콘텐츠를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이되고, 명령 아이콘의 활성화는 선택된 콘텐츠에 대해 대응하는 동작의 수행을 시작함 -, 및 하나 이상의 소정의 우선순위 요소 - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 디스플레이하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 콘텐츠를 포함하는 사용자 인터페이스 요소를 디스플레이하고 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하며, 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역 요소를 디스플레이하고 - 명령 디스플레이 영역 요소가 콘텐츠를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이되고, 명령 아이콘의 활성화는 선택된 콘텐츠에 대해 대응하는 동작의 수행을 시작함 -, 하나 이상의 소정의 우선순위 요소 - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 디스플레이하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 콘텐츠를 포함하는 사용자 인터페이스 요소를 디스플레이하는 수단 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분하는 수단, 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역 요소를 디스플레이하는 수단 - 명령 디스플레이 영역 요소가 콘텐츠를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이되고, 명령 아이콘의 활성화는 선택된 콘텐츠에 대해 대응하는 동작의 수행을 시작함 -, 및 하나 이상의 소정의 우선순위 요소 - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 디스플레이하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 단계 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉을 검출하는 단계, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 단계 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계, 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 단계, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 제1 배율의 콘텐츠 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 및 콘텐츠 확대기를 포함하고, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 제스처가 검출되고, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기가 디스플레이되며, 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이하고, 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분이 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임에 따라 업데이트되며, 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커가 움직인다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 명령어 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉을 검출하는 명령어, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 명령어 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어, 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 명령어, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하고 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉을 검출하며, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하고 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하며, 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하고, 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이하는 수단 - 콘텐츠는 선택된 콘텐츠를 포함함 -, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉을 검출하는 수단, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 수단 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 수단, 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 수단, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 단계 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출하는 단계, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 단계, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 단계, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉을 검출하는 단계, 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉의 움직임을 검출하는 단계, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출하는 단계, 및 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자를 선택하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 구조화된 전자 문서의 적어도 일부분 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 - 을 포함하고, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자가 선택되고, 선택된 제1 콘텐츠 상자가 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분되며, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉이 검출되고, 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉의 움직임이 검출되며, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐이 검출되고, 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자가 선택된다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 명령어 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출하는 명령어, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 명령어, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 명령어, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉을 검출하는 명령어, 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉의 움직임을 검출하는 명령어, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출하는 명령어, 및 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자를 선택하는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하고 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출하며, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하고, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하며, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉을 검출하고, 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉의 움직임을 검출하며, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출하고, 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자를 선택하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 수단 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출하는 수단, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 수단, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 수단, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉을 검출하는 수단, 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉의 움직임을 검출하는 수단, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출하는 수단, 및 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자를 선택하는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 제1 배율로 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 단계 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출하는 단계, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 단계, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 단계, 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출하는 단계, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 단계 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 선택된 제1 콘텐츠 상자 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계, 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 단계, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 제1 배율의 구조화된 전자 문서의 적어도 일부분 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 및 콘텐츠 확대기를 포함하고, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자가 선택되고, 선택된 제1 콘텐츠 상자가 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분되며, 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉이 검출되고, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기가 디스플레이되며, 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이하고, 선택된 제1 콘텐츠 상자 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임이 검출되며, 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분이 손가락 접촉의 움직임에 따라 업데이트되고, 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커가 움직인다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 제1 배율로 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 명령어 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출하는 명령어, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 명령어, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 명령어, 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출하는 명령어, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 명령어 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 선택된 제1 콘텐츠 상자 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어, 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 명령어, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 명령어를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 제1 배율로 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하고 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출하며, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하고, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하며, 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출하고, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하며 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 선택된 제1 콘텐츠 상자 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하고, 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하며, 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 제1 배율로 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 수단 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출하는 수단, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 제1 콘텐츠 상자를 선택하는 수단, 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분하는 수단, 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출하는 수단, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 수단 - 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분, 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커를 디스플레이함 -, 선택된 제1 콘텐츠 상자 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 수단, 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트하는 수단, 및 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직이는 수단을 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이를 갖는 다기능 장치에서 컴퓨터-구현 방법이 수행된다. 이 컴퓨터-구현 방법은 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 단계 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지를 판정하는 단계, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자를 선택하는 단계, 및 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분을 선택하는 단계를 포함한다.

일부 실시예에 따르면, 터치 스크린 디스플레이, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 다기능 장치 상의 그래픽 사용자 인터페이스는 구조화된 전자 문서의 적어도 일부분 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 - 을 포함하고, 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지가 판정되고, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자가 선택되며, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분이 선택된다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 명령어 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지를 판정하는 명령어, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자를 선택하는 명령어, 및 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분을 선택하는 단계를 포함한다.

일부 실시예에 따르면, 컴퓨터 판독가능 저장 매체는, 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 장치로 하여금 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하고 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지를 판정하며, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자를 선택하고, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분을 선택하게 하는 명령어를 저장하고 있다.

일부 실시예에 따르면, 다기능 장치는 터치 스크린 디스플레이, 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이하는 수단 - 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함함 -, 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지를 판정하는 수단, 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자를 선택하는 수단, 및 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분을 선택하는 수단을 포함한다.

따라서, 터치 스크린 디스플레이를 갖는 다기능 장치는 콘텐츠를 편집하는 보다 빠르고 보다 효율적인 방법 및 인터페이스를 제공받으며, 그로써 이러한 장치에서 유효성, 효율 및 사용자 만족도를 증가시킨다.

본 발명의 상기한 실시예는 물론 본 발명의 부가적인 실시예의 보다 나은 이해를 위해, 유사한 참조 번호가 도면 전체에 걸쳐 대응하는 부분을 가리키고 있는 첨부 도면과 관련하여 실시예에 대한 설명이 이하에 기술될 것이다.
도 1a 및 도 1b는 일부 실시예에 따른 터치 감응 디스플레이를 갖는 휴대용 다기능 장치를 나타낸 블록도.
도 2는 일부 실시예에 따른, 터치 스크린을 갖는 휴대용 다기능 장치를 나타낸 도면.
도 3은 일부 실시예에 따른 예시적인 다기능 장치의 블록도.
도 4a 및 도 4b는 일부 실시예에 따른, 휴대용 다기능 장치 상의 응용 프로그램의 메뉴에 대한 예시적인 사용자 인터페이스를 나타낸 도면.
도 5a 내지 도 5qq는 일부 실시예에 따른, 터치 스크린 디스플레이를 갖는 다기능 장치 상에서 콘텐츠를 선택하는 예시적인 사용자 인터페이스를 나타낸 도면.
도 6a 내지 도 6uu는 일부 실시예에 따른, 선택된 콘텐츠에 대한 명령 디스플레이 영역에 대한 예시적인 사용자 인터페이스를 나타낸 도면.
도 7a 내지 도 7e는 일부 실시예에 따른, 콘텐츠 확대기를 사용하여 선택된 콘텐츠의 각각의 끝부분을 선택하는 예시적인 사용자 인터페이스를 나타낸 도면.
도 8a 내지 도 8u는 일부 실시예에 따른, 구조화된 전자 문서에서 콘탠츠를 선택하는 예시적인 사용자 인터페이스를 나타낸 도면.
도 9a 내지 도 9d는 일부 실시예에 따른, 편집가능 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 10a 내지 도 10d는 일부 실시예에 따른, 읽기 전용 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 11a 내지 도 11c는 일부 실시예에 따른, 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 12는 일부 실시예에 따른, 한 손가락에 의한 두번-탭핑 제스처로 단어를 선택하는 방법을 나타낸 흐름도.
도 13a 내지 도 13g는 일부 실시예에 따른, 손가락 제스처로 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 14a 내지 도 14d는 일부 실시예에 따른, 선택된 콘텐츠에 대한 명령 디스플레이 영역을 사용하는 방법을 나타낸 흐름도.
도 15a 내지 도 15c는 일부 실시예에 따른, 명령 디스플레이 영역을 배치하는 방법을 나타낸 흐름도.
도 16a 내지 도 16e는 일부 실시예에 따른, 콘텐츠 확대기를 사용하여 선택된 콘텐츠의 각각의 끝부분을 업데이트하는 방법을 나타낸 흐름도.
도 17a 및 도 17b는 일부 실시예에 따른, 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 18은 일부 실시예에 따른, 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도.
도 19는 일부 실시예에 따른, 문서 복잡성 기준에 기초하여 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도.

이제부터, 실시예에 대해 상세히 언급할 것이며, 이들 실시예의 일례가 첨부 도면에 예시되어 있다. 이하의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 구체적인 상세가 기술되어 있다. 그렇지만, 본 발명이 이들 구체적인 상세 없이도 실시될 수 있다는 것이 당업자에게는 명백할 것이다. 다른 경우들에, 이 실시예의 측면을 불필요하게 모호하게 하지 않기 위해 공지의 방법, 절차, 구성요소, 회로 및 네트워크에 대해서는 상세히 설명하지 않고 있다.

또한, 제1, 제2, 기타와 같은 용어가 본 명세서에서 다양한 요소를 기술하는 데 사용될 수 있지만, 이들 용어에 의해 이들 요소가 제한되어서는 안된다는 것을 잘 알 것이다. 이들 용어는 단지 한 요소를 다른 요소와 구분하는 데만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않고, 제1 접촉은 제2 접촉이라고 할 수 있고, 이와 유사하게 제2 접촉은 제1 접촉이라고 할 수 있다. 제1 접촉 및 제2 접촉 둘다는 접촉이지만, 이들이 동일한 접촉은 아니다.

본 명세서에서 발명을 설명하는 데 사용된 용어들은 단지 특정의 실시예들을 설명하기 위한 것이며 본 발명을 제한하기 위한 것이 아니다. 본 발명의 설명 및 첨부된 특허청구범위에서 사용되는 바와 같이, 단수 형태 "어떤", "한" 및 "그"는, 문맥이 명확하게 다른 것을 말하지 않는 한, 복수 형태를 포함하는 것으로 보아야 한다. 또한, 용어 "및/또는"은, 본 명세서에서 사용되는 바와 같이, 열거된 관련 항목들 중 하나 이상의 항목의 모든 가능한 조합을 말하고 또한 포괄한다는 것을 잘 알 것이다. 또한, 용어 "포함한다" 및/또는 "포함하는"이 본 명세서에서 사용될 때 언급한 특징, 정수, 단계, 동작, 요소, 및/또는 구성요소가 존재함을 명시하는 것이고 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 잘 알 것이다.

본 명세서에서 사용되는 바와 같이, "~인 경우"라는 용어는, 문맥에 따라, "~일 때" 또는 "~ 시에" 또는 "~라고 판정한 것에 응답하여" 또는 '~을 검출한 것에 응답하여'를 의미하는 것으로 해석될 수 있다. 이와 유사하게, "~라고 판정되는 경우" 또는 "[언급된 조건 또는 이벤트가] 검출되는 경우"는, 문맥에 따라, "~라고 판정할 시에" 또는 "~라고 판정하는 것에 응답하여" 또는 "[언급된 조건 또는 이벤트를] 검출할 시에" 또는 "[언급된 조건 또는 이벤트를] 검출한 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

컴퓨팅 장치, 이러한 장치에 대한 사용자 인터페이스, 및 이러한 장치를 사용하는 관련 프로세스가 기술되어 있다. 일부 실시예에서, 컴퓨팅 장치는 PDA 및/또는 음악 플레이어 기능과 같은 다른 기능도 포함하는 휴대폰과 같은 휴대용 통신 장치이다. 휴대용 다기능 장치의 예시적인 실시예는 미국 캘리포니아주 쿠퍼티노 소재의 Apple Computer, Inc.의 iPhone® 및 iPod Touch®를 포함하지만, 이들로 제한되지 않는다.

이하의 설명에서, 디스플레이 및 터치-감응 표면을 포함하는 컴퓨팅 장치가 기술되어 있다. 그렇지만, 컴퓨팅 장치가 실제 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 실제 사용자 인터페이스 장치를 포함할 수 있다는 것을 잘 알 것이다.

이 장치는 그리기 응용 프로그램, 프레젠테이션 응용 프로그램, 워드 프로세싱 응용 프로그램, 웹 사이트 제작 응용 프로그램, 디스크 저작 응용 프로그램, 스프레드시트 응용 프로그램, 게임 응용 프로그램, 전화 응용 프로그램, 화상 회의 응용 프로그램, 이메일 응용 프로그램, 인스턴트 메시징 응용 프로그램, 운동 보조 응용 프로그램, 사진 관리 응용 프로그램, 디지털 카메라 응용 프로그램, 디지털 비디오 카메라 응용 프로그램, 웹 브라우징 응용 프로그램, 디지털 음악 플레이어 응용 프로그램, 및/또는 디지털 비디오 플레이어 응용 프로그램 중 하나 이상과 같은 각종의 응용 프로그램을 지원한다.

장치 상에서 실행될 수 있는 다양한 응용 프로그램은 터치-감응 표면과 같은 적어도 하나의 공통의 실제 사용자 인터페이스 장치를 사용할 수 있다. 터치-감응 표면의 하나 이상의 기능은 물론 장치 상에 디스플레이되는 대응하는 정보가 응용 프로그램마다 및/또는 각자의 응용 프로그램 내에서 조정되고 및/또는 변화될 수 있다. 이러한 방식으로, 장치의 공통의 물리적 아키텍처(터치-감응 표면 등)가 직관적이고 투명한 사용자 인터페이스를 갖는 각종의 응용 프로그램을 지원할 수 있다.

사용자 인터페이스는 하나 이상의 소프트 키보드 구현을 포함할 수 있다. 소프트 키보드 구현은 미국 특허 출원 제11/459,606호[2006년 7월 24일자로 출원되고 발명의 명칭이 "Keyboards For Portable Electronic Devices(휴대용 전자 장치의 키보드)"임] 및 제11/459,615호[2006년 7월 24일자로 출원되고 발명의 명칭이 "Touch Screen Keyboards For Portable Electronic Devices(휴대용 전자 장치의 터치 스크린 키보드)"임]에 기술된 것과 같은 키보드의 디스플레이된 아이콘 상의 표준(QWERTY) 및/또는 비표준 심볼 구성을 포함할 수 있으며, 이들 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다. 키보드 구현은 타이프라이터의 키보드와 같은 기존의 실제 키보드에서의 키의 수에 비해 감소된 수의 아이콘(또는 소프트 키)을 포함할 수 있다. 이것은 사용자가 키보드에서의 하나 이상의 아이콘과, 따라서 하나 이상의 대응하는 심볼을 선택하는 것을 더욱 쉽게 만들어 줄 수 있다. 키보드 구현이 적응적일 수 있다. 예를 들어, 하나 이상의 아이콘 및/또는 하나 이상의 대응하는 심볼을 선택하는 것과 같은 사용자 동작에 따라 디스플레이된 아이콘이 수정될 수 있다. 장치 상의 하나 이상의 응용 프로그램이 공통의 및/또는 상이한 키보드 구현을 이용할 수 있다. 따라서, 사용되는 키보드 구현이 응용 프로그램들 중 적어도 일부 응용 프로그램에 맞게 조정될 수 있다. 일부 실시예에서, 하나 이상의 키보드 구현이 각각의 사용자에 맞게 조정될 수 있다. 예를 들어, 하나 이상의 키보드 구현이 각각의 사용자의 단어 사용 이력(사전 편찬, 속어, 개별 사용 현황)에 기초하여 각각의 사용자에 맞게 조정될 수 있다. 키보드 구현들 중 일부는, 소프트 키보드 구현을 사용할 때, 하나 이상의 아이콘, 및 따라서 하나 이상의 심볼을 선택할 때 사용자 오류의 확률을 감소시키도록 조정될 수 있다.

이제부터, 터치 감응 디스플레이를 갖는 휴대용 장치의 실시예들에 대해 중점적으로 기술한다. 도 1a 및 도 1b는 일부 실시예에 따른, 터치 감응 디스플레이(112)를 갖는 휴대용 다기능 장치(100)를 나타낸 블록도이다. 터치 감응 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 하고, 또한 터치 감응 디스플레이 시스템이라고도 알려져 있거나 칭할 수 있다. 장치(100)는 메모리(102)(하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있음), 메모리 제어기(122), 하나 이상의 처리 장치(CPU)(120), 주변 장치 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 입/출력(I/O) 서브시스템(106), 기타 입력 또는 제어 장치(116), 및 외부 포트(124)를 포함할 수 있다. 장치(100)는 하나 이상의 광 센서(164)를 포함할 수 있다. 이들 구성요소는 하나 이상의 통신 버스 또는 신호선(103)을 통해 통신할 수 있다.

장치(100)가 휴대용 다기능 장치(100)의 일례에 불과하고 장치(100)가 도시된 것보다 더 많거나 더 적은 구성요소를 가질 수 있거나, 2개 이상의 구성요소를 겸비할 수 있거나, 상이한 구성요소의 구성 또는 배열을 가질 수 있다는 것을 잘 알 것이다. 하나 이상의 신호 처리 및/또는 ASIC(application specific integrated circuit)을 비롯한 도 1a 및 도 1b에 도시된 다양한 구성요소가 하드웨어로, 소프트웨어로 또는 하드웨어와 소프트웨어 둘다의 조합으로 구현될 수 있다.

메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고상 메모리 장치와 같은 비휘발성 메모리를 포함할 수 있다. CPU(120) 및 주변 장치 인터페이스(118)와 같은 장치(100)의 다른 구성요소가 메모리(102)에 액세스하는 것이 메모리 제어기(122)에 의해 제어될 수 있다.

주변장치 인터페이스(118)는 장치의 입력 및 출력 주변 장치를 CPU(120) 및 메모리(102)에 결합시킨다. 하나 이상의 프로세서(120)는, 장치(100)의 다양한 기능을 수행하고 데이터를 처리하기 위해, 메모리(102)에 저장되어 있는 다양한 소프트웨어 프로그램 및/또는 일련의 명령어를 실행한다.

일부 실시예에서, 주변장치 인터페이스(118), CPU(120) 및 메모리 제어기(122)는 칩(104)과 같은 단일 칩 상에 구현될 수 있다. 어떤 다른 실시예에서, 이들은 개별 칩 상에 구현될 수 있다.

RF(radio frequency) 회로(108)는 RF 신호(전자기 신호라고도 함)를 수신하고 전송한다. RF 회로(108)는 전기 신호를 전자기 신호로/전자기 신호를 전기 신호로 변환하고 전자기 신호를 통해 통신 네트워크 및 기타 통신 장치와 통신한다. RF 회로(108)는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱 칩셋, SIM(subscriber identity module) 카드, 메모리(이들로 제한되지 않음) 등을 비롯한 이들 기능을 수행하는 공지의 회로를 포함할 수 있다. RF 회로(108)는 무선 통신에 의해 인터넷[월드 와이드 웹(WWW)이라고도 함], 인트라넷 및/또는 무선 네트워크[휴대 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등]와 같은 네트워크 및 기타 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일에 대한 프로토콜[예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)], 인스턴트 메시징[예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)], 및/또는 SMS(Short Message Service)], 또는 본 문서의 출원일에 즈음하여 아직 개발되지 않은 통신 프로토콜을 포함한 임의의 다른 적당한 통신 프로토콜을 포함하지만 이에 한정되지 않은 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.

오디오 회로(110), 스피커(111), 및 마이크(113)는 사용자와 장치(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변 장치 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하며, 전기 신호를 스피커(111)로 전송한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로(110)는 또한 마이크(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변 장치 인터페이스(118)로 전송한다. 오디오 데이터는 주변 장치 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되고 및/또는 그곳으로 전송될 수 있다. 일부 실시예에서, 오디오 회로(110)는 또한 헤드셋 잭(예를 들어, 도 2의 212)을 포함하고 있다. 헤드셋 잭은 오디오 회로(110)와 이동식 오디오 입/출력 주변 장치[출력 전용 헤드폰 또는 출력(예를 들어, 한쪽 귀 또는 양쪽 귀를 위한 헤드폰) 및 입력(예를 들어, 마이크) 둘다를 갖는 헤드셋 등] 사이의 인터페이스를 제공한다.

I/O 서브시스템(106)은 장치(100) 상의 입/출력 주변 장치[터치 스크린(112) 및 기타 입력/제어 장치(116) 등]를 주변 장치 인터페이스(118)에 결합시킨다. I/O 서브시스템(106)은 디스플레이 제어기(156) 및 다른 입력 또는 제어 장치에 대한 하나 이상의 입력 제어기(160)를 포함할 수 있다. 하나 이상의 입력 제어기(160)는 기타 입력 또는 제어 장치(116)로부터/로 전기 신호를 수신/전송한다. 기타 입력/제어 장치(116)는 실제 버튼[예를 들어, 푸시 버튼, 로커 버튼(rocker button), 기타], 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휘일, 기타를 포함하고 있을 수 있다. 어떤 대안의 실시예에서, 입력 제어기(들)(160)는 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 장치 중 임의의 것에 결합될 수 있다(또는 그 중 아무 것에도 결합되지 않을 수 있다). 하나 이상의 버튼(예를 들어, 도 2의 208)은 스피커(111) 및/또는 마이크(113)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 하나 이상의 버튼은 푸시 버튼(예를 들어, 도 2의 206)을 포함할 수 있다. 푸시 버튼의 빨리 누르기(quick press)는 터치 스크린(112)의 잠금을 해제하거나, 2005년 12월 23일자로 출원된, 발명의 명칭이 "Unlocking a Device by Performing Gestures on an Unlock Image(잠금 해제 이미지 상에서 제스처를 수행하여 장치를 잠금 해제하기)"인 미국 특허 출원 제11/322,549호(참조 문헌으로서 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, 장치를 잠금 해제하기 위해 터치 스크린 상에서 제스처를 사용하는 프로세스를 시작할 수 있다. 푸시 버튼(예를 들어, 206)의 길게 누르기는 장치(100)에 대한 전원을 켜거나 끌 수 있다. 사용자는 버튼들 중 하나 이상의 버튼의 기능을 커스터마이즈할 수 있다. 터치 스크린(112)은 가상 또는 소프트 버튼 및 하나 이상의 소프트 키보드를 구현하는 데 사용된다.

터치-감응 터치 스크린(112)은 장치와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 전기 신호를 터치 스크린(112)으로부터/으로 수신 및/또는 전송한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 그래픽, 텍스트, 아이콘, 이 비디오, 및 이들의 임의의 조합(모두 합하여 "그래픽"이라고 함)을 포함할 수 있다. 일부 실시예에서, 시각적 출력의 일부 또는 전부는 사용자-인터페이스 객체에 대응할 수 있다.

터치 스크린(112)은 햅틱 및/또는 촉각 접촉에 기초한 사용자로부터의 입력을 받는 터치-감응 표면, 센서 또는 일련의 센서를 가진다. 터치 스크린(112) 및 디스플레이 제어기(156)는 [메모리(102) 내의 임의의 연관된 모듈 및/또는 명령어 집합과 함께] 터치 스크린(112) 상의 접촉(및 접촉의 움직임 또는 단절)을 검출하고, 검출된 접촉을 터치 스크린 상에 디스플레이되는 사용자-인터페이스 객체(예를 들어, 하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 이미지 등)와의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉점은 사용자의 손가락에 대응한다.

터치 스크린(112)은 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있지만, 다른 실시예에서 기타 디스플레이 기술들이 사용될 수 있다. 터치 스크린(112) 및 디스플레이 제어기(156)는 용량성, 저항성, 적외선 및 표면 음파(surface acoustic wave) 기술은 물론 터치 스크린(112)과의 하나 이상의 접촉점을 결정하는 기타 근접 센서 어레이 또는 기타 요소(이들로 제한되지 않음)를 비롯한 현재 알려져 있거나 나중에 개발되는 복수의 터치 감지 기술 중 임의의 기술을 사용하여 접촉 및 접촉의 움직임 또는 단절을 검출할 수 있다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 Apple Computer, Inc.의 iPhone? 및 iPod Touch®에서 발견되는 것과 같은 제안된 상호 커패시턴스 감지 기술이 사용된다.

터치 스크린(112)의 일부 실시예에서의 터치-감응 디스플레이는 미국 특허 제6,323,846호(Westerman 등), 제6,570,557호(Westerman 등), 및/또는 제6,677,932호(Westerman), 및/또는 미국 특허 공개 제2002/0015024A1호에 기술되어 있는 멀티-터치 감응 태블릿과 유사할 수 있으며, 이들 미국 특허 및 미국 특허 공개 각각은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다. 그렇지만, 터치 스크린(112)은 휴대용 장치(100)로부터의 시각적 출력을 디스플레이하는 반면, 터치 감응 태블릿은 시각적 출력을 제공하지 않는다.

터치 스크린(112)의 일부 실시예에서의 터치-감응 디스플레이는 하기의 출원에 기술된 것과 같을 수 있다: (1) 2006년 5월 2일자로 출원된, 발명의 명칭이 "Multipoint Touch Surface Controller(멀티포인트 터치 표면 제어기)"인 미국 특허 출원 제11/381,313호, (2) 2004년 5월 6일자로 출원된, 발명의 명칭이 "Multipoint Touchscreen(멀티포인트 터치스크린)"인 미국 특허 출원 제10/840,862호, (3) 2004년 7월 30일자로 출원된, 발명의 명칭이 "Gestures For Touch Sensitive Input Devices(터치 감응 입력 장치에 대한 제스처)"인 미국 특허 출원 제10/903,964호, (4) 2005년 1월 31일자로 출원된, 발명의 명칭이 "Gestures For Touch Sensitive Input Devices(터치 감응 입력 장치에 대한 제스처)"인 미국 특허 출원 제11/048,264호, (5) 2005년 1월 18일자로 출원된, 발명의 명칭이 "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices(터치 감응 입력 장치에 대한 모드-기반 그래픽 사용자 인터페이스)"인 미국 특허 출원 제11/038,590호, (6) 2005년 9월 16일자로 출원된, 발명의 명칭이 "Virtual Input Device Placement On A Touch Screen User Interface(터치 스크린 사용자 인터페이스 상의 가상 입력 장치 배치)"인 미국 특허 출원 제11/228,758호, (7) 2005년 9월 16일자로 출원된, 발명의 명칭이 "Operation Of A Computer With A Touch Screen Interface(터치 스크린 인터페이스를 갖는 컴퓨터의 동작)"인 미국 특허 출원 제11/228,700호, (8) 2005년 9월 16일자로 출원된, 발명의 명칭이 "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard(터치 스크린 가상 키보드의 가상 키 활성화)"인 미국 특허 출원 제11/228,737호, 및 (9) 2006년 3월 3일자로 출원된, 발명의 명칭이 "Multi-Functional Hand-Held Device(다기능 핸드헬드 장치)"인 미국 특허 출원 제11/367,749호. 이들 출원 각각은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.

터치 스크린(112)은 100 dpi를 초과하는 해상도를 가질 수 있다. 예시적인 실시예에서, 터치 스크린은 대략 160 dpi의 해상도를 가진다. 사용자는 스타일러스, 손가락, 기타 등등의 임의의 적당한 물체 또는 부속물을 사용하여 터치 스크린(112)과 접촉할 수 있다. 일부 실시예에서, 사용자 인터페이스는 주로 손가락-기반 접촉 및 제스처(터치 스크린 상에서의 손가락의 접촉 면적이 더 크기 때문에 스타일러스-기반 입력보다 훨씬 덜 정확함)를 사용하여 동작하도록 설계되어 있다. 일부 실시예에서, 장치는 대략적인 손가락-기반 입력을 사용자가 원하는 동작을 수행하는 정확한 포인터/커서 위치 또는 명령으로 변환한다.

일부 실시예에서, 터치 스크린에 부가하여, 장치(100)는 특정의 기능을 활성화 또는 비활성화시키는 터치패드(도시 생략)를 포함할 수 있다. 일부 실시예에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 장치의 터치-감응 영역이다. 터치패드는 터치 스크린(112)과 별개인 터치-감응 표면이거나 터치 스크린에 의해 형성되는 터치-감응 표면의 연장부일 수 있다.

일부 실시예에서, 장치(100)는 입력 제어 장치(116)로서 실제 또는 가상 클릭 휘일을 포함할 수 있다. 사용자는, 클릭 휘일을 회전시킴으로써 또는 클릭 휘일과의 접촉 지점을 움직임으로써[예를 들어, 접촉 지점의 움직임의 양이 클릭 휘일의 중앙 지점에 대한 그의 각도 변위(angular displacement)로 측정되는 경우], 터치 스크린(112)에 디스플레이되는 하나 이상의 그래픽 객체(예를 들어, 아이콘)를 탐색하고 그와 상호작용할 수 있다. 클릭 휘일은 또한 디스플레이된 아이콘들 중 하나 이상의 아이콘을 선택하는 데 사용될 수 있다. 예를 들어, 사용자는 클릭 휘일 또는 관련 버튼의 적어도 일부분을 누를 수 있다. 클릭 휘일을 통해 사용자에 의해 제공되는 사용자 명령 및 탐색 명령은 입력 제어기(160)는 물론, 메모리(102) 내의 모듈들 및/또는 명령어 집합들 중 하나 이상에 의해 처리될 수 있다. 가상 클릭 휘일의 경우, 클릭 휘일 및 클릭 휘일 제어기는 각각 터치 스크린(112) 및 디스플레이 제어기(156)의 일부일 수 있다. 가상 클릭 휘일의 경우, 클릭 휘일은 장치와의 사용자 상호작용에 응답하여 터치 스크린 디스플레이 상에 나타나고 사라지는 불투명 또는 반투명 객체일 수 있다. 일부 실시예에서, 가상 클릭 휘일이 휴대용 다기능 장치의 터치 스크린 상에 디스플레이되고 터치 스크린과의 사용자 접촉에 의해 조작된다.

장치(100)는 또한 다양한 구성요소에 전원을 제공하는 전원 시스템(162)도 포함하고 있다. 전원 시스템(162)은 전력 관리 시스템, 하나 이상의 전원[예를 들어, 배터리, 교류(AC)], 충전 시스템, 전원 고장 검출 회로, 전력 컨버터 또는 인버터, 전원 상태 표시기[예를 들어, LED(light emitting diode)] 및 휴대용 장치에서의 전력의 발생, 관리 및 분배와 연관되어 있는 임의의 다른 구성요소를 포함할 수 있다.

장치(100)는 또한 하나 이상의 광 센서(164)도 포함할 수 있다. 도 1a 및 도 1b는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 결합된 광 센서를 나타내고 있다. 광 센서(164)는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 광 트랜지스터(phototransistor)를 포함할 수 있다. 광 센서(164)는 하나 이상의 렌즈를 통해 투사되는, 환경으로부터의 광을 수광하고, 이 광을 영상을 표현하는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈이라고도 함)과 관련하여, 광 센서(164)는 정지 영상 또는 비디오를 캡처할 수 있다. 일부 실시예에서, 광 센서는 장치의 전면에 있는 터치 스크린 디스플레이(112)의 반대쪽인, 장치(100)의 배면에 위치하며, 따라서 터치 스크린 디스플레이가 정지 및/또는 비디오 영상 획득을 위한 뷰 파인더로서 사용될 수 있다. 일부 실시예에서, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자를 보면서 화상 회의를 위해 사용자의 영상이 획득될 수 있도록 광 센서가 장치의 전면에 위치해 있다. 일부 실시예에서, 화상 회의 및 정지 및/또는 비디오 영상 획득 둘다를 위해 하나의 광 센서(164)가 터치 스크린 디스플레이와 함께 사용될 수 있도록 사용자에 의해(예를 들어, 장치 하우징 내의 렌즈 및 센서를 회전시킴으로써) 광 센서(164)의 위치가 변경될 수 있다.

장치(100)는 또한 하나 이상의 근접 센서(166)도 포함할 수 있다. 도 1a 및 도 1b는 주변 장치 인터페이스(118)에 결합된 근접 센서(166)를 나타내고 있다. 다른 대안으로서, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 결합될 수 있다. 근접 센서(166)는 발명의 명칭이 "Proximity Detector In Handheld Device(핸드헬드 장치 내의 근접 검출기)"인 미국 특허 출원 제11/241,839호, 발명의 명칭이 "Proximity Detector In Handheld Device(핸드헬드 장치 내의 근접 검출기)"인 미국 특허 출원 제11/240,788호, 발명의 명칭이 "Using Ambient Light Sensor To Augment Proximity Sensor Output(주변광 센서를 사용한 근접 센서 출력의 증강)"인 미국 특허 출원 제11/620,702호, 발명의 명칭이 "Automated Response To And Sensing Of User Activity In Portable Devices(휴대용 장치에서의 사용자 동작에 대한 자동화된 응답 및 그의 감지)"인 미국 특허 출원 제11/586,862호, 및 발명의 명칭이 "Methods And Systems For Automatic Configuration Of Peripherals(주변 장치의 자동 구성 방법 및 시스템)"인 미국 특허 출원 제11/638,251호에 기술된 바와 같이 동작할 수 있으며, 이들 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다. 일부 실시예에서, 다기능 장치가 사용자의 귀 근방에 위치될 때(예를 들어, 사용자가 전화 통화를 하고 있을 때), 근접 센서는 터치 스크린(112)을 끄고 비활성화시킨다. 일부 실시예에서, 장치가 잠금 상태에 있을 때 불필요한 배터리 소모를 방지하기 위해, 장치가 사용자의 주머니, 지갑, 또는 기타 어두운 영역에 있을 때, 근접 센서는 스크린을 끈 채로 둔다.

장치(100)는 또한 하나 이상의 가속도계(168)도 포함할 수 있다. 도 1a 및 도 1b는 주변 장치 인터페이스(118)에 결합된 가속도계(168)를 나타내고 있다. 다른 대안으로서, 가속도계(168)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 결합될 수 있다. 가속도계(168)는 발명의 명칭이 "Acceleration-based Theft Detection System for Portable Electronic Devices(휴대용 전자 장치의 가속도-기반 도난 감지 시스템)"인 미국 특허 공개 제20050190059호, 및 발명의 명칭이 "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer(가속도계에 기초하여 휴대용 장치를 동작시키는 방법 및 장치)"인 미국 특허 공개 제20060017692호에 기술된 바와 같이 동작할 수 있으며, 이들 미국 특허 공개 둘다는 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다. 일부 실시예에서, 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여, 정보가 터치 스크린 디스플레이 상에 인물 보기 또는 풍경 보기로 디스플레이된다.

일부 실시예에서, 메모리(102)에 저장된 소프트웨어 구성요소는 운영 체제(126), 통신 모듈(또는 명령어 집합)(128), 접촉/움직임 모듈(또는 명령어 집합)(130), 그래픽 모듈(또는 명령어 집합)(132), 편집 모듈(또는 명령어 집합)(133), 텍스트 입력 모듈(또는 명령어 집합)(134), GPS(Global Positioning System) 모듈(또는 명령어 집합)(135), 및 응용 프로그램(또는 명령어 집합)(136)을 포함할 수 있다.

운영 체제(126)(예를 들어, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반 시스템 작업(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리, 기타)을 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 구성요소와 소프트웨어 구성요소 사이의 통신을 용이하게 해준다.

통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 장치들과의 통신을 용이하게 해주고, 또한 RF 회로(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하는 다양한 소프트웨어 구성요소를 포함한다. 외부 포트(124)[예를 들어, USB(Universal Serial Bus), FireWire, 기타]는 다른 장치들에 직접 결합하거나 네트워크(예를 들어, 인터넷, 무선 LAN, 기타)를 통해 간접적으로 결합하도록 되어 있다. 일부 실시예에서, 외부 포트는 iPod(Apple Computer, Inc.의 상표) 장치에서 사용되는 30-핀 커넥터와 동일하거나 유사하고 및/또는 호환되는 멀티-핀(예를 들어, 30-핀) 커넥터이다.

접촉/움직임 모듈(130)은 [디스플레이 제어기(156)와 관련된] 터치 스크린(112) 및 다른 터치 감응 장치(예를 들어, 터치패드 또는 실제 클릭 휘일)와의 접촉을 검출할 수 있다. 접촉/움직임 모듈(130)은 접촉이 일어났는지를 판정하는 것(예를 들어, 손가락-아래로 이벤트를 검출하는 것), 접촉의 움직임이 있는지를 판정하고 터치-감응 표면을 가로지르는 움직임을 추적하는 것(예를 들어, 하나 이상의 손가락-드래그 이벤트를 검출하는 것), 및 접촉이 중단되었는지를 판정하는 것(예를 들어, 손가락-위로 이벤트 또는 접촉의 단절을 검출하는 것)과 같은, 접촉의 검출과 관련된 다양한 동작을 수행하는 다양한 소프트웨어 구성요소를 포함한다. 접촉/움직임 모듈(130)은 터치-감응 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터로 표현되는 접촉 지점의 움직임을 판정하는 것은 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함할 수 있다. 이들 동작은 단일 접촉(예를 들어, 하나의 손가락 접촉)에 또는 다중 동시 접촉(예를 들어, "멀티터치"/다중 손가락 접촉)에 적용될 수 있다. 일부 실시예에서, 접촉/움직임 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다. 일부 실시예에서, 접촉/움직임 모듈(130) 및 디스플레이 제어기(160)는 클릭 휘일 상의 접촉을 검출한다.

접촉/움직임 모듈(130)은 사용자에 의해 입력된 제스처를 검출할 수 있다. 터치-감응 표면 상의 상이한 제스처는 상이한 접촉 패턴을 가진다. 따라서, 특정의 접촉 패턴을 검출함으로써 제스처가 검출될 수 있다. 예를 들어, 손가락 탭핑 제스처를 검출하는 것은 손가락-아래로 이벤트를 검출하고 이어서 손가락-아래로 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예를 들어, 아이콘의 위치에서) 손가락-위로 이벤트를 검출하는 것을 포함한다. 다른 일례로서, 터치-감응 표면 상에서 손가락 스와이프 제스처를 검출하는 것은 손가락-아래로 이벤트를 검출하고 이어서 하나 이상의 손가락-드래그 이벤트를 검출하며 그 후에 손가락-위로 이벤트를 검출하는 것을 포함한다.

그래픽 모듈(132)은 디스플레이되는 그래픽의 휘도를 변경하는 구성요소를 비롯한, 터치 스크린(112) 또는 기타 디스플레이 상에 그래픽을 렌더링하고 디스플레이하는 다양한 공지된 소프트웨어 구성요소를 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는 텍스트, 웹 페이지, 아이콘(소프트 키를 비롯한 사용자 인터페이스 객체 등), 디지털 이미지, 비디오, 애니메이션, 기타(이들로 제한되지 않음)를 비롯한 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.

일부 실시예에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽은 대응하는 코드를 할당받을 수 있다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 기타 그래픽 속성 데이터와 함께 디스플레이될 그래픽을 지정하는 하나 이상의 코드를 응용 프로그램 등으로부터 수신하고, 이어서 디스플레이 제어기(156)에 출력할 스크린 이미지 데이터를 발생한다.

텍스트 입력 모듈(134)의 구성요소일 수 있는 편집 모듈(133)은 다양한 응용 프로그램[예를 들어, 연락처(137), 이메일(140), IM(141), 브라우저(147), 달력(148), 검색 모듈(151), 및 콘텐츠를 선택하고 편집할 필요가 있는 임의의 다른 응용 프로그램]에서 사용자-선택 콘텐츠에 관련된 잘라내기, 복사, 붙여넣기, 및 기타 기능을 제공한다.

그래픽 모듈(132)의 구성요소일 수 있는 텍스트 입력 모듈(134)은 다양한 응용 프로그램[예를 들어, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 응용 프로그램]에서 텍스트를 입력하는 소프트 키보드를 제공한다.

GPS 모듈(135)은 장치의 위치를 결정하고, 이 정보를 다양한 응용 프로그램에서 사용하도록[예를 들어, 위치-기반 다이얼링에서 사용하도록 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 및 날씨 위젯, 지역 옐로우 페이지 위젯, 및 지도/내비게이션 위젯과 같은 위치-기반 서비스를 제공하는 응용 프로그램에] 제공한다.

응용 프로그램(136)은 다음과 같은 모듈(또는 명령어 집합) 또는 그의 부분 집합 또는 상위 집합(superset)을 포함할 수 있다:

연락처 모듈(137)(때때로 주소록 또는 연락처 목록이라고 함),

전화 모듈(138),

화상 회의 모듈(139),

이메일 클라이언트 모듈(140),

인스턴트 메시징(IM) 모듈(141),

운동 보조 모듈(142),

정지 및/또는 비디오 영상에 대한 카메라 모듈(143),

이미지 관리 모듈(144),

비디오 플레이어 모듈(145),

음악 플레이어 모듈(146),

브라우저 모듈(147),

달력 모듈(148),

날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 기타 위젯은 물론, 사용자-생성 위젯(149-6)을 포함할 수 있는 위젯 모듈(149),

사용자-생성 위젯(149-6)을 만드는 위젯 생성기 모듈(150),

검색 모듈(151),

비디오 플레이어 모듈(145) 및 음악 플레이어 모듈(146)을 병합한 비디오 및 음악 플레이어 모듈(152),

메모 모듈(153),

지도 모듈(154), 및/또는

온라인 비디오 모듈(155).

메모리(102)에 저장될 수 있는 다른 응용 프로그램(136)의 일례는 다른 워드 프로세싱 응용 프로그램, 다른 이미지 편집 응용 프로그램, 그리기 응용 프로그램, 프레젠테이션 응용 프로그램, JAVA-지원 응용 프로그램, 암호화, 디지털 저작권 관리(digital rights management), 음성 인식, 및 음성 복제를 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 연락처 모듈(137)은 주소록에 이름(들)을 추가하는 것, 주소록으로부터 이름(들)을 삭제하는 것, 전화 번호(들), 이메일 주소(들), 실제 주소(들) 또는 기타 정보를 이름과 연관시키는 것, 이미지를 이름과 연관시키는 것, 이름을 분류하고 정렬하는 것, 전화(138), 화상 회의(139), 이메일(140), 또는 IM(141)에 의한 통신을 시작하고 및/또는 용이하게 해주기 위해 전화 번호 또는 이메일 주소를 제공하는 것 등을 비롯하여 주소록 또는 연락처 목록을 관리하는 데 사용될 수 있다.

RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 전화 모듈(138)은 전화 번호에 대응하는 문자 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화 번호에 액세스하며, 입력된 전화 번호를 수정하고, 각각의 전화 번호를 다이얼하며, 대화를 수행하고, 대화가 완료될 때 연결 해제하거나 수화기를 놓는 데 사용될 수 있다. 앞서 살펴본 바와 같이, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.

RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 관련하여, 화상 회의 모듈(139)은 사용자와 하나 이상의 다른 참가자 사이에서 화상 회의를 시작, 수행 및 종료하는 데 사용될 수 있다.

RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 이메일 클라이언트 모듈(140)은 이메일을 생성, 전송, 수신 및 관리하는 데 사용될 수 있다. 이미지 관리 모듈(144)과 관련하여, 이메일 모듈(140)은 카메라 모듈(143)로 찍은 정지 또는 비디오 영상을 갖는 이메일을 생성하고 전송하는 것을 아주 쉽게 만들어준다.

RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 인스턴트 메시징 모듈(141)은 인스턴트 메시지에 대응하는 문자 시퀀스를 입력하고, 이전에 입력된 문자를 수정하며, [예를 들어, 전화-기반 인스턴트 메시지에 대해 SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 프로토콜을 사용하여 또는 인터넷-기반 인스턴스 메시지에 대해 XMPP, SIMPLE, 또는 IMPS를 사용하여] 각각의 인스턴트 메시지를 전송하고, 인스턴트 메시지를 수신하며, 수신된 인스턴트 메시지를 보는 데 사용될 수 있다. 일부 실시예에서, 전송된 및/또는 수신된 인스턴트 메시지는 그래픽, 사진, 오디오 파일, 비디오 파일, 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화-기반 메시지(예를 들어, SMS 또는 MMS를 사용하여 전송되는 메시지) 및 인터넷-기반 메시지(예를 들어, XMPP, SIMPLE, 또는 IMPS를 사용하여 전송되는 메시지) 둘다를 말한다.

RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 플레이어 모듈(146)과 관련하여, 운동 보조 모듈(142)은 (예를 들어, 시간, 거리 및/또는 칼로리 소모 목표를 갖는) 운동을 생성하고, 운동 센서(스포츠 장치)와 통신하며, 운동 센서 데이터를 수신하고, 운동을 모니터링하는 데 사용되는 센서를 보정하며, 운동에 대한 음악을 선택하여 재생하고, 운동 데이터를 디스플레이, 저장 및 전송하는 데 사용될 수 있다.

터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 및 이미지 관리 모듈(144)과 관련하여, 카메라 모듈(143)은 정지 영상 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이를 메모리(102)에 저장하거나, 정지 영상 또는 비디오의 특성을 수정하거나, 정지 영상 또는 비디오를 메모리(102)로부터 삭제하는 데 사용될 수 있다.

터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), 및 카메라 모듈(143)과 관련하여, 이미지 관리 모듈(144)은 정지 및/또는 비디오 영상을 배열, 수정(예를 들어, 편집), 또는 다른 방식으로 조작, 분류, 삭제, (예를 들어, 디지털 슬라이드 쇼 또는 앨범으로) 제시, 및 저장하는 데 사용될 수 있다..

터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 및 스피커(111)와 관련하여, 비디오 플레이어 모듈(145)은 [예를 들어, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서] 비디오를 디스플레이, 제시 또는 다른 방식으로 재생하는 데 사용될 수 있다.

터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 관련하여, 음악 플레이어 모듈(146)은 사용자가 하나 이상의 파일 형식(MP3 또는 AAC 파일 등)으로 저장되어 있는 녹음된 음악 및 기타 사운드 파일을 다운로드하여 재생할 수 있게 해준다. 어떤 실시예들에서, 장치(100)는 iPod(Apple Computer, Inc.의 상표)과 같은 MP3 플레이어의 기능을 포함할 수 있다.

RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 브라우저 모듈(147)은, 웹 페이지 또는 그의 일부분은 물론 웹 페이지에 링크된 첨부물 및 기타 파일을 검색하는 것, 그에 링크하는 것, 그를 수신하는 것, 및 그를 디스플레이하는 것을 비롯하여, 인터넷을 브라우징하는 데 사용될 수 있다.

RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), 이메일 모듈(140), 및 브라우저 모듈(147)과 관련하여, 달력 모듈(148)은 달력 및 달력과 연관된 데이터(예를 들어, 달력 항목, 할 일 목록, 기타)를 생성, 디스플레이, 수정, 및 저장하는 데 사용될 수 있다.

RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), 및 브라우저 모듈(147)과 관련하여, 위젯 모듈(149)은 사용자에 의해 다운로드되어 사용될 수 있는 미니-응용 프로그램이거나[예를 들어, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 및 사전 위젯(149-5)], 사용자에 의해 생성될 수 있는 미니-응용 프로그램[예를 들어, 사용자-생성 위젯(149-6)]이다. 일부 실시예에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일, 및 자바스크립트 파일을 포함한다. 일부 실시예에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예를 들어, Yahoo! 위젯)을 포함한다.

RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), 및 브라우저 모듈(147)과 관련하여, 위젯 생성기 모듈(150)은 위젯을 생성하기 위해(예를 들어, 웹 페이지의 사용자-지정 부분을 위젯으로 변환함) 사용자에 의해 사용될 수 있다.

터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 검색 모듈(151)은 하나 이상의 검색 조건(예를 들어, 하나 이상의 사용자-지정 검색어)과 일치하는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 기타 파일을 검색하는 데 사용될 수 있다.

터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 메모 모듈(153)은 메모, 할 일 목록, 기타를 생성하고 관리하는 데 사용될 수 있다.

RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 관련하여, 지도 모듈(154)은 지도 및 지도와 연관된 데이터(예를 들어, 운전 방향, 특정 장소에 또는 그 근방에 있는 상점 및 기타 관심 지점에 관한 데이터, 및 기타 위치-기반 데이터)를 수신, 디스플레이, 수정 및 저장하는 데 사용될 수 있다.

터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 편집 모듈(133), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 관련하여, 온라인 비디오 모듈(155)은 사용자가 특정의 온라인 비디오에 대한 링크를 갖는 이메일에 액세스하고, 브라우징하며, (예를 들어, 스트리밍 및/또는 다운로드에 의해) 수신하고, [예를 들어, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서] 재생하며, 전송하고, 하나 이상의 파일 형식(H.264 등)으로 된 온라인 비디오를 다른 방식으로 관리할 수 있게 해준다. 일부 실시예에서, 이메일 클라이언트 모듈(140)보다는 인스턴트 메시징 모듈(141)이 특정의 온라인 비디오에 대한 링크를 전송하는 데 사용된다. 온라인 비디오 응용 프로그램에 대한 부가의 설명은 2007년 6월 20일자로 출원된, 발명의 명칭이 "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos(온라인 비디오를 재생하는 휴대용 다기능 장치, 방법 및 그래픽 사용자 인터페이스)"인 미국 가특허 출원 제60/936,562호, 및 2007년 12월 31일자로 출원된, 발명의 명칭이 "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos(온라인 비디오를 재생하는 휴대용 다기능 장치, 방법 및 그래픽 사용자 인터페이스)"인 미국 특허 출원 제11/968,067호에서 찾아볼 수 있으며, 이들 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.

상기 언급한 모듈 및 응용 프로그램 각각은 상기한 하나 이상의 기능을 수행하는 실행가능 명령어 집합 및 이 응용 프로그램에 기술된 방법(예를 들어, 본 명세서에 기술된 컴퓨터-구현 방법 및 기타 정보 처리 방법)에 대응한다. 이들 모듈(즉, 명령어 집합)은 별도의 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요가 없고, 따라서 다양한 실시예에서 이들 모듈의 다양한 부분집합이 결합되거나 다른 방식으로 재배열될 수 있다. 예를 들어, 비디오 플레이어 모듈(145)은 음악 플레이어 모듈(146)과 결합되어 하나의 모듈[예를 들어, 비디오 및 음악 플레이어 모듈(152), 도 1b]로 될 수 있다. 일부 실시예에서, 메모리(102)는 앞서 언급한 모듈 및 데이터 구조의 부분집합을 저장할 수 있다. 게다가, 메모리(102)는 앞서 기술하지 않은 부가의 모듈 및 데이터 구조를 저장할 수 있다.

일부 실시예에서, 장치(100)는 장치 상에서의 소정의 일련의 기능의 동작이 터치 스크린(112) 및/또는 터치패드를 통해 배타적으로 수행되는 장치이다. 장치(100)의 동작을 위한 주 입력/제어 장치로서 터치 스크린 및/또는 터치패드를 사용함으로써, 장치(100) 상의 실제 입력/제어 장치(푸시 버튼, 다이얼, 기타 등등)의 수가 감소될 수 있다.

터치 스크린 및/또는 터치패드를 통해 배타적으로 수행될 수 있는 소정의 일련의 기능은 사용자 인터페이스 간의 이동을 포함한다. 일부 실시예에서, 터치패드는, 사용자에 의해 터치될 때, 장치(100)를 장치(100) 상에 디스플레이될 수 있는 임의의 다른 사용자 인터페이스로부터 주 메뉴, 홈 메뉴 또는 루트 메뉴로 이동하게 한다. 이러한 실시예에서, 터치패드는 "메뉴 버튼"이라고 할 수 있다. 어떤 다른 실시예에서, 메뉴 버튼는 터치패드 대신에 실제 푸시 버튼이거나 다른 실제 입력/제어 장치일 수 있다.

도 2는 일부 실시예에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 장치(100)를 나타낸 것이다. 터치 스크린은 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽을 디스플레이할 수 있다. 이 실시예에서는 물론 이하에 기술되는 다른 실시예에서, 사용자는, 예를 들어, 하나 이상의 손가락(202)(도면에 축척대로 그려져 있지 않음)으로 그래픽에 접촉하거나 터치함으로써 그래픽들 중 하나 이상의 그래픽을 선택할 수 있다. 일부 실시예에서, 사용자가 하나 이상의 그래픽과의 접촉을 단절할 때 하나 이상의 그래픽의 선택이 일어난다. 일부 실시예에서, 접촉은 하나 이상의 탭핑, 하나 이상의 스와이프(좌측에서 우측으로, 우측에서 좌측으로, 위로 및/또는 아래로), 및/또는 장치(100)와 접촉한 손가락의 롤링(우측에서 좌측으로, 좌측에서 우측으로, 위로 및/또는 아래로)과 같은 제스처를 포함할 수 있다. 일부 실시예에서, 그래픽과의 부적절한 접촉은 그래픽을 선택하지 않을 수 있다. 예를 들어, 선택에 대응하는 제스처가 탭핑일 때, 응용 프로그램 아이콘 위를 지나가는 스와이프 제스처는 대응하는 응용 프로그램을 선택하지 않을 수 있다.

장치(100)는 또한 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 실제 버튼을 포함할 수 있다. 앞서 기술한 바와 같이, 메뉴 버튼(204)은 장치(100) 상에서 실행될 수 있는 일련의 응용 프로그램 중 임의의 응용 프로그램(136)으로 이동하는 데 사용될 수 있다. 다른 대안으로서, 일부 실시예에서, 메뉴 버튼은 터치 스크린(112) 내의 GUI에서 소프트 키로서 구현되어 있다.

일 실시예에서 장치(100)는 터치 스크린(112), 메뉴 버튼(204), 장치의 전원을 켜고/끄며 장치를 잠금하는 푸시 버튼(206), 볼륨 조절 버튼(들)(208), SIM(Subscriber Identity Module) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은 버튼을 누르고 소정의 시간 구간 동안 버튼을 눌러진 상태로 유지함으로써 장치를 켜고/끄는 데, 버튼을 누르고 소정의 시간 구간이 만료되기 전에 버튼을 놓음으로써 장치를 잠금하는 데, 및/또는 장치를 잠금 해제하거나 잠금 해제 프로세스를 시작하는 데 사용될 수 있다. 대안의 실시예에서, 장치(100)는 또한 마이크(113)를 통해 어떤 기능의 활성화 또는 비활성화를 위한 구두 입력을 받을 수 있다.

도 3은 일부 실시예에 따른 예시적인 다기능 장치의 블록도이다. 장치(300)는 휴대용일 필요가 없다. 일부 실시예에서, 장치(300)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 테이블 컴퓨터, 멀티미디어 플레이어 장치, 내비게이션 장치, 교육 장치(아동의 학습 완구 등), 게임 시스템, 또는 제어 장치(예를 들어, 가정용 또는 산업용 제어기)이다. 장치(300)는 통상적으로 하나 이상의 처리 장치(CPU)(310), 하나 이상의 네트워크 또는 기타 통신 인터페이스(360), 메모리(370), 및 이들 구성요소를 상호연결시키는 하나 이상의 통신 버스(320)를 포함한다. 통신 버스(320)는 시스템 구성요소들 간의 통신을 상호연결시키고 제어하는 회로(때때로 칩셋이라고 함)를 포함할 수 있다. 장치(300)는, 일부 실시예에서, 터치 스크린 디스플레이(112)인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 키보드 및/또는 마우스(또는 다른 포인팅 장치)(350) 그리고 터치패드(355)를 포함할 수 있다. 메모리(370)는 DRAM, SRAM, DDR RAM과 같은 고속 랜덤 액세스 메모리 또는 다른 랜덤 액세스 고상 메모리 장치를 포함하고, 하나 이상의 자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고상 저장 장치와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(370)는 선택적으로 CPU(들)(310)로부터 원격지에 위치한 하나 이상의 저장 장치를 포함할 수 있다. 일부 실시예에서, 메모리(370)는 휴대용 다기능 장치(100)(도 1)의 메모리(102)에 저장된 프로그램, 모듈, 및 데이터 구조와 유사한 프로그램, 모듈, 및 데이터 구조, 또는 그의 부분 집합을 저장한다. 게다가, 메모리(370)는 휴대용 다기능 장치(100)의 메모리(102)에 존재하지 않는 부가의 프로그램, 모듈, 및 데이터 구조를 저장할 수 있다. 예를 들어, 장치(300)의 메모리(370)는 그리기 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹 사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장할 수 있지만, 휴대용 다기능 장치(100)(도 1)의 메모리(102)는 이들 모듈을 저장하고 있지 않을 수 있다.

도 3에서 상기 언급한 요소들 각각은 이전에 언급한 메모리 장치들 중 하나 이상의 메모리 장치에 저장될 수 있다. 이상에 언급한 모듈들 각각은 이상에서 기술한 기능을 수행하는 명령어 집합에 대응한다. 상기 언급한 모듈 또는 프로그램(즉, 명령어 집합)은 별도의 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요가 없고, 따라서 다양한 실시예에서 이들 모듈의 다양한 부분집합이 결합되거나 다른 방식으로 재배열될 수 있다. 일부 실시예에서, 메모리(370)는 앞서 언급한 모듈 및 데이터 구조의 부분집합을 저장할 수 있다. 게다가, 메모리(370)는 앞서 기술하지 않은 부가의 모듈 및 데이터 구조를 저장할 수 있다.

이제부터 휴대용 다기능 장치(100) 상에서 구현될 수 있는 사용자 인터페이스("UI")의 실시예에 대해 중점적으로 기술한다.

도 4a 및 도 4b는 일부 실시예에 따른, 휴대용 다기능 장치(100) 상의 응용 프로그램의 메뉴에 대한 예시적인 사용자 인터페이스를 나타낸 것이다. 유사한 사용자 인터페이스가 장치(300) 상에 구현될 수 있다. 일부 실시예에서, 사용자 인터페이스(400A)는 다음과 같은 요소, 또는 그의 부분 집합 또는 상위 집합을 포함한다:

셀룰러 및 Wi-Fi 신호와 같은, 무선 통신(들)에 대한 신호 세기 표시기(들)(402),

시간(404),

블루투스 표시기(405),

배터리 상태 표시기(406),

다음과 같은 종종 사용되는 응용 프로그램에 대한 아이콘을 갖는 트레이(408):

o 부재중 전화 또는 음성 메일 메시지의 수의 표시기(414)를 포함할 수 있는 전화(138),

o 읽지 않은 이메일의 수의 표시기(410)를 포함할 수 있는 이메일 클라이언트(140),

o 브라우저(147),

o 음악 플레이어(146), 및

다음과 같은 다른 응용 프로그램에 대한 아이콘:

o IM(141),

o 이미지 관리(144),

o 카메라(143),

o 비디오 플레이어(145),

o 날씨(149-1),

o 주식(149-2),

o 운동 보조(142),

o 달력(148),

o 계산기(149-3),

o 알람 시계(149-4),

o 사전(149-5), 및

o 사용자-생성 위젯(149-6).

일부 실시예에서, 사용자 인터페이스(400B)는 다음과 같은 요소, 또는 그의 부분 집합 또는 상위 집합을 포함한다:

상기한 바와 같은 402, 404, 405, 406, 141, 148, 144, 143, 149-3, 149-2, 149-1, 149-4, 410, 414, 138, 140, 및 147,

지도(154),

메모(153),

이하에서 더 기술하는 바와 같이, 장치(100) 및 그의 다양한 응용 프로그램(136)의 설정에 대한 액세스를 제공하는 설정(412),

아이팟(Apple Computer, Inc.의 상표) 모듈(152)이라고도 하는 비디오 및 음악 플레이어 모듈(152), 및

YouTube(Google, Inc.의 상표) 모듈(155)이라고도 하는 온라인 비디오 모듈(155).

이제부터 터치 스크린 디스플레이를 갖는 다기능 장치[장치(300) 또는 휴대용 다기능 장치(100) 등] 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 관련 프로세스의 실시예에 대해 중점적으로 기술한다.

도 5a 내지 도 5qq는 일부 실시예에 따른, 터치 스크린 디스플레이를 갖는 다기능 장치 상에서 콘텐츠를 선택하는 예시적인 사용자 인터페이스를 나타낸 것이다. 이들 도면에서의 사용자 인터페이스는 도 9a 내지 도 9d, 도 10a 내지 도 10d, 도 11a 내지 도 11c, 도 12 및 도 13a 내지 도 13g와 관련하여 이하에 기술되는 프로세스를 설명하는 데 사용된다.

도 5a 내지 도 5d는 콘텐츠 확대기(508)를 사용하여 편집가능 콘텐츠 내에 삽입 마커(510)를 배치하는 것을 나타낸 것이다. 콘텐츠 확대기는 손가락 접촉(514)의 움직임에 따라 움직인다.

도 5d 내지 도 5k는 "선택" 명령 아이콘(518) 상에서 손가락 제스처를 검출한 것에 응답하여 삽입 마커의 현재 위치와 연관된 편집가능 콘텐츠를 선택하는 것을 나타낸 것이다. 일부 실시예에서, 삽입 마커가 단어 내에(예를 들어, 도 5h 및 도 5i에서 단어 "nation"), 단어의 첫번째 글자에 인접하여(예를 들어, 도 5d 및 도 5e에서 단어 "Four"), 또는 단어의 마지막 글자에 인접하여(예를 들어, 도 5f 및 도 5g에서 단어 "forth") 있는 경우 단어가 선택된다. 일부 실시예에서, 삽입 마커가 현재 단어 내에 또는 단어의 첫번째 또는 마지막 글자에 인접하여 위치하지 않고 문장 이후에 위치하는 경우 가장 가까운 단어 및 임의의 구두점 및/또는 공백이 선택된다(예를 들어, 도 5j 및 도 5k에서 "equal.").

도 5d 및 도 5l은 "모두 선택" 명령 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여 편집가능 콘텐츠 모두를 선택하는 것을 나타내고 있다.

도 5m 및 도 5o는 콘텐츠 확대기(508)를 사용하여 읽기 전용 콘텐츠(538) 내에 위치 마커(546)를 배치하는 것을 나타낸 것이다. 콘텐츠 확대기(508)는 손가락 접촉(550)의 움직임에 따라 움직인다.

도 5p 및 도 5q는 "선택" 명령 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여 읽기 전용 콘텐츠를 선택하는 것을 나타내고 있다. 일부 실시예에서, 선택은 편집가능 콘텐츠에서의 선택과 유사하지만, 확대되지 않은 콘텐츠에 삽입 마커(510)가 디스플레이되지 않는다.

도 5p, 도 5r 및 도 5s는 "모두 선택" 명령 아이콘(520) 상에서 손가락 제스처를 검출한 것에 응답하여 읽기 전용 콘텐츠(538) 모두를 선택하는 것을 나타내고 있다.

도 5t 및 도 5u는 단어 상에서의 두번-탭핑의 한 손가락 제스처로 단어를 선택하는 것을 나타낸 것이다.

도 5v 내지 도 5z는 단어, 텍스트 줄, 문장, 또는 단락을 선택하는 제스처를 나타내고 있다.

도 5aa 내지 도 5cc는 한 손가락에 의한 탭핑 앤 하프 제스처(tap-and-a-half gesture)를 나타내고 있다.

도 5dd 내지 도 5kk는 콘텐츠를 선택하고 선택된 콘텐츠를 증가시키는 두 손가락 제스처(two-finger gesture)를 나타낸 것이다.

도 5ll 내지 도 5nn은 한 손가락에 의한 여백에서 시작된 선택 제스처(margin-initiated selection gesture)를 나타낸 것이다. 도 5oo 내지 도 5qq는 한 손가락에 의한 스와이프로 시작되는 선택 제스처(swipe-initiated selection gesture)를 나타낸 것이다.

도 6a 내지 도 6uu는 일부 실시예에 따른, 선택된 콘텐츠에 대한 명령 디스플레이 영역에 대한 예시적인 사용자 인터페이스를 나타낸 것이다. 이들 도면에서의 사용자 인터페이스는 도 14a 내지 도 14d 및 도 15a 내지 도 15c와 관련하여 이하에 기술되는 프로세스를 설명하는 데 사용된다.

도 6a 및 도 6b는 선택된 콘텐츠를 잘라내기하는 것을 나타내고 있다. 도 6c 내지 도 6j는 이전에 잘라내기되거나 복사된 콘텐츠를 붙여넣기하는 것을 나타내고 있다.

도 6k는 부가의 명령 옵션을 디스플레이하는 아이콘을 갖는 명령 디스플레이 영역을 나타내고 있다.

도 6l 내지 도 6p는 동작을 실행 취소하는 방법을 나타내고 있다.

도 6q 및 도 6r은 선택된 콘텐츠에서의 물리적 위치에 관한 정보를 제공하는 것을 나타내고 있다.

도 6s 내지 도 6v는 선택된 콘텐츠 내의 전화 번호에 기초하여 동작을 수행하는 인터페이스를 나타내고 있다.

도 6w 및 도 6x는 선택된 콘텐츠 내의 이메일 주소에 기초하여 이메일을 시작하는 것을 나타내고 있다

도 6y 및 도 6z는 선택된 콘텐츠 내의 웹 주소에 기초하여 웹 브라우징을 시작하는 것을 나타내고 있다

도 6aa 및 도 6bb는 선택된 콘텐츠 내의 정보를 사용하여 검색을 시작하는 것을 나타내고 있다.

도 6cc 내지 도 6oo는 명령 디스플레이 영역이 사라지고 및/또는 다시 나타나게 하는 동작을 나타내고 있다.

도 6pp 내지 도 6uu는 선택된 콘텐츠에 대한 명령 디스플레이 영역의 배치의 변화를 나타내고 있다.

도 7a 내지 도 7e는 일부 실시예에 따른, 콘텐츠 확대기를 사용하여 선택된 콘텐츠의 각각의 끝부분을 선택하는 예시적인 사용자 인터페이스를 나타낸 것이다. 이들 도면에서의 사용자 인터페이스는 도 16a 내지 도 16e와 관련하여 이하에 기술되는 프로세스를 설명하는 데 사용된다.

도 8a 내지 도 8u는 일부 실시예에 따른, 구조화된 전자 문서에서 콘탠츠를 선택하는 예시적인 사용자 인터페이스를 나타낸 것이다. 이들 도면에서의 사용자 인터페이스는 도 17a, 도 17b, 도 18 및 도 19와 관련하여 이하에 기술되는 프로세스를 설명하는 데 사용된다.

도 8a 및 도 8b는 콘텐츠 선택 이전에 콘텐츠 상자를 확대하고 중앙에 오도록 하는 것을 나타내고 있다. 도 8b 내지 도 8e는 제1 콘텐츠 상자를 선택하는 것, 선택을 손가락 제스처에 의해 2개의 상자로 확대하는 것, 및 2개의 상자를 복사하는 것을 나타내고 있다.

도 8f 내지 도 8k는 제1 콘텐츠 상자를 선택하고 선택된 콘텐츠 상자를 손가락 제스처에 의해 확대하는 것을 나타내고 있다.

도 8l 및 도 8m은 콘텐츠 상자를 복사하는 것, 상자를 메모에 붙여넣기하는 것(도 8m) 및 이메일에 붙여넣기하는 것(도 8n 내지 도 8o)을 나타내고 있다.

도 8p 내지 도 8u는 웹 페이지 상에서(도 8p 내지 도 8t) 및 HTML 이메일 메시지에서(도 8u) 하나의 콘텐츠 상자 내의 콘텐츠를 선택하는 것을 나타내고 있다.

도 9a 내지 도 9d는 일부 실시예에 따른, 편집가능 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(900)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(900)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(900)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 편집가능 콘텐츠를 선택하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 제1 배율로 터치 스크린 디스플레이 상에 편집가능 콘텐츠(502)를 디스플레이한다(902)(도 5a). 일부 실시예에서, 편집가능 콘텐츠(502)는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 또는 형식 지정된 텍스트)를 포함한다(904).

장치는 편집가능 콘텐츠(502) 상에서 손가락 제스처(504)를 검출한다(906)(도 5a). 일부 실시예에서, 편집가능 콘텐츠 상에서의 손가락 제스처는 누르고 있기(press and hold) 제스처이다(908).

편집가능 콘텐츠(502) 상에서 손가락 제스처(504)를 검출한 것에 응답하여, 장치는, 편집가능 콘텐츠(502)의 적어도 일부를 제1 배율로 계속 디스플레이하면서, 터치 스크린 디스플레이 상의 편집가능 콘텐츠의 일부분(506)(도 5b)을 제1 배율보다 큰 제2 배율로 확장하고 콘텐츠 확대기(content magnifier)를 디스플레이한다(910)(예를 들어, 도 5b에 도시된 바와 같음). 콘텐츠 확대기(508)는 편집가능 콘텐츠의 확장된 부분(506) 및 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에(예를 들어, 도 5b에서 단어 "equal"의 끝에) 있는 삽입 마커(510)를 디스플레이한다.

일부 실시예에서, 콘텐츠 확대기에 디스플레이된 편집가능 콘텐츠의 확장된 부분(506)은 동시에 디스플레이된 적어도 3개의 수평 텍스트 줄의 일부분을 포함한다(912)(예를 들어, 도 5o에 도시된 것과 유사함).

일부 실시예에서, 콘텐츠 확대기(508)는 소정의 형상(예를 들어, 도 5b에서 원)을 가진다(914).

일부 실시예에서, 삽입 마커(510)는 커서, 삽입 막대(insertion bar), 또는 삽입 점(insertion point)이다(916).

장치는 터치 스크린 디스플레이를 가로지르는 손가락 접촉(514)의 움직임(예를 들어, 도 5b의 512)을 검출한다(918). 일부 실시예에서, [예를 들어, 손가락 제스처(504)(도 5a)가 "누르고 있기" 제스처일 때] 손가락 접촉(514)은 손가락 제스처의 일부이다(920).

장치는 콘텐츠 확대기(508)를 움직여 손가락 접촉(514)의 검출된 움직임(512)에 따라 편집가능 콘텐츠의 확장된 부분(506)을 변경한다(922)(예를 들어, 도 5b 및 도 5c에 도시된 바와 같음).

장치는 손가락 접촉의 검출된 움직임에 따라 삽입 마커(510)를 제1 위치로부터 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로(예를 들어, 도 5b에서 단어 "equal"의 끝으로부터 도 5c에서 단어 "Four"의 시작으로) 움직인다(924).

장치는 삽입 마커(510)가 편집가능 콘텐츠의 확장된 부분(506) 내의 제2 위치에(예를 들어, 도 5c에서 단어 "Four"의 시작에) 위치하는 동안 손가락 접촉(514)의 해제를 검출한다(926).

손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기(508) 및 편집가능 콘텐츠의 확장된 부분(506)을 디스플레이하는 것을 중단하고 제1 배율의 편집가능 콘텐츠 내의 현재 위치에(예를 들어, 도 5d에서 단어 "Four"의 시작에) 삽입 마커(510)를 디스플레이하며 - 현재 위치는 편집가능 콘텐츠의 확장된 부분 내에서의 제2 위치에 대응함 -, 삽입 마커에 인접하여 제1 명령 디스플레이 영역(516)을 디스플레이한다(928)(예를 들어, 도 5d에 도시된 바와 같음). 제1 명령 디스플레이 영역(516)은 삽입 마커(510)의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘[예를 들어, 도 5d에서 "선택" 아이콘(518)]을 포함한다.

일부 실시예에서, 손가락 접촉(514)의 해제를 검출한 것에 응답하여, 장치는 편집가능 콘텐츠의 확장된 부분(506)이 제1 배율의 편집가능 콘텐츠 내의 현재 위치에 있는 삽입 마커(510) 내로 축소되는 애니메이션을 디스플레이한다(930).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 편집가능 콘텐츠 모두를 선택하는 아이콘[예를 들어, 도 5d에서 "모두 선택" 아이콘(520)]을 포함한다(932).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 부가의 명령 옵션을 디스플레이하는 아이콘[도시되어 있지는 않지만 도 6k의 ". . ." 아이콘(602)과 유사함]을 포함한다(934).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 이전의 동작을 실행 취소하는 아이콘[도시되어 있지는 않지만 도 6n의 "실행 취소" 아이콘(604)과 유사함]을 포함한다(936).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 이전의 동작을 다시 실행하는 아이콘[도시되어 있지는 않지만 도 6n의 "다시 실행" 아이콘(605)과 유사함]을 포함한다(938).

일부 실시예에서, 제1 명령 디스플레이 영역(516) 내의 아이콘은 사용자 구성가능한(user configurable) 적어도 하나의 명령을 포함한다(940).

일부 실시예에서, 제1 명령 디스플레이 영역(516) 내의 아이콘은 컨텍스트 기반(context sensitive)인 적어도 하나의 명령을 포함한다(942).

일부 실시예에서, 편집가능 콘텐츠(502)가 제1 응용 프로그램 내에서 디스플레이되고, 제1 명령 디스플레이 영역(516) 내의 아이콘은 소정의 응용 프로그래밍 인터페이스를 통해 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하는 적어도 하나의 명령을 포함한다(944).

일부 실시예에서, 장치는 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처[예를 들어, 도 5d에서 "선택" 아이콘(518) 상에서의 탭핑 제스처(522)]를 검출한다(946). 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 제1 명령 디스플레이 영역(516)을 디스플레이하는 것을 중단하고 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택한다. 일부 실시예에서, 삽입 마커가 단어 내에(예를 들어, 도 5h 및 도 5i에서 단어 "nation"), 단어의 첫번째 글자에 인접하여(예를 들어, 도 5d 및 도 5e에서 단어 "Four"), 또는 단어의 마지막 글자에 인접하여(도 5f 및 도 5g에서 단어 "forth") 있는 경우 단어가 선택된다. 일부 실시예에서, 삽입 마커(510)가 현재 단어 내에 또는 단어의 첫번째 또는 마지막 글자에 인접하여 위치하지 않고 문장 이후에 위치하는 경우 가장 가까운 단어 및 임의의 구두점 및/또는 공백이 선택된다(예를 들어, 도 5j 및 도 5k에서 "equal.").

일부 실시예에서, 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(start-point object)(526) 및 끝점 객체(end-point object)(528)를 디스플레이한다(948)(도 5e). 예를 들어, "선택" 아이콘(518) 상에서 탭핑 제스처(522)를 검출한 것(도 5d)에 응답하여, 장치는 선택된 단어 "Four"의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5e).

일부 실시예에서, 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 콘텐츠에 인접하여 제2 명령 디스플레이 영역을 디스플레이한다(950)[예를 들어, 제2 명령 디스플레이 영역(530)이 도 5e에서 선택된 단어 "Four"에 인접해 있다]. 제2 명령 디스플레이 영역(530)은 선택된 콘텐츠를 잘라내기하는 아이콘 및 선택된 콘텐츠를 복사하는 아이콘을 포함한다[예를 들어, 도 5e에서 "잘라내기" 아이콘(532) 및 "복사" 아이콘(534)].

일부 실시예에서, 제2 명령 디스플레이 영역(530)은 이전에 잘라내기되거나 복사된 콘텐츠를 붙여넣기하는 아이콘[예를 들어, 도 5e에서 "붙여넣기" 아이콘(536)]을 포함한다(952).

일부 실시예에서, 제2 명령 디스플레이 영역은 이전의 동작을 실행 취소하는 아이콘[예를 들어, 도 6n의 "실행 취소" 아이콘(604)]을 포함한다(954).

일부 실시예에서, 제2 명령 디스플레이 영역은 부가의 명령 옵션을 디스플레이하는 아이콘[예를 들어, 도 6k의 ". . ." 아이콘(602)]을 포함한다(956).

일부 실시예에서, 제2 명령 디스플레이 영역은 이전의 동작을 다시 실행하는 아이콘[예를 들어, 도 6n의 "다시 실행" 아이콘(605)]을 포함한다(958).

일부 실시예에서, 제2 명령 디스플레이 영역 내의 아이콘은 사용자 구성가능한 적어도 하나의 명령을 포함한다(960).

일부 실시예에서, 제2 명령 디스플레이 영역 내의 아이콘은 컨텍스트 기반인 적어도 하나의 명령을 포함한다(962).

일부 실시예에서, 편집가능 콘텐츠가 제1 응용 프로그램 내에서 디스플레이되고, 제2 명령 디스플레이 영역 내의 아이콘은 소정의 응용 프로그래밍 인터페이스를 통해 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하는 적어도 하나의 명령을 포함한다(964).

제2 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

도 10a 내지 도 10d는 일부 실시예에 따른, 읽기 전용 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1000)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1000)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1000)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 읽기 전용 콘텐츠를 선택하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 제1 배율로 터치 스크린 디스플레이 상에 읽기 전용 콘텐츠(538)를 디스플레이한다(1002)(도 5m). 일부 실시예에서, 읽기 전용 콘텐츠(538)는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 형식지정된 또는 웹 페이지에서의 텍스트)를 포함한다(1004).

장치는 읽기 전용 콘텐츠 상에서 손가락 제스처(540)를 검출한다(1006)(도 5m). 일부 실시예에서, 읽기 전용 콘텐츠 상에서의 손가락 제스처는 누르고 있기(press and hold) 제스처이다(1008).

읽기 전용 콘텐츠(538) 상에서 손가락 제스처(540)를 검출한 것에 응답하여, 장치는, 읽기 전용 콘텐츠(538)의 적어도 일부를 제1 배율로 계속 디스플레이하면서, 터치 스크린 디스플레이 상의 읽기 전용 콘텐츠의 일부분(544)을 제1 배율보다 큰 제2 배율로 확장하고 콘텐츠 확대기를 디스플레이한다(1010)(예를 들어, 도 5n에 도시된 바와 같음). 콘텐츠 확대기(508)는 읽기 전용 콘텐츠의 확장된 부분(544) 및 읽기 전용 콘텐츠의 확장된 부분 내의 제1 위치에(예를 들어, 도 5n에서 단어 "earth"의 중간에) 있는 위치 마커(546)를 디스플레이한다.

일부 실시예에서, 콘텐츠 확대기에 디스플레이된 읽기 전용 콘텐츠의 확장된 부분(544)은 동시에 디스플레이된 적어도 3개의 수평 텍스트 줄의 일부분을 포함한다(1012)(예를 들어, 도 5o에 도시된 바와 같음).

일부 실시예에서, 콘텐츠 확대기(508)는 소정의 형상(예를 들어, 도 5n에서 원)을 가진다(1014).

읽기 전용 콘텐츠의 경우, 삽입 마커(510)는 기존의 (읽기 전용) 콘텐츠를 수정하는 프로세스에서가 아니라 (예를 들어, 복사하기 위해) 기존의 읽기 전용 콘텐츠를 선택하는 프로세스에서 사용되는 위치 마커(546)로 된다.

장치는 터치 스크린 디스플레이를 가로지르는 손가락 접촉(550)의 움직임(예를 들어, 도 5n의 548)을 검출한다(1016). 일부 실시예에서, [예를 들어, 손가락 제스처(540)가 "누르고 있기" 제스처일 때] 손가락 접촉(550)은 손가락 제스처의 일부이다(1018).

장치는 콘텐츠 확대기(508)를 움직여 손가락 접촉(550)의 검출된 움직임(548)에 따라 읽기 전용 콘텐츠의 확장된 부분(544)을 변경한다(1020).

장치는 손가락 접촉의 검출된 움직임에 따라 위치 마커(546)를 제1 위치로부터 읽기 전용 콘텐츠의 확장된 부분 내의 제2 위치로(예를 들어, 도 5n에서 단어 "earth"의 중간으로부터 도 5o에서 단어 "nation"의 중간으로) 움직인다(1022).

장치는 위치 마커(546)가 읽기 전용 콘텐츠의 확장된 부분(544) 내의 제2 위치에(예를 들어, 도 5o에서 단어 "nation"의 중간에) 위치하는 동안 손가락 접촉(550)의 해제를 검출한다(1024).

손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기(508), 읽기 전용 콘텐츠의 확장된 부분(544), 및 위치 마커(546)를 디스플레이하는 것을 중단하고, 제1 배율의 읽기 전용 콘텐츠에서의 현재 위치에 인접하여 제1 명령 디스플레이 영역(516)을 디스플레이한다(1026). 현재 위치는 읽기 전용 콘텐츠의 확장된 부분 내에서의 제2 위치(예를 들어, 도 5p에서 단어 "nation"의 중간)에 대응한다. 제1 명령 디스플레이 영역(516)은 현재 위치와 연관된 콘텐츠를 선택하는 아이콘[예를 들어, 도 5p에서 "선택" 아이콘(518)]을 포함한다.

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 읽기 전용 콘텐츠 모두를 선택하는 아이콘[예를 들어, 도 5p에서 "모두 선택" 아이콘(520)]을 포함한다(1028).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 부가의 명령 옵션을 디스플레이하는 아이콘[도시되어 있지는 않지만 도 6k의 ". . ." 아이콘(602)과 유사함]을 포함한다(1030).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 이전의 동작을 실행 취소하는 아이콘[도시되어 있지는 않지만 도 6n의 "실행 취소" 아이콘(604)과 유사함]을 포함한다(1032).

일부 실시예에서, 제1 명령 디스플레이 영역(516)은 이전의 동작을 다시 실행하는 아이콘[도시되어 있지는 않지만 도 6n의 "다시 실행" 아이콘(605)과 유사함]을 포함한다(1034).

일부 실시예에서, 제1 명령 디스플레이 영역(516) 내의 아이콘은 사용자 구성가능한 적어도 하나의 명령을 포함한다(1036).

일부 실시예에서, 제1 명령 디스플레이 영역(516) 내의 아이콘은 컨텍스트 기반인 적어도 하나의 명령을 포함한다(1038).

일부 실시예에서, 읽기 전용 콘텐츠(538)가 제1 응용 프로그램 내에서 디스플레이되고, 제1 명령 디스플레이 영역(516) 내의 아이콘은 소정의 응용 프로그래밍 인터페이스를 통해 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하는 적어도 하나의 명령을 포함한다(1040).

일부 실시예에서, 장치는 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처[예를 들어, 도 5p에서 "선택" 아이콘(518) 상에서의 탭핑 제스처(552)]를 검출한다(1042). 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 제1 명령 디스플레이 영역(516)을 디스플레이하는 것을 중단하고 현재 위치와 연관된 콘텐츠를 선택한다. 일부 실시예에서, 현재 위치가 단어 내에(예를 들어, 도 5p 및 도 5q에서 단어 "nation"), 단어의 첫번째 글자에 인접하여, 또는 단어의 마지막 글자에 인접하여 있는 경우 단어가 선택된다. 일부 실시예에서, 현재 위치가 단어 내에 또는 단어의 첫번째 또는 마지막 글자에 인접하여 위치하지 않고 문장 이후에 있는 경우 가장 가까운 단어 및 임의의 구두점 및/또는 공백이 선택된다. 일부 실시예에서, 이러한 콘텐츠 선택은 편집가능 콘텐츠에 대해 전술한 바와 유사하지만, 콘텐츠가 읽기 전용 콘텐츠이기 때문에 삽입 마커(510)가 디스플레이되지 않는다.

일부 실시예에서, 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1044). 예를 들어, "선택" 아이콘(518) 상에서 탭핑 제스처(552)를 검출한 것(도 5p)에 응답하여, 장치는 선택된 단어 "nation"의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5q).

일부 실시예에서, 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 콘텐츠에 인접하여 제2 명령 디스플레이 영역을 디스플레이한다(1046)[예를 들어, 제2 명령 디스플레이 영역(530)이 도 5q에서 선택된 단어 "nation"에 인접해 있다]. 제2 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5q에서 "복사" 아이콘(534)]을 포함한다.

제2 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 동일한 콘텐츠가 응용 프로그램의 컨텍스트 또는 모드에 따라 편집가능하거나 읽기 전용일 수 있고, 이 경우에 콘텐츠를 처음으로 선택하는 방법이 그에 따라[예를 들어, 방법(900)에서 방법(1000)으로] 변한다. 예를 들어, 메모 응용 프로그램(153)에서의 콘텐츠가 도 5a 내지 도 5l에서는 편집가능한 반면, 메모 응용 프로그램(153)에서의 콘텐츠가 도 5m 내지 도 5q에서는 읽기 전용이다. "완료" 아이콘(도 5a)의 활성화에 응답하여 메모 응용 프로그램(153)에서의 읽기 전용 모드에 들어갈 수 있는 반면, "+" 아이콘(도 5m)의 활성화에 응답하여 또는 읽기 전용 콘텐츠(538) 상에서의 제스처(예를 들어, 탭핑 제스처)에 의해 편집 모드에 들어갈 수 있다.

도 11a 내지 도 11c는 일부 실시예에 따른, 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1100)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1100)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1100)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 콘텐츠를 선택하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이한다(1102). 일부 실시예에서, 콘텐츠는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 형식지정된 또는 웹 페이지에서의 텍스트)를 포함한다(1103). 콘텐츠는 편집가능(502)이거나 읽기 전용(538)일 수 있다.

장치는 콘텐츠 상에서 손가락 제스처를 검출한다(1104)[예를 들어, 도 5a의 제스처(504)]. 일부 실시예에서, 콘텐츠 상에서의 손가락 제스처는 누르고 있기(press and hold) 제스처이다(1106).

콘텐츠 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서, 터치 스크린 디스플레이 상의 콘텐츠의 일부분(506)을 제1 배율보다 큰 제2 배율로 확장하고 콘텐츠 확대기를 디스플레이한다(1108)(예를 들어, 도 5b에 도시된 바와 같음). 콘텐츠 확대기(508)는 콘텐츠의 확장된 부분(506) 및 콘텐츠의 확장된 부분 내의 제1 위치에(예를 들어, 도 5b에서 단어 "equal"의 끝에) 있는 삽입 마커(510)를 디스플레이한다.

일부 실시예에서, 콘텐츠 확대기에 디스플레이된 콘텐츠의 확장된 부분은 동시에 디스플레이된 적어도 3개의 수평 텍스트 줄의 일부분을 포함한다(1110)(예를 들어, 도 5o에 도시된 바와 같음).

일부 실시예에서, 콘텐츠 확대기는 소정의 형상(예를 들어, 도 5b에서 원)을 가진다(1112).

일부 실시예에서, 삽입 마커는 커서, 삽입 막대, 또는 삽입 점이다(1114).

장치는 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임(예를 들어, 도 5b의 512)을 검출한다(1116). 일부 실시예에서, [예를 들어, 손가락 제스처(504)(도 5a)가 "누르고 있기" 제스처일 때] 손가락 접촉(514)은 손가락 제스처의 일부이다(1118).

장치는 콘텐츠 확대기(508)를 움직여 손가락 접촉(514)의 검출된 움직임(512)에 따라 콘텐츠의 확장된 부분(506)을 변경한다(1120)(예를 들어, 도 5b 및 도 5c에 도시된 바와 같음).

장치는 손가락 접촉의 검출된 움직임에 따라 삽입 마커(510)를 제1 위치로부터 콘텐츠의 확장된 부분 내의 제2 위치로(예를 들어, 도 5b에서 단어 "equal"의 끝으로부터 도 5c에서 단어 "Four"의 시작으로) 움직인다(1122).

장치는 삽입 마커(510)가 콘텐츠의 확장된 부분(506) 내의 제2 위치에(예를 들어, 도 5c에서 단어 "Four"의 시작에) 위치하는 동안 손가락 접촉(514)의 해제를 검출한다(1124).

손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기(508), 콘텐츠의 확장된 부분(506), 및 삽입 마커(510)를 디스플레이하는 것을 중단하고 삽입 마커의 제2 위치와 연관된 콘텐츠를 선택한다(1126)(예를 들어, 단어 "Four"가 선택되는 경우 도 5e에 도시된 바와 같음). 일부 실시예에서, 삽입 마커가 단어 내에, 단어의 첫번째 글자에 인접하여(예를 들어, 도 5c에서 단어 "Four"), 또는 단어의 마지막 글자에 인접하여 있는 경우 단어가 선택된다. 일부 실시예에서, 삽입 마커(510)가 현재 단어 내에 또는 단어의 첫번째 또는 마지막 글자에 인접하여 위치하지 않고 문장 이후에 위치하는 경우 가장 가까운 단어 및 임의의 구두점 및/또는 공백이 선택된다.

일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1128). 예를 들어, 손가락 접촉(514)의 해제를 검출한 것(도 5c)에 응답하여, 장치는 선택된 단어 "Four"의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5e).

일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 선택된 콘텐츠에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1130)[예를 들어, 명령 디스플레이 영역(530)이 도 5e에서 선택된 단어 "Four"에 인접해 있다]. 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5e에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠의 확장된 부분(506)이 선택된 콘텐츠(524) 내로 축소되는 애니메이션을 디스플레이한다(1132).

도 12는 일부 실시예에 따른 한 손가락에 의한 두번-탭핑 제스처로 단어를 선택하는 방법을 나타낸 흐름도이다. 방법(1200)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다.

이하에서 기술하는 바와 같이, 방법(1200)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 단어를 선택하는 빠르고 쉬운 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이한다(1202). 일부 실시예에서, 콘텐츠는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 형식지정된 또는 웹 페이지에서의 텍스트)를 포함한다(1204). 콘텐츠는 편집가능(502)이거나 읽기 전용(538)일 수 있다.

장치는 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처를 검출한다(1206). 예를 들어, 장치는 도 5t에서 단어 "forth" 상에서 한 손가락에 의한 두번-탭핑 제스처(554)를 검출한다.

콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처(554)를 검출한 것에 응답하여, 장치는 단어를 선택하고, 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(1208). 예를 들어, 도 5t에서 단어 "forth" 상에서 한 손가락에 의한 두번-탭핑 제스처(554)를 검출한 것에 응답하여, 장치는 "forth"를 선택하고, "forth"의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5u에 도시된 바와 같음).

일부 실시예에서, 콘텐츠 내의 단어 상에서 한 손가락에 의한 두번-탭핑 제스처(554)를 검출한 것에 응답하여, 장치는 단어에 인접하여 명령 디스플레이 영역을 디스플레이한다(1210). 예를 들어, 장치는 도 5u에서 "forth"에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다. 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5u에서 "복사" 아이콘(534)]을 포함한다.

명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다. 삽입 마커(510)를 배치하기 위해 콘텐츠 확대기(508)를 사용할 필요없이, 텍스트의 원하는 부분을 신속하게 선택하기 위해 이하에서 기술되는 다른 콘텐츠 선택 제스처들 중 일부에 대해 방법(1200)과 유사한 방법이 사용될 수 있다.

도 13a 내지 도 13g는 일부 실시예에 따른, 손가락 제스처로 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1300)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1300)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1300)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 콘텐츠를 선택하는 빠르고 쉬운 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 터치 스크린 디스플레이 상에 콘텐츠를 디스플레이한다(1302). 일부 실시예에서, 콘텐츠는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 형식지정된 또는 웹 페이지에서의 텍스트)를 포함한다(1304). 콘텐츠는 편집가능(502)이거나 읽기 전용(538)일 수 있다.

장치는 터치 스크린 디스플레이 상에서 하나 이상의 손가락을 검출한다(1306).

장치는 터치 스크린 디스플레이 상에서 하나 이상의 손가락에 의해 행해지는 제스처를 인식한다(1308). 제스처는 콘텐츠의 일부분을 선택하거나 선택하는 것을 돕는 동작을 하는 복수의 소정의 제스처 중 하나의 제스처이다.

장치는 제스처를 인식한 것에 응답하여 콘텐츠에 대해 동작을 수행한다(1310).

일부 실시예에서, 동작을 수행하는 것은, 제스처를 인식한 것에 응답하여, 콘텐츠의 적어도 일부분을 선택하고 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이하는 것을 포함한다(1312).

일부 실시예에서, 동작을 수행하는 것은, 제스처를 인식한 것에 응답하여, 콘텐츠의 적어도 일부분을 선택하고 선택된 콘텐츠에 인접하여 명령 디스플레이 영역(530)을 디스플레이하는 것을 포함한다(1314). 명령 디스플레이 영역(530)은 각각의 명령에 대응하는 하나 이상의 아이콘을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 제1 위치에서의 한 손가락에 의한 한번-탭핑 제스처(single-tap gesture)이다(1316). 콘텐츠 내의 제1 위치에서의 한 손가락에 의한 한번-탭핑 제스처를 인식한 것에 응답하여, 장치는 콘텐츠 내의 제1 위치에 삽입 마커(510)를 디스플레이한다.

일부 실시예에서, 제스처는 콘텐츠 내의 제1 단어 상에서의 한 손가락에 의한 소정의 횟수의 연속적인 탭핑(예를 들어, 두번-탭핑 제스처)이다(1318). 콘텐츠 내의 제1 단어 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 제1 단어를 선택하고, 제1 단어의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다. 예를 들어, 단어 "nation" 상에서 두번-탭핑 제스처(566)(도 5v)를 인식한 것에 응답하여, 장치는 단어 "nation"을 선택하고, "nation"의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5w). 일부 실시예에서, 콘텐츠 내의 제1 단어 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 제1 단어에 인접하여 명령 디스플레이 영역(530)(도 5w)을 디스플레이한다(1320). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5w에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 문장 상에서의 한 손가락에 의한 소정의 횟수의 연속적인 탭핑(예를 들어, 세번-탭핑 제스처)이다(1322). 일부 실시예에서, 제스처는 콘텐츠 내의 단일 텍스트 줄 상에서의 제스처이다. 콘텐츠 내의 문장(또는 단일 텍스트 줄) 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 문장(또는 단일 텍스트 줄)을 선택하고, 문장(또는 단일 텍스트 줄)의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다. 예를 들어, 문장 상에서 세번-탭핑 제스처(562)를 인식한 것(도 5v)에 응답하여, 장치는 문장을 선택하고, 문장의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5x). 다른 대안으로서, 단일 텍스트 줄 상에서 세번-탭핑 제스처(564)를 인식한 것(도 5v)에 응답하여, 장치는 단일 텍스트 줄을 선택하고, 단일 텍스트 줄의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5y). 일부 실시예에서, 콘텐츠 내의 문장(또는 단일 텍스트 줄) 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 문장(또는 단일 텍스트 줄)에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1324). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5x 또는 도 5y에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 단락 상에서의 한 손가락에 의한 소정의 횟수의 연속적인 탭핑(예를 들어, 네번-탭핑 제스처)이다(1326). 콘텐츠 내의 단락 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 단락을 선택하고, 단락의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다. 예를 들어, 단락 상에서 네번-탭핑 제스처(566)를 인식한 것(도 5v)에 응답하여, 장치는 단락을 선택하고, 단락의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5z). 일부 실시예에서, 콘텐츠 내의 단락 상에서 한 손가락에 의한 소정의 횟수의 연속적인 탭핑을 인식한 것에 응답하여, 장치는 단락에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1328). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5z에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 제1 위치에서의 한 손가락에 의한 정지해 있는(또는 실질적으로 정지해 있는) 누름 제스처(pressing gesture)이다(1330). 예를 들어, 소정의 기간(예를 들어, 1~2mm) 동안 소정의 양(예를 들어, 0.2~0.5초)보다 적게 움직이는 한 손가락 접촉은 정지해 있는 누름 제스처(stationary pressing gesture)[누르고 있기 제스처라고도 함]이다[예를 들어, 도 5a의 제스처(504)]. 콘텐츠가 제1 배율로 디스플레이된다. 콘텐츠 내의 제1 위치에서 한 손가락에 의한 정지해 있는 누름 제스처를 인식한 것에 응답하여, 장치는, 콘텐츠의 적어도 일부를 제1 배율로 계속 디스플레이하면서, 터치 스크린 디스플레이 상의 제1 위치에 근접해 있는 콘텐츠의 일부분(506)을 제1 배율보다 큰 제2 배율로 확장하고 콘텐츠 확대기(508)를 디스플레이한다(도 5b). 콘텐츠 확대기는 콘텐츠의 확장된 부분(506) 및 제1 위치에 대응하는 콘텐츠의 확장된 부분 내의 위치에 있는 삽입 마커(510)를 디스플레이한다. 일부 실시예에서, 장치는 터치 스크린 디스플레이를 가로지르는 한 손가락의 움직임(예를 들어, 도 5b의 512)을 검출하고, 콘텐츠 확대기(508)를 움직여 한 손가락의 검출된 움직임에 따라 콘텐츠의 확장된 부분(506)을 변경하며, 한 손가락의 검출된 움직임에 따라 콘텐츠의 확장된 부분 내의 제2 위치로 삽입 마커(510)를 움직인다(1332).

일부 실시예에서, 제스처는 한 손가락에 의한 탭핑 앤 하프(tap-and-a-half) 제스처이다(1334). 탭핑 앤 하프 제스처는 한번 탭핑 직후에(예를 들어, 0.3-0.5초와 같은 소정의 기간 내에) 손가락 접촉(558)(도 5aa)이 이어서 터치 스크린 디스플레이 상에서 움직이는[예를 들어, 도 5aa에서의 움직임(560)] 것을 포함하는 한 손가락 제스처(single-finger gesture)이다. 한 손가락에 의한 탭핑 앤 하프 제스처를 인식한 것에 응답하여, 장치는 콘텐츠의 일부분을 선택한다(예를 들어, 콘텐츠 내의 단어를 선택한다). 일부 실시예에서, 처음에 선택된 부분은 터치 스크린 디스플레이 상에서의 한번-탭핑의 위치에 따른다(예를 들어, 한번-탭핑에 위치하거나 그에 근접하여 위치하는 단어를 선택하는 것). 일부 실시예에서, 처음에 선택된 부분은 손가락 접촉의 초기 위치에 따른다(예를 들어, 도 5aa에서 단어 "nation"과 같은, 한번-탭핑 이후에 손가락 접촉의 초기 위치에 위치하거나 그에 근접하여 위치하는 단어를 선택하는 것). 한 손가락에 의한 탭핑 앤 하프 제스처를 인식한 것에 응답하여, 장치는 터치 스크린 디스플레이 상에서의 손가락 접촉(558)의 검출된 움직임에 따라 콘텐츠의 선택된 부분을 업데이트한다 [예를 들어, 도 5aa 및 도 5bb에 도시된 바와 같이, 선택된 부분(524)을 증가시킴]. 일부 실시예에서, 한 손가락에 의한 탭핑 앤 하프 제스처를 인식한 것에 응답하여, 장치는 콘텐츠(524)의 업데이트된 선택된 부분의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1336). 일부 실시예에서, 터치 스크린 디스플레이 상에서의 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 선택된 부분을 업데이트하는 것은 장치가 콘텐츠의 선택된 부분의 한쪽 끝을 콘텐츠 내의 고정 위치에 유지하면서 터치 스크린 디스플레이 상에서의 손가락 접촉의 검출된 움직임에 따라 콘텐츠의 선택된 부분의 다른쪽 끝을 움직이는 것을 포함한다(1338). 예를 들어, 도 5aa 및 도 5bb에 나타낸 바와 같이, 콘텐츠의 선택된 부분의 시작 부분이 고정된 채로 있으면서, 손가락 접촉이 디스플레이 상에서 텍스트를 지나 앞으로 움직임에 따라 콘텐츠의 선택된 부분의 끝부분이 증가될 수 있다. 이와 달리, 콘텐츠의 선택된 부분의 끝부분이 고정된 채로 있으면서, 손가락 접촉이 디스플레이 상에서 텍스트를 지나 뒤로 움직임에 따라 콘텐츠의 선택된 부분의 시작부가 증가될 수 있다. 일부 실시예에서, 시작점 객체(526) 및 끝점 객체(528)는 콘텐츠(524)의 업데이트된 선택된 부분의 그 각각의 끝부분에 따라 움직이는 것으로 디스플레이된다. 일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠(524)(도 5cc)의 업데이트된 선택된 부분에 인접하여 명령 디스플레이 영역(530)(도 5cc)을 디스플레이한다(1340). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5cc에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 단락 상에서 두 손가락(예를 들어, 도 5v에서 568 및 570)에 의한 한번-탭핑 제스처이다(1342). 콘텐츠 내의 단락 상에서 두 손가락에 의한 한번-탭핑 제스처를 인식한 것에 응답하여, 장치는 콘텐츠 내의 단락을 선택하고, 단락의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(도 5z에 도시된 바와 같음). 일부 실시예에서, 장치는, 단락보다는, 문장 또는 텍스트의 다른 소정의 부분을 선택한다. 일부 실시예에서, 콘텐츠 내의 단락 상에서 두 손가락에 의한 한번-탭핑 제스처를 인식한 것에 응답하여, 장치는 단락에 인접하여 명령 디스플레이 영역(530)(도 5z)을 디스플레이한다(1344). 명령 디스플레이 영역은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 5z에서 "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 콘텐츠 내의 제1 위치에서의 제1 손가락에 의한 접촉(572)(도 5dd) 및 콘텐츠 내의 제2 위치에서의 제2 손가락에 의한 동시 접촉(574)(도 5dd)을 포함하는 두 손가락에 의한 정지해 있는(또는 실질적으로 정지해 있는) 누름 제스처이다(1346). 예를 들어, 각각의 두 손가락 접촉은 소정의 시간(예를 들어, 0.4 초) 내에 소정의 양(예를 들어, 1-3 mm) 미만으로 움직인다. 두 손가락에 의해 정지해 있는 누름 제스처를 인식한 것에 응답하여, 장치는 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택하고, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠(524)의 선택된 부분의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(도 5dd).

일부 실시예에서, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택한 후에(1347), 장치는 제1 손가락에 의한 접촉(572)(도 5ee)의 움직임을 검출하고, 제1 손가락에 의한 접촉의 검출된 움직임에 따라 콘텐츠의 선택된 부분을 업데이트하며(도 5ee), 제2 손가락에 의한 접촉(574)(도 5ff)의 움직임을 검출하고, 제2 손가락에 의한 접촉의 검출된 움직임에 따라 콘텐츠의 선택된 부분을 업데이트하며(도 5gg), 콘텐츠(524)의 업데이트된 선택된 부분의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1348)(도 5hh).

일부 실시예에서, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택한 후에, 장치는 적어도 소정의 기간 동안 두 손가락(예를 들어, 도 5ii의 576 및 578)에 의한 정지해 있는 누름 제스처를 계속하여 검출한다(1350). 예를 들어, 장치는 적어도 추가의 0.6초 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한다. 적어도 소정의 기간 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한 것에 응답하여, 장치는 콘텐츠의 선택된 부분을, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 부분을 포함하는 문장으로 증가시키고, 문장의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(도 5jj).

일부 실시예에서, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택한 후에, 장치는 적어도 소정의 기간 동안 두 손가락(예를 들어, 도 5ii의 576 및 578)에 의한 정지해 있는 누름 제스처를 계속하여 검출한다(1352). 예를 들어, 장치는 적어도 추가의 0.6초 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한다. 적어도 소정의 기간 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한 것에 응답하여, 장치는 콘텐츠의 선택된 부분을, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 부분을 포함하는 단락으로 증가시키고, 단락의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(도 5kk).

일부 실시예에서, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택한 후에, 장치는 적어도 소정의 기간 동안 두 손가락(예를 들어, 도 5ii의 576 및 578)에 의한 정지해 있는 누름 제스처를 계속하여 검출한다(1354). 예를 들어, 장치는 적어도 추가의 0.6초 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한다. 적어도 소정의 기간 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한 것에 응답하여, 장치는 콘텐츠 모두를 선택하고, 콘텐츠의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다.

일부 실시예에서, 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 일부분을 선택한 후에, 장치는 일련의(또는 복수의) 소정의 기간 동안 두 손가락(예를 들어, 도 5ii의 576 및 578)에 의한 정지해 있는 누름 제스처를 계속하여 검출한다(1356). 일련의 소정의 기간 내의 각각의 기간 동안 두 손가락에 의한 정지해 있는 누름 제스처를 계속하여 검출한 것에 응답하여, 장치는 콘텐츠의 선택된 부분을 증가시키고, 콘텐츠의 증가된 선택된 부분의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(예를 들어, 도 5ii에서 도 5jj, 도 5kk로). 콘텐츠의 증가된 선택된 부분은 제1 위치와 제2 위치 사이에 위치하는 콘텐츠의 부분을 포함한다.

일부 실시예에서, 두 손가락(예를 들어, 576 및 578)의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠(524)의 선택된 부분에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1358). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, "복사" 아이콘(530)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

일부 실시예에서, 제스처는 한 손가락에 의한 여백에서 시작된 선택 제스처(margin-initiated selection gesture)이다(1360). 여백에서 시작된 선택 제스처는 콘텐츠에서의 단어(예를 들어, 도 5ll에서의 단어 "dedicated")에 인접한 여백에서의 초기 손가락 접촉[예를 들어, 도 5ll의 손가락-아래로 이벤트(finger-down event)(580)] 및 그에 뒤이은 콘텐츠 내의 위치로의 손가락 접촉의 움직임[예를 들어, 단어 또는 단어의 일부분을 가로지르는 손가락 접촉(580)(도 5ll)의 움직임(582)]을 포함하는 한 손가락 제스처이다. 한 손가락에 의한 여백에서 시작된 선택 제스처를 인식한 것에 응답하여, 장치는 콘텐츠의 일부분을 선택하고 - 단어에서 콘텐츠의 선택된 부분이 시작하거나 끝남 (예를 들어, 도 5ll에서의 단어 "dedicated"에서 선택된 부분이 시작됨)-, 콘텐츠 내의 위치로의 손가락 접촉의 움직임(582)에 따라 콘텐츠의 선택된 부분을 업데이트한다. 일부 실시예에서, 한 손가락에 의한 여백에서 시작된 선택 제스처를 인식한 것에 응답하여, 장치는 콘텐츠의 업데이트된 선택된 부분의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이한다(1362)(도 5nn). 일부 실시예에서, 장치는 또한 업데이트 동안에 시작점 객체 및 끝점 객체를 디스플레이한다(도 5mm). 일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠(524)의 업데이트된 선택된 부분에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1364)(도시 생략). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

콘텐츠가 터치 스크린 디스플레이 상에서 수평이 아니라 수직으로 스크롤하도록 구성되어 있는 일부 실시예에서, 제스처는 한 손가락에 의한 스와이프로 시작되는 선택 제스처(swipe-initiated selection gesture)이다(1366). 스와이프로 시작되는 선택 제스처는 (1) 처음에 콘텐츠 내의 제1 위치(예를 들어, 도 5oo의 단어 "brought")에 있는 손가락 접촉[예를 들어, 도 5oo의 손가락-아래로 이벤트(584)] - 손가락 접촉은 처음에 터치 스크린 디스플레이 상에서 수평축으로부터 소정의 각도 내의(예를 들어, 수평축으로부터 5°- 30°내의) 방향으로 움직임 -, 및 (2) 콘텐츠 내의 제2 위치로의 손가락 접촉의 움직임[예를 들어, 도 5oo의 움직임(586)]을 포함하는 한 손가락 제스처이다. 일부 실시예에서, 손가락 접촉(584)은 처음에 타임아웃 기간 만료 이전에 소정의 수의 단위의 움직임을 움직인다(예를 들어, 1.5초 내에 3.2 mm). 일부 실시예에서, 손가락 접촉이 소정의 임계 초기 속도(threshold initial speed)(예를 들어, 2 mm/sec)를 초과하는 초기 속도로 움직인다. 한 손가락에 의한 스와이프로 시작되는 선택 제스처를 인식한 것에 응답하여, 장치는 콘텐츠의 일부분을 선택하고 - 제1 위치에서 콘텐츠의 선택된 부분이 시작하거나 끝남 (예를 들어, 도 5oo에서의 단어 "brought"에서 선택된 부분이 시작됨)-, 콘텐츠 내의 제2 위치로의 손가락 접촉(584)의 움직임에 따라 콘텐츠의 선택된 부분(524)을 업데이트한다(도 5pp). 일부 실시예에서, 장치는 콘텐츠의 업데이트된 선택된 부분(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1368)(도 5qq). 일부 실시예에서, 장치는 또한 업데이트 동안에 시작점 객체 및 끝점 객체를 디스플레이한다(도 5pp). 일부 실시예에서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠의 업데이트된 선택된 부분(524)에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1370)(도시 생략). 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, "복사" 아이콘(534)]을 포함한다. 명령 디스플레이 영역(530)은 도 6a 내지 도 6bb와 관련하여 이하에서 논의되는 아이콘들 중 하나 이상의 아이콘을 포함할 수 있다.

도 14a 내지 도 14d는 일부 실시예에 따른, 선택된 콘텐츠에 대한 명령 디스플레이 영역을 사용하는 방법을 나타낸 흐름도이다. 방법(1400)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1400)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1400)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 선택된 콘텐츠와 상호작용하기 위해 명령 디스플레이 영역을 사용하는 직관적 방식을 제공한다. 이 방법은 선택된 콘텐츠에 대한 명령을 효율적으로 디스플레이하고 활성화한다. 이 방법은 또한 명령 디스플레이 영역을 필요할 때 나타나게 하고 더 이상 필요하지 않을 때 사라지게 한다. 이 방법은 선택된 콘텐츠와 상호작용할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 선택된 콘텐츠와 보다 빠르고 보다 효율적으로 상호작용할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 터치 스크린 디스플레이 상에 콘텐츠[예를 들어, 편집가능 콘텐츠(502) 또는 읽기 전용 콘텐츠(538)]를 디스플레이한다(1402). 디스플레이된 콘텐츠는 선택된 콘텐츠(524)(예를 들어, 터치 스크린 디스플레이 상에서의 사용자에 의한 하나 이상의 터치 제스처를 검출한 것에 응답하여 선택되는 콘텐츠)를 포함한다.

장치는 (예를 들어, 선택된 콘텐츠의 배경에 음영을 부여하고 및/또는 채색함으로써) 선택된 콘텐츠(524)를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분한다(1404).

일부 실시예에서, 장치는 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1406).

장치는 터치 스크린 디스플레이 상에서 선택된 콘텐츠(524)에 인접하여 명령 디스플레이 영역(530)을 디스플레이한다(1408). 명령 디스플레이 영역(530)은 하나 이상의 명령 아이콘을 포함한다. 일부 실시예에서, 명령 디스플레이 영역(530) 내의 아이콘이 하나의 행으로 디스플레이되며(1410), 이는 각각의 아이콘을 손가락으로 선택하는 것을 더 쉽게 만들어준다.

장치는 [예를 들어, 명령 아이콘 상에서의 탭핑 제스처와 같은 손가락 제스처에 의한 또는 명령 아이콘에 대응하는 소리 단어(spoken word)를 검출하는 것(음성 활성화)에 의한] 명령 디스플레이 영역(530) 내의 명령 아이콘의 활성화를 검출한다(1412).

명령 디스플레이 영역 내의 명령 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠에 대해 대응하는 동작을 수행한다(1414).

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠를 복사하는 아이콘[예를 들어, 도 6a의 "복사" 아이콘(534)]을 포함한다. 장치는 선택된 콘텐츠를 복사하는 아이콘의 활성화 (예를 들어, 음성에 의하거나 "복사" 아이콘 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함)를 검출한다(1416). 선택된 콘텐츠를 복사하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠를 (예를 들어, 다기능 장치 내의 클립보드 또는 메모리 장소로) 복사한다.

일부 실시예에서, 명령 디스플레이 영역은 선택된 콘텐츠를 잘라내기하는 아이콘[예를 들어, 도 6a의 "잘라내기" 아이콘(532)]을 포함한다. 장치는 선택된 콘텐츠를 잘라내기하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6a의 "잘라내기" 아이콘(532) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1418) 선택된 콘텐츠를 잘라내기하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠(524)를 잘라내기한다(도 6b).

일부 실시예에서, 명령 디스플레이 영역은 이전에 잘라내기되거나 복사된 콘텐츠를 붙여넣기하는 아이콘[예를 들어, 도 6c의 "붙여넣기" 아이콘(536)]을 포함한다. 장치는 이전에 잘라내기되거나 복사된 콘텐츠를 붙여넣기하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6c의 "붙여넣기" 아이콘(536) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1420). 이전에 잘라내기되거나 복사된 콘텐츠를 붙여넣기하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠를 이전에 잘라내기되거나 복사된 콘텐츠로 대체한다. 예를 들어, 도 6c에서 "붙여넣기" 아이콘을 활성화시킨 것에 응답하여, 장치는 선택된 콘텐츠 "endure"(도 6c)를 이전에 복사된 콘텐츠 "nation"으로 대체한다(도 6d). 다른 대안으로서, 어떤 콘텐츠도 선택되지 않은 경우, 장치는 이전에 복사된 콘텐츠를 삽입 마커(510)의 위치에 붙여넣기한다(예를 들어, 메모에 붙여넣기하는 것에 대해서는 도 6e 및 도 6f에 예시된 바와 같고, 인스턴트 메시지에 붙여넣기하는 것에 대해서는 도 6g 및 도 6h에 예시된 바와 같으며, 그리고 이메일에 붙여넣기하는 것에 대해서는 도 6i 및 도 6j에 예시된 바와 같음).

일부 실시예에서, 명령 디스플레이 영역은 이전의 동작을 실행 취소하는 아이콘[예를 들어, 도 6n의 "실행 취소" 아이콘(604)]을 포함한다. 장치는 이전의 동작을 실행 취소하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6n의 "실행 취소" 아이콘(604) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1422). 이전의 동작을 실행 취소하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 장치에 의해 수행된 이전의 동작을 실행 취소한다.

예를 들어, 도 6l의 단어 "iPhone"이 도 6m에서 잘못하여 잘라내기된 것으로 가정하자. 일부 실시예에서, 잘라내기 동작은 도 6n의 "실행 취소" 아이콘(604)을 활성화시킴으로써 실행 취소될 수 있으며, 그로써 도 6p에서 단어 "iPhone"을 복원할 수 있다. 다른 대안으로서, 일부 실시예에서, [예를 들어, 가속도계(168)를 사용하여] 흔들기 제스처(shaking gesture)를 검출한 것에 응답하여, 장치는 이전의 잘라내기 동작을 실행 취소하고 도 6p에서 단어 "iPhone"을 복원한다. 다른 대안으로서, 일부 실시예에서, [예를 들어, 가속도계(168)를 사용하여] 흔들기 제스처(shaking gesture)를 검출한 것에 응답하여, 장치는 도 6o에서 실행 취소 아이콘(606)을 디스플레이한다. 장치는, 실행 취소 아이콘(606) 상에서의 손가락 제스처(예를 들어, 탭핑 제스처)에 응답하여, 이전의 잘라내기 동작을 실행 취소하고 도 6p에서 단어 "iPhone"을 복원한다.

일부 실시예에서, 명령 디스플레이 영역(530)은 부가의 명령 옵션을 디스플레이하는 아이콘[예를 들어, 도 6k의 ". . ." 아이콘(602)]을 포함한다. 장치는 부가의 명령 옵션을 디스플레이하는 아이콘의 활성화[예를 들어, 음성에 의하거나 도 6k의 ". . ." 아이콘(602) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1424). 부가의 명령 옵션을 디스플레이하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 부가의 명령 아이콘[예를 들어, 도 6o의 실행 취소(606) 및 다시 실행(608)]을 디스플레이한다. 각자의 부가의 명령 아이콘의 활성화[예를 들어, 음성에 의하거나 각자의 부가의 명령 아이콘(도시 생략) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]는 선택된 콘텐츠에 대해 대응하는 동작을 시작한다. 부가의 명령은 다른 대안으로서 명령 디스플레이 영역(530)의 일부로서 디스플레이될 수 있는 명령들(본 명세서에 기술된 바와 같이, 지도 보기, 전화 걸기, 기타 등등) 중 하나 이상의 명령일 수 있다.

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠에서의 물리적 위치에 관한 정보를 제공하는 아이콘[예를 들어, 도 6q의 "지도 보기" 아이콘(614)]을 포함한다. 장치는 선택된 콘텐츠에서의 물리적 위치에 관한 정보를 제공하는 아이콘의 활성화[예를 들어, 음성에 의하거나 도 6q의 "지도 보기" 아이콘(614) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1426). 선택된 콘텐츠에서의 물리적 위치에 관한 정보를 제공하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠에서의 물리적 위치에 관한 정보를 디스플레이한다(예를 들어, 도 6r의 지도 응용 프로그램에서 지도 상에 물리적 위치를 보여줌). 일부 실시예에서, 장치는 선택된 콘텐츠[예를 들어, 도 6q의 선택된 콘텐츠(612)]에서의 물리적 위치(예를 들어, 주소)를 인식할 수 있다. 일부 실시예에서, 선택된 콘텐츠가 주소 이외의 부가 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠에서의 물리적 위치(예를 들어, 주소)를 인식할 수 있다. 예를 들어, 선택된 콘텐츠(610)가 주소 이외의 다른 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠(610)(도 6k)에서의 주소를 인식할 수 있다.

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠 내의 전화 번호로 전화 걸기를 하는 아이콘[예를 들어, 도 6s의 "전화 걸기" 아이콘(616)]을 포함한다. 장치는 선택된 콘텐츠 내의 전화 번호로 전화 걸기를 하는 아이콘의 활성화[예를 들어, 음성에 의하거나 도 6s의 "전화 걸기" 아이콘(616) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1428). 선택된 콘텐츠 내의 전화 번호로 전화 걸기를 하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠 내의 전화 번호로 전화 걸기를 한다(도 6t). 일부 실시예에서, 장치는 선택된 콘텐츠[예를 들어, 도 6s의 선택된 콘텐츠(622)] 내의 전화 번호를 인식할 수 있다. 일부 실시예에서, 선택된 콘텐츠가 전화 번호 이외의 부가 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠 내의 전화 번호를 인식할 수 있다. 예를 들어, 선택된 콘텐츠(610)가 전화 번호 이외의 다른 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠(610)(도 6k) 내의 전화 번호를 인식할 수 있다.

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠 내의 정보를 사용하여 인스턴트 메시지를 시작하는 아이콘[예를 들어, 도 6s의 "문자 메시지" 아이콘(618)]을 포함한다. 장치는 선택된 콘텐츠 내의 정보를 사용하여 인스턴트 메시지를 시작하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6s의 "문자 메시지" 아이콘(618) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1430) 선택된 콘텐츠 내의 정보를 사용하여 인스턴트 메시지를 시작하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠 내의 정보를 사용하여 인스턴트 메시지를 시작한다 [예를 들어, 인스턴트 메시징 응용 프로그램을 열고 선택된 콘텐츠 내의 주소 또는 전화 번호로의 인스턴트 메시지(전화-기반 인스턴트 메시지)에 대한 인스턴트 메시지 입력 영역을 제시함, 도 6u].

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠 내의 이메일 주소를 사용하여 이메일 메시지를 시작하는 아이콘[예를 들어, 도 6w의 "이메일" 아이콘(624)]을 포함한다. 장치는 선택된 콘텐츠 내의 이메일 주소를 사용하여 이메일 메시지를 시작하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6w의 "이메일" 아이콘(624) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1432). 선택된 콘텐츠 내의 이메일 주소를 사용하여 이메일 메시지를 시작하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠 내의 이메일 주소를 사용하여 이메일 메시지를 시작한다 [예를 들어, 이메일 응용 프로그램을 열고 선택된 콘텐츠 내의 이메일 주소로의 이메일 메시지에 대한 이메일 입력 영역을 제시함, 도 6x]. 일부 실시예에서, 장치는 선택된 콘텐츠[예를 들어, 도 6w의 선택된 콘텐츠(630)] 내의 이메일 주소를 인식할 수 있다. 일부 실시예에서, 선택된 콘텐츠가 이메일 주소 이외의 부가 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠 내의 이메일 주소를 인식할 수 있다. 예를 들어, 선택된 콘텐츠(610)가 이메일 주소 이외의 다른 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠(610)(도 6k) 내의 이메일 주소를 인식할 수 있다.

일부 실시예에서, 명령 디스플레이 영역(530)이 선택된 콘텐츠 내의 이미지를 사용하여 슬라이드 쇼를 시작하는 아이콘을 포함한다. 장치는 선택된 콘텐츠 내의 이미지를 사용하여 슬라이드 쇼를 시작하는 아이콘의 활성화 (예를 들어, 음성에 의하거나 "슬라이드 쇼" 아이콘 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함)를 검출한다(1434) 선택된 콘텐츠 내의 이미지를 사용하여 슬라이드 쇼를 시작하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠 내의 이미지를 사용하여 슬라이드 쇼를 시작한다.

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠 내의 웹 주소를 사용하여 웹 페이지를 디스플레이하는 아이콘[예를 들어, 도 6y의 "브라우즈" 아이콘(626)]을 포함한다. 장치는 선택된 콘텐츠 내의 웹 주소를 사용하여 웹 페이지를 디스플레이하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6y의 "브라우즈" 아이콘(626) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1436). 선택된 콘텐츠 내의 웹 주소를 사용하여 웹 페이지를 디스플레이하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 (예를 들어, 도 6z의 브라우저 응용 프로그램에서) 선택된 콘텐츠 내의 웹 주소를 사용하여 웹 페이지를 디스플레이한다. 일부 실시예에서, 장치는 선택된 콘텐츠[예를 들어, 도 6y의 선택된 콘텐츠(628)] 내의 웹 주소를 인식할 수 있다. 일부 실시예에서, 선택된 콘텐츠가 이메일 주소 이외의 부가 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠 내의 웹 주소를 인식할 수 있다. 예를 들어, 선택된 콘텐츠(610)가 웹 주소 이외의 다른 정보를 포함하고 있더라도, 장치가 선택된 콘텐츠(610)(도 6k) 내의 웹 주소를 인식할 수 있다.

일부 실시예에서, 명령 디스플레이 영역(530)은 선택된 콘텐츠 내의 정보를 사용하여 검색을 시작하는 아이콘[예를 들어, 도 6aa의 "검색" 아이콘(632)]을 포함한다. 장치는 선택된 콘텐츠 내의 정보를 사용하여 검색을 시작하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6aa의 "검색" 아이콘(632) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1438). 선택된 콘텐츠 내의 정보를 사용하여 검색을 시작하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 선택된 콘텐츠 내의 정보를 사용하여 (예를 들어, 선택된 콘텐츠 또는 그의 일부분을 웹 검색에 대한 검색 입력으로서 사용하여, 도 6bb) 검색을 시작한다. 일부 실시예에서, 검색은 인터넷 검색(예를 들어, Google 검색, 도 6bb)을 포함한다. 일부 실시예에서, 검색은 장치 상에서의 정보의 검색(예를 들어, Spotlight 검색)을 포함한다.

일부 실시예에서, 명령 디스플레이 영역은 또한 연락처 응용 프로그램에 정보를 추가하는 아이콘[예를 들어, 도 6s의 "연락처에 추가" 아이콘(620)]을 포함한다. 장치는 연락처 응용 프로그램에 정보를 추가하는 아이콘의 활성화 [예를 들어, 음성에 의하거나 도 6s의 "연락처에 추가" 아이콘(620) 상에서의 탭핑 제스처와 같은 손가락 제스처에 의함]를 검출한다(1440). 연락처 응용 프로그램에 정보를 추가하는 아이콘의 활성화를 검출한 것에 응답하여, 장치는 연락처 응용 프로그램에 선택된 콘텐츠 내의 정보를 추가한다(도 6v).

일부 실시예에서, 선택된 콘텐츠가 움직일 때, 명령 디스플레이 영역이 터치 스크린 디스플레이 상에서 움직인다(1442).

일부 실시예에서, 명령 디스플레이 영역 내의 아이콘은 사용자 구성가능한 적어도 하나의 명령을 포함한다(1444). 예를 들어, 사용자는 설정 메뉴를 통해 명령 디스플레이 영역(530) 내의 잘라내기, 복사 및 붙여넣기 아이콘에 "모두 선택" 아이콘을 추가할 수 있다. 이와 유사하게, 사용자는 설정 메뉴를 통해 명령 디스플레이 영역(530)에 "지도 보기", "검색" 또는 기타 아이콘을 추가할 수 있다.

일부 실시예에서, 명령 디스플레이 영역 내의 아이콘은 컨텍스트 기반인 적어도 하나의 명령을 포함한다(1446). 예를 들어, 읽기 전용 콘텐츠에 대해서는 잘라내기 및 붙여넣기 아이콘이 디스플레이되지 않는다. 이와 유사하게, 이미지가 복사되어 있고 입력 필드가 텍스트 입력을 필요로 할 때, 붙여넣기 아이콘이 디스플레이되지 않는다.

일부 실시예에서, 콘텐츠가 제1 응용 프로그램[예를 들어, 이메일(140)] 내에서 디스플레이되고, 명령 디스플레이 영역 내의 아이콘은 소정의 응용 프로그래밍 인터페이스를 통해 제1 응용 프로그램에 연결된 제2 응용 프로그램[예를 들어, 브라우저(147), 지도(154), 또는 연락처(137)]을 호출하는 적어도 하나의 명령을 포함한다(1448).

일부 실시예에서, 장치는 명령 아이콘의 활성화[예를 들어, 콘텐츠 상에서의 스와이프 제스처(634)와 같은 손가락 제스처, 도 6cc]를 검출하기 전에 사용자에 의한 입력을 검출한다(1450, 도 14a). 사용자에 의한 입력을 검출한 것에 응답하여, 장치는 터치 스크린 디스플레이 상에서 콘텐츠를 스크롤하고, 명령 디스플레이 영역을 디스플레이하는 것을 중단한다(도 6dd). 일부 실시예에서, 장치는 콘텐츠의 스크롤을 중단한다. 콘텐츠의 스크롤을 중단한 것에 응답하여, 장치는 터치 스크린 디스플레이 상에서 선택된 콘텐츠에 인접하여 명령 디스플레이 영역을 다시 디스플레이한다(1452; 도 6ee). 환언하면, 명령 디스플레이 영역(530)이 스크롤 동안에 사라지고, 스크롤이 중단될 때 다시 나타난다(도 6cc 내지 도 6ee에 예시된 바와 같음). 이것은 스크롤 동안 콘텐츠의 방해받지 않는 뷰(unobstructed view)를 관찰자에게 제공한다. 명령 디스플레이 영역(530)은 통상적으로 선택된 콘텐츠에 인접하여(예를 들어, 선택된 콘텐츠 바로 위에 또는 바로 아래에) 디스플레이된다. 어떤 경우에, 명령 디스플레이 영역이 중복하거나, 선택된 콘텐츠 내에 디스플레이된다.

일부 실시예에서, 장치는 명령 아이콘의 활성화를 검출하기 전에 사용자에 의한 입력을 검출한다. 예를 들어, 장치는 선택된 콘텐츠(524)로부터 떨어져 있는(예를 들어, 3.2 mm와 같은 선택된 콘텐츠로부터 적어도 소정의 최소 거리 떨어져 있는) 터치 스크린 디스플레이 상의 위치에서 탭핑 제스처(636)(도 6ff)와 같은 손가락 제스처를 검출한다. 사용자에 의한 입력을 검출한 것에 응답하여, 장치는 선택된 콘텐츠를 선택 해제하고, 명령 디스플레이 영역을 디스플레이하는 것을 중단한다(1454)(도 6gg).

일부 실시예에서, 명령 디스플레이 영역(530) 내의 명령 아이콘의 활성화[예를 들어, "복사" 아이콘(534) 상에서의 손가락 탭핑 제스처(638)에 의함, 도 6hh]를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역을 디스플레이하는 것을 중단한다(1456, 도 14d)(도 6ii).

일부 실시예에서, 장치는 명령 아이콘의 활성화를 검출하기 전에 사용자에 의한 타이핑 입력을 검출한다. 예를 들어, 장치는 키보드(640) 내의 "b" 키 상에서 손가락 제스처(642)를 검출한다(도 6jj). 사용자에 의한 타이핑 입력을 검출한 것에 응답하여, 장치는 선택된 콘텐츠를 타이핑 입력에 대응하는 문자들로 대체하고, 명령 디스플레이 영역을 디스플레이하는 것을 중단한다(1458, 도 14a)(도 6kk).

일부 실시예에서, 장치는, 명령 아이콘의 활성화(예를 들어, 선택된 콘텐츠의 시작 부분 또는 끝부분 상에서의 손가락 탭핑 제스처)를 검출하기 전에, 선택된 콘텐츠의 각각의 끝부분(즉, 선택된 콘텐츠의 시작 부분 또는 끝부분)에서 사용자에 의한 손가락 제스처를 검출한다. 선택된 콘텐츠의 각각의 끝부분 상에서 사용자에 의한 손가락 제스처를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역을 디스플레이하는 것을 중단하고, 선택된 콘텐츠의 각각의 끝부분에 삽입 마커를 디스플레이하며, 선택된 콘텐츠를 선택 해제한다(1460). 예를 들어, 선택된 콘텐츠(524)의 끝부분 상에서 사용자에 의한 손가락 제스처(644)(도 6ll)를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역(530)을 디스플레이하는 것을 중단하고, 선택된 콘텐츠의 끝부분에 삽입 마커(510)를 디스플레이하며, 선택된 콘텐츠를 선택 해제한다(도 6mm).

일부 실시예에서, 장치는 명령 아이콘의 활성화(예를 들어, 시작점 객체 상에서의 손가락 탭핑 제스처)를 검출하기 전에 시작점 객체 상에서 사용자에 의한 손가락 제스처를 검출한다. 시작점 객체 상에서 사용자에 의한 손가락 제스처를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역, 시작점 객체 및 끝점 객체를 디스플레이하는 것을 중단하고, 선택된 콘텐츠의 시작부에 삽입 마커를 디스플레이하며, 선택된 콘텐츠를 선택 해제한다(1462).

일부 실시예에서, 장치는 명령 아이콘의 활성화[예를 들어, 끝점 객체(528) 상에서의 손가락 탭핑 제스처(644)(도 6ll)]를 검출하기 전에 끝점 객체 상에서 사용자에 의한 손가락 제스처를 검출한다. 끝점 객체 상에서 사용자에 의한 손가락 제스처를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역, 시작점 객체 및 끝점 객체를 디스플레이하는 것을 중단하고, 선택된 콘텐츠의 끝부분에 삽입 마커(510)를 디스플레이하며, 선택된 콘텐츠를 선택 해제한다(1464)(도 6mm).

일부 실시예에서, 장치는 명령 아이콘의 활성화[예를 들어, 선택된 콘텐츠의 중간에서의 손가락 탭핑 제스처(646)(도 6nn)]를 검출하기 전에 선택된 콘텐츠 상에서 사용자에 의한 손가락 제스처를 검출한다. 선택된 콘텐츠 상에서 사용자에 의한 손가락 제스처를 검출한 것에 응답하여, 장치는 명령 디스플레이 영역(530)을 디스플레이하는 것을 중단한다(1466). 일부 실시예에서, 장치는 명령 디스플레이 영역을 디스플레이하는 것을 중단한 후 명령 아이콘의 활성화[예를 들어, 선택된 콘텐츠의 중간에서의 다른 손가락 탭핑 제스처(648)(도 6oo)]를 검출하기 전에 선택된 콘텐츠 상에서 사용자에 의한 손가락 제스처를 검출한다. 선택된 콘텐츠 상에서 사용자에 의한 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 부분에 인접하여 명령 디스플레이 영역(530)을 다시 디스플레이한다(1468)(도 6nn). 환언하면, 사용자는 선택된 콘텐츠(524) 내에서 탭핑함으로써 명령 디스플레이 영역을 디스플레이하는 것을 온/오프 토글할 수 있다.

도 15a 내지 도 15c는 일부 실시예에 따른, 명령 디스플레이 영역을 배치하는 방법을 나타낸 흐름도이다. 방법(1500)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1500)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1500)은 명령 디스플레이 영역이 터치 스크린 디스플레이 상의 다른 중요한 사용자 인터페이스 요소를 가리지 않도록 명령 디스플레이 영역을 배치하는 효율적인 방식을 제공한다. 이 방법은 명령 디스플레이 영역을 사용할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 보다 빠르고 보다 효율적으로 명령 디스플레이 영역을 사용할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 콘텐츠(650)를 포함하는 사용자 인터페이스 요소를 디스플레이한다(1502)(도 6pp). 콘텐츠는 선택된 콘텐츠(524)(예를 들어, 터치 스크린 디스플레이 상에서의 사용자에 의한 하나 이상의 터치 제스처를 검출한 것에 응답하여 선택되는 콘텐츠)를 포함한다.

장치는 (예를 들어, 선택된 콘텐츠의 배경에 음영을 부여하고 및/또는 채색함으로써) 선택된 콘텐츠(524)를 선택되지 않은 디스플레이된 콘텐츠와 시각적으로 구분한다(1504).

장치는 하나 이상의 명령 아이콘을 포함하는 명령 디스플레이 영역(530) 요소를 디스플레이한다(1506). 이 설명을 위해, 명령 디스플레이 영역(530)은 각각이 각자의 디스플레이 우선순위를 가지는 다수의 UI 요소들 중 하나이며, 이에 대해서는 이하에서 보다 상세히 설명한다. 명령 디스플레이 영역(530) 요소가 콘텐츠(650)를 디스플레이하는 사용자 인터페이스 요소를 비롯한 사용자 인터페이스 내의 다른 요소의 전방에 디스플레이된다. 명령 아이콘의 활성화는 선택된 콘텐츠(524)에 대해 대응하는 동작의 수행을 시작한다.

장치는 하나 이상의 소정의 우선순위 요소[예를 들어, 키보드(640), 도 6pp] - 이들의 전방에 명령 디스플레이 영역 요소가 디스플레이될 수 없음 - 를 디스플레이한다(1508, 도 15c).

일부 실시예에서, 명령 디스플레이 영역(530) 요소를 디스플레이하는 것은 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크고, 선택된 콘텐츠 위쪽의 인접한 영역이 임의의 소정의 우선순위 요소를 포함하지 않을 때, 선택된 콘텐츠 위쪽의 인접한 영역에 명령 디스플레이 영역 요소를 디스플레이하는 것(1510)을 포함한다(예를 들어, 도 6pp 및 도 6tt).

일부 실시예에서, 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 선택된 콘텐츠 아래쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크고, 선택된 콘텐츠 아래쪽의 인접한 영역이 임의의 소정의 우선순위 요소를 포함하지 않을 때, 장치는 선택된 콘텐츠 아래쪽의 인접한 영역에 명령 디스플레이 영역 요소를 디스플레이한다(1512)(예를 들어, 도 6rr 및 도 6uu).

일부 실시예에서, 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 명령 디스플레이 영역이 선택된 콘텐츠 내에 들어갈 정도로 충분히 작을 때, 장치는 선택된 콘텐츠 내의 영역에 명령 디스플레이 영역 요소를 디스플레이한다(1514)(예를 들어, 도 6qq 및 도 6ss).

일부 실시예에서, 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 선택된 콘텐츠 아래쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 명령 디스플레이 영역이 선택된 콘텐츠 내에 들어갈 정도로 충분히 작을 때, 장치가 선택된 콘텐츠 내에서 그 전방에 명령 디스플레이 영역 요소를 디스플레이한다(1516)(예를 들어, 도 6qq).

일부 실시예에서, 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 명령 디스플레이 영역이 너무 커서 선택된 콘텐츠 내에 들어갈 수 없고, 선택된 콘텐츠 아래쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크고, 선택된 콘텐츠 아래쪽의 인접한 영역이 임의의 소정의 우선순위 요소를 포함하지 않을 때, 장치는 선택된 콘텐츠 아래쪽의 인접한 영역에 명령 디스플레이 영역 요소를 디스플레이한다(1518)(예를 들어, 도 6uu).

일부 실시예에서, 선택된 콘텐츠 위쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 선택된 콘텐츠 아래쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크지 않거나 소정의 우선순위 요소를 포함하고, 명령 디스플레이 영역이 너무 커서 선택된 콘텐츠 내에 들어갈 수 없을 때, 장치는 명령 디스플레이 영역 요소를 디스플레이하는 것을 금지한다(1520).

일부 실시예에서, 선택된 콘텐츠 아래쪽의 인접한 영역이 명령 디스플레이 영역 요소를 디스플레이하기에 충분히 크고, 선택된 콘텐츠 아래쪽의 인접한 영역이 임의의 소정의 우선순위 요소를 포함하지 않을 때, 장치는 선택된 콘텐츠 아래쪽의 인접한 영역에 명령 디스플레이 영역 요소를 디스플레이한다(1524)(예를 들어, 도 6rr 및 도 6uu).

일부 실시예에서, 명령 디스플레이 영역이 선택된 콘텐츠 내에 들어갈 정도로 충분히 작을 때, 장치는 선택된 콘텐츠 내에서 그 전방에 명령 디스플레이 영역 요소를 디스플레이한다(1526)(예를 들어, 도 6qq 및 도 6ss).

일부 실시예에서, 장치는 선택된 콘텐츠(524)와 관련하여 제1 위치에(예를 들어, 선택된 콘텐츠 바로 위에, 도 6pp) 명령 디스플레이 영역(530) 요소를 디스플레이한다(1528). 장치는, 선택된 콘텐츠를 움직이는 것(예를 들어, 손가락 제스처에 응답하여 콘텐츠를 스크롤하는 것)을 비롯하여, 터치 스크린 디스플레이 상에서 콘텐츠를 움직인다. 장치는 콘텐츠를 움직이는 동안 명령 디스플레이 영역 요소를 디스플레이하는 것을 중단한다. 콘텐츠가 움직이는 것을 멈출 때, 장치는 선택된 콘텐츠와 관련하여 제2 위치에 명령 디스플레이 영역(530) 요소를 다시 디스플레이한다. 선택된 콘텐츠와 관련한 제2 위치는 선택된 콘텐츠와 관련한 제1 위치[예를 들어, 선택된 콘텐츠 바로 아래에(도 6rr) 또는 선택된 콘텐츠 내에(도 6qq)]와 다르다.

도 16a 내지 도 16e는 일부 실시예에 따른, 콘텐츠 확대기를 사용하여 선택된 콘텐츠의 각각의 끝부분을 업데이트하는 방법을 나타낸 흐름도이다. 방법(1600)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1600)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1600)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 선택된 콘텐츠의 각각의 끝부분을 조정하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 제1 배율로 터치 스크린 디스플레이 상에 콘텐츠[예를 들어, 편집가능 콘텐츠(502) 또는 읽기 전용 콘텐츠(538)]를 디스플레이한다(1602). 콘텐츠는 선택된 콘텐츠(524)(예를 들어, 터치 스크린 디스플레이 상에서의 사용자에 의한 하나 이상의 터치 제스처를 검출한 것에 응답하여 선택되는 콘텐츠)를 포함한다. 일부 실시예에서, 콘텐츠는 텍스트(예를 들어, 일반 텍스트, 비구조화된 텍스트, 형식지정된 텍스트 또는 웹 페이지에서의 텍스트)를 포함한다(1604).

일부 실시예에서, 장치는 선택된 콘텐츠(524)의 각각의 끝부분에 시작점 객체(526) 및 끝점 객체(528)를 디스플레이한다(1606)(도 7a).

장치는 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉을 검출한다(선택된 콘텐츠의 끝부분은 시작점 객체 또는 끝점 객체 또는 이들 객체 중 하나의 객체의 숨겨진 히트 영역을 포함할 수 있음)(1608). 각각의 끝부분은 선택된 콘텐츠의 시작 또는 끝이다.

장치는 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기(702)를 디스플레이한다(1610). 콘텐츠 확대기는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 콘텐츠의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분(708), 및 선택된 콘텐츠의 각각의 끝부분의 현재 위치를 나타내는 경계 마커(704)를 디스플레이한다.

일부 실시예에서, 콘텐츠 확대기(702)는 소정의 형상(예를 들어, 도 7a에 도시된 바와 같이, 직사각형 또는 둥근 모서리를 갖는 직사각형)을 가진다(1612). 일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분에 인접하여 콘텐츠 확대기를 디스플레이하는 것은 선택된 콘텐츠의 각각의 끝부분 바로 위에 그를 중심으로 하여(또는 실질적으로 그를 중심으로 하여) 콘텐츠 확대기를 디스플레이하는 것(1614)을 포함한다. 일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분 상에서 손가락 접촉(706)(대응하는 시작점 객체 또는 끝점 객체 또는 이들 객체 중 하나의 객체의 숨겨진 히트 영역 상에서의 접촉)을 검출한 것에 응답하여 콘텐츠 확대기가 처음으로 디스플레이된다(1616).

일부 실시예에서, 콘텐츠 확대기에 의해 디스플레이되는 콘텐츠의 확장된 부분(708)은 각각의 끝부분에 인접한 선택된 콘텐츠(예를 들어, 도 7a의 "on so c") 및 각각의 끝부분에 인접한 비선택된 콘텐츠(예를 들어, 도 7a의 "onceived")를 포함한다(1618). 일부 실시예에서, 경계 마커(704)가 각각의 끝부분에 인접한 선택된 콘텐츠와 각각의 끝부분에 인접한 비선택된 콘텐츠 사이에 디스플레이된다(1620).

일부 실시예에서, 콘텐츠 확대기(708)는 콘텐츠에서의 단일 텍스트 줄의 확장된 부분을 디스플레이한다(1622)(도 7a). 일부 실시예에서, 삽입 마커를 배치하는 것을 돕는 콘텐츠 확대기[예를 들어, 도 5b의 확대기(508)]는 3개 이상의 텍스트 줄의 일부분을 디스플레이하는 반면, 선택된 콘텐츠에 대한 끝점을 설정하는 것을 돕는 콘텐츠 확대기[예를 들어, 도 7a의 확대기(702)]는 단지 각각의 끝점을 포함하는 단일 텍스트 줄의 확장된 부분을 디스플레이한다.

장치는 터치 스크린 디스플레이를 가로지르는 손가락 접촉(706)의 움직임을 검출한다(1624).

장치는 선택된 콘텐츠의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트한다(1626).

일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분이 계속하여 업데이트된다(예를 들어, 끝부분이 문자들 내에서 그리고 문자들 사이에서 움직이는 것처럼 보인다)(1628).

일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분이 문자별로(예를 들어, 글자별로) 업데이트된다(1630).

일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분이 단어별로 업데이트된다(1632). 일부 실시예에서, 단어별 업데이트의 경우, 손가락 접촉의 위치가 현재 단어 내의 위치(예를 들어, 현재 단어의 중간에 있는 문자의 위치)에 대응할 때, 선택된 콘텐츠의 각각의 끝부분이 현재 단어의 끝으로 전진한다.

일부 실시예에서, 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값(예를 들어, 평균 속도)을 초과할 때, 선택된 콘텐츠의 각각의 끝부분이 단어별로 업데이트된다(1634).

일부 실시예에서, 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값 미만일 때, 선택된 콘텐츠의 각각의 끝부분이 문자별로 업데이트되고, 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값을 초과할 때, 선택된 콘텐츠의 각각의 끝부분이 단어별로 업데이트된다(1636).

장치는 손가락 접촉(706)의 움직임에 따라 콘텐츠 확대기(702) 및 경계 마커(704)를 움직인다(1638). 일부 실시예에서, 경계 마커는 콘텐츠 확대기 내에서 고정된 위치를 유지한다(1640).

일부 실시예에서, 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠(도시 생략)의 시작 부분일 때, 장치는 손가락 접촉의 움직임에 따라 시작점 객체(526)를 움직이고, 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠의 끝일 때, 장치는 손가락 접촉의 움직임에 따라 끝점 객체(528)를 움직인다(1642).

일부 실시예에서, 콘텐츠 확대기는 콘텐츠 확대기의 중앙에 있는 각각의 단어를 포함한 단어들의 시퀀스를 디스플레이한다(1643). 장치는 손가락 접촉의 움직임에 따라 콘텐츠 확대기의 중앙에 있는 각각의 단어(예를 들어, 도 7a의 단어 "conceived")를 업데이트한다. 장치는 콘텐츠 확대기의 중앙에 있는 복수의 연속적인 단어에 대해 콘텐츠 확대기의 중앙에 있는 각각의 단어 내의 경계 마커를 움직임으로써 콘텐츠 확대기 내의 경계 마커를 움직인다(1644).

일부 실시예에서, 콘텐츠 확대기는 콘텐츠 확대기의 중앙에 있는 각각의 단어를 포함한 단어들의 시퀀스를 디스플레이한다. 장치는 손가락 접촉의 움직임에 따라 콘텐츠 확대기의 중앙에 있는 각각의 단어를 업데이트한다. 장치는 콘텐츠 확대기의 중앙에 있는 복수의 연속적인 단어에 대해 콘텐츠 확대기의 중앙에 있는 각각의 단어 내의 경계 마커를 문자 단위로 움직임으로써 콘텐츠 확대기 내의 경계 마커를 움직인다(1646).

일부 실시예에서, 콘텐츠 확대기는 콘텐츠 확대기의 중앙에 있는 각각의 단어를 포함한 단어들의 시퀀스를 디스플레이한다. 장치는 손가락 접촉의 움직임에 따라 콘텐츠 확대기의 중앙에 있는 각각의 단어를 업데이트한다. 장치는 콘텐츠 확대기의 중앙에 있는 복수의 연속적인 단어에 대해 콘텐츠 확대기의 중앙에 있는 각각의 단어의 끝으로 경계 마커를 점프시킴으로써 콘텐츠 확대기 내의 경계 마커를 움직인다(1648). 환언하면, 장치는 콘텐츠 확대기 내에 단어별 선택(word-by-word selection)을 디스플레이한다.

일부 실시예에서, 경계 마커(704)는 콘텐츠 확대기(702) 내에 중심을 둔(또는 실질적으로 중심을 둔) 채로 있다(1650).

일부 실시예에서, 손가락 접촉의 움직임에 따라 콘텐츠 확대기를 움직이는 것은 콘텐츠 확대기(702)를 라인 단위로 움직이는 것을 포함한다(1652). 라인 단위로 움직이는 것은 선택된 콘텐츠의 업데이트된 각각의 끝부분을 포함하는 텍스트 줄로 확대기를 스냅시킬 수 있다. 일부 실시예에서, 삽입 마커를 배치하는 것을 돕는 콘텐츠 확대기[예를 들어, 도 5b의 확대기(508)]는 터치 스크린 디스플레이 상에서 계속적으로 움직이는 반면, 선택된 콘텐츠에 대한 끝점을 설정하는 것을 돕는 콘텐츠 확대기[예를 들어, 도 7a의 확대기(702)]는 라인 단위로 움직인다. 일부 실시예에서, 양 유형의 확대기는 계속적으로 움직인다. 일부 실시예에서, 양 유형의 확대기는 라인 단위로 움직인다.

일부 실시예에서, 장치는 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한다. 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 디스플레이하는 것을 종료한다(1654).

일부 실시예에서, 장치는 손가락 접촉의 위치가 현재 단어 내의 현재 위치에 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한다. 손가락 접촉의 위치가 현재 단어 내의 현재 위치에 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 디스플레이하는 것을 종료하고, 선택된 콘텐츠의 각각의 끝부분을 현재 단어 내의 현재 위치에 배치한다(1656). 예를 들어, 손가락 접촉의 위치가 현재 단어 내의 현재 위치에(예를 들어, "conceived"에서 글자 "c"와 글자 "o" 사이에, 도 7a) 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉(706)(도 7a)의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기(702)를 디스플레이하는 것을 종료하고, 선택된 콘텐츠(524)의 각각의 끝부분을 현재 단어 내의 현재 위치에(예를 들어, "conceived"에서 글자 "c"와 글자 "o" 사이에, 도 7b) 배치한다.

일부 실시예에서, 손가락 접촉의 위치가 현재 단어 내의 현재 위치에 대응할 때, 장치는 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한다. 손가락 접촉의 위치가 현재 단어 내의 현재 위치에 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 디스플레이하는 것을 종료하고, 선택된 콘텐츠의 각각의 끝부분을 현재 단어의 각각의 끝부분에 배치한다(1658). 예를 들어, 장치는 선택된 콘텐츠의 각각의 끝부분을 (1) 선택된 콘텐츠의 시작 부분 및 끝부분 둘다에 대해 현재 단어의 끝부분에, (2) 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠의 끝부분일 때 현재 단어의 끝부분에 그리고 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠의 시작 부분일 때 현재 단어의 시작 부분에, 또는 (3) 떨어짐을 검출하기 바로 전에 손가락 접촉의 움직임의 방향에 따라 현재 단어의 각각의 끝부분에 배치할 수 있다. 일부 실시예에서, 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 디스플레이하는 것을 종료하기 전에 콘텐츠 확대기가 현재 단어의 각각의 끝부분에 대응하는 위치(예를 들어, 현재 단어의 각각의 끝부분을 중심으로 하여 그 바로 위의 위치)로 움직이는 애니메이션을 디스플레이한다(1660). 예를 들어, 손가락 접촉의 위치가 현재 단어 내의 현재 위치에(예를 들어, "conceived"에서 글자 "c"와 글자 "o" 사이에, 도 7a) 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉(706)(도 7a)의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기(702)를 디스플레이하는 것을 종료하고, 현재 단어의 끝에(예를 들어, "conceived"의 끝에, 도 7e) 선택된 콘텐츠(524)의 끝부분을 배치한다.

일부 실시예에서, 손가락 접촉의 위치가 현재 단어 내의 현재 위치에(예를 들어, "conceived"에서 글자 "c"와 글자 "o" 사이에, 도 7a) 대응할 때 장치는 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한다. 손가락 접촉의 위치가 현재 단어 내의 현재 위치에 대응할 때 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 디스플레이하는 것을 종료하고, 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값 미만일 때(떨어질 때 또는 떨어짐을 검출하기 바로 전의 기간에, 예를 들어, 떨어짐을 검출하고 나서 0.5초 이내에 1.6 mm 미만), 선택된 콘텐츠의 각각의 끝부분을 현재 단어 내의 현재 위치에(예를 들어, "conceived"에서 글자 "c"와 글자 "o" 사이에, 도 7b) 배치하고, 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값을 초과할 때, 선택된 콘텐츠의 각각의 끝부분을 현재 단어의 각각의 끝부분에(예를 들어, "conceived"의 끝에, 도 7e) 배치한다(1662). 예를 들어, 장치는 선택된 콘텐츠의 각각의 끝부분을 (1) 선택된 콘텐츠의 시작 부분 및 끝부분 둘다에 대해 현재 단어의 끝부분에, (2) 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠의 끝부분일 때 현재 단어의 끝부분에 그리고 선택된 콘텐츠의 각각의 끝부분이 선택된 콘텐츠의 시작 부분일 때 현재 단어의 시작 부분에, 또는 (3) 떨어짐을 검출하기 바로 전에 손가락 접촉의 움직임의 방향에 따라 현재 단어의 각각의 끝부분에 배치할 수 있다. 일부 실시예에서, 터치 스크린 디스플레이로부터의 손가락 접촉의 떨어짐을 검출한 것에 응답하여, 장치는 손가락 접촉의 움직임이 소정의 시간 구간 내에서 소정의 값을 초과할 때, 콘텐츠 확대기를 디스플레이하는 것을 종료하기 전에 콘텐츠 확대기가 현재 단어의 각각의 끝부분에 대응하는 위치로 움직이는 애니메이션을 디스플레이한다(1664). 예를 들어, "conceived"의 글자 "c"와 글자 "o" 사이에서(도 7a) 손가락 접촉(706)의 떨어짐을 검출한 것에 응답하여, 장치는 콘텐츠 확대기를 (예를 들어, "conceived"의 끝부분에, 도 7e) 디스플레이하는 것을 종료하기 전에 (예를 들어, 도 7c 및 도 7d에 나타낸 바와 같이) 콘텐츠 확대기(702)가 현재 단어의 각각의 끝부분에 대응하는 위치로 움직이는 애니메이션을 디스플레이한다.

콘텐츠가 선택되면, 장치는, 사용자 입력에 응답하여, 선택된 콘텐츠에 대해 동작(도 6a 내지 도 6bb와 관련하여 전술한 동작 등)을 수행할 수 있다.

도 17a 및 도 17b는 일부 실시예에 따른, 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1700)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1700)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1700)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 구조화된 전자 문서(예를 들어, 웹 페이지) 내의 콘텐츠 블록을 선택하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

구조화된 전자 문서에서 탐색하는 데 손가락 제스처를 사용하는 것은 미국 특허 출원 제20080094368호(그 전체 내용이 참조 문헌으로서 본 명세서에 포함됨)에 기술되어 있다. 본 명세서에 기술된 바와 같이, 일부 실시예에서, 장치는 웹 페이지 내의 블록(또는 콘텐츠 상자)을 결정하기 위해 웹 페이지의 렌더 트리(render tree)를 분석한다. 일부 실시예에서, 블록은 대체된 인라인(replaced inline), 블록, 인라인 블록(inline block), 또는 인라인 테이블(inline table)인 렌더 노드(render node)에 대응한다. 일부 실시예에서, 웹 페이지 내의 복수의 상자는 웹 페이지에서의(웹 페이지에 의해 참조되는) 스타일 시트(캐스케이딩 스타일 시트 등)에 의해 정의된다. 터치 스크린 디스플레이 상에서 웹 페이지 내의 콘텐츠 상자를 확대하고 중앙에 위치시키기 위해 손가락 제스처[예를 들어, 두번-탭핑 제스처(802), 도 8a]가 사용된다(예를 들어, "Lost in Translation: A U.S. Gift to Russia"라는 제목의 콘텐츠 상자를 도 8a에서의 거의 읽을 수 없는 상태로부터 도 8b에서의 쉽게 읽을 수 있는 상태로 확대함).

장치는 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이한다(1702). 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함한다. 일부 실시예에서, 구조화된 전자 문서는 웹 페이지이다(1704). 일부 실시예에서, 구조화된 전자 문서는 HTML 또는 XML 문서이다(1706).

장치는 복수의 콘텐츠 상자 중 제1 콘텐츠 상자 상에서 손가락 제스처[예를 들어, 도 8b의 제스처(804) 또는 도 8f의 제스처(814)]를 검출한다(1708). 일부 실시예에서, 손가락 제스처는 누르고 있기 제스처이다(1710). 일부 실시예에서, 손가락 제스처는 탭핑 앤 하프 제스처이다(1712). 일부 실시예에서, 구조화된 전자 문서는 복수의 노드를 갖는 관련 렌더 트리를 가지며, 손가락 제스처의 위치에 있는 제1 상자를 결정하는 것은 손가락 제스처의 검출된 위치에 대응하는 복수의 노드 내의 제1 노드를 결정하기 위해 렌더 트리를 아래로 순회하는 것, 제1 노드로부터 논리적 콘텐츠 그룹을 포함하는 가장 가까운 부모 노드로 렌더 트리를 위로 순회하는 것, 및 가장 가까운 부모 노드에 대응하는 콘텐츠를 제1 콘텐츠 상자로서 식별하는 것을 포함한다. 일부 실시예에서, 논리적 콘텐츠 그룹은 단락, 이미지, 플러그 인 객체(plugin object), 또는 테이블을 포함한다. 일부 실시예에서, 가장 가까운 부모 노드는 대체된 인라인, 블록, 인라인 블록, 또는 인라인 테이블이다.

복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 제1 콘텐츠 상자를 선택하고, 선택된 제1 콘텐츠 상자(806)를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분한다(1714)(예를 들어, 도 8c 및 도 8g에 도시된 바와 같음). 일부 실시예에서, 복사하기 위해 제1 콘텐츠 상자가 선택된다. 일부 실시예에서, 잘라내기, 매핑, 검색 또는 도 6a 내지 도 6bb와 관련하여 상기한 동작들 중 하나의 동작 등의 다른 동작에의 입력으로서 사용하기 위해 제1 콘텐츠 상자가 선택된다.

일부 실시예에서, 선택된 제1 콘텐츠 상자를 시각적으로 구분하는 것은 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 다른 배경 음영을 갖는 제1 콘텐츠 상자(806)를 디스플레이하는 것(1716)을 포함한다(도 8c 및 도 8g). 일부 실시예에서, 선택된 제1 콘텐츠 상자를 시각적으로 구분하는 것은 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 다른 배경색을 갖는 제1 콘텐츠 상자를 디스플레이하는 것(1718)을 포함한다. 일부 실시예에서, 선택된 제1 콘텐츠 상자를 시각적으로 구분하는 것은 제1 콘텐츠 상자 주변에 경계를 디스플레이하는 것(1720)을 포함한다. 일부 실시예에서, 선택된 제1 콘텐츠 상자를 시각적으로 구분하는 것은 제1 콘텐츠 상자에 대한 하나 이상의 선택 핸들(selection handle)[예를 들어, 핸들(808), 도 8c 및 도 8g]을 디스플레이하는 것(1722)을 포함한다.

일부 실시예에서, 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 손가락 제스처를 검출한 것에 응답하여, 장치는 선택된 콘텐츠에 대한 명령 디스플레이 영역(530)을 디스플레이한다(1724)(도 8c 및 도 8g).

장치는 선택된 제1 콘텐츠 상자 상에서 손가락 접촉[예를 들어, 도 8c의 접촉(810) 또는 도 8g의 접촉(816)]을 검출한다(1726). 일부 실시예에서, 선택된 제1 콘텐츠 상자 상에서 손가락 접촉을 검출하는 것은 선택된 제1 콘텐츠 상자에 대한 선택 핸들(808) 상에서 손가락 접촉을 검출하는 것(1728)을 포함한다(도 8c 및 도 8g). 일부 실시예에서, (예를 들어, 손가락 제스처가 "누르고 있기" 제스처일 때) 손가락 접촉은 손가락 제스처의 일부이다(1730).

장치는 선택된 제1 콘텐츠 상자 밖의 위치로의 손가락 접촉(810)의 움직임[예를 들어, 도 8c의 움직임(812) 또는 도 8g의 움직임(818)]을 검출한다(1732)(각각 도 8d 또는 도 8h).

일부 실시예에서, 선택된 제1 콘텐츠 상자 밖으로의 손가락 접촉의 움직임을 검출하는 동안, 장치는 선택된 콘텐츠 상자(또는 손가락 접촉의 현재 위치에서 손가락 접촉의 떨어짐이 검출되는 경우 선택될 콘텐츠 상자)를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분한다(1734).

장치는 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출한다(1736).

장치는 제1 콘텐츠 상자 밖에서의 손가락 접촉의 위치에 따라 복수의 콘텐츠 상자 중 하나 이상의 부가의 콘텐츠 상자를 선택한다(1738)(각각 도 8e 또는 도 8i). 일부 실시예에서, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출한 후에 선택이 일어난다. 일부 실시예에서, 선택된 제1 콘텐츠 상자 밖의 위치에서 손가락 접촉의 떨어짐을 검출하기 전에 선택이 행해지고 떨어짐에 의해 마무리된다.

도 8j 및 도 8k에서 손가락 접촉(820) 및 움직임(822)으로 나타낸 바와 같이, 선택된 콘텐츠 상자가 선택 핸들(808) 상에서의 추가의 손가락 제스처에 의해 추가적으로 확장될 수 있다.

일부 실시예에서, 장치는 [예를 들어, 선택된 콘텐츠에 인접하여 명령 디스플레이 영역(530) 내의 "복사" 아이콘(534) 상에서 손가락 제스처를 검출한 것에 응답하여, 도 8e 및 도 8i] 선택된 제1 콘텐츠 상자 및 선택된 하나 이상의 부가의 콘텐츠 상자를 복사한다(1740). 게다가, 일부 실시예에서, 복사된 콘텐츠는 메모리 내의 "임시 보드(pasteboard)"로 포스팅되고, 복사된 콘텐츠가 현재 응용 프로그램에서는 물론 장치에 의해 실행되는 다른 응용 프로그램에 붙여넣기하는 데(즉, 다른 응용 프로그램으로 복사하는 데) 이용가능하게 된다. 복사된 콘텐츠가 2개 이상의 콘텐츠 상자 또는 2개 이상의 데이터 형식의 콘텐츠를 포함할 때, 복사된 콘텐츠는 각각의 상이한 콘텐츠 상자 또는 데이터 항목에 대해 하나씩 다수의 객체로서 임시 보드로 포스팅될 수 있다. 상이한 포스팅된 객체는 상이한 데이터 형식(예를 들어, 이미지, HTML, 텍스트 등)을 가질 수 있다.

일부 실시예에서, 장치는 선택된 제1 콘텐츠 상자 및 선택된 하나 이상의 부가의 콘텐츠 상자를 붙여넣기한다(1742)(예를 들어, 다기능 장치 상의 대응하는 응용 프로그램에서 선택된 콘텐츠를 이메일, 메모, 또는 워드 프로세싱 문서에 붙여넣기한다).

일부 실시예에서, 복사된 선택된 콘텐츠에서의 형식 지정 및 기타 메타데이터가 붙여넣기 동안에 상실되고, 선택된 콘텐츠 내의 텍스트만이 붙여넣기된다[예를 들어, 도 8l의 콘텐츠 상자(806)를 도 8m의 메모에 복사함]. 일부 실시예에서, 복사된 선택된 콘텐츠에서의 형식 지정 및 기타 메타데이터가 붙여넣기 동안에 유지된다[예를 들어, 도 8l의 콘텐츠 상자(806)를 도 8n 및 도 8o의 이메일에 복사함].

도 18은 일부 실시예에 따른, 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1800)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1800)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1800)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 구조화된 전자 문서(예를 들어, 웹 페이지) 내의 단일 콘텐츠 블록 내의 콘텐츠를 선택하는 직관적 방식을 제공한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 제1 배율로 터치 스크린 디스플레이 상에 구조화된 전자 문서의 적어도 일부분을 디스플레이한다(1802). 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함한다.

장치는 복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한다(1804).

복수의 콘텐츠 상자 중의 제1 콘텐츠 상자 상에서 제1 손가락 제스처를 검출한 것에 응답하여, 장치는 제1 콘텐츠 상자를 선택하고 선택된 제1 콘텐츠 상자를 선택되지 않은 터치 스크린 디스플레이 상의 콘텐츠와 시각적으로 구분한다(1806)(도 8p에 도시된 바와 같음). 일부 실시예에서, 복사하기 위해 제1 콘텐츠 상자가 선택된다. 일부 실시예에서, 매핑, 검색 또는 도 6a 내지 도 6bb와 관련하여 상기한 동작들 중 하나의 동작 등의 다른 동작에의 입력으로서 사용하기 위해 제1 콘텐츠 상자가 선택된다.

일부 실시예에서, 장치는 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출하기 전에 제2 손가락 제스처[예를 들어, 선택된 제1 콘텐츠 상자(806) 내의 선택 핸들(808)을 움직이는 손가락 제스처, 도 8p]를 검출한다(1808). 제2 손가락 제스처를 검출한 것에 응답하여, 장치는 하나 이상의 콘텐츠 상자를 선택하도록 구성된 모드(도 8p)에서 하나의 콘텐츠 상자 내의 콘텐츠를 선택하도록 구성된 모드(도 8q)로 전환한다.

장치는 선택된 제1 콘텐츠 상자의 각각의 끝부분 상에서 손가락 접촉을 검출한다(선택된 콘텐츠의 끝부분은 시작점 객체 또는 끝점 객체 또는 이들 객체 중 하나의 객체의 숨겨진 히트 영역을 포함할 수 있음)(1810). 각각의 끝부분은 선택된 콘텐츠의 시작 또는 끝이다. 예를 들어, 도 8q에서, 손가락 접촉(824)은 선택된 콘텐츠의 시작 부분 상에서이다. 예를 들어, 도 8s에서, 손가락 접촉(826)은 선택된 콘텐츠의 끝부분 상에서이다.

장치는 선택된 제1 콘텐츠 상자의 각각의 끝부분에 인접하여 콘텐츠 확대기(702)를 디스플레이한다(1812)(도 8r 및 도 8s). 콘텐츠 확대기(702)는 제1 배율보다 큰 제2 배율로 되어 있는, 선택된 제1 콘텐츠 상자의 각각의 끝부분에 근접해 있는 콘텐츠의 확장된 부분(708), 및 선택된 제1 콘텐츠 상자의 각각의 끝부분의 현재 위치를 나타내는 경계 마커(704)를 디스플레이한다.

장치는 선택된 제1 콘텐츠 상자(806) 내에서 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출한다(1814).

장치는 선택된 제1 콘텐츠 상자의 각각의 끝부분 및 제2 배율로 각각의 끝부분에 근접하여 디스플레이된 콘텐츠의 확장된 부분을 손가락 접촉의 움직임에 따라 업데이트한다(1816)(도 8r 및 도 8s).

장치는 손가락 접촉의 움직임에 따라 콘텐츠 확대기 및 경계 마커를 움직인다(1818)(도 8r 및 도 8s).

(예를 들어, 도 7a 내지 도 7e와 관련하여) 상기한 콘텐츠 선택의 다른 측면도 역시 여기서 사용될 수 있다. 콘텐츠가 선택되면, 장치는, 사용자 입력에 응답하여, 선택된 콘텐츠에 대해 도 6a 내지 도 6bb와 관련하여 전술한 읽기 전용 콘텐츠에 적용가능한 것과 같은 동작을 수행할 수 있다.

도 19는 일부 실시예에 따른 문서 복잡성 기준에 기초하여 구조화된 전자 문서에서 콘텐츠를 선택하는 방법을 나타낸 흐름도이다. 방법(1900)은 터치 스크린 디스플레이를 갖는 다기능 장치(예를 들어, 도 3의 300)에서 수행된다. 일부 실시예에서, 이 방법은 터치 스크린 디스플레이를 갖는 휴대용 다기능 장치[예를 들어, 휴대용 다기능 장치(100)]에서 수행된다. 방법(1900)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.

이하에서 기술하는 바와 같이, 방법(1900)은 터치 스크린 디스플레이를 갖는 다기능 장치에서 HTML 이메일과 같은 구조화된 전자 문서의 복잡성에 따라 콘텐츠 선택 방법을 조정하는 방식을 제공한다. 이 방법은 간단한 구조를 갖는 문서에서 보다 정확한 선택을 가능하게 해주면서 복잡한 문서에서 콘텐츠 상자 전체를 선택한다. 이 방법은 콘텐츠를 선택할 때 사용자에 대한 인지 부담을 감소시키며, 그로써 보다 효율적인 사람-기계 인터페이스를 생성한다. 배터리-작동 장치에서, 사용자가 콘텐츠 선택을 보다 빠르고 보다 효율적으로 수행할 수 있게 해주는 것은 전력을 절감하고 배터리 충전 사이의 시간을 증가시킨다.

장치는 터치 스크린 디스플레이 상에 구조화된 전자 문서(예를 들어, 사용자에 의해 수신되고 이메일 응용 프로그램에서 디스플레이되는 HTML 이메일)의 적어도 일부분을 디스플레이한다(1902). 구조화된 전자 문서는 복수의 콘텐츠 상자를 포함한다.

장치는 구조화된 전자 문서가 하나 이상의 소정의 문서 복잡성 기준을 만족시키는지를 판정한다(1904).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 콘텐츠 상자를 포함하는 복수의 열을 포함해야 한다는 요구사항을 포함한다(1906).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 적어도 하나의 비인라인 이미지(non-inline image)를 포함해야 한다는 요구사항을 포함한다(1908).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 적어도 소정의 수의 레벨의 내포된 요소(nested element)(예를 들어, HTML 이메일 문서의 경우, 적어도 3 레벨의 내포된 요소)를 포함해야 한다는 요구사항을 포함한다(1910).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 캐스케이딩 스타일 시트(cascading style sheet)를 사용해야 한다는 요구사항을 포함한다(1912).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 부유 객체(floated object)를 포함해야 한다는 요구사항을 포함한다(1914).

일부 실시예에서, 하나 이상의 소정의 문서 복잡성 기준은 구조화된 전자 문서가 객체 주변에 부유된 텍스트를 포함해야 한다는 요구사항을 포함한다(1916).

장치는 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시킬 때 하나 이상의 손가락 제스처에 응답하여 하나 이상의 전체 콘텐츠 상자를 선택한다(1918).

장치는 구조화된 전자 문서가 적어도 하나의 소정의 문서 복잡성 기준을 만족시키지 않을 때 적어도 하나의 콘텐츠 상자의 제스처-지정 부분을 선택한다(1920). 제스처-지정 부분은 하나의 콘텐츠 상자 내의 일부분일 수 있다. 제스처-지정 부분은 첫번째 상자의 일부분 및 인접 상자의 일부분을 포함할 수 있다. 제스처-지정 부분은 첫번째 상자의 일부분, 마지막 상자의 일부분, 및 첫번째 상자와 마지막 상자 사이의 상자들 전체를 포함할 수 있다. 환언하면, 문서 복잡성 기준들 중 어떤 문서 복잡성 기준도 만족시키지 않는 구조화된 전자 문서(예를 들어, HTML 이메일)의 경우, (예를 들어, 도 10a 내지 도 10d 및 도 13a 내지 도 13g와 관련하여 상기한 것과 같은 제스처를 사용하여) 몇몇 상자(들)의 일부분만이 선택되도록 선택된 콘텐츠의 각각의 끝부분이 콘텐츠 상자(들) 내에 배치될 수 있다. 이와 달리, 적어도 하나의 문서 복잡성 기준을 만족시키는 구조화된 전자 문서의 경우, (예를 들어, 도 17a 및 도 17b와 관련하여 상기한 것과 같은 제스처를 사용하여) 전체 콘텐츠 상자가 선택된다.

(예를 들어, 도 7a 내지 도 7e와 관련하여) 상기한 콘텐츠 선택의 다른 측면도 역시 여기서 사용될 수 있다. 콘텐츠가 선택되면, 장치는, 사용자 입력에 응답하여, 선택된 콘텐츠에 대해 도 6a 내지 도 6bb와 관련하여 전술한 읽기 전용 콘텐츠에 적용가능한 것과 같은 동작을 수행할 수 있다.

전술한 정보 처리 방법에서의 단계들이 범용 프로세서 또는 ASIC(application specific chip)과 같은 정보 처리 장치에서 하나 이상의 기능 모듈을 실행함으로써 구현될 수 있다. 이들 모듈, 이들 모듈의 조합, 및/또는 이들과 일반 하드웨어와의 조합(예를 들어, 도 1a, 도 1b 및 도 3과 관련하여 전술함) 모두가 본 발명의 보호 범위 내에 포함된다.

이상의 기재 내용은, 설명을 위해, 특정의 실시예를 참조하여 기술되어 있다. 그렇지만, 상기 예시적인 설명은 총망라한 것이 아니며 또한 본 발명을 개시된 정확한 형태로 제한하기 위한 것도 아니다. 이상의 개시 내용을 고려하여 많은 수정 및 변형이 가능하다. 본 발명의 원리 및 그의 실제 응용을 가장 잘 설명함으로써 당업자가 본 발명 및 생각되는 특정의 용도에 적합한 다양한 수정을 갖는 다양한 실시예를 가장 잘 이용할 수 있게 해주기 위해 이들 실시예가 선택되어 기술되었다.

Claims (221)

1. 터치 스크린 디스플레이,
   하나 이상의 프로세서,
   메모리, 및
   하나 이상의 프로그램
   을 포함하며,
   상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되어 있으며,
   상기 하나 이상의 프로그램은,
   제1 배율로 상기 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하는 명령어,
   상기 편집가능 콘텐츠 상에서 손가락 제스처를 검출하는 명령어,
   상기 편집가능 콘텐츠 상에서 상기 손가락 제스처를 검출한 것에 응답하여,
   상기 편집가능 콘텐츠의 적어도 일부를 상기 제1 배율로 계속 디스플레이하면서 상기 터치 스크린 디스플레이 상의 상기 편집가능 콘텐츠의 일부분을 상기 제1 배율보다 큰 제2 배율로 확장하고,
   상기 편집가능 콘텐츠의 확장된 부분, 및 상기 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 명령어,
   상기 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 명령어,
   상기 콘텐츠 확대기를 움직여 상기 손가락 접촉의 검출된 움직임에 따라 상기 편집가능 콘텐츠의 확장된 부분을 변경하는 명령어,
   상기 손가락 접촉의 검출된 움직임에 따라 상기 삽입 마커를 상기 제1 위치로부터 상기 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 명령어,
   상기 삽입 마커가 상기 편집가능 콘텐츠의 확장된 부분 내의 상기 제2 위치에 위치해 있는 동안 상기 손가락 접촉의 떨어짐(lift off)을 검출하는 명령어, 및
   상기 손가락 접촉의 떨어짐을 검출한 것에 응답하여,
   상기 콘텐츠 확대기 및 상기 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하고,
   상기 제1 배율의 상기 편집가능 콘텐츠 내의 현재 위치에 상기 삽입 마커를 디스플레이하고 - 상기 현재 위치는 상기 편집가능 콘텐츠의 확장된 부분 내의 상기 제2 위치에 대응함 -,
   상기 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하고 - 상기 제1 명령 디스플레이 영역은 잘라내기 및 붙여넣기 중 적어도 하나를 위해 상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출하고,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여,
   상기 제1 명령 디스플레이 영역을 디스플레이하는 것을 중단하고,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 명령어를 포함하는, 다기능 장치.
2. 제1항에 있어서, 상기 하나 이상의 프로그램은,
   손가락 접촉의 떨어짐을 검출한 것에 응답하여,
   상기 편집가능 콘텐츠의 확장된 부분이 상기 제1 배율의 상기 편집가능 콘텐츠 내의 상기 현재 위치에 있는 상기 삽입 마커 내로 축소되는 애니메이션을 디스플레이하는 명령어를 포함하는 다기능 장치.
3. 제1항에 있어서, 상기 제1 명령 디스플레이 영역은 상기 편집가능 콘텐츠 모두를 선택하는 아이콘을 포함하는 다기능 장치.
4. 제1항에 있어서, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 사용자 구성가능한 적어도 하나의 명령을 포함하는 다기능 장치.
5. 제1항에 있어서, 상기 편집가능 콘텐츠는 제1 응용 프로그램 내에서 디스플레이되고, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 미리 정의된 응용 프로그래밍 인터페이스(application programming interface)를 통해 상기 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하라는 적어도 하나의 명령을 포함하는 다기능 장치.
6. 삭제
7. 제1항에 있어서,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여,
   상기 선택된 콘텐츠의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하는 명령어를 포함하는 다기능 장치.
8. 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
   상기 하나 이상의 프로그램은 터치 스크린 디스플레이를 갖는 다기능 장치에 의해 실행될 때, 상기 다기능 장치로 하여금,
   제1 배율로 상기 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하고,
   상기 편집가능 콘텐츠 상에서 손가락 제스처를 검출하며,
   상기 편집가능 콘텐츠 상에서 상기 손가락 제스처를 검출한 것에 응답하여,
   상기 편집가능 콘텐츠의 적어도 일부를 상기 제1 배율로 계속 디스플레이하면서 상기 터치 스크린 디스플레이 상의 상기 편집가능 콘텐츠의 일부분을 상기 제1 배율보다 큰 제2 배율로 확장하고,
   상기 편집가능 콘텐츠의 확장된 부분, 및 상기 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하며,
   상기 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하고,
   상기 콘텐츠 확대기를 움직여 상기 손가락 접촉의 검출된 움직임에 따라 상기 편집가능 콘텐츠의 확장된 부분을 변경하며,
   상기 손가락 접촉의 검출된 움직임에 따라 상기 삽입 마커를 상기 제1 위치로부터 상기 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이고,
   상기 삽입 마커가 상기 편집가능 콘텐츠의 확장된 부분 내의 상기 제2 위치에 위치해 있는 동안 상기 손가락 접촉의 떨어짐을 검출하며,
   상기 손가락 접촉의 떨어짐을 검출한 것에 응답하여,
   상기 콘텐츠 확대기 및 상기 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하고,
   상기 제1 배율의 상기 편집가능 콘텐츠 내의 현재 위치에 상기 삽입 마커를 디스플레이하며 - 상기 현재 위치는 상기 편집가능 콘텐츠의 확장된 부분 내의 상기 제2 위치에 대응함 -,
   상기 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하고 - 상기 제1 명령 디스플레이 영역은 잘라내기 및 붙여넣기 중 적어도 하나를 위해 상기 삽입 마커의 상기 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출하고,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여,
   상기 제1 명령 디스플레이 영역을 디스플레이하는 것을 중단하고,
   상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하게 하는
   명령어를 포함하는 컴퓨터 판독가능 저장 매체.
9. 제8항에 있어서, 상기 다기능 장치로 하여금, 손가락 접촉의 떨어짐을 검출한 것에 응답하여,
   상기 편집가능 콘텐츠의 확장된 부분이 상기 제1 배율의 상기 편집가능 콘텐츠 내의 상기 현재 위치에 있는 상기 삽입 마커 내로 축소되는 애니메이션을 디스플레이하게 하는 명령어를 포함하는 컴퓨터 판독가능 저장 매체.
10. 제8항에 있어서, 상기 제1 명령 디스플레이 영역은 상기 편집가능 콘텐츠 모두를 선택하는 아이콘을 포함하는 컴퓨터 판독가능 저장 매체.
11. 제8항에 있어서, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 사용자 구성가능한 적어도 하나의 명령을 포함하는 컴퓨터 판독가능 저장 매체.
12. 제8항에 있어서, 상기 편집가능 콘텐츠는 제1 응용 프로그램 내에서 디스플레이되고, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 미리 정의된 응용 프로그래밍 인터페이스를 통해 상기 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하라는 적어도 하나의 명령을 포함하는 컴퓨터 판독가능 저장 매체.
13. 삭제
14. 제8항에 있어서, 상기 다기능 장치로 하여금,
    상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여,
    상기 선택된 콘텐츠의 각각의 끝부분에 시작점 객체 및 끝점 객체를 디스플레이하게 하는 명령어를 포함하는 컴퓨터 판독가능 저장 매체.
15. 터치 스크린 디스플레이를 갖는 다기능 장치에서,
    제1 배율로 상기 터치 스크린 디스플레이 상에 편집가능 콘텐츠를 디스플레이하는 단계와,
    상기 편집가능 콘텐츠 상에서 손가락 제스처를 검출하는 단계와,
    상기 편집가능 콘텐츠 상에서 상기 손가락 제스처를 검출한 것에 응답하여,
    상기 편집가능 콘텐츠의 적어도 일부를 상기 제1 배율로 계속 디스플레이하면서 상기 터치 스크린 디스플레이 상의 상기 편집가능 콘텐츠의 일부분을 상기 제1 배율보다 큰 제2 배율로 확장하고,
    상기 편집가능 콘텐츠의 확장된 부분, 및 상기 편집가능 콘텐츠의 확장된 부분 내의 제1 위치에 있는 삽입 마커를 디스플레이하는 콘텐츠 확대기를 디스플레이하는 단계와,
    상기 터치 스크린 디스플레이를 가로지르는 손가락 접촉의 움직임을 검출하는 단계와,
    상기 콘텐츠 확대기를 움직여 상기 손가락 접촉의 검출된 움직임에 따라 상기 편집가능 콘텐츠의 확장된 부분을 변경하는 단계와,
    상기 손가락 접촉의 검출된 움직임에 따라 상기 삽입 마커를 상기 제1 위치로부터 상기 편집가능 콘텐츠의 확장된 부분 내의 제2 위치로 움직이는 단계와,
    상기 삽입 마커가 편집가능 콘텐츠의 확장된 부분 내의 제2 위치에 위치해 있는 동안 손가락 접촉의 떨어짐을 검출하는 단계와,
    손가락 접촉의 떨어짐을 검출한 것에 응답하여,
    상기 콘텐츠 확대기 및 상기 편집가능 콘텐츠의 확장된 부분을 디스플레이하는 것을 중단하고,
    제1 배율의 편집가능 콘텐츠 내의 현재 위치에 상기 삽입 마커를 디스플레이하고 - 상기 현재 위치는 상기 편집가능 콘텐츠의 확장된 부분 내의 상기 제2 위치에 대응함 -,
    상기 삽입 마커에 인접하여 제1 명령 디스플레이 영역을 디스플레이하고 - 상기 제1 명령 디스플레이 영역은 잘라내기 및 붙여넣기 중 적어도 하나를 위해 상기 삽입 마커의 상기 현재 위치와 연관된 콘텐츠를 선택하는 아이콘을 포함함 -,
    상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출하고,
    상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 아이콘 상에서 손가락 제스처를 검출한 것에 응답하여,
    상기 제1 명령 디스플레이 영역을 디스플레이하는 것을 중단하고,
    상기 삽입 마커의 현재 위치와 연관된 콘텐츠를 선택하는 단계
    를 포함하는 방법.
16. 제15항에 있어서, 손가락 접촉의 떨어짐을 검출한 것에 응답하여,
    상기 편집가능 콘텐츠의 확장된 부분이 상기 제1 배율의 상기 편집가능 콘텐츠 내의 상기 현재 위치에 있는 상기 삽입 마커 내로 축소되는 애니메이션을 디스플레이하는 단계를 포함하는 방법.
17. 제15항에 있어서, 상기 제1 명령 디스플레이 영역은 상기 편집가능 콘텐츠 모두를 선택하는 아이콘을 포함하는 방법.
18. 제15항에 있어서, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 사용자 구성가능한 적어도 하나의 명령을 포함하는 방법.
19. 제15항에 있어서, 상기 편집가능 콘텐츠는 제1 응용 프로그램 내에서 디스플레이되고, 상기 제1 명령 디스플레이 영역 내의 아이콘들은 미리 정의된 응용 프로그래밍 인터페이스를 통해 상기 제1 응용 프로그램에 연결된 제2 응용 프로그램을 호출하라는 적어도 하나의 명령을 포함하는 방법.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제
68. 삭제
69. 삭제
70. 삭제
71. 삭제
72. 삭제
73. 삭제
74. 삭제
75. 삭제
76. 삭제
77. 삭제
78. 삭제
79. 삭제
80. 삭제
81. 삭제
82. 삭제
83. 삭제
84. 삭제
85. 삭제
86. 삭제
87. 삭제
88. 삭제
89. 삭제
90. 삭제
91. 삭제
92. 삭제
93. 삭제
94. 삭제
95. 삭제
96. 삭제
97. 삭제
98. 삭제
99. 삭제
100. 삭제
101. 삭제
102. 삭제
103. 삭제
104. 삭제
105. 삭제
106. 삭제
107. 삭제
108. 삭제
109. 삭제
110. 삭제
111. 삭제
112. 삭제
113. 삭제
114. 삭제
115. 삭제
116. 삭제
117. 삭제
118. 삭제
119. 삭제
120. 삭제
121. 삭제
122. 삭제
123. 삭제
124. 삭제
125. 삭제
126. 삭제
127. 삭제
128. 삭제
129. 삭제
130. 삭제
131. 삭제
132. 삭제
133. 삭제
134. 삭제
135. 삭제
136. 삭제
137. 삭제
138. 삭제
139. 삭제
140. 삭제
141. 삭제
142. 삭제
143. 삭제
144. 삭제
145. 삭제
146. 삭제
147. 삭제
148. 삭제
149. 삭제
150. 삭제
151. 삭제
152. 삭제
153. 삭제
154. 삭제
155. 삭제
156. 삭제
157. 삭제
158. 삭제
159. 삭제
160. 삭제
161. 삭제
162. 삭제
163. 삭제
164. 삭제
165. 삭제
166. 삭제
167. 삭제
168. 삭제
169. 삭제
170. 삭제
171. 삭제
172. 삭제
173. 삭제
174. 삭제
175. 삭제
176. 삭제
177. 삭제
178. 삭제
179. 삭제
180. 삭제
181. 삭제
182. 삭제
183. 삭제
184. 삭제
185. 삭제
186. 삭제
187. 삭제
188. 삭제
189. 삭제
190. 삭제
191. 삭제
192. 삭제
193. 삭제
194. 삭제
195. 삭제
196. 삭제
197. 삭제
198. 삭제
199. 삭제
200. 삭제
201. 삭제
202. 삭제
203. 삭제
204. 삭제
205. 삭제
206. 삭제
207. 삭제
208. 삭제
209. 삭제
210. 삭제
211. 삭제
212. 삭제
213. 삭제
214. 삭제
215. 삭제
216. 삭제
217. 삭제
218. 삭제
219. 삭제
220. 삭제
221. 삭제

Images