KR102188757B1 - 오프-스크린 가시 객체들의 표면화 - Google Patents

오프-스크린 가시 객체들의 표면화 Download PDF

Info

Publication number
KR102188757B1
KR102188757B1 KR1020197022326A KR20197022326A KR102188757B1 KR 102188757 B1 KR102188757 B1 KR 102188757B1 KR 1020197022326 A KR1020197022326 A KR 1020197022326A KR 20197022326 A KR20197022326 A KR 20197022326A KR 102188757 B1 KR102188757 B1 KR 102188757B1
Authority
KR
South Korea
Prior art keywords
display
touch pad
input operation
dragging input
pad surface
Prior art date
Application number
KR1020197022326A
Other languages
English (en)
Other versions
KR20190092612A (ko
Inventor
존 니콜라스 지트코프
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190092612A publication Critical patent/KR20190092612A/ko
Application granted granted Critical
Publication of KR102188757B1 publication Critical patent/KR102188757B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop

Abstract

컴퓨팅 장치를 위한 컴퓨터-구현 사용자 입력 프로세스는, 그래픽 디스플레이 위의 터치 패드 표면 상으로, 상기 터치 패드 표면을 가로질러 드래깅하는 사용자 입력 동작을 수신하는 단계, 상기 드래깅 입력 동작이 상기 터치 패드 표면의 주변 엣지에서의 상기 입력 동작에 대하여 처음으로 감지된 위치를 식별함으로써 상기 터치 패드의 엣지의 외부로부터 시작되는 것을 식별하는 단계, 및 상기 드래깅 입력 동작을 식별하는 것에 응답하여, 상기 디스플레이 상의 정지 요소 위로, 상기 디스플레이의 상기 엣지로부터 상기 디스플레이의 몸체 내로 움직이도록 애니메이트되는 슬라이딩 그래픽 요소를 상기 그래픽 디스플레이 상에 디스플레이하는 단계를 포함한다.

Description

오프-스크린 가시 객체들의 표면화{SURFACING OFF-SCREEN VISIBLE OBJECTS}
본 출원은 2010년 11월 18일에 출원되었으며, “컴퓨터 운영 체제에서의 사용자 상호작용(User interaction in a Computer Operating System)”이라고 명명된 미국임시출원번호 제61/415,179호, 및 2010년 11월 18일에 출원되었으며, “컴퓨터 운영 체제에서의 사용자 상호작용(User interaction in a Computer Operating System)”이라고 명명된 미국임시출원번호 제61/458,326호에 대한 우선권을 주장한다. 이들 미국임시출원들의 내용은 전체로서 여기 본 출원에 참조로서 포함된다.
본 명세서는 컴퓨터 운영 체제의 사용자들과 상호작용하기 위한 시스템들 및 기술들에 관련된다.
컴퓨터는 점점 더 일상화되고 있으며, 사용자들이 컴퓨터와 상호작용하는 방법이 보다 중요해졌다. 예를 들어, 초창기의 컴퓨터들은 한정된 사용자들 그룹과의 상호작용을 위해 펀치 카드들을 사용하였으나, 데스크탑 개인용 컴퓨터들은 보다 많은 사용자들과의 보다 지속적인 상호작용과 그래픽 사용자 인터페이스의 개발을 이끌었다. 이러한 인터페이스들은 컴퓨터 운영 체제들 그들 자체에 있어서 일부가 되었으며, 운영 체제들 상에서 실행되는 어플리케이션들(applications)에 의하여 더 확장되었다(extended).
이제는 컴퓨팅 장치들이, 스마트 폰들 그리고 비슷한 장치들의 형태로서 사용자에 의하여 흔히 휴대되거나 소지된다. 이러한 장치는 데스크탑 또는 랩탑 컴퓨터에 대해서 키보드를 통하여 이루어지는 상호작용을 덜 실용적으로 만들어버리는 제한된 크기가 될 수밖에 없기 때문에, 그래픽 콘텐츠를 디스플레이하고 또한 해당 콘텐츠를 통하여 사용자 입력들을 수신할 수 있는 터치 스크린 사용자 인터페이스들의 형태와 같은, 행위를 위한 대안적인 메카니즘들(mechanisms)이 제공될 수 있다. 또한 음성 입력 및 모바일 장치 내의 가속도계(accelerometers) 또는 나침반(compasses)에 의하여 감지될 수 있는 제스처-기반(gesture-based) 입력들과 같은 다른 입력 메카니즘들이 사용될 수 있다.
본 명세서는, 컴퓨팅 장치(예를 들어, 스마트 폰, 넷북, 또는 태블릿)와 같은, 컴퓨팅 장치의 사용자와 상호작용하는 데 사용될 수 있는 시스템들 및 기술들을 설명한다. 여기서 설명되는 다양한 기술들은, 장치로 사용자에게 신호하여 사용자에게 장치로 제공되는 입력들을 응답하게 함으로써, 보다 직관적인 사용자 상호작용을 위한 메카니즘들을 제공할 수 있다. 사용자 피드백은 가청 신호들, 햅틱 피드백(예를 들어, 장치와 협조된 진동) 및 스크린 사용자 인터페이스 요소들의 이동의 형태를 취할 수 있다.
아래의 상세한 설명에서 기술되는 기술들에 있어서, 용량성 터치패드와 같이, 오프-스크린 터치 입력 장치와 상호작용하는 특정 사용자는, 결과적으로 장치의 디스플레이 상에 나타나는 특정한 콘텐츠를 받을 수 있다. 구체적으로, 장치는 사용자가 터치패드의 엣지의 외부로부터 시작된 드래깅 동작을 시작하고 터치패드 상에서 동작을 지속하고 있음을 감지할 수 있다. (패드에서 벗어난(off-pad) 접촉은 감지되지 않을 수 있으나, 터치패드는 접촉이 그들의 엣지에서 시작되었고, 엣지로부터 터치패드의 주 영역(main area)을 향한 방향이라는 것을 알아차릴 수 있다(note).) 이러한 감지된 입력에 응답하여, 장치는, 마치 사용자가 터치패드의 엣지의 외부로부터 터치패드 위쪽으로 끄는 것에 의하여 실제로 디스플레이의 엣지의 외부로부터 콘텐츠를 끌어서 디스플레이 상으로 올린 것처럼, 디스플레이의 엣지의 외부로부터 장치 디스플레이 위쪽으로 이동하는 하나 이상의 아이템들의 스크롤링 동작을 애니메이팅함으로써 응답한다. 예를 들어, 만일 사용자가 그 또는 그녀의 손가락을 터치패드의 좌측 엣지로부터 올려놓으면, 콘텐츠(예를 들어, 아이콘들의 그리드, 다수의 운영 가젯들, 또는 메뉴)가 디스플레이의 좌측 엣지의 외부로부터 디스플레이 상에 점진적으로 드래그되어 나타날 수 있으며, 만일 사용자가 그 또는 그녀의 손가락을 왔다 갔다 움직이면, 콘텐츠는 손가락과 동기하여 움직일 수 있다. 유사하게, 만일 사용자가 터치패드의 상부의 외부로부터 끌어내리면, 통지 패널은, 모바일 장치들의 ANDROID 운영 체제에서 통지 패널의 나타냄과 유사하게, 끌어내려지는 롤러 블라인드처럼 보이는 방식으로 끌어내려질 수 있다. 따라서, 터치패드의 엣지 부근에서 시작되도록 감지된 드래깅 동작은 이미 스크린 상에 있는 아이템의 선택으로 해석될 수 있으며 아이템(예를 들어, 아이콘)이 픽업되어 드래깅 동작과 조정되어 움직이도록 된다. 반면에 터치패드의 엣지의 외부로부터 시작되도록 감지된 드래깅 동작(예를 들어, 이는 패드의 가장자리 엣지에서 시작되어 이것이 처음 감지될 때에 이미 속도를 가짐)은 이전에 디스플레이되지 않았던 새로운 가지 객체를 표면화하는 데에 사용될 수 있다.
또 다른 예에 있어서, 오프-스크린 콘텐츠의 엔트리는 현재 스크린 (데스크탑의 배경화면 또는 데스크탑 상의 단지 아이콘을 포함하고 있는 지 여부에 따라) 디스플레이를 팬 오프(pan off)하고 오프-스크린 콘텐츠에 의하여 대체되어, 트랙패드 장치 상에, 기존의 스마트폰 및 태블릿 운영 체제들 상에서 구현된 것과 같은 멀티-스크린 데스크탑을 획득할 수 있도록 할 수 있다.
특정한 실시예들에 있어서, 이러한 시스템들과 기술들은 하나 이상의 이점들을 제공할 수 있다. 예를 들어, 컴퓨팅 장치와의 사용자 상호작용은 향상될 수 있으며, 사용자는 더 많은 장치들을 구매하고 그들을 타인들이게 추천할 가능성이 많아질 수 있다. 또한, 어플리케이션의 저작자들(authors)은 여기서 설명된 것들과 같은 인터페이스들을 사용하여 그들의 어플리케이션들을 제공함에 따른 이익을 향유할 수 있으며, 또한 새롭고 추가적인 종류의 어플리케이션들을 생성할 수 있다. 이하에서 구체적으로 설명되는 기술들의 보다 상세한 이점들에 있어서, 필요한 요소들을 주기적으로, 디스플레이의 엣지 밖으로 밀어내고, 이러한 객체들을 디스플레이의 일부가 아닌 터치패드 또는 다른 유사한 입력 장치 상의 편리하면서도 직관적인 사용자 입력에 응답하여 보여줌으로써, 디스플레이의 유효 크기가 증가할 수 있다. 또한, 이러한 입력들은, 특정한 예시들에 있어서, 디스플레이의 엣지에서 또는 그 부근에서 시작되나, 기존의 속도를 수반하면서 터치패드에 처음에 들어오지 않아 터치패드의 엣지의 외부로부터 움직이기 시작했다고 지시하는 입력들과 구분될 수 있다. 결론적으로, 사용자는 터치패드의 모든 일반적인 기능들, 나아가 터치패드의 엣지의 외부로부터 시작되는 특정한 입력들을 인지하는 추가적인 기능(예를 들어, 엣지에서 그들의 시작 위치, 및 특정한 속도 및 터치패드의 몸체 쪽으로의 방향을 갖는 그들의 시작 속도)을 사용할 수 있다.
또 다른 실시예에 있어서, 컴퓨팅 장치를 위한 컴퓨터-구현 사용자 입력 프로세스가 개시되며, 그래픽 디스플레이 위의 터치 패드 표면 상으로, 터치 패드 표면을 가로질러 드래깅하는 사용자 입력 동작을 수신하는 단계; 터치 패드 표면의 주변 엣지에서 입력 동작에 대하여 처음으로 감지된 위치를 식별함으로써 드래깅 입력 동작이 터치 패드의 엣지의 외부로부터 유래한 것으로 식별하는 단계; 및 드래깅 입력 동작을 식별한 것에 응답하여, 디스플레이 상의 정지 요소 위로, 디스플레이의 엣지로부터 디스플레이의 몸체 내로 움직이도록 애니메이트되는 슬라이딩 그래픽 요소를 그래픽 디스플레이 상에 디스플레이하는 단계를 포함한다. 사용자 입력 동작을 수신하는 단계는 터치 패드 표면의 좌측 또는 우측으로부터 터치 패드 표면으로 진입되는 입력 동작을 수신하는 단계를 포함한다. 또한, 방법은 드래깅 입력 동작에 대한 벡터를 산출하는 단계를 포함한다.
또 다른 실시예들에 있어서, 컴퓨팅 장치를 위한 컴퓨터-구현 사용자 입력 프로세스가 개시된다. 프로세스는, 그래픽 디스플레이 위의 터치 패드 표면 상으로, 터치 패드 표면을 가로질러 드래깅하는 사용자 입력 동작을 수신하는 단계; 터치 패드 표면의 주변 엣지에서의 입력 동작이 처음으로 감지된 위치를 식별하는 것에 의하여 드래깅 입력 동작이 터치 패드의 엣지의 외부로부터 유래된 것으로 식별하는 단계; 및 드래깅 입력 동작을 식별한 것에 응답하여, 디스플레이 상의 정지 요소 위로, 디스플레이의 엣지로부터 디스플레이의 몸체 내로 이동하도록 애니메이트되는 슬라이딩 그래픽 요소를 디스플레이하는 단계를 포함한다.
하나 이상의 실시예에 대한 세부 사항들은 이하의 기재와 첨부된 도면에서 설명된다. 다른 특징들 및 장점들은 본 기재 및 도면, 그리고 청구항들로부터 명백해질 것이다.
도 1a 및 도 1b는 모바일 컴퓨팅 장치에서의 햅틱 피드백(haptic feedback)을 나타내는 도면들이다.
도 2a 및 도 2b는 그래픽 사용자 인터페이스에 윈도우들을 추가하기 위한 기술(technique)의 스크린 샷들이다.
도 3a 및 도 3b는 장치의 동작에 응답하여 모바일 컴퓨팅 장치 상에서 매핑 어플리케이션이 활성화되는 것을 개념적으로 도시한 도면들이다.
도 4a, 도 4b 및 도 4c는 터치 패드 입력 메카니즘 및 터치 패드 입력 메카니즘에서 특정한 제스처들에 응답하는 온-스크린(on-screen) 요소들을 갖는 컴퓨팅 장치의 스크린 샷들이다.
도 5는 모바일 컴퓨팅 장치의 도면(schematic diagram)이다.
도 6은 컴퓨팅 장치 상의 데이터의 사용자 엔트리를 정정하는 것과 협력하는 햅틱 피드백을 제공하기 위한 프로세스를 나타내는 흐름도(flow chart)이다.
도 7은 윈도우 주변부(periphery) 상의 사용자 입력들에 응답하여 디스플레이 요소들을 생성하기 위한 프로세스를 나타내는 흐름도이다.
도 8은 컴퓨팅 장치의 동작에 자동적으로 응답하여 내비게이션 어플리케이션을 활성화하기 위한 프로세스를 나타내는 흐름도이다.
도 9a는 터치 패드의 사용자 수동조작(manipulation)에 응답하여 그래픽 디스플레이에 요소들을 도입하기(introducing) 위한 프로세스를 나타내는 흐름도이다.
도 9b는 터치 패드의 사용자 수동조작에 응답하여 그래픽 디스플레이 상의 요소들을 최소화하기 위한 프로세스를 나타내는 흐름도이다.
도 10은 여기서 설명된 메카니즘들을 구현하는 데에 사용될 수 있는 예시적인 컴퓨터 장치 및 모바일 컴퓨터를 도시한 도면이다.
다양한 도면들에 있어서 동일한 참조 부호는 동일한 요소들을 지시한다.
본 명세서는 예를 들어, 장치 상에서 실행되는 운영 체제의 요소들을 사용하여 모바일 스마트 폰과 같은 컴퓨팅 장치의 사용자와의 상호작용을 제공하기 위한 시스템들 및 기술들을 기술한다. 시스템과 메카니즘들은, 시각, 청각, 또는 터치를 통하여, 구현될 수 있는 다양한 출력 메카니즘들, 및 장치를 제어하기 위한 입력 메카니즘들을 제공할 수 있다. 다수의 특정한 예시적인 기술들이 여기서 기술되며, 이 기술들은 개별적으로, 운영 체제와 서로 협력(예를 들어, 스크롤 바 상에 직교로 드래깅하는 것은 사용자가 터치패드의 엣지의 외부로부터 터치패드 상으로 드래깅함으로써 콘텐츠를 표면화(surface)하기 이전 또는 그 이후 발생할 수 있다. )하도록 적용되거나, 운영 체제의 다른 양태와 함께 구현될 수 있다.
도 1a 및 도 1b는 모바일 컴퓨팅 장치(102)에서의 햅틱 피드백을 나타내는 도면들이다. 일반적으로, 장치(102)는 슬라이드 형식의 키보드(slide out keyboard)를 구비한 스마트폰 형태를 취한다. 또한, 장치(102)는 전면(front surface) 에 사용자에게 정보를 디스플레이하기 위한 그래픽 디스플레이를 포함한다. 디스플레이는, 예를 들어 사용자가 디스플레이의 표면을 그들의 손가락 또는 스타일러스(stylus)로 터치하는 것에 의하여 사용자로부터 입력을 획득하기 위한 터치 스크린 입력 메카니즘을 포함할 수 있다.
이 예에 있어서, 장치(102)는, 도 1a에서 제1 상태로 도시되어 있으며, 그리고 이후의 제2 상태는 도 1b에 나타내었다. 제1 상태에서, 장치(102)는, 사용자가, 워드 프로세싱 문서 또는 이메일에 텍스트를 문장으로서 추가하기 위하여, 또는 다른 유사한 목적들을 위하여 검색 쿼리로서 문장의 텍스트를 입력하는 것과 같이, 장치(102)로 문장을 타이핑하기 시작한 이후를 나타낸다. 사용자에 의하여 입력된 구문(106)이 철자 상의 오류를 포함하여, 단어 Soain이 입력되었으나, 사용자는 명백히 단어 Spain을 타이핑하는 것을 의도하였다. 이 실시예에 있어서, 실시간(real-time) 철자 확인 시스템은 단어 Soain이, 장치(102)에 저장되거나 그렇지 않으면 (예를 들어, 무선 네트워크 및 인터넷을 통하여) 접근가능한 사전 내에 나타나지 않은 것으로 판단할 수 있고, 기존의 워드 프로세서 어플리케이션들의 다양한 철자확인 시스템들에 의하여 수행되는 방식과 유사하게, 용어(term)에 밑줄을 긋는 것과 같이 강조할 수 있다.
단어의 철자를 정정하기 위하여 시스템을 환기시키는 것에 더하여, 철자가 틀린(misspelled) 단어의 식별은 또한 장치(102)가 사용자에게 햅틱 피드백을 제공하도록 유도할 수 있다. 예를 들어, 철자가 틀린 단어에 대하여 시스템이 취하는 행위에 따라, 하나 이상의 구분되는 형태의 햅틱 피드백이 제공될 수 있다. 일 예로서, 장치(102)는, 만일 단어 Spain이 식별되고 자동으로 문자열(string)로 위치되는, 예를 들어 용어(110)와 같은 용어의 철자 정정을 위치시킬 수 있는 경우, 일 초의 몇 분의 1 사이(a fraction of a second)와 같이 상대적으로 짧은 구간 동안에 한 번 진동할 수 있다. 대안으로, 만일 시스템이 용어(106)에 대한 정정을 식별할 수 없다면, 장치(102)는 서로 계속적으로(in close succession to each other) 두 번 진동하도록 될 수 있다.
따라서 햅틱 피드백은 장치의 사용자가 그들이 입력한 텍스트에 문제가 있음을 인지하도록 환기하여(trigger) 그들의 눈이 스크린으로 향하도록 하거나, 스크린 상에 추가적으로 집중하도록 한다. 만일 사용자가 한 번의 진동을 느끼면, 그들은 대체된 단어가 정확한 지를 승인하기 위하여 쳐다볼 수(look up) 있다. 반면에 만일 그들이 두 번의 진동을 느끼면, 그들은 수동 정정이 필요한 지를 알아내기 위하여 쳐다본 후 타이핑하는 것을 멈출 것이다.
장치(102)는 다른 실시예들에 있어서 다른 햅틱 피드백을 제공할 수 있다. 예를 들어, 사용자가 그 또는 그녀의 손으로 느낄 수 있는 작은 클릭이 제공되거나 낮은 톤(low tone)이 재생될 수 있다. 또한, 단일 진동 또는 두 번의 진동과는 다른 햅틱 피드백의 패턴들이 사용될 수도 있다. 예를 들어, 햅틱 이벤트의 시간 길이가 사용자에게 몇몇의 상태(status)를 신호하거나, 햅틱 이벤트의 진폭이 사용될 수 있다. 일 예로서, 약한 진동은 정정이 이루어졌음을 지시하고 사용자는 아마도 이를 무시할 수 있으나, 반면에 강한 진동은 오류가 식별되었으나 정정이 이루어질 수 없었음을 지시하여, 사용자는 그 문제에 대하여 보다 주의를 기울여야만 한다.
또한, 햅틱 피드백은 사용자에 의한 음성 입력에 응답하여 제공될 수 있다. 이러한 상황에서, 시스템은 사용자에 의한 타이핑 오류들을 찾지 않을 수 있으나, 대신에, 사용자가 말한 단어와 선택한 단어가 일치하는 것에 대해서 낮은 신뢰성을 가지는 상황에 있다. 발화 입력을 제공하는 사용자는 일반적으로 그 또는 그녀의 단어들이 정확하게 이해된 것인 지를 판단하기 위하여 스크린을 응시하지 않으며, 말하는 것과 동시에 듣는 것이 어려울 수 있는 바 가청 피드백은 불필요하게 사용자를 어지럽힐 수 있기 때문에, 햅틱 피드백은 가청 피드백보다도 유용할 수 있다. 반면에, 햅틱 피드백은 사용자가 그 또는 그녀의 장치를 들고(hold), 주머니 또는 다른 비슷한 장소에 갖고 있어, 상당히 비침입적인(non-invasive) 방식으로 어떠한 스피치-투-텍스트(speech-to-text)에 수반되는 문제에 대하여 인지할 수 있도록 한다.
도 2a 및 도 2b는 그래픽 사용자 인터페이스에 윈도우(window)를 추가하기 위한 기술의 스크린 샷들을 나타낸다. 일반적으로, 이 기술은 운영 체제의 (스크롤 바 위와 같은) 그래픽 사용자 인터페이스에 있어서 윈도우의 주변부 부근에서 시작하여 윈도우 내부로 움직이는, 사용자가 시작한(initiate) 드래깅 동작을 식별하는 단계를 수반한다. 이러한 사용자 동작은 새로운 윈도우를 추가하는 의도를 갖는 것으로 해석되어, 시스템은 원래의 윈도우의 크기를 줄이고, 그 측면을 채우는(stacked to) 새로운 윈도우를 생성한다.
도 2a에 있어서, 윈도우(120)는 윈도우(120) 내에서 실행되는 기본 웹 브라우저, 및 브라우저 내에 디스플레이되는 웹 페이지와 함께 나타내었다. 웹 페이지를 리뷰하는 사용자가 웹 페이지에서 언급된 인물에 관하여 공부하고 있다고 가정하면, 사용자는 그 인물에 대한 추가적인 정보를 얻고자 할 것이고, 사용자는 해당 웹 페이지 상 정보와 병행하여 그 정보를 리뷰하고 싶어할 것이다. 이러한 리뷰를 하는 하나의 유용한 방법은 나란히(side-by-side) 또는 비슷한 배치로 두 개의 윈도우를 디스플레이하는 것일 수 있다.
이러한 배치를 구축하는 간단한 메카니즘은, 브라우저 디스플레이 영역의 오른쪽 엣지에서의 스크롤 바 위를 사용자가 누르는 것으로 대표되는, 선택 타겟(128)에 의하여 나타내어진다. 도면에서 선택 타겟(128)으로부터 드롭(drop) 타겟으로의 화살표는 사용자가 그 또는 그녀의 손가락을 (예를 들어, 마우스 버튼 또는 터치 스크린으로부터) 드롭 타겟(130)에서 들어올리기 이전까지의 두 지점들 사이에서의 드래깅 동작을 나타낸다. 선택 타겟(128)은 스크롤 바 상의 스크롤링 컨트롤(126) 위에 또는 스크롤 바 상의 다른 위치에 위치할 수 있다. 또한, 선택은 내부에 웹 페이지 콘텐츠가 디스플레이되는 브라우저의 디스플레이 영역 밖의 윈도우(120)의 엣지 근처의 또 다른 주변 요소 상에 있을 수 있다. 대안으로, 선택 타겟(128)은, 가시(visible) 요소가 있는 지 여부에 관계없이, 윈도우(120)의 주변부로부터 가까운 거리 내에 위치할 수 있다.
도 2b는 사용자에 의한 이러한 입력들에 대한 컴퓨팅 장치들의 해석의 결과를 나타낸다. 구체적으로, 윈도우(120)가 나타나 있으며, 또한 새로운 윈도우(124)가 본래의 윈도우(120)와 인접하여 나타나있다. 윈도우(120)는, 도 2a에서 사용자가 드래그한 것과 동일한 치수로, 즉 도 2b의 윈도우(120)의 우측 엣지는 드롭 타겟(130)과, 수직으로, 대략 일직선을 이루도록 측면 치수가 하향 수축된다. 또한, 새 윈도우(124)는 도 2a에서의 사용자 입력에 자동으로 응답하여 인스턴스화되었다. 윈도우(124)는, 검색 박스를 디스플레이하는 페이지, 사용자가 가장 많이 방문한(most-visited) 다수의 사이트들의 썸네일(thumbnail)을 디스플레이하는 페이지, 또는 다른 그러한 콘텐츠와 같은 브라우저에 대한 표준, 포괄(generic) 오프닝 페이지일 수 있다.
또한, 도 2a에서 사용자로부터의 입력은 인스턴스화될 때 윈도우(124)에 어떠한 페이지가 디스플레이되어야 할 것인지를 지시할 수 있다. 예를 들어, 선택 타겟(128)은, (여기서 드롭 타겟은 스크린의 엣지에 있거나 브라우저의 현재 포커스의 틀(pane) 또는 탭(tab)의 외부 영역임) URL 과 같은, 웹 페이지 상의 요소 상에 있을 수 있고, 그 URL에 대한 웹 페이지는 윈도우(124) 안에 열릴 수 있다.
여기의 예시가 웹 브라우저들 및 웹 페이지들에 초점을 맞추고 있다고 하더라도, 기술들은 다른 어플리케이션들과 함께 사용될 수 있다. 예를 들어, 워드 프로세싱 어플리케이션의 사용자는 유사한 드래깅 동작을 만들어 새 윈도우 또는 새 틀 내에 새로운 문서를 열 수 있다. 새로운 문서는, 본래 문서와 함께 보조문서(subdocument)들 모두를 담고 있는 보다 큰 문서의, 보조문서로서 구축될 수 있다. 예를 들어, 이러한 드래깅은 책의 원고 내에 새로운 챕터(chapter)를 여는 데에 사용될 수 있다. 여기서 전체 책의 문서는 각 챕터에 대한 보조문서들(sub-documents)을 담고 있다.
도 3a 및 도 3b는 장치(130)의 동작에 응답하여 모바일 컴퓨팅 장치(130) 상의 매핑 어플리케이션의 활성화를 개념적으로 나타낸 도면이다. 도 3a는 장치(130)의 스크린 샷과 정차 중인 자동차(132)를 나타내는 반면에, 도 3b는 장치(130)의 스크린 샷과 움직이는 동일한 자동차(132)를 나타내어, 장치(130)의 예시적인 동작 모드를 강조한다.
도 3a에 있어서, 장치(130)는, 예를 들어 자동차(132)의 대시(dash) 상의 도크(dock)에 설치되는 것과 같이 자동차(132)에 실장(mount)된다. 자동차(132)는 이동하고 있지 않으며, 장치(130)는 간략하게 장치(130) 상의 운영 체제에 대한 데스크탑을 디스플레이한다. 예를 들어, 장치는 선택에 의하여 다양한 어플리케이션들이 장치(130)에서 실행(launch)되도록 할 수 있는 하나 이상의 아이콘들(138), 및 아이콘들의 그룹들(134)을 디스플레이할 수 있다. 덧붙여, 시계(136) 또는 다른 그러한 프로그램과 같은 위젯들(widgets) 또는 가젯들(gadgets)이 디스플레이될 수 있다. 따라서 장치(130) 상의 디스플레이는 익숙한 방식으로 제공된다.
도 3b에서 자동차(132)의 운전자가 이동을 시작하고, 장치(130) 내의 GPS 모듈이, 결과적으로, 장치(130)에 대한, 그리고 이어서, 자동차(132)에 대한 속도를 산출할 수 있다. 이러한 판단은 정지된 것 그리고 이동하는 것으로 표시된 자동차(132) 사이에 나타내어진 것과 같은 수식에 따라, 시간 구간을 거친 두 지점들 사이의 거리를 결정하고, 시간 구간으로 나누어 이동률(rate of travel)을 얻음으로써, 만들어질 수 있다.
이 예에 있어서 프로그램을 수반하는 장치(130)는 산출된 속도를 기설정된(predetermined) 속도와 비교하고, 기설정된 속도에 도달되거나 초과되면, 장치(130)는 데스크탑 디스플레이로부터, 지도 상에 장치(130) 및 자동차(132)의 위치를 보여주는 지도 형태의 내비게이션 디스플레이(140)로 변경한다. 이러한 방식에 있어서, 장치는 이동하는 사용자가 최신(up-to-date) 위치와 관련된 정보를 얻는 것을 원할 것이라는 추론(inference)에 기초하여 자동으로 모드를 변경할 수 있다.
여기서 디스플레이(140)는 오로지 내비게이션 디스플레이만을 제공하는 것으로 나타내었으나, 다른 정보들도 디스플레이 상에 유지될 수 있다. 예를 들어, 디스플레이 주변부를 따른 스트립(strip)은 수신 메시지(예를 들어, 수신 전화에 대한 송신자 ID 정보, 수신 이메일들의 제목란(subjects lines), 등)를 디스플레이하기 위하여 예비될 수 있고 사용자는 메시지 알림 상의 영역을 선택하여 내비게이션 디스플레이 위로 디스플레이되는 해당 메시지에 관한 보다 많은 정보를 획득하거나, 이것이 내비게이션 디스플레이를 대체하도록 할 수 있다. 또한, 수신 전화와 같은 특정한 이벤트가 발생하는 경우, 사용자가 전화를 받는 동안에 내비게이션 디스플레이가 분할된 스크린 옆 쪽으로 밀리거나, 전체적으로 제거될 수 있다.
또한 사용자에게 보여지는 내비게이션 디스플레이의 형태는 장치(130)에 의하여 감지되는 속도에 종속할 수 있다. 예를 들어, 저속에서, 장치(130)는 사용자가 걷거나 자전거를 타고 있다고 추축할 수 있고, 이러한 활동에 적합하게 지역 상점, 버스 정류장, 및 ATM들과 같은 상세한 지도를 보여줄 수 있다. 고속에서, 디스플레이는 대신에 주유소, 주행 방향, 및 현재 교통 정보와 같이 자동차의 운전자와 관련된 정보를 보여줄 수 있다. 커피 숍의 위치와 같은 특정한 정보는 두 개의 모드에서 모두 보여질 수 있다.
또한, 내비게이션 디스플레이의 줌 레벨(zoom level)은 장치(130)의 속도에서의 변화에 응답하여 자동으로 변화할 수 있다. 예를 들어, 만일 속도가 시간 당 10 마일(miles) 이하이어서 사용자가 도보(on foot)인 것을 지시하면, 줌 레벨은 장치(130)가 하나 또는 둘의 블럭들을 나타내도록 설정될 수 있다. 만일 속도가 시간 당 대략 60 마일이면, 줌 레벨은 자동으로 리셋되어 장치(130)가 수(several) 마일의 범위를 나타내도록 한다.
여기서 나타낸 방식에 있어서, 그러면, 내비게이션 디스플레이는 장치의 감지된 동작에 응답하여 장치의 포커스를 만들 수 있어, 사용자가 이러한 디스플레이를 명시적으로(explicitly) 요청할 필요가 없도록 한다. 또한, 내비게이션 디스플레이의 특정 모드는, 장치가 이동하는 속도에 따라서, 변화할 수 있다.
도 4a 및 도 4b는 터치 패드 입력 메카니즘 상의 특정한 제스처에 응답하는 온-스크린 요소들 및 터치 패드 입력 메카니즘을 갖는 컴퓨팅 장치(142)의 스크린 샷들을 나타낸다. 이 예에 있어서, 장치(142)는 터치 스크린과 인접한 터치 패드를 갖는 노트패드의 형태이지만, 일반적으로, 힌지(hinge)에 의하여 연결된 두 요소들을 구비하는, 요소들 중 하나는 그래픽 디스플레이를, 그리고 다른 요소 상에는 터치 패드(그리고 상응하는 선택 버튼들)를 구비한 키보드를 갖는 넷북 또는 랩탑의 형태일 수 있다.
도 4a에 있어서, 그래픽 디스플레이(144) 상에 웹 페이지(156)를 디스플레이하는 장치(142)를 나타내었다. 선택가능한 탭(154)이 디스플레이(144)의 왼쪽 엣지에 나타나 있다. 탭(154) 상의 화살표는 장치(142)의 사용자에게 그가, 예를 들어 터치 패드 또는 마우스에 의하여 동작하는 포인터를 이용해 선택할 수 있으며, 디스플레이(144)의 왼편에 현재 (단지 추론에 의함을 통해) 위치하고 있지 않은(located off) 하나 이상의 객체들을 스크린 쪽으로(onto) 드래그하기 위하여 오른쪽으로 드래그할 수 있다.
대안으로, 콘택 포인트(148)에 의해 나타내어진 바와 같이, 사용자는 장치(142)의 터치 패드(146)의 왼쪽에 접촉하고 그 이후에 그의 손가락을 터치 패드(146)의 표면으로 드래그하며 이러한 의도를 나타내기 위하여 표면 내로 충분한 거리만큼 이동함에 따라서 디스플레이의 왼쪽 영역으로부터 디스플레이(144)쪽으로 객체를 끌어당기는 의도를 지시할 수 있다. 사용자의 손가락이 터치패드의 엣지 밖에서 감지되지 않더라도, 터치패드(146)의 엣지의 맨 처음 존재가 바로 감지되며, 왼쪽 엣지로부터 터치패드 표면 쪽으로의 방향으로 직각의 벡터화를 따라 감지될 수 있다. 도 4b에서 나타낸 바와 같이, 터치패드(146) 상의 포인트(150)에 대한 사용자로부터의 입력은 정보 패널(152)이 터치패드 상의 사용자의 손가락 동작과 협력하여 디스플레이(144)를 가로질러 슬라이드 되도록 애니메이트 되는 것을 초래한다. 터치패드(146)의 우측 엣지의 외부로부터 그의 표면쪽으로, 또는 터치패드(146) 상의 영역으로부터 터치패드의 왼쪽 엣지 바깥으로 둘 중 하나의 일반적으로 수평의 똑바른 스와이프에 상응하는 스와이프(swipe)는, 장치(142)가 도 4a의 모습으로 되돌아가도록 디스플레이(144)로부터 정보 패널(152)을 제거하는 의도를 지시할 수 있다. 수평의 사용자 스와이프 동작을 수반하는 좌우(left and right) 엣지에 대하여 이동이 설명되었으나, 사용자의 수직 스와이핑 동작에 상응하는 상하 엣지 또한 고려된다.
일부 실시예들에 있어서, 탭(154)은, 도 4a에서와 같이, 디스플레이의 엣지에 위치할 때 제 1 콘텐츠를 나타낸다. 패널(152)이 디스플레이(144) 쪽으로 슬라이드 될 때, 제2 콘텐츠가 패널(152)에 나타난다. 일부 실시예들에 있어서, 제1 콘텐츠는 제2 콘텐츠의 보조-집합(sub-set)이다. 예를 들어, 탭(154)이 패널(152)보다 작아 패널(152)만큼을 보여줄 수 없으므로 제1 콘텐츠는 제2 콘텐츠의 축약된 버전(abbreviated version)일 수 있다.
사용자 입력의 이러한 구현에 있어서, 사용자가 터치패드(146)에 그들의 손가락을 올려놓는 때에, 디스플레이(144) 상의 상응하는 지점(이 상황에 있어서, 디스플레이(144)의 중앙)이 탭(154) 위에 있는 지는 중요하지 않다. 대신에, 터치패드(146)와 마주보는(vis-a-vis) 손가락의 수직 위치에 관계없이, 장치는 터치패드(146)의 외부로부터 움직이기 시작하는 순간이 탭(154)이 동작에 의하여 당겨지는(grab) 것을 지시한다고 여긴다.
포인트(150)의 특정한 위치는 장치(142)가 사용자에게 보내는 반응(reaction)에 영향을 미치거나 미치지 않을 수 있다. 예를 들어, 포인트(150)는 사용자가 적어도 터치패드(146)를 가로질러 수평 입력을 제공하고 있다는 것을 지시하기 위하여 터치패드(146) 내부로 충분히 연장될 것이 요구될 수 있다. 또한, 포인트(150)의 최종 위치는 패널(152)이 디스플레이(144) 쪽으로 얼마나 슬라이드될 것인지를 제어할 수 있다. 즉, 패널(152)이 디스플레이(144)의 엣지로부터 디스플레이(144)의 몸체로 슬라이드되는 거리는 사용자의 드래깅 동작의 길이에 상응할 수 있다. 예를 들어, 패널(152)은 정보의 두 수직 칼럼들(columns)을 포함할 수 있으며, 사용자가 터치패드(146)를 가로질러 절반(halfway) 보다 적게 (또는 소정의 다른 거리) 드래그하면 하나의 수직 칼럼이 디스플레이될 수 있으며, 반면에 사용자가 더 멀리 드래그하면 양(both) 칼럼들이 디스플레이될 수 있다. 대안으로, 패널(152)이 디스플레이(144)의 엣지로부터 디스플레이(144)의 몸체로 슬라이드되는 거리는 사용자의 드래깅 동작의 속도에 상응할 수 있다.
또한, 터치 바(155)가 디스플레이(144)의 왼쪽 엣지를 따라 보여지며, 터치패드(146)와 선택적으로 조합되어 제공될 수 있다. 터치 바는 장치(142)의 그래픽 디스플레이 부분으로부터 떨어져, 장치(142)의 베젤(bezel) 상에 있을 수 있으며, 상대적으로 낮은 해상도를 갖는 터치 감지 장치(touch sensitive device)일 수 있다. 보여진 바와 같이, 적합한 환경에서, 터치 바(155)는 각각, 북마크들(bookmarks)을 보여주거나, 홈페이지로 이동하거나, 앞으로(forward) 또는 뒤로(backward) 이동하는 것과 같은 웹 브라우징 동작과 연결되는(directed to) 복수의 존들(zones)을 포함할 수 있다. 각 영역들은 사용자가 그들의 집게손가락으로 베젤의 뒤를 쥐고(pinch) 있는 동안에 그들의 엄지(thumb)를 사용하여 연관 선택을 쉽게 누를 수 있도록 하는 크기를 가질 수 있다. 또한, 터치바(155)의 영역은, 터치 바(155) 상의 아이콘의 상부로부터 그들의 엄지를 드래깅하는 것과 같이, 터치 바(155)의 엣지에서 밖으로의, 사용자에 의한 제한된 동작을 식별하는 기능을 포함할 수 있다. 이러한 동작들은 특정한 기능들에 할당될 수 있으며, 또한 또는 대안으로 장치(142) 상에서 구동되는 어플리케이션들에 의하여 프로그램가능할 수 있다.
따라서, 장치(142) 베젤 내의 터치 바(155)를 이용하여, 사용자는 부가적인 빠른-입력 메카니즘들을 제공받을 수 있고, 반면에 키보드에 키들을 추가할 필요가 없다. 또한, 베젤 입력들을 수신하고 해석하기 위한 다양한 다른 기술들이 사용될 수 있다. 예를 들어, 베젤 선택들은 음악 재생을 제어하기 위한 아이콘들을 포함할 수 있으며, 터치 바(155)는 장치(142)의 주변을(around) 둘러싸(wrap), (예를 들어, 웹 브라우징 또는 랩탑 상부가 열린 상태에서 일어날 수 있는 다른 것들을 위한) 그들의 버튼들 중 일부가 장치(142)의 내부로부터 보이며, 그들의 다른 버튼들은 장치가 닫혀있어도 (예를 들어, 음악 재생기는 장치(142)가 완전히 작동이 시작(fully powering-up)되지 않아도 접근될 수 있도록 제어함) 장치 외부로부터 보인다.
도 5는, 위에서 그리고 아래에서 설명되는 기술들을 수행하기 위한, 모바일 컴퓨팅 장치의 도면이다. 여기서 나타내어진 장치는 스마트 폰의 형태이나, 데스크탑 개인용 컴퓨터, 넷북, 또는 랩탑 컴퓨터와 같이 다양한 다른 형태들을 취할 수 있다. 이 예에 있어서, 모바일 장치(502)는 입출력을 위한 터치 스크린 디스플레이(504) 및 대안적 입력 메카니즘으로 트랙볼(trackball, 506)을 구비한 슬라이더 기반(slider-based) 스마트 폰이다.
디스플레이(504)는 상기 페이지들과 유사한 방식으로 크롬-프리 브라우저(chrome-free browser) 내에서 디스플레이되는 매핑 어플리케이션, 및 상술한 바와 같이, 디스플레이의 좌측 엣지로부터 내부로 연장되는 디스플레이(504)의 좌측의 정보 패널 또한 일 예로 나타낸다.
상기 및 하기에서 보다 구체적으로 설명되는, 특징들과 관련되며, 기술들을 구현하기 위하여 사용되는, 장치 내부의 구성요소들(components)을 지시하기 위하여 장치(502) 내부에 다수의 구성요소들이 도식적으로 나타내어진다. 설명의 명확성을 위하여 이 예에서는 특정한 구성요소들이 개별적으로 나타내어졌으나, 하나 이상의 구성요소들은 장치의 메모리 내에 저장되어 구현될 수 있으며 장치(502) 상의 프로그램가능한 프로세서에서 동작될 수 있다. 또한, 다른 구성요소들 및 구성요소들의 배치들(arrangements)도 고려된다.
장치(502)는, 입력 관리자(512)가 디스플레이(504) 상의 터치-스크린으로부터 또는 트랙볼(506)과 같은 다른 메카니즘들로 수신된 입력들을 관리하는 동안, 터치-스크린 디스플레이(504) 상으로 사용자에게 보여질 다양한 요소들을 제어하는 디스플레이 관리자(508)를 포함한다. 디스플레이 관리자(508)는 다양한 어플리케이션들로부터 그리고 운영 체제의 다른 구성요소들로부터 정보를 수신할 수 있으며, 디스플레이(504) 상의 다른 요소들과 관련하여 어떠한 요소들을 디스플레이하여야 하는 지, 어떠한 요소들을 감추어야 하는지, 그리고 서로에 관하여 가시적인 요소들을 어떻게 보여주는 지를 결정할 수 있다.
입력 관리자(512)는 사용자가 장치로 취할 수 있는 행위들을 해석하기 위하여 디스플레이 관리자(508)와 조정할 수 있다. 예를 들어, 사용자는 터치 스크린 디스플레이(504) 상에 그들의 손가락을 놓을 수 있거나 터치 스크린 디스플레이(504) 상에 포인터를 움직여 선택을 할 수 있다. 입력 관리자(512)는 이러한 행위에 의하여 사용자가 어떠한 아이템을 선택하였는 지를 판단하기 위하여 디스플레이 관리자(508)를 참조할 수 있으며, 예를 들어 이벤트 관리자(510)를 이용하는 것에 의한 것과 같이, 이러한 이벤트를 구독하고 있을 수 있는 다양한 다른 구성요소들에 보고될 수 있는 이벤트를 생성할 수 있다.
또한, 장치(502)는 장치 상에서 구동되는 어플리케이션들 및/또는 장치의 운영 체제에서 사용가능하도록 만들어질 수 있는 다양한 서비스들과 함께 제공될 수 있다. 예를 들어, 흔하게 상업적으로 획득되는 모듈일 수 있는, GPS 모듈(514)은 장치(504)의 위치에 관한 판단을 할 수 있고, 이러한 정보를, 주행 방향을 제공하거나, 소셜 네트워크를 통하여 사용자의 위치를 사용자의 친구들에게 참고로서 제공하는 등의 어플리케이션들과 같은, 다양한 어플리케이션들에 제공할 수 있다. 이러한 서비스는, 상기 도 3a 및 도 3b, 및 하기의 도 8과 관련되어 설명되는 것들과 같은 기술들에 관련되어 참조될 수 있다. 동일한 방식으로, 철자 정정기(516)는 장치 상에서 구동되는 다양한 어플리케이션들에서 일반적으로 사용가능한 서비스를 제공할 수 있으며, 따라서 이러한 어플리케이션들은 사용자가 입력한 데이터를 정정하거나 또는 다른 방법으로 사용자에게 입력의 문제점에 대하여 알려줄 수 있다. 이러한 알림은 상기 도 1a 및 도 1b, 및 하기의 도 6과 관련되어 설명되는 것과 같이, 햅틱 피드백을 통하여 이루어질 수 있다.
또한, 다양한 물리적인 출력 메카니즘들이 장치(502)에서 제공될 수 있다. 예를 들어, 진동기(vibrator, 522)는 사용자에게 햅틱 피드백을 주기 위하여 제공될 수 있다. 진동기(522)는 장치 상의 다양한 어플리케이션들 또는 서비스들에 의하여 호출될 수 있는 연관 컨트롤러(미도시)를 포함할 수 있다. 예를 들어, 철자 정정기(516)에 의하여 철자 오류가 식별되면 언제든지, 철자 정정기(516)는 장치(504)가 진동하도록 할 수 있다. 또한, 사운드 컨트롤러(523) 및 연관 오디오 스피커는, 예를 들어, 톤 또는 합성 발화(synthesized speech)의 형태로 사용자에게 부가적인 피드백을 주기 위하여 제공될 수 있다.
어플리케이션들(518, 520)과 같은 다양한 어플리케이션들이 장치에서 실행될 수 있으며 디스플레이 관리자(512)를 통하여 디스플레이되어야 하는 그래픽들을 위한 데이터를 제공할 수 있다. 어플리케이션들은 장치(502) 상의 운영 체제의 부분일 수 있으며, 또는 예를 들어, 온-라인 마켓플레이스(on-line marketplace)로부터, 장치(502)의 사용자에 의하여 추가될 수 있다. 이 예에 있어서, 제1 어플리케이션은 매핑 어플리케이션(518)이며 독립형(standalone) 어플리케이션 또는 브라우저 어플리케이션(520) 내에서 구동되는 어플리케이션 또는 플러그-인으로서 구동될 수 있다. 브라우저 어플리케이션(520)은 독립형 어플리케이션 또는 장치(502) 상에서 구동되는 운영 체제에 맞게 짜인(built into) 구성요소일 수 있고, 이 명세서의 다른 곳에서 구체적으로 설명되는 것들과 같은 디스플레이들을 생성할 수 있다. 또한, 장치(502)의 사용자에 의한 것을 포함하여, 장치(502) 상에 다른 어플리케이션들이 제공되거나 설치될 수 있다.
운영 체제 및 어플리케이션들(518, 520)을 위한 다양한 메시지들은, 무선 인터페이스(526)를 통하여, 인터넷과 연결된 무선 통신 네트워크와 같은 네트워크를 통해 수신될 수 있다. 하나 이상의 원격 서버들과 같은, 네트워크로부터 수신된 정보는 어플리케이션들(518, 520)에 제공될 수 있으며, 정보는 어플리케이션들(518, 520)로부터 다시 네트워크로 전달될 수 있다.
덧붙여, 휘발성 스토리지 및 영구 스토리지(persistent storage)를 포함하는, 스토리지의 다양한 형태들이 장치(502) 상에 제공될 수 있다. 영구 스토리지는, 어플리케이션 데이터(528), 사전 데이터(530) 및 사용자 정보(532)와 같은, 다양한 데이터 스토어들(stores)을 포함할 수 있다. 상술한 바와 같이, 사전 데이터(530)는, 사용자에 의하여 입력된 용어들이 적절히 쓰였는지 여부를 판단하기 위하여, 철자 정정기(516)에 의하여 사용되고 이와 협력한다. 어플리케이션 데이터(528)는 다양한 어플리케이션들(518, 520)이 그들의 기능을 수행하기 위하여 요구한 모든 데이터를 포함할 수 있다. 원격 서버 시스템에 저장되어 있는 것과는 대조적으로, 어플리케이션에 따라, 장치(502)에는 국부적으로(locally) 많거나 적은 데이터가 저장될 수 있다. 예를 들어, 다른 것들은 사용자가 지도 상을 내비게이팅함에 따라서 원격 서버로부터 지도 데이터(예를 들어, 지리적 영역의 일부의 이미지를 보여주는 지도 타일들)를 획득할 수 있고, 곧(soon after) 데이터를 버릴 수 있는 반면, 특정한 장치들은, 매핑 어플리케이션을 위한 데이터를 국부적으로 저장할 수 있다.
사용자 정보(532)는 컴퓨팅 장치(502)의 하나 이상의 사용자들에 관한 특정한 정보를 포함할 수 있다. 예를 들어, 사용자 정보는 사용자에 대한 프로필 정보, 뿐만 아니라 장치(502)와 사용자와의 상호작용을 제어하고, 또한 장치(502) 상에서 동작하는 다양한 어플리케이션들의 방식을 제어할 수 있는 설정 정보를 포함할 수 있다. 세 가지의 다양한 데이터 스토어들이 명확성을 위하여 여기서 나타내어졌으나, 다른 많은 정보들이 장치(502) 상에 저장될 수 있거나 저장되어야 하며, 여기서 나타낸 바와 같이 배치될 필요는 없다.
도 6은 컴퓨팅 장치 상의 사용자 데이터 엔트리를 정정하는 것과 협력하여 햅틱 피드백을 제공하기 위한 프로세스의 흐름도이다. 일반적으로, 프로세스는 사용자에 의하여 입력된 정보에 대하여 이루어진 성공적이거나 또는 성공적이지 않은 변경(또는 변경되지 않음)을 사용자에게 지시하기 위하여 모바일 장치를 자동으로 흔들거나 진동시키는 단계를 수반한다.
프로세스는, 컴퓨팅 장치가 타이핑된 사용자 입력을 수신하는 박스 302 에서 시작한다. 이러한 입력은, 워드 프로세싱 어플리케이션, 이-메일 어플리케이션, 웹 브라우저 어플리케이션들, 및 다른 비슷한 어플리케이션들과 같이, 장치 상에서 구동되는 하나 이상의 어플리케이션들을 통하여 이루어질 수 있다. 또한, 입력은, 스피치-투-텍스트 변환기와 같은 것에 의하여, 어플리케이션을 위하여 텍스트로 변환되는 발화 입력일 수 있다. 박스 304에서, 프로세스는, 사용자에 의하여 입력된 스페이스(space), 또는 스피치-투-텍스트 변환기에 의하여 판단된 것과 같은 단어의 끝과 같이, 입력 텍스트의 분철 지점(word break)을 인식한다. 박스 306에서, 철자 정정 어플리케이션은 입력된 단어, 또는 다수의 단어들로 이루어진 구문을 분석하여, 단어가 장치 상에 저장되거나, 장치에 의하여 접근가능한 사전 내의 어떠한 단어와도 일치하지 않는 지를 판단한다. 이러한 판단은, 간단하게 사전 내의 단어들의 리스트와 단어를 비교하거나 단어의 적절한 철자를 보다 잘 판단하기 위하여 문맥에서(in context) 단어를 비교하는 것에 의하여 이루어질 수 있다.
박스 308에서, 프로세스는 자동-정정 서비스에 접근하여 단어를 정정한다. 이러한 서비스는 여러 가지의 익숙한 형태들로 구현될 수 있어, 적절한 단어 철자를 판단하거나, 또는 발화하는 사용자가 어떠한 단어를 말하고 있는 지를 판단하는 데에 사전 데이터를 사용할 수 있도록 한다.
박스 310에서, 프로세스는 사용자에게 단어의 정정을 신호하기 위하여 햅틱 장치에 동력을 공급한다(energize). 이러한 신호하는 단계는 사용자에게 가벼운 진동을 느낄 수 있게 하도록 햅틱 장치에 동력을 공급하는 단계를 수반할 수 있다. 얼마 동안(for awhile) 장치를 이용하고 난 후, 사용자는 선천적으로 진동이 장치에 입력된 데이터의 정정을 지시하는 것임을 이해할 것이다. 강한 진동, 또는 연속된 두 단계의 진동은, 장치가 용어의 철자를 정정할 수 없거나, 또는 장치에 발화된 용어를 인식할 수 없음을 지시하는 것으로 사용될 수 있다. 또한, 다른 유사한 햅틱 피드백 메카니즘들이 사용자 입력에서 오류를 식별함에 응답하여 텍스트 내의 에러들이 자동으로 정정되거나 그들이 자동으로 정정할 때에 제공될 수 있는데, 정정이 자동으로 이루어질 수 있는 경우에는 덜 침습적인 신호를 보내고, 오류들이 적절히 정정될 수 없거나 단어가 판단될 수 없는 경우에는 보다 강한(serious) 신호를 보내어 제공될 수 있다. 후자(latter)의 경우에서, 보다 강한 신호는 사용자가 지금 하고 있는 것을 중단하고 장치에 보다 주의를 기울여 그들의 입력에 수동적인 정정을 하도록 유도할 수 있다.
박스 312는 단어에 대한 이러한 사용자의 수동 정정을 나타낸다. 사용자가 이러한 정정을 할 필요가 없거나, 장치가 정정을 자동으로 할 수 없음을 지시하는 햅틱 피드백의 경우라고 하더라도 사용자가 현 시점에서 그들의 입력을 멈추기를 원하지 않고 그들의 데이터 입력을 마친 이후에 정정을 하고 싶은 경우와 같이 사용자는 그들 장치를 무시할 수 있기 때문에, 박스는 점선 형태로 나타내었다.
이러한 방식으로, 장치에 데이터를 입력하는 사용자에게 컴퓨팅 장치는 편리하게(conveniently) 다시 입력하도록 할 수 있다. 경보(alerting) 메카니즘은, 사용자가 정보를 입력하는 것을 방해하지 않고, 사용자가 이런 경보로 인하여 정보의 입력을 정지할 필요가 없도록 하기 위해 제공될 수 있다는 점에서, 낮은 키(key)일 수 있다. 따라서, 만일 사용자가 선택한다면 정보 입력을 계속하거나, 또는 만일 사용자가 선택한다면 그들의 정보 엔트리에서의 문제점을 처리할(address) 수 있다.
도 7은 윈도우 주변부 상의 사용자 입력들에 응답하여 디스플레이 요소들을 생성하기 위한 프로세스의 흐름도이다. 일반적으로, 프로세스는 인터페이스 상에 이미 디스플레이된 윈도우의 주변부와 가까운 사용자 선택에 응답하여 그래픽 사용자 인터페이스 상에 새 윈도우 또는 유사한 온-스크린 요소들을 여는 단계를 수반한다. 사용자 선택은, 필수적으로 사용자가 윈도우의 한 측을 옆으로 슬라이드하고, 먼저 열린 윈도우에 의하여 비워진(vacated) 영역 내에 새 윈도우를 제공하는 것을 의도한다고 지시하며, 윈도우의 주변부에서 시작되어 윈도우의 내부 영역으로 슬라이드 될 수 있다. 본 명세서에 있어서, 윈도우이라는 용어는 경계(border)에 의하여 주변이 요소들로부터 떨어져 구분되는 그래픽 온-스크린 요소를 식별하는 데 사용되며, 경계의 안쪽을 선택하는 것은 특정 어플리케이션에 대한 사용자 행위들을 나타낸다.
프로세스는, 그래픽 사용자 인터페이스 내의 제1 윈도우 내에 콘텐츠가 디스플레이되는, 박스 314에서 시작한다. 콘텐츠는 웹 브라우저 내의 웹 페이지, 워드 프로세싱 어플리케이션 내의 문서, 또는 또 다른 유사한 형태의 것들일 수 있다. 특정 시점에 있어서, 스크롤 바가 콘텐츠의 한 측을 따라, 또는 콘텐츠의 상부 또는 하부를 따라, 콘텐츠를 거쳐(through) 속도가 붙은 동작(accelerated movement)을 허여하기 위하여, 유사한 방식으로 디스플레이 될 수 있다. 박스 316에서, 프로세스는, 스크롤 바가 디스플레이되는 영역 내와 같이, 제1 윈도우 엣지에서의 선택을 식별한다. 선택은, 스크롤 바 내에 디스플레이되는 스크롤 버튼이 있는 것과 같이 스크롤 바의 특정 영역 내에서 발생할 수 있다. 박스 318에서, 프로세스는 제1 윈도우의 몸체 내로 드래깅하는 것을 식별한다. 구체적으로, 프로세스는, 그 자체의 그래픽 디스플레이의 주변부를 따름과 같이, 사용자가 처음 윈도우의 주변부를 따라 선택하고, 좌에서 우로 또는 우에서 좌의 수평 드래깅에 의하는 것과 같이, 문서의 몸체 안쪽으로 드래깅하였음을 판단할 수 있다.
이러한 드래깅을 식별한 것에 응답하여, 박스 320에서의 프로세스는 제1 사용자 윈도우와 인접한 제2 사용자 윈도우를 생성할 수 있다. 이러한 제2 윈도우의 생성은 디스플레이 또는 제2 윈도우의 공간을 만들기 위하여 제1 윈도우가 축소되는 프로세스 이후에 일어날 수 있다. 또한, 이러한 제2 윈도우의 생성은 사용자가 포인터 버튼의 선택을 해제하는 것을 기다려, 사용자가 초기에 안쪽으로 슬라이드하여 그들이 움직이는 동안에 디스플레이되는 윈도우의 외곽 이미지를 볼 수 있도록 하여 그들의 동작에 따라서 두 윈도우들의 미래의 크기를 볼 수 있도록 한다.
제1 윈도우의 축소, 그리고 제2 윈도우가 위치하는 것은, 다양한 위치들에서 이루어질 수 있으며, 사용자가 윈도우의 주변부로부터 드래깅 동작을 시작한 이후 그들의 선택 버튼을 뗀 지점에서 이러한 위치의 하나가 있을 수 있다. 예를 들어, 만일 제1 윈도우가 전체 디스플레이를 채운다면, 사용자는 윈도우의 오른쪽의 스크롤 바를 디스플레이의 절반을 거쳐 드래그하고, 박스 322에 나타낸 바와 같이, 제1 윈도우는 이러한 동작 이후에 디스플레이의 좌측 절반을 채울 수 있으며, 새 윈도우가 오른쪽 절반을 채울 수 있다.
새 윈도우에 보여지는 정보는 다양한 형태들을 취할 수 있다. 예를 들어, 초기에는 제2 윈도우에, 빈 워드 프로세싱 문서 또는, 사용자가 방문한 다수의 선행 웹사이트들 또는 사용자가 하나 이상의 검색 쿼리를 입력할 수 있는 검색 박스를 보여주는, 웹 브라우저에 대한 포괄적인 첫 스크린과 같은, 빈 문서가 디스플레이 될 수 있다. 새 윈도우는 대안으로, 웹 페이지 링크의 타겟과 같이, 제1 윈도우 내에 어떤 것들이 디스플레이되고 있는 지와 관련된 정보를 디스플레이할 수 있다. 이러한 방식에 있어서, 사용자는 첫 페이지 상의 링크를 클릭하고 페이지의 주변부로 또는 윈도우의 바깥 영역으로 드래그하여, 링크의 타겟을 자동으로 디스플레이하는 새 윈도우를 열 수 있다. 대안으로, 사용자의 동작은 윈도우의 주변부에서 시작하여 페이지 상의 링크로 드래그하여 (탭된 브라우저 내의 탭일 수 있는) 새 윈도우에 링크의 타겟을 연다.
도 8은 컴퓨팅 장치의 동작에 자동으로 응답하여 내비게이션 어플리케이션을 활성화하기 위한 프로세스의 흐름도이다. 일반적으로, 프로세스는, 장치의 속도의 변화에 자동으로 응답하여, 일반적으로 모바일 컴퓨팅 장치인, 컴퓨팅 장치 상의 디스플레이를 변경하는 단계를 수반한다.
프로세스는, 셀폰 타워들(cellphone towers) 또는 WiFi 핫 스팟들 사이, 또는 다른 기술들 사이의 삼각측량(triangulation)에 의하는 것과 같은 다른 기능들 또는 GPS 기능을 사용하는 장치의 동작을 모니터링하는, 박스 324에서 시작한다. 모니터링은, 다양한 어플리케이션들 또는 다른 프로세스들이 장치의 GPS 모듈에 의하여 정보가 생성되는 때에 통지 받는 의도를 등록하는, 장치 운영 체제의 일부로서 장치 상의 이벤트 핸들러에서 일어날 수 있다.
박스 326에서, 프로세스는 기설정된 레벨의 또는 이상의 동작을 식별한다. 이러한 판단은 이벤트 핸들러 그 자체에서 일어나고, 통지는 속도가 특정한 레벨을 초과하는 때에만 어플리케이션에 제공된다. 대안으로, 여기서 설명한 프로세스와 조화를 이루는 어플리케이션은 장치에 의하여 생성되는 어떠한 GPS 데이터를 수신하여, 그 자체로서 장치의 속도가 기설정된 레벨을 초과하였음을 판단할 수 있다.
박스 328에서, 프로세스는, 장치의 속도가 특정 속도를 초과하였을 때 통지 받는 의도를 표현하는 어플리케이션일 수 있는, 사용가능한 어플리케이션들을 확인할 수 있다. 이러한 어플리케이션 하나는, 장치의 속도가 사용자가 걷고 있거나, 자전거를 타고 있거나, 한 장소로부터 다른 곳으로 운전하는 것을 지시하는 레벨과 같이, 특정한 기설정된 레벨을 초과하는 때, 그 자체가 자동으로 인스턴스화하도록 프로그램되어 장치의 포커스가 되는 매핑 어플리케이션을 포함할 수 있다. 박스 330에서, 프로세스는, GPS 유닛에 의하여 판단된 속도에 상응하는 모드에서, 매핑 어플리케이션 또는 또 다른 어플리케이션을 활성화한다. 예를 들어, 제1 모드는, 사용자가 걷는 것과 같은 저속 동작에 관련될 수 있어, 모드는 걷는 사용자와 관련된 정보를 디스플레이한다. 제2 모드는 사용자가 주행중임을 지시하는 속도에 응답하여 환기될 수 있으며, 장치가 이동 중인 도로와 가까운 주유소 및 패스트푸드 레스토랑의 위치와 같이, 운전자와 관련된 매핑 어플리케이션과 함께 정보를 디스플레이할 수 있다.
이러한 방식에 있어서, 여기서 보여진 메카니즘은 그들의 모바일 장치와 함께 이동 중인 사용자와 관련된 어플리케이션으로 모바일 장치의 포커스를 자동으로 변경하는 데에 사용될 수 있다. 결과적으로, 사용자는 정보를 특별히(expressly) 요청할 필요가 없으며, 잠재적으로는, 경우에 따라, 걷거나 운전하는 것으로부터 사용자의 주의를 제거할 필요가 없이, 정보를 수신할 수 있다.
도 9a는 사용자의 터치 패드 수동조작에 응답하여 그래픽 디스플레이에 요소들을 도입하기 위한 프로세스의 흐름도이다. 일반적으로, 프로세스는, 터치 입력 메카니즘의 표면으로부터 벗어나거나 터치 입력 메카니즘 상의 영역으로 들어오는 사용자 입력을 식별하는 단계를 수반하는데, 여기서 동작의 시작은 메카니즘이 그 가장자리 엣지(very edge)에서의 접촉 또는 동작을 처음 감지한 사실에 의하여 메카니즘으로부터 벗어나는 것으로서 추론된다.
프로세스는, 스크린 상에 어플리케이션 및 스크린의 엣지에 지시자(indicator)를 디스플레이하는, 박스 332에서 시작한다. 이 예에 있어서, 스크린 엣지의 지시자는, 일반적으로 그래픽 사용자 인터페이스 디스플레이의 엣지로부터 독 오프된(docked off) 시각적 요소로서 사용자에게 시각적으로 식별된다. 이 예에서의 요소는 그 위에 화살표와 함께 나타내어져 자연스럽게 사용자에게 해당 요소의 선택이 화살표 방향의 어떠한 종류의 동작을 생성할 것을 지시할 수 있다. 또한, 다른 메카니즘들이 사용자에게, 어떤 뜻으로는, 그래픽 디스플레이의 엣지로부터 현재 떨어져 있음을 지시하는 데 사용될 수도 있다.
박스 334에서, 프로세스는 장치의 터치 패드 표면 상의 동작을 수신하고, 박스 336에서, 장치는 터치 패드 표면의 엣지에서 동작의 시작점을 식별한다. 또한, 장치는 동작이 터치패드의 엣지에서 속도를 가졌었고, 따라서 터치패드의 엣지의 외부로부터 움직이기(started off) 시작할 수밖에 없음을 식별할 수 있다. 장치는 접촉이 처음으로 발생하는 것으로 식별된 엣지 상의 터치 패드 밖에서 시작된 동작, 및 시작된 곳으로부터 터치 패드 쪽으로 움직이는 입력을 식별하기 위하여 이러한 판단을 사용할 수 있다. 그러면 장치는 이러한 동작이 사용자가, 그 또는 그녀의 손가락을 터치 패드 쪽으로 슬라이드하기 시작한 터치패드의 측면에 상응하는 디스플레이의 측면으로부터, 그래픽 사용자 디스플레이 외부로부터 그리고 디스플레이쪽으로 아이템을 슬라이드하는 사용자 의도를 수반하는 것으로 해석할 수 있다. 터치패드 상의 접촉의 포인트가 탭의 디스플레이 상의 포인트 또는 사용자에게 디스플레이 쪽으로 가져와야만 하는 오프-스크린 요소가 있는 것으로 지시하는 다른 요소에 상응하지 않는 경우라고 하더라도, 이러한 판단은 이루어질 수 있다.
박스 338에서, 프로세스는 터치패드에 입력된 사용자의 입력이 이루어진 터치패드의 엣지에 상응하는 스크린의 엣지로부터, 배경화면 및/또는 디스플레이 상의 다른 디스플레이된 어플리케이션 위를 슬라이딩하는 패널을 애니메이트한다. 애니메이션은 요소가 시야 안으로 간단한 슬라이딩하는 것, 또는 보다 복잡한 동작일 수 있다. 또한, 시야 안으로 애니메이트되는 시각적 요소는, 리본, 패널, 또는 툴바와 같은 다양한 형태들을 취할 수 있다. 도 9b에 나타낸 바와 같이, 터치패드 상의 일정한 위치로부터 터치패드의 엣지를 벗어나는 스와이핑에 의하여 요소를 다시 숨길 수 있다.
도 9b는 터치 패드의 사용자 수동조작에 응답하여 그래픽 디스플레이로부터 요소들을 제거하거나 그래픽 디스플레이 내에서 요소들의 크기를 줄이기 위한 프로세스의 흐름도이다. 일반적으로, 프로세스는 터치 입력 메카니즘의 엣지에서 종료되는 터치 입력 메카니즘의 표면으로부터 사용자 동작을 식별하는 단계를 수반하며, 여기서 동작의 끝은 메카니즘에 의하여 마지막으로 감지된 접촉이 그 상에서 또는 그의 가장자리 엣지에서의 동작이라는 사실에 의하여 메카니즘에서 벗어난 것으로 추론된다.
프로세스는, 장치가 스크린 상에 어플리케이션 패널을 디스플레이하는, 박스 602에서 시작한다. 어플리케이션은 스크린 상에 완전히 최대화되거나 부분적으로만 디스플레이될 수 있다. 대부분의 실시예들에 있어서, 어플리케이션은 스크린의 중앙과 가까이 디스플레이된다.
박스 604에서, 프로세스는 장치의 터치 패드 표면 상에서 동작을 수신하고, 박스 606에서, 장치는 터치 패드 표면의 엣지에서 동작의 포인트의, 끝, 또는 종료를 식별한다. 또한, 장치는 동작이 터치패드의 엣지에서 감소되는 속도를 가졌고, 때문에 터치패드의 엣지에서 또는 그 부근에서 종료될 수밖에 없음을 식별할 수 있다. 장치는 마지막으로 접촉이 발생하는 것으로 식별된 엣지 상에서 터치 패드를 벗어나 동작이 종료되고, 그것이 시작된 곳으로부터 터치 패드로부터 입력이 이동하였음을 식별하기 위하여 이러한 판단들을 사용할 수 있다. 그러면 장치는 사용자가 그 또는 그녀의 손가락을 터치 패드 쪽으로 슬라이드한 터치패드의 측면에 상응하는 그래픽 사용자 디스플레이로부터 디스플레이 밖으로 또는 디스플레이의 측면으로 아이템을 슬라이드하는 의도를 수반하는 것으로 이러한 동작을 해석할 수 있다. 사용자에게 디스플레이로부터 벗어나는(taken off) 온-스크린 디스플레이가 있다는 것을 지시하는 다른 요소 또는 탭의 디스플레이 상의 위치에 터치패드 상의 접촉 포인트가 상응하지 않더라도, 이러한 판단이 이루어질 수 있다.
박스 608에서, 프로세스는 패널이 터치 패드 표면의 엣지로 슬라이딩하여, 종전에 패널에 의하여 가려졌던 배경화면 및/또는 다른 디스플레이된 어플리케이션들을 노출시키도록 애니메이트한다. 패널은 터치패드 상에서 사용자의 입력이 종료된 터치패드의 엣지에 상응하는 스크린의 엣지로 슬라이드되도록 애니메이트된다. 애니메이션은 시야로부터 요소의 간단한 슬라이딩, 또는 보다 복잡한 동작일 수 있다. 또한, 시야 안쪽으로 애니메이트되는 시각적 요소는, 리본, 패널, 또는 툴바와 같이 다양한 형태들을 취할 수 있다.
그러면, 이러한 프로세스에 의해, 장치는 디스플레이를 확장시키는 편리한 메카니즘을 제공할 수 있어, 특정한 요소들이 실제 디스플레이로부터 쉽게 밖으로 벗어나며 그리고 그 위로 다시 돌아올 수 있다. 사용자는 포인터 또는 다른 아이템을 주의하여 위치시킬 필요 없이 추가적인 콘텐츠를 빠르게 검색할 수 있으며, 대신에 터치 패드 또는 유사한 입력 메카니즘의 주위의 일반적인 영역 내에서 빠르게 스와이프할 수 있다.
도 10은 여기서 기술된 메카니즘들과 함께 사용될 수 있는, 포괄적 컴퓨터 장치(400) 및 포괄적 모바일 컴퓨터 장치(450)의 일 예를 나타낸다. 컴퓨팅 장치(400)는 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드(blade) 서버, 메인프레임, 및 그 밖의 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 사용된다. 컴퓨팅 장치(450)는 PDA, 셀룰러 전화, 스마트폰, 및 그 밖의 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타내기 위해 사용된다. 여기에 보여지는 컴포넌트들, 그 연결 및 관계, 및 그 기능들은 단지 예시적인 것을 의미하고, 본 명세서에서 설명 및/또는 청구된 발명들의 실시예들을 제한하는 것을 의미하지 않는다.
컴퓨팅 장치(400)는 프로세서(402), 메모리(404), 저장 장치(406), 메모리(404)에 접속하는 고속 인터페이스(408)와 고속 확장 포트(410), 및 저속 버스(414)와 저장 장치(406)에 접속하는 저속 인터페이스(412)를 포함한다. 각 구성요소(402, 404, 406, 408, 410, 및 412)는 다양한 버스들을 사용하여 서로 접속되고, 일반적인 마더보드 또는 적절한 경우 다른 방식으로 탑재될 수 있다. 프로세서(402)는 컴퓨팅 장치(400) 내에서 실행하기 위한 명령어를 처리할 수 있으며, 이러한 명령어에는, 고속 인터페이스(408)에 연결된 디스플레이(416)와 같은 외장 입/출력 장치상에서 GUI용 그래픽 정보를 디스플레이 하기 위해, 메모리(404) 또는 저장 장치(406)에 저장되는 명령어가 포함된다. 다른 실시예에서, 다중 프로세서 및/또는 다중 버스는 적절한 경우, 다중 메모리 및 메모리 타입과 함께 사용될 수 있다. 또한, 다중 컴퓨팅 장치(400)는 각 장치가 필요 동작의 부분을 제공하는 형태(예를 들어, 서버 뱅크, 블레이드 서버의 그룹, 또는 다중 프로세서 시스템)로 접속될 수 있다.
메모리(404)는 컴퓨팅 장치(400)내에 정보를 저장한다. 일 실시예에서, 메모리(404)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 실시예에서, 메모리(404)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(404)는 마그네틱 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.
저장 장치(406)는 컴퓨팅 장치(400)를 위한 대용량 저장소(mass storage)를 제공할 수 있다. 일 실시예에서, 저장 장치(406)는 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 또는 테이프 장치, 플래쉬 메모리 또는 다른 유사한 고체 상태(solid state) 메모리 장치, 또는 저장 영역 네트워크 또는 다른 구성에 존재하는 장치를 포함하는 장치 배열(array)일 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어(information carrier) 내에 유형적으로 구체화될 수 있다. 또한, 컴퓨터 프로그램 제품은 실행될 때, 상술한 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함할 수 있다. 정보 캐리어는 메모리(404), 저장 장치(406), 프로세서(402)상의 메모리, 또는 전파된 신호와 같은 컴퓨터 또는 기계 판독가능 매체이다.
저속 제어부(412)가 저대역-집약적 동작(lower bandwidth-intensive operations)을 관리하는 반면, 고속 제어부(408)는 컴퓨팅 장치(400)에 대한 대역-집약적 동작을 관리한다. 이러한 기능들의 배치는 단지 예시적인 것이다. 일 실시예에서, 고속 제어부(408)는 메모리(404), 디스플레이(416)(예를 들어, 그래픽 프로세서 또는 가속기를 통함)에 연결되고, 다양한 확장 카드(도시되지 않음)을 수용할 수 있는 고속 확장 포트(410)에 연결된다. 일부 실시예에서는, 저속 제어부(412)는 저장 장치(406) 및 저속 확장 포트(414)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 장치, 스캐너와 같은 하나 이상의 입/출력 장치들에 연결되거나, 또는 예컨대 네트워크 어댑터를 통하여, 스위치나 라우터와 같은 네트워킹 장치에 연결될 수 있다.
컴퓨팅 장치(400)는 도면에 도시된 바와 같이, 다양한 다른 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 장치(400)는 표준 서버(420)로 구현되거나 이러한 서버들의 그룹에서 다수 회 구현될 수 있다. 또한, 컴퓨팅 장치(400)는 랙 서버 시스템(424)의 부분으로서 구현될 수 있다. 이에 더하여, 컴퓨팅 장치(400)는 랩탑 컴퓨터(422)와 같은 개인용 컴퓨터내에 구현될 수 있다. 선택적으로, 컴퓨팅 장치 (400)로부터의 구성요소는 장치(450)와 같은 모바일 장치(도시되지 않음)내 다른 구성요소와 조합될 수 있다. 이러한 장치 각각은 하나 이상의 컴퓨팅 장치(400, 450)를 포함하고, 전체 시스템은 서로 통신하는 다중 컴퓨팅 장치(400, 450)로 구성될 수 있다.
컴퓨팅 장치(450)는 여러 구성요소 중에서 프로세서(452), 메모리(464), 디스플레이(454)와 같은 입/출력 장치, 통신 인터페이스(466), 및 트랜스시버(468)를 포함한다. 또한, 장치(450)에는 추가적인 저장소를 제공하기 위하여, 마이크로 드라이브 또는 다른 장치와 같은 저장 장치가 제공될 수 있다. 각 구성요소(450, 452, 464, 454, 466, 및 468)는 다양한 버스를 이용하여 서로 접속되고, 구성요소의 몇몇은 통상의 마더보드에 탑재되거나 적절한 다른 방법으로 탑재될 수 있다.
프로세서(452)는 컴퓨팅 장치(450) 내에서 명령어를 실행하며, 이 명령어에는 메모리(464)에 저장된 명령어가 포함된다. 프로세서는 개별적이고 다중의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩 세트로서 구현될 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 컨트롤, 장치(450)에 의해 실행되는 애플리케이션, 및 컴퓨팅 장치(450)에 의한 무선 통신과 같은 장치(450)의 다른 구성요소들 사이에 조정을 제공할 수 있다.
프로세서(452)는 제어 인터페이스(458) 및 디스플레이(454)에 연결된 디스플레이 인터페이스(456)를 통해 사용자와 통신할 수 있다. 디스플레이(454)는, 예를 들어, TFT LCD(Thin-Film-Transistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(456)는 그래픽 및 다른 정보를 사용자에게 나타내기 위해 디스플레이(454)를 구동하는 적절한 회로를 포함할 수 있다. 제어 인터페이스(458)는 사용자로부터 명령들을 수신하고, 프로세서(452)에 제출하기 위해 그 명령들을 변환한다. 더욱이, 확장 인터페이스(462)는 장치(450)와 다른 장치들간에 근거리 통신이 가능하도록 하기 위해, 프로세서(452)와의 통신에 제공될 수 있다. 확장 인터페이스(462)는, 예를 들어, 일부 실시예에서는 유선 통신을 제공하고 다른 실시예에서 무선 통신을 제공하며, 또한 다중 인터페이스가 사용될 수 있다.
메모리(464)는 컴퓨팅 장치(450)내에 정보를 저장한다. 메모리(464)는 컴퓨터 판독가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들, 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 또한, 확장 메모리(474)가 제공되어, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함하는 확장 인터페이스(474)를 통해 장치(450)에 접속될 수 있다. 이러한 확장 메모리(474)는 장치(450)를 위한 여분의 저장 공간을 제공할 수 있고, 또한 어플리케이션 또는 장치(450)를 위한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(474)는 상술된 프로세스를 실행하거나 보조하기 위한 명령어를 포함하고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(474)는 장치(450)용 보안 모듈(security module)로서 제공될 수 있고, 장치(450)의 안전한 사용을 가능하게 하는 명령어로 프로그램 될 수 있다. 더욱이, 보안 어플리케이션은, 해킹할 수 없는 방식(non-hackable manner)으로 SIMM 카드상에 식별 정보를 위치시킨 것과 같은 추가적 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 아래에서 논의되는 것과 같이 예를 들어, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구체화된다. 컴퓨터 프로그램 제품은 실행될 때, 상술된 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함한다. 정보 캐리어는 메모리(464), 확장 메모리(474), 프로세서(452)상의 메모리, 또는 예를 들어 트랜스시버(468) 또는 확장 인터페이스(462)를 통해 수신될 수 있는 전달된 신호와 같은 컴퓨터-또는 기계-판독가능 매체이다.
장치(450)는 디지털 신호 처리 회로를 필요에 따라 포함하는 통신 인터페이스(466)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(466)는 GSM 음성 호, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS 등과 같은 다양한 모드 또는 프로토콜 하에서의 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선-주파수 트랜스시버(468)를 통해 수행될 수 있다. 또한, 단거리(short range) 통신은 예를 들어, 블루투스, WiFi, 또는 다른 이러한 트랜스시버(도시되지 않음)를 사용하여 수행될 수 있다. 이에 더하여, GPS(Global Position System) 수신기 모듈(470)은 추가적인 항법- 및 위치- 관련 무선 데이터를 장치(450)에 제공할 수 있다. 이 무선 데이터는 장치(450)에서 실행중인 어플리케이션에 의해 적절하게 사용될 수 있다.
또한, 장치(450)는 사용자로부터의 발화 정보(spoken information)를 수신하고, 그 발화 정보를 사용 가능한 디지털 정보로 변환하는 오디오 코덱(460)을 이용하여, 청각적으로 통신할 수 있다. 또한, 오디오 코덱(460)은 예를 들어, 장치(450)의 핸드셋 내의 스피커를 통하는 것과 같이 해서, 사용자가 들을 수 있는 음성을 생성한다. 이러한 음성은 음성 전화 호출로부터의 음성을 포함할 수 있고, 녹음된 음성(예를 들어, 음성 메시지, 음악 파일 등)은 포함할 수 있고, 또한 장치(450) 상에서 동작하는 애플리케이션에 의해 생성된 음성을 포함할 수 있다.
컴퓨팅 장치(450)는 도면에 도시된 바와 같이, 복수의 다양한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 장치(450)는 셀룰러 전화(480)로서 구현될 수 있다. 또한, 컴퓨팅 장치(450)는 스마트폰(482), PDA, 또는 다른 유사한 모바일 장치의 일부로서 구현될 수 있다.
본 명세서에 설명된 다양한 시스템과 방법의 여러 실시예는 디지털 전자 회로, 집적 회로, 특정 목적으로 설계된 ASICs(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 실시예에는 하나 이상의 컴퓨터 프로그램의 실시예가 포함되고, 이 컴퓨터 프로그램은 프로그램 가능한 시스템 상에서 실행가능 및/또는 해석가능(interpretable)하며, 프로그램 가능한 시스템은 저장 시스템에 연결되어 데이터와 명령을 송수신하는, 전용 또는 범용인 적어도 하나의 프로그램 가능한 프로세서, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치를 포함한다.
이러한 컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라 함)은 프로그램 가능한 프로세서용 기계 명령을 포함하고, 고레벨 절차 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에 사용되는 바와 같이, 용어 "기계-판독가능 매체", "컴퓨터-판독가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하는데 사용되는, 임의의 컴퓨터 프로그램 제품, 장치 및/또는 장치(예를 들어, 자기 디스크, 광디스크, 메모리, 프로그램 가능한 로직 장치(PLD))를 지칭하며, 기계-판독가능 신호로서의 기계 명령을 수신하는 기계-판독가능 매체도 포함된다. 용어 "기계-판독가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.
사용자와의 상호작용을 제공하기 위하여, 본 명세서에 설명되는 시스템과 방법은, 정보를 사용자에게 디스플레이 하는 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력하는데 사용하는 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 다른 카테고리의 장치도 사용자와의 상호작용을 제공하기 위하여 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 지각 피드백(시각, 청각 또는 촉각 피드백)의 임의 형태가 될 수 있고, 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각 입력을 포함하는 임의 형태로 수신될 수 있다.
본 명세서에 설명된 다양한 시스템과 방법은, 백엔드 구성요소(예를 들어, 데이터 서버), 또는 미들웨어 구성요소(예를 들어, 애플리케이션 서버) 또는 전치(frontend) 구성요소(예를 들어, 본 명세서에 설명된 시스템 및 방법의 실시예와 상호작용하기 위해 사용자가 사용할 수 있는 그래픽 사용자 인터페이스(GUI) 또는 웹 브라우저를 구비한 클라이언트 컴퓨터) 또는 이러한 백엔드, 미들웨어 또는 전치(frontend) 구성요소의 임의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 구성요소는 임의 형태 또는 디지털 데이터 통신의 매체(예를 들어, 통신 네트워크)에 의해 상호접속될 수 있다. 통신 네트워크의 예는 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있고, 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는, 각 컴퓨터에서 실행 중이며 서로에 대하여 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
다수의 실시예들이 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위로부터 벗어나지 않으면서 다양한 변형들이 만들어질 수 있음이 이해될 수 있다. 예를 들어, 본 명세서의 다수의 설명들이 텔레비전 광고들을 참조하여 이루어졌으나, 미래의 다른 형태들, 라디오 광고들 및 온-라인 비디오 광고들과 같은 시청자(viewership)-기반의 광고들 또한 고려될 수 있다.
더욱이, 도면에서 묘사된 논리 흐름은 희망하는 결과를 달성하기 위해, 도시된 특정 순서 또는 시계열적 순서일 필요는 없다. 덧붙여, 다른 단계들이 제공되거나, 그로부터 단계들이 제거될 수 있으며, 다른 구성요소들이 설명된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서 다른 실시예들은 후술하는 청구범위의 범위 내에 속한다.

Claims (29)

  1. 컴퓨터 장치를 위한 컴퓨터-구현(computer-implemented) 방법에 있어서, 상기 방법은:
    그래픽 디스플레이를 구비하는 컴퓨팅 장치 상의 터치 패드 표면 상에서, 상기 터치 패드 표면을 가로질러 드래깅하는 드래깅 입력 동작을 수신하는 단계;
    상기 터치 패드 표면의 주변 엣지(peripheral edge)에서의 상기 드래깅 입력 동작에 대하여 처음으로 감지된 위치를 식별함으로써 그리고 상기 드래깅 입력 동작이 상기 터치 패드 표면의 주변 엣지로 진입(enter)시에 양의(positive) 속도를 가졌었다는 것을 식별함으로써 상기 드래깅 입력 동작이 상기 터치 패드의 엣지의 외부에서 시작된 것으로 식별하는 단계;
    상기 터치 패드 표면의 주변 엣지에서의 상기 드래깅 입력 동작에 대하여 상기 처음으로 감지된 위치에 기초하여 그리고 상기 터치 패드 표면의 주변 엣지로 진입시의 상기 드래깅 입력 동작의 상기 양의 속도에 기초하여, 상기 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 드래깅 입력 동작과 식별된 상기 드래깅 입력 동작을 구별하는 단계; 및
    상기 드래깅 입력 동작의 식별에 응답하여, 상기 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 상기 드래깅 입력 동작과 구별되는 상기 식별된 드래깅 입력 동작에 기초하여, 상기 디스플레이 상의 제1 정지 요소 위에서, 상기 디스플레이의 엣지로부터 상기 디스플레이의 몸체(body) 안쪽으로 움직이도록 애니메이트되는 제1 슬라이딩 그래픽 요소를 상기 그래픽 디스플레이 상에 디스플레이하는 단계를 포함하고,
    상기 터치 패드 표면은 상기 그래픽 디스플레이의 표면과 분리되며, 그리고 상기 제1 슬라이딩 그래픽 요소의 이동은 상기 식별된 드래깅 입력 동작과 협력하는,
    방법.
  2. 청구항 1에 있어서,
    상기 터치 패드 상에서 수신된 상기 드래깅 입력 동작을 상기 그래픽 디스플레이 상의 상응하는 지점들로 매핑하는 단계를 더 포함하는,
    방법.
  3. 청구항 1에 있어서,
    상기 제1 슬라이딩 그래픽 요소는 상기 식별된 드래깅 입력 동작에 상응하는 방향으로 움직이는,
    방법.
  4. 청구항 1에 있어서,
    상기 드래깅 입력 동작을 수신하는 단계는 상기 터치 패드 표면의 좌측 또는 우측으로부터 상기 터치 패드 표면으로 진입하는 입력 동작을 수신하는 단계를 포함하는,
    방법.
  5. 청구항 1에 있어서,
    상기 드래깅 입력 동작을 수신하는 단계는 상기 터치 패드 표면의 상부 또는 하부로부터 상기 터치 패드 표면으로 진입되는 입력 동작을 수신하는 단계를 포함하는,
    방법.
  6. 청구항 1에 있어서,
    상기 식별된 드래깅 입력 동작에 대한 벡터(vector)를 산출하는 단계를 더 포함하는,
    방법.
  7. 청구항 1에 있어서,
    상기 제1 슬라이딩 그래픽 요소가 상기 디스플레이의 상기 엣지로부터 상기 디스플레이의 상기 몸체로 움직이는 거리는 상기 식별된 드래깅 입력 동작의 길이에 상응하는,
    방법.
  8. 청구항 1에 있어서,
    상기 제1 슬라이딩 그래픽 요소가 상기 디스플레이의 상기 엣지로부터 상기 디스플레이의 상기 몸체로 움직이는 거리는 상기 식별된 드래깅 입력 동작의 속도에 상응하는,
    방법.
  9. 청구항 1에 있어서,
    상기 제1 슬라이딩 그래픽 요소는 상기 디스플레이의 상기 엣지로부터 움직이기 이전에 제1 콘텐츠를 디스플레이하고 상기 디스플레이의 상기 몸체로 움직인 이후에 제2 콘텐츠를 디스플레이하는,
    방법.
  10. 청구항 9에 있어서,
    상기 제1 콘텐츠는 상기 제2 콘텐츠의 서브-세트(sub-set)인,
    방법.
  11. 청구항 1에 있어서,
    상기 터치 패드 표면 상에서, 상기 터치 패드 표면을 가로질러 드래깅하는 제2 드래깅 입력 동작을 수신하는 단계;
    상기 터치 패드 표면의 주변 엣지에서의 상기 제2 드래깅 입력 동작에 대하여 마지막으로 감지된 위치를 식별함으로써 상기 제2 드래깅 입력 동작이 상기 터치 패드 상에서 시작되어 상기 터치 패드의 엣지의 외부에서 종료된 것으로 식별하는 단계; 및
    상기 제2 드래깅 입력 동작의 식별에 응답하여, 상기 디스플레이 상의 제2 정지 요소 위에서, 상기 디스플레이의 상기 몸체로부터 상기 디스플레이의 상기 엣지로 움직이도록, 그리고 그 다음 상기 디스플레이로부터 사라지도록 애니메이트되는 제2 슬라이딩 그래픽 요소를 상기 그래픽 디스플레이 상에 디스플레이하는 단계
    를 더 포함하는,
    방법.
  12. 청구항 11에 있어서,
    상기 제1 슬라이딩 그래픽 요소와 상기 제2 슬라이딩 그래픽 요소는 동일한,
    방법.
  13. 청구항 12에 있어서,
    상기 제1 정지 요소와 상기 제2 정지 요소는 동일한,
    방법.
  14. 컴퓨팅 장치를 위한 컴퓨터-구현 방법에 있어서, 상기 방법은:
    상기 컴퓨팅 장치의 터치 패드 표면 상에서, 상기 터치 패드 표면을 가로질러 드래깅하는 드래깅 입력 동작을 수신하는 단계;
    상기 터치 패드 표면의 주변 엣지에서의 상기 드래깅 입력 동작에 대하여 마지막으로 감지된 위치를 식별함으로써 그리고 상기 드래깅 입력 동작이 상기 터치 패드 표면의 주변 엣지를 통해 지나가는 동안 양의 속도를 유지했던 것을 식별함으로써 상기 드래깅 입력 동작이 상기 터치 패드에서 시작되어 상기 터치 패드의 엣지의 외부에서 종료되는 것으로 식별하는 단계;
    상기 터치 패드 표면의 주변 엣지에서의 상기 드래깅 입력 동작에 대하여 상기 마지막으로 감지된 위치에 기초하여 그리고 상기 터치 패드 표면의 주변 엣지를 통해 지나가는 동안의 상기 드래깅 입력 동작의 상기 양의 속도에 기초하여, 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 드래깅 입력 동작과 식별된 상기 드래깅 입력 동작을 구별하는 단계; 및
    상기 드래깅 입력 동작의 식별에 응답하여, 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 드래깅 입력 동작과 구별되는 상기 식별된 드래깅 입력 동작에 기초하여, 상기 디스플레이 상의 정지 요소 위에서, 상기 디스플레이의 몸체로부터 상기 디스플레이의 엣지로 움직이도록 애니메이트되는 슬라이딩 그래픽 요소를 상기 컴퓨팅 장치의 그래픽 디스플레이 상에 디스플레이하는 단계를 포함하고,
    상기 터치 패드 표면은 상기 그래픽 디스플레이의 표면과 분리되며, 그리고 상기 슬라이딩 그래픽 요소의 이동은 상기 식별된 드래깅 입력 동작과 협력하는,
    방법.
  15. 청구항 14에 있어서,
    상기 드래깅 입력 동작을 수신하는 단계는 상기 터치 패드 표면의 좌측 또는 우측에서 상기 터치 패드 표면을 빠져나가는(exit) 입력 동작을 수신하는 단계를 포함하는,
    방법.
  16. 청구항 14에 있어서,
    상기 드래깅 입력 동작을 수신하는 단계는 상기 터치 패드 표면의 상부 또는 하부에서 상기 터치 패드 표면을 빠져나가는 입력 동작을 수신하는 단계를 포함하는,
    방법.
  17. 청구항 14에 있어서,
    상기 슬라이딩 그래픽 요소는 상기 식별된 드래깅 입력 동작에 상응하는 방향으로 움직이는,
    방법.
  18. 청구항 14에 있어서,
    상기 식별된 드래깅 입력 동작은, 상기 그래픽 디스플레이 상의 상기 슬라이딩 그래픽 요소의 위치와 상응하는 상기 터치 패드 표면 상의 위치에서의 상기 터치 패드 표면 상에서 시작되는,
    방법.
  19. 청구항 14에 있어서,
    상기 슬라이딩 그래픽 요소는 상기 디스플레이의 상기 엣지로부터 상기 디스플레이 밖으로(off the display) 더 움직이도록 애니메이트되는,
    방법.
  20. 청구항 14에 있어서,
    상기 터치 패드 상에서 수신된 상기 드래깅 입력 동작을 상기 그래픽 디스플레이 상의 상응하는 지점들로 매핑하는 단계를 더 포함하는,
    방법.
  21. 컴퓨팅 장치 상의 그래픽 디스플레이;
    상기 그래픽 디스플레이 상의 정지 요소; 및
    터치 패드 표면을 가로질러 드래깅하는 식별된 드래깅 입력 동작에 응답하여, 상기 정지 요소 위에서 상기 그래픽 디스플레이의 엣지로부터 상기 그래픽 디스플레이의 몸체로 이동할 수 있는 슬라이딩 그래픽 요소를 포함하고,
    상기 식별된 드래깅 입력 동작은 상기 터치 패드 표면의 엣지의 외부로부터 시작되고 그리고 상기 터치 패드 표면의 주변 엣지로 진입시에 양의 속도를 가졌고,
    상기 식별된 드래깅 입력 동작은, 상기 터치 패드 표면의 주변 엣지의 외부로부터 시작되고 상기 터치 패드 표면의 주변 엣지로 진입시에 양의 속도를 가지는 상기 식별된 드래깅 입력 동작에 기초하여, 상기 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 드래깅 입력 동작과 구별되고,
    상기 터치 패드 표면의 주변 엣지를 통해 지나가는 동안 상기 양의 속도를 기지고 상기 터치 패드의 엣지의 외부에서 종료되는 상기 식별된 드래깅 입력 동작에 기초하여, 상기 그래픽 디스플레이 상의 포인터의 이동을 야기하는 상기 터치 패드 표면을 가로지르는 드래깅 입력 동작과 상기 식별된 드래깅 입력 동작이 구별되는 경우, 상기 터치 패드의 엣지의 외부에서 종료되고 상기 터치 패드 표면의 주변 엣지를 통해 지나가는 동안 양의 속도가 유지되는 상기 식별된 드래깅 입력 동작에 응답하여, 상기 슬라이딩 그래픽 요소는 상기 정지 요소 위에서 상기 그래픽 디스플레이의 몸체로부터 상기 그래픽 디스플레이의 엣지로 추가로 이동할 수 있고, 그리고
    상기 터치 패드 표면은 상기 그래픽 디스플레이의 표면과 분리되며, 그리고 상기 슬라이딩 그래픽 요소의 이동은 상기 식별된 드래깅 입력 동작과 협력하는,
    시스템.
  22. 청구항 21에 있어서,
    상기 슬라이딩 그래픽 요소의 이동은 상기 터치 패드 상에서 수신된 매핑 사용자 입력에 기초하는,
    시스템.
  23. 청구항 21에 있어서,
    상기 슬라이딩 그래픽 요소의 상기 이동은 상기 식별된 드래깅 입력 동작에 상응하는,
    시스템.
  24. 청구항 23에 있어서,
    상기 슬라이딩 그래픽 요소의 상기 이동은 상기 식별된 드래깅 입력 동작의 길이 및 상기 식별된 드래깅 입력 동작의 속도 중 하나에 더 상응하는,
    시스템.
  25. 청구항 21에 있어서,
    상기 슬라이딩 그래픽 요소가 상기 디스플레이의 상기 엣지에 가까이 위치한 제1 위치 내에 있는 경우, 상기 슬라이딩 그래픽 요소에 의하여 디스플레이되는 제1 콘텐츠를 더 포함하는,
    시스템.
  26. 청구항 25에 있어서,
    상기 슬라이딩 그래픽 요소가 상기 디스플레이의 상기 몸체에 위치한 제2 위치 내에 있는 경우, 상기 슬라이딩 그래픽 요소에 의하여 디스플레이되는 제2 콘텐츠를 더 포함하는,
    시스템.
  27. 청구항 26에 있어서,
    상기 제2 콘텐츠와 연관된 크기는 상기 제1 콘텐츠와 연관된 크기보다 큰,
    시스템.
  28. 청구항 8에 있어서,
    상기 제1 슬라이딩 그래픽 요소가 상기 디스플레이의 상기 엣지로부터 상기 디스플레이의 상기 몸체로 움직이는 거리는 상기 식별된 드래깅 입력 동작의 속도에 비례하는,
    방법.
  29. 청구항 11에 있어서,
    상기 제2 드래깅 입력 동작이 상기 디스플레이 밖으로 상기 제2 슬라이딩 그래픽 요소를 슬라이딩시키기 위한 사용자 의도를 나타낸다는 것을 결정하는 단계를 더 포함하고,
    상기 제2 드래깅 입력 동작이 시작하는 상기 터치 패드 상의 위치는 상기 디스플레이 상의 상기 제2 슬라이딩 그래픽 요소의 위치와 상응하지 않는,
    방법.
KR1020197022326A 2010-11-18 2011-11-18 오프-스크린 가시 객체들의 표면화 KR102188757B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US45832610P 2010-11-18 2010-11-18
US41517910P 2010-11-18 2010-11-18
US61/458,326 2010-11-18
US61/415,179 2010-11-18
PCT/US2011/061538 WO2012068551A1 (en) 2010-11-18 2011-11-18 Surfacing off-screen visible objects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137015748A Division KR102007023B1 (ko) 2010-11-18 2011-11-18 오프-스크린 가시 객체들의 표면화

Publications (2)

Publication Number Publication Date
KR20190092612A KR20190092612A (ko) 2019-08-07
KR102188757B1 true KR102188757B1 (ko) 2020-12-08

Family

ID=45092406

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020137015463A KR102054234B1 (ko) 2010-11-18 2011-11-18 스크롤 바의 직각 드래깅
KR1020137015748A KR102007023B1 (ko) 2010-11-18 2011-11-18 오프-스크린 가시 객체들의 표면화
KR1020197022326A KR102188757B1 (ko) 2010-11-18 2011-11-18 오프-스크린 가시 객체들의 표면화

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020137015463A KR102054234B1 (ko) 2010-11-18 2011-11-18 스크롤 바의 직각 드래깅
KR1020137015748A KR102007023B1 (ko) 2010-11-18 2011-11-18 오프-스크린 가시 객체들의 표면화

Country Status (9)

Country Link
US (7) US8875046B2 (ko)
EP (2) EP2641156A1 (ko)
JP (6) JP6457715B2 (ko)
KR (3) KR102054234B1 (ko)
CN (3) CN108920038A (ko)
AU (2) AU2011329649B2 (ko)
CA (2) CA2818202C (ko)
DE (1) DE202011110334U1 (ko)
WO (3) WO2012068542A2 (ko)

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US8930651B2 (en) * 2007-10-05 2015-01-06 Imation Corp. Archiving system with partitions of individual archives
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
FR2967101B1 (fr) * 2010-11-10 2017-04-21 Valeo Systemes Thermiques Facade de controle electronique pour vehicule automobile
JP6457715B2 (ja) 2010-11-18 2019-01-23 グーグル エルエルシー 画面外の目に見えるオブジェクトの表面化
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8639494B1 (en) * 2010-12-28 2014-01-28 Intuit Inc. Technique for correcting user-interface shift errors
US20120204125A1 (en) * 2011-02-07 2012-08-09 Megan Shia User interface incorporating sliding panels for listing records and presenting record content
WO2012121961A1 (en) * 2011-03-04 2012-09-13 Apple Inc. Linear vibrator providing localized and generalized haptic feedback
JP5768457B2 (ja) * 2011-04-19 2015-08-26 ソニー株式会社 電子機器、表示方法及びプログラム
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130055082A1 (en) * 2011-08-26 2013-02-28 Jorge Fino Device, Method, and Graphical User Interface for Navigating and Previewing Content Items
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
KR101860341B1 (ko) * 2011-09-09 2018-05-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
US11005720B2 (en) * 2011-11-16 2021-05-11 Autoconnect Holdings Llc System and method for a vehicle zone-determined reconfigurable display
EP2798452A4 (en) * 2011-12-28 2015-09-09 Intel Corp HYBRID MOBILE INTERACTIONS FOR NATIVE APPS AND WEB APPS
US9619038B2 (en) * 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US9128605B2 (en) * 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
KR101332811B1 (ko) * 2012-02-24 2013-11-27 주식회사 팬택 메시지 숨김 기능을 갖는 단말과 그 메시지 숨김 및 복원 방법
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US20130239063A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Selection of multiple images
US9189876B2 (en) 2012-03-06 2015-11-17 Apple Inc. Fanning user interface controls for a media editing application
US10078420B2 (en) * 2012-03-16 2018-09-18 Nokia Technologies Oy Electronic devices, associated apparatus and methods
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US9395852B2 (en) * 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
CN106133748B (zh) * 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
JP2015524583A (ja) * 2012-06-27 2015-08-24 オセ−テクノロジーズ・ベー・ヴエーOce’−Nederland Besloten Vennootshap デジタルオブジェクトを表示するためのユーザ対話システム
JP2014010777A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
US8977553B2 (en) * 2012-07-30 2015-03-10 Google Inc. Dynamic adjustment of text input system components
US9158440B1 (en) * 2012-08-01 2015-10-13 Google Inc. Display of information areas in a view of a graphical interface
DE102012107551A1 (de) * 2012-08-17 2014-05-15 Claas Selbstfahrende Erntemaschinen Gmbh Anzeigevorrichtung für Landmaschinen
TWI467420B (zh) * 2012-08-20 2015-01-01 Asustek Comp Inc 虛擬滑鼠及其操作方法
JP5956873B2 (ja) * 2012-08-28 2016-07-27 シャープ株式会社 携帯情報装置、選択メニュー表示方法、選択メニュー表示プログラム、および、プログラム記録媒体
US8954878B2 (en) 2012-09-04 2015-02-10 Google Inc. Information navigation on electronic devices
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
KR101957173B1 (ko) * 2012-09-24 2019-03-12 삼성전자 주식회사 터치 디바이스에서 멀티윈도우 제공 방법 및 장치
KR102069014B1 (ko) * 2012-09-25 2020-02-12 삼성전자 주식회사 휴대단말기의 분리화면 제어장치 및 방법
KR20140047897A (ko) * 2012-10-15 2014-04-23 삼성전자주식회사 터치 효과를 제공하기 위한 방법 및 그 전자 장치
CN103777797B (zh) * 2012-10-23 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
US20140149916A1 (en) 2012-11-28 2014-05-29 SoMo Audience Corp. Content manipulation using swipe gesture recognition technology
GB201300031D0 (en) 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
JP6215534B2 (ja) * 2013-01-07 2017-10-18 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20140208230A1 (en) * 2013-01-18 2014-07-24 Apple Inc. Autocorrect Highlight and Re-Work
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
CN103064683A (zh) * 2013-02-19 2013-04-24 福建榕基软件股份有限公司 Web环境下多标签页的自定义布局方法及装置
US9330407B2 (en) 2013-03-15 2016-05-03 Zazzle Inc. Specification and display of product customization options
DE102013002891A1 (de) * 2013-03-22 2014-09-25 Volkswagen Aktiengesellschaft Informationswiedergabesystem für ein Fahrzeug und Verfahren zum Bereitstellen von Informationen für den Benutzer eines Fahrzeugs
CN104063120B (zh) 2013-03-22 2017-05-17 国际商业机器公司 用于信息浏览的方法和系统
US20140298245A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Display Instance Management
US20140310600A1 (en) * 2013-04-12 2014-10-16 Fanhattan Llc System and method for changing live media content channels
JP5884090B2 (ja) * 2013-04-18 2016-03-15 パナソニックIpマネジメント株式会社 情報を提示する方法および電子機器
US20160062508A1 (en) * 2013-04-30 2016-03-03 Multitouch Oy Dynamic Drawers
US8593427B1 (en) * 2013-05-10 2013-11-26 Jinrong Yang System and method for managing display power consumption
US9075612B2 (en) 2013-05-10 2015-07-07 Jinrong Yang System and method for managing display power consumption
EP2994814A4 (en) * 2013-05-10 2017-05-17 Yang, Jinrong System and method for managing display power consumption
JP6104707B2 (ja) * 2013-05-23 2017-03-29 アルパイン株式会社 電子機器、操作入力方法および操作入力プログラム
US9804745B2 (en) * 2013-06-09 2017-10-31 Apple Inc. Reordering content panes in a stacked tab view
US20140365944A1 (en) 2013-06-09 2014-12-11 Apple Inc. Location-Based Application Recommendations
KR101511995B1 (ko) * 2013-06-10 2015-04-14 네이버 주식회사 제스처 정보를 이용하여 서비스에 대한 사용자간 관계를 설정하는 방법 및 시스템
JP6155869B2 (ja) * 2013-06-11 2017-07-05 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US8775965B1 (en) * 2013-06-27 2014-07-08 Google Inc. Immersive mode for a web browser
KR102148725B1 (ko) 2013-07-31 2020-08-28 삼성전자주식회사 어플리케이션을 표시하는 방법 및 장치
JP6368462B2 (ja) * 2013-08-01 2018-08-01 シャープ株式会社 情報処理装置、情報処理方法及びそのプログラム
CN105683877B (zh) 2013-09-03 2019-05-28 苹果公司 用于操纵用户界面对象的用户界面
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9352848B2 (en) 2013-11-06 2016-05-31 The Boeing Company Flight deck touch screen interface for interactive displays
KR102135374B1 (ko) * 2014-06-09 2020-07-17 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9990125B2 (en) * 2013-11-15 2018-06-05 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9880711B2 (en) 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US9285978B2 (en) 2014-01-23 2016-03-15 International Business Machines Corporation Using a scroll bar in a multiple panel user interface
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
JP2015172861A (ja) * 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US20150286401A1 (en) * 2014-04-08 2015-10-08 Lyve Minds, Inc. Photo/video timeline display
US10467401B2 (en) * 2014-04-14 2019-11-05 Sony Corporation Method and system for device authentication
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
USD764519S1 (en) * 2014-06-20 2016-08-23 Google Inc. Display screen with graphical user interface
CN116301544A (zh) 2014-06-27 2023-06-23 苹果公司 尺寸减小的用户界面
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
KR102411890B1 (ko) * 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016036414A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160048429A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN104331233A (zh) * 2014-10-27 2015-02-04 天津三星通信技术研究有限公司 便携式终端及其内容预览方法
US10579248B2 (en) * 2014-10-27 2020-03-03 Samsung Electronics Co., Ltd. Method and device for displaying image by using scroll bar
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
KR102318227B1 (ko) 2015-01-16 2021-10-27 삼성전자주식회사 정보 표시 장치 및 방법
GB201501079D0 (en) * 2015-01-22 2015-03-11 Microsoft Technology Licensing Llc Controlling access to content
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20160314708A1 (en) * 2015-04-21 2016-10-27 Freedom Scientific, Inc. Method and System for Converting Text to Speech
US10169061B2 (en) * 2015-05-06 2019-01-01 Ford Global Technologies, Llc Scalable and flexible operating system platform
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
USD764514S1 (en) * 2015-06-09 2016-08-23 Teletracking Technologies, Inc. Display screen with graphical user interface
US9891811B2 (en) * 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10664052B2 (en) 2015-07-01 2020-05-26 Samsung Electronics Co., Ltd. Method for providing feedback and an electronic device thereof
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
CN106708399A (zh) * 2015-11-17 2017-05-24 天津三星通信技术研究有限公司 用于具有双侧边曲面屏幕的电子终端的触控方法和设备
US10782859B2 (en) * 2015-12-14 2020-09-22 International Business Machines Corporation Intelligent gesture based word sentence augmentation and systems for the implementation thereof
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10503257B2 (en) * 2016-02-23 2019-12-10 Blackberry Limited Portable electronic device and method of providing haptic feedback
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
US20170269688A1 (en) * 2016-03-18 2017-09-21 Elwha Llc Systems and methods for providing haptic feedback regarding software-initiated changes to user-entered text input
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
CN106020706A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种触控操作处理方法及移动终端
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10394423B2 (en) * 2016-08-11 2019-08-27 International Business Machines Corporation Efficient list traversal
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10409440B2 (en) 2016-10-14 2019-09-10 Sap Se Flexible-page layout
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10521106B2 (en) 2017-06-27 2019-12-31 International Business Machines Corporation Smart element filtering method via gestures
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
USD873842S1 (en) * 2018-03-23 2020-01-28 Martell Broadcasting Systems, Inc. Display screen with transitional search results user interface
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US10564719B1 (en) 2018-12-03 2020-02-18 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11137905B2 (en) * 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11406892B2 (en) * 2018-12-04 2022-08-09 Sony Interactive Entertainment Inc. Information processing apparatus
US11520469B2 (en) 2019-05-01 2022-12-06 Google Llc Interface for multiple simultaneous interactive views
EP3756081A1 (en) 2019-05-01 2020-12-30 Google LLC Interface for multiple simultaneous interactive views
US11385785B2 (en) * 2019-05-01 2022-07-12 Google Llc Interface for multiple simultaneous interactive views
US11023202B2 (en) 2019-05-29 2021-06-01 International Business Machines Corporation Enhanced autocorrect features using audio interface
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11681420B2 (en) * 2019-12-13 2023-06-20 Lyft, Inc. Panel-snapping interface for responsive display of maps
US11880564B2 (en) * 2020-04-30 2024-01-23 Hewlett-Packard Development Company, L.P. Regions with digital ink input
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11119314B1 (en) * 2020-07-17 2021-09-14 Synapcis Inc. Apparatus and method for mitigating motion sickness through cyclical object projection in digital space
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces
US11531719B2 (en) * 2020-09-22 2022-12-20 Microsoft Technology Licensing, Llc Navigation tab control organization and management for web browsers
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN113918256A (zh) * 2021-09-30 2022-01-11 联想(北京)有限公司 控制方法、装置及电子设备
CN115079885A (zh) * 2022-06-30 2022-09-20 深圳市康冠商用科技有限公司 双窗口显示的系统操控方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238517A1 (en) 2005-03-04 2006-10-26 Apple Computer, Inc. Electronic Device Having Display and Surrounding Touch Sensitive Bezel for User Interface and Control

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3707490A1 (de) * 1987-03-09 1988-09-22 Siemens Ag Anordnung zum gleichzeitigen darstellen von mehreren bildern auf dem bildschirm eines sichtgeraetes
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5339391A (en) 1990-05-14 1994-08-16 Microelectronics And Computer Technology Corporation Computer display unit with attribute enhanced scroll bar
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
JPH0827700B2 (ja) 1990-12-31 1996-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ表示制御システム
FR2693810B1 (fr) * 1991-06-03 1997-01-10 Apple Computer Systemes d'interfaces d'utilisateurs a acces direct a une zone secondaire d'affichage.
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
AU6707394A (en) 1993-04-20 1994-11-08 Apple Computer, Inc. Interactive user interface
US5864330A (en) 1993-06-29 1999-01-26 International Business Machines Corp. Method and apparatus for providing a two-dimensional position-sensitive scroll icon in a data processing system user interface
JP3812749B2 (ja) * 1993-07-29 2006-08-23 富士通株式会社 ウィンドウシステム
JP3150254B2 (ja) * 1994-08-29 2001-03-26 松下電器産業株式会社 文書管理装置および文書管理機能付きデータ処理装置
US5784059A (en) * 1994-09-16 1998-07-21 Aisin Aw Co., Ltd. Vehicle navigation system with destination selection using hierarchical menu arrangement with selective level skipping
US5721849A (en) 1996-03-29 1998-02-24 International Business Machines Corporation Method, memory and apparatus for postponing transference of focus to a newly opened window
JP4481370B2 (ja) * 1996-05-06 2010-06-16 アドビ システムズ, インコーポレイテッド インターネットハイパーリンクドラッグ及びドロップ
US5784058A (en) * 1996-05-28 1998-07-21 Sun Microsystems, Inc. User-controllable persistent browser display pages
US6020887A (en) 1997-05-07 2000-02-01 International Business Machines Corporation Method and apparatus for single scroll bars in graphical windows user interface
JP2003526820A (ja) * 1997-08-22 2003-09-09 ナトリフィシャル エルエルシー グラフィック表示内でウィンドウのサイズ変更および再配置を同時に行うための方法および装置
US6166736A (en) 1997-08-22 2000-12-26 Natrificial Llc Method and apparatus for simultaneously resizing and relocating windows within a graphical display
US20060061550A1 (en) 1999-02-12 2006-03-23 Sina Fateh Display size emulation system
TW463102B (en) 1999-07-08 2001-11-11 Primax Electronics Ltd Image scrolling system for scrolling image pictures inside the window
US6757002B1 (en) 1999-11-04 2004-06-29 Hewlett-Packard Development Company, L.P. Track pad pointing device with areas of specialized function
JP4672108B2 (ja) * 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
JP2002055750A (ja) 2000-08-10 2002-02-20 Canon Inc 情報処理装置、機能一覧表表示方法、及び記憶媒体
JP2002244787A (ja) * 2001-02-20 2002-08-30 Toshiba Corp 携帯型情報機器
JP2003195998A (ja) * 2001-12-26 2003-07-11 Canon Inc 情報処理装置及び情報処理装置の制御方法及び情報処理装置の制御プログラム及び記憶媒体
US8514182B2 (en) * 2001-12-27 2013-08-20 Lg Display Co., Ltd. Touch panel display device and method of fabricating the same
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
US20040186775A1 (en) * 2003-01-29 2004-09-23 Margiloff William A. Systems and methods for providing an improved toolbar
JP2004234544A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および操作ウィンドウ表示方法
JP2004341886A (ja) * 2003-05-16 2004-12-02 Casio Comput Co Ltd ファイル管理装置及びファイル管理方法
US7328411B2 (en) * 2004-03-19 2008-02-05 Lexmark International, Inc. Scrollbar enhancement for browsing data
US7388578B2 (en) 2004-07-01 2008-06-17 Nokia Corporation Touch display PDA phone with slide keypad
EP4177708A1 (en) * 2005-03-04 2023-05-10 Apple Inc. Multi-functional hand-held device
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
JP2006285373A (ja) * 2005-03-31 2006-10-19 Mitsubishi Electric Corp 画面表示方法および情報端末
WO2006126131A1 (en) * 2005-05-25 2006-11-30 Koninklijke Philips Electronics N.V. Stylus-aided touchscreen control of ultrasound imaging devices
CN100419666C (zh) * 2005-07-08 2008-09-17 联想(北京)有限公司 屏幕同步切换控制方法
KR100723212B1 (ko) * 2005-12-09 2007-05-29 엘지전자 주식회사 화면 분할 표시 기능을 구비한 전자 단말기 및 그 화면표시 방법
EP3835920B1 (en) * 2006-03-03 2023-10-11 Apple Inc. Electronic device having display with touch sensitive perimeter for user interface and control
JP4700539B2 (ja) * 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
JP2007280019A (ja) 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
KR100827228B1 (ko) * 2006-05-01 2008-05-07 삼성전자주식회사 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
US7683886B2 (en) 2006-09-05 2010-03-23 Research In Motion Limited Disambiguated text message review function
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
KR100831721B1 (ko) * 2006-12-29 2008-05-22 엘지전자 주식회사 휴대단말기의 디스플레이 장치 및 방법
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
KR100844071B1 (ko) * 2007-05-09 2008-07-07 엘지전자 주식회사 웹페이지 표시가 가능한 이동통신 단말기 및 그 제어방법
CN101060502B (zh) * 2007-05-25 2010-05-26 北京金山软件有限公司 一种同时浏览聊天记录和最新消息的方法及装置
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US9442584B2 (en) * 2007-07-30 2016-09-13 Qualcomm Incorporated Electronic device with reconfigurable keypad
EP2045700A1 (en) * 2007-10-04 2009-04-08 LG Electronics Inc. Menu display method for a mobile communication terminal
KR101386473B1 (ko) * 2007-10-04 2014-04-18 엘지전자 주식회사 휴대 단말기 및 그 메뉴 표시 방법
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR101387527B1 (ko) * 2007-12-06 2014-04-23 엘지전자 주식회사 단말기 및 그 메뉴 아이콘 디스플레이 방법
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
KR101320919B1 (ko) * 2008-01-29 2013-10-21 삼성전자주식회사 분할 화면을 통한 gui 제공방법 및 이를 적용한멀티미디어 기기
KR101447752B1 (ko) * 2008-03-25 2014-10-06 삼성전자주식회사 터치스크린에서 화면 분할과 화면 표시장치 및 방법
JP4645678B2 (ja) * 2008-05-08 2011-03-09 ソニー株式会社 情報入出力装置及び情報入出力方法、並びにコンピュータ・プログラム
KR101461954B1 (ko) * 2008-05-08 2014-11-14 엘지전자 주식회사 단말기 및 그 제어 방법
JP5203797B2 (ja) * 2008-05-13 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及び情報処理装置の表示情報編集方法
KR101456001B1 (ko) * 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
JP2011018085A (ja) * 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
KR101556522B1 (ko) * 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8924892B2 (en) * 2008-08-22 2014-12-30 Fuji Xerox Co., Ltd. Multiple selection on devices with many gestures
US8082518B2 (en) * 2008-08-29 2011-12-20 Microsoft Corporation Scrollable area multi-scale viewing
KR20100027686A (ko) * 2008-09-03 2010-03-11 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
US8687359B2 (en) * 2008-10-13 2014-04-01 Apple Inc. Portable computer unified top case
JP2010097353A (ja) * 2008-10-15 2010-04-30 Access Co Ltd 情報端末
JP4683110B2 (ja) 2008-10-17 2011-05-11 ソニー株式会社 表示装置、表示方法及びプログラム
KR101510738B1 (ko) * 2008-10-20 2015-04-10 삼성전자주식회사 휴대단말의 대기화면 구성 방법 및 장치
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
WO2010050477A1 (ja) * 2008-10-28 2010-05-06 シャープ株式会社 2つの表示装置を有する電子機器、その制御方法および記録媒体
JP5526397B2 (ja) * 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5526400B2 (ja) * 2009-03-03 2014-06-18 シャープ株式会社 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
CN102301312A (zh) * 2008-12-01 2011-12-28 新加坡国立大学 用于娱乐、教育或通信的便携式引擎
WO2010092993A1 (ja) * 2009-02-13 2010-08-19 株式会社 東芝 情報処理装置
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US8610549B2 (en) 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
US20110138321A1 (en) 2009-12-04 2011-06-09 International Business Machines Corporation Zone-based functions in a user interface
US8736561B2 (en) * 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
EP2383631A1 (en) 2010-04-27 2011-11-02 Sony Ericsson Mobile Communications AB Hand-held mobile device and method for operating the hand-held mobile device
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
JP6457715B2 (ja) 2010-11-18 2019-01-23 グーグル エルエルシー 画面外の目に見えるオブジェクトの表面化
US9804893B2 (en) * 2011-04-08 2017-10-31 Qualcomm Incorporated Method and apparatus for optimized execution using resource utilization maps

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238517A1 (en) 2005-03-04 2006-10-26 Apple Computer, Inc. Electronic Device Having Display and Surrounding Touch Sensitive Bezel for User Interface and Control

Also Published As

Publication number Publication date
CA2818202C (en) 2019-05-21
KR102007023B1 (ko) 2019-10-01
US20180074691A1 (en) 2018-03-15
JP2014501971A (ja) 2014-01-23
KR102054234B1 (ko) 2019-12-10
WO2012068551A1 (en) 2012-05-24
AU2011329658B2 (en) 2017-03-16
US10235034B2 (en) 2019-03-19
EP2641155A2 (en) 2013-09-25
EP2641156A1 (en) 2013-09-25
CA2818410C (en) 2019-04-30
DE202011110334U1 (de) 2013-07-09
CA2818202A1 (en) 2012-05-24
JP6925186B2 (ja) 2021-08-25
JP6258035B2 (ja) 2018-01-10
AU2011329649B2 (en) 2016-12-01
CA2818410A1 (en) 2012-05-24
US20120127071A1 (en) 2012-05-24
US11036382B2 (en) 2021-06-15
CN108920038A (zh) 2018-11-30
JP2017199420A (ja) 2017-11-02
US20120131497A1 (en) 2012-05-24
US8875046B2 (en) 2014-10-28
CN103270486A (zh) 2013-08-28
JP6554150B2 (ja) 2019-07-31
US20210255762A1 (en) 2021-08-19
JP2013543201A (ja) 2013-11-28
US20200348833A1 (en) 2020-11-05
WO2012074798A1 (en) 2012-06-07
JP2017220252A (ja) 2017-12-14
JP2019164844A (ja) 2019-09-26
JP2022002152A (ja) 2022-01-06
US9830067B1 (en) 2017-11-28
KR20190092612A (ko) 2019-08-07
AU2011329658A1 (en) 2013-06-06
JP7018415B2 (ja) 2022-02-10
US10671268B2 (en) 2020-06-02
AU2011329649A1 (en) 2013-06-06
CN103415833A (zh) 2013-11-27
US20120131519A1 (en) 2012-05-24
WO2012068542A2 (en) 2012-05-24
JP6457715B2 (ja) 2019-01-23
KR20140063500A (ko) 2014-05-27
WO2012068542A3 (en) 2012-07-12
CN103415833B (zh) 2017-10-24
KR20130135871A (ko) 2013-12-11
EP2641155B1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
KR102188757B1 (ko) 오프-스크린 가시 객체들의 표면화
US9009612B2 (en) Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20120327009A1 (en) Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
AU2013100645A4 (en) Surfacing off-screen visible objects
AU2013100676A4 (en) Orthogonal dragging on scroll bars

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant