KR20140094534A - 사용자 인터페이스 간접 상호작용 - Google Patents

사용자 인터페이스 간접 상호작용 Download PDF

Info

Publication number
KR20140094534A
KR20140094534A KR1020147012323A KR20147012323A KR20140094534A KR 20140094534 A KR20140094534 A KR 20140094534A KR 1020147012323 A KR1020147012323 A KR 1020147012323A KR 20147012323 A KR20147012323 A KR 20147012323A KR 20140094534 A KR20140094534 A KR 20140094534A
Authority
KR
South Korea
Prior art keywords
sensing surface
user interface
input data
contact
sensing
Prior art date
Application number
KR1020147012323A
Other languages
English (en)
Other versions
KR102061360B1 (ko
Inventor
사라 지 윌리엄스
에릭 볼러 플리갤
윌리엄 로저 보스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140094534A publication Critical patent/KR20140094534A/ko
Application granted granted Critical
Publication of KR102061360B1 publication Critical patent/KR102061360B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

본 발명에 따르면, 사용자 인터페이스 내의 객체를 개시, 인게이지, 및/또는 닫기 위해 간접 상호작용 디바이스(예로서, 마우스, 터치패드 등)로부터 수신된 입력 데이터를 이용하는 하나 이상의 기술 및/또는 시스템이 제공된다. 예를 들어, 간접 상호작용 디바이스의 감지 표면이 두 개(또는 그 이상)의 부분으로 분할될 수 있으며, 제 1 부분은 객체를 개시, 인게이지, 및/또는 닫기 위해 이용되고, 제 2 부분은 사용자 인터페이스 내에서 (예로서, 커서를) 네비게이트하기 위해 이용된다. 객체가 사전정의된 제스처(들)의 수신에 기초하여 개시되었을 때, 콘택트(예로서, 손가락)와 제 1 부분 사이의 상호작용을 통한 객체와의 상호작용을 제공하기 위해서 감지 표면의 제 1 부분이 객체에 맵핑될 수 있다. 또한, 제 1 부분이 객체에 맵핑되었을 때 및/또는 객체 상에서 수행된 동작에 따라, 제 1 부분의 표면 영역이 변경(예로서, 확장)될 수 있다.

Description

사용자 인터페이스 간접 상호작용{USER INTERFACE INDIRECT INTERACTION}
통상적으로, 사용자는 다양한 입력 디바이스들을 이용하여 사용자 인터페이스의 요소들과 상호작용한다. 일반적으로, 이러한 입력 디바이스들은 디바이스가 사용자 인터페이스와 상호작용하는 타입에 기초하여 직접 상호작용 디바이스 및/또는 간접 상호작용 디바이스로서 분류될 수 있다. 예를 들어, 터치스크린과 같은 직접 상호작용 디바이스는 사용자가 모니터상에 디스플레이된 것과 직접 상호작용하는 것을 가능케 하도록 구성되는 반면, 예를 들어 마우스 또는 키보드와 같은 간접 상호작용 디바이스는 사용자가 모니터상에 디스플레이된 것과 간접적으로 상호작용하는 것을 가능케 하도록 구성된다.
마우스 및 예를 들어 터치패드와 같이 마우스를 모방한(emulate) 디바이스는 간접 상호작용 디바이스의 보다 인기있는 타입의 일부이다. 사용자는 디바이스와 상호작용하고, 이 상호작용은 디스플레이 상의 위치로 맵핑된다. 예를 들어, 마우스는 움직임을 감지할 수 있으며, 이 움직임은 추정된 시작 위치 및 감지된 디바이스와의 상호작용에 기초하여 위치로 맵핑된다. 터치패드는 흔히 마우스와 유사한 방식으로 사용된다. 터치패드 상에서 콘택트(예로서, 손가락, 스타일러스 등) 동작이 감지되면, 감지된 동작이 마우스 입력과 유사한 방식으로 처리된다.
본 요약부는 아래의 상세한 설명에서 추가로 기술되는 개념들의 선택을 간략화된 형태로 소개하도록 제공되었다. 본 요약부는 청구된 청구사항의 중요 요소 또는 기본 특성을 식별하기 위한 것이 아니며, 청구된 청구사항의 범주를 제한하도록 사용되는 것도 아니다.
본 발명에 따르면, 간접 상호작용 디바이스의 감지 표면의 제 1 부분을 제 1 태스크를 수행하도록 이용하고 감지 표면의 제 2 부분은 다른 태스크를 수행하도록 이용되는 하나 이상의 시스템 및/또는 기술이 제공된다. 예시로서, 감지 표면의 제 1 부분은 컴퓨터 시스템의 사용자 인터페이스 상의 객체(예로서, 메뉴, 온-스크린 키보드 등)를 열거나 닫도록, 및/또는 사용자 인터페이스 상의 객체들 사이에서 트랜지션(transition)하도록 이용될 수 있는 반면, 감지 표면의 다른 부분은 사용자 인터페이스 내에서의 네비게이트(navigate)를 위해 이용될 수 있다. 콘택트(예로서, 손가락, 스타일러스 등)가 사전정의된 방식으로 감지 표면의 제 1 부분에 대해 적용(apply)되었을 때(예를 들어, 특정한 제스처/움직임을 만들고/만들거나 명시된 크기의 압력을 가하는 등), 제스처와 연관된 태스크가 시작될 수 있다.
일 실시예에서, 간접 상호작용 디바이스로부터의 입력을 통해 객체가 열리고/개시될 때, 감지 표면의 둘 이상의 부분이 사용자 인터페이스의 서로 다른 영역으로 맵핑될 수 있다. 예를 들어, 감지 표면의 제 1 부분은 개시된 객체(또는 개시된 객체의 일부분)로 맵핑될 수 있는 반면, 제 2 부분은 보다 전반적으로 (예를 들어, 포인터가 사용자 인터페이스 내에서 네비게이트할 수 있도록) 사용자 인터페이스에 맵핑된다. 제 1 부분이 객체에 맵핑되고 제 2 부분이 보다 전반적으로 (예로서, 객체를 포함하는) 사용자 인터페이스에 맵핑되기 때문에, 일 예시에서 제 2 부분은 제 1 부분도 맵핑되는 사용자 인터페이스의 부분으로 맵핑(예로서, 오버랩)될 수 있다. 예를 들어, 제 2 부분의 적어도 일부가 제 1 부분이 맵핑된 객체에 맵핑될 수 있다. 다른 실시예에서, (예를 들어, 맵핑된 영역 내에 오버랩이 존재하지 않도록) 감지 표면의 제 1 및 제 2 부분은 디스플레이의 서로 다른 영역에 맵핑될 수 있다.
다른 실시예에서, 제 1 및 제 2 부분의 상대적인 표면 영역이 시작된 태스크에 기초하여 변경될 수 있다. 예를 들어, 일 실시예에서 감지 표면의 제 1 부분에 대해 적용된 제스처(예를 들어, 움직임의 방식)에 기초한 태스크의 시작은, 제 1 부분과 연관된 표면 영역의 크기가 제 2 부분과 연관된 표면 영역에 대해 증가하거나 감소하는 것을 발생시킬 수 있다. 예시로서, (예로서 감지 표면에 적용된 제스처에 기초하여) 객체가 사용자 인터페이스 내에서 열렸을 때 제 1 부분의 표면 영역이 확장될 수 있으며, 확장된 제 1 부분은 열린 객체에 맵핑될 수 있다. 유사하게, 객체가 닫혔을 때 제 1 부분의 표면 영역이 (예로서, 자신의 초기 크기로 다시) 축소될 수 있다.
전술된 내용 및 그와 관련된 목적을 달성하기 위해서, 아래의 설명 및 첨부된 도면이 예시적인 측면과 구현을 개시한다. 이것은 하나 이상의 측면이 사용될 수 있는 다양한 방식들 중 일부만을 나타낸다. 본 발명의 다른 측면, 장점 및 신규한 특성들이 아래의 상세한 설명 및 첨부된 도면으로부터 명백해질 것이다.
도 1은 사용자 인터페이스와 상호작용하기 위해 간접 상호작용 디바이스를 이용하는 예시적인 방법을 도시한 도면.
도 2는 사전정의된 제스처를 나타내는 입력 데이터를 수신하기 전 간접 상호작용 디바이스의 예시적인 감지 표면을 도시한 도면.
도 3은 사전정의된 제스처를 나타내는 입력 데이터를 수신하기 전의 예시적인 디스플레이를 도시한 도면.
도 4는 사전정의된 제스처를 나타내는 입력 데이터를 수신한 후의 예시적인 디스플레이를 도시한 도면.
도 5는 사전정의된 제스처를 나타내는 입력 데이터를 수신한 후 간접 상호작용 디바이스의 예시적인 감지 표면을 도시한 도면.
도 6은 사전정의된 제스처를 나타내는 입력 데이터를 수신한 후 간접 상호작용 디바이스의 예시적인 감지 표면을 도시한 도면.
도 7은 사전정의된 제스처를 나타내는 입력 데이터를 수신한 후의 예시적인 디스플레이를 도시한 도면.
도 8은 사용자 인터페이스와 상호작용하기 위해 간접 상호작용 디바이스를 이용하는 예시적인 시스템을 도시한 도면.
도 9는 본 명세서에서 개진된 하나 이상의 규정들의 세트를 구현하도록 구성된 프로세서 실행가능한 명령이 포함될 수 있는 예시적인 컴퓨터 판독가능한 매체를 도시한 도면.
도 10은 본 명세서에 개진된 하나 이상의 규정들의 세트가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도면.
청구된 청구사항은 이제 도면을 참조하여 기술될 것이며, 일반적으로 도면들에 걸쳐 동일한 참조번호가 동일한 요소들을 지칭하도록 사용되었다. 아래의 상세한 설명에서, 청구된 청구사항에 대한 철저한 이해를 제공하기 위해 설명의 목적으로 다수의 특정한 세부사항들이 개시되었다. 그러나, 청구된 청구사항이 이러한 특정한 세부사항들 없이도 실시될 수 있음이 명백할 것이다. 다른 사례에서, 청구된 청구사항에 대한 설명을 용이하게 하도록 구조 및 디바이스가 블록 다이어그램의 형태로 도시되었다.
특히, 컴퓨터 시스템의 사용자 인터페이스 내의 객체를 개시하도록 간접 상호작용 디바이스의 부분들을 이용하고 및/또는 (예를 들어, 감지 표면의 맵핑된 부분이 객체를 조종하기 위해 이용될 수 있도록) 간접 상호작용 디바이스의 감지 표면(예로서, 터치 감응 표면, 열 감지 표면 등)의 부분들을 객체에 맵핑하기 위한 하나 이상의 시스템 및/또는 기술이 제공되었다. 예를 들어, 일 실시예에서 감지 표면의 하나 이상의 에지 부분들이 감지 표면에 대해 적용된 콘택트(예를 들어, 손가락, 스타일러스 등)에 의해 이루어질 수 있는 다양한 사전정의된 제스처(예를 들어, 사전정의된 방식(들)의 움직임)를 감지하는 영역을 포함할 수 있다. 영역 내에서 시작되고/되거나 영역 내에 포함된 사전정의된 제스처의 검출에 따라, 예를 들어 사전정의된 제스처에 상응하는 태스크가 발생할 수 있다. 이러한 태스크의 예시로서, 컴퓨터 시스템의 디스플레이 상에 제시된 사용자 인터페이스의 메뉴를 개시할 수 있고, 온-스크린 키보드를 사용자 인터페이스 내에서 개시할 수 있고/있거나, 제시된 사용자 인터페이스의 일부분을 예를 들어 제 1 애플리케이션을 제시하는 것과 제 2 애플리케이션을 제시하는 것 사이에서 트랜지션할 수 있다.
또한 일 실시예에서, 사전정의된 제스처의 검출에 기초하여 하나 이상의 에지 부분이 개시된 객체(예로서, 메뉴, 온-스크린 키보드 등)와 같이 사용자 인터페이스 내에 포함된 객체로 맵핑될 수 있다. 따라서, 사용자는 감지 표면의 제 2 부분을 통해 사용자 인터페이스 내에서 네비게이트하는 동시에 하나 이상의 에지 부분을 이용하여 객체를 조종 및/또는 제어할 수 있다. 일 실시예에서, 감지 표면의 에지 부분이 객체로 맵핑되었을 때, 감지 표면의 에지 부분이 자신의 처음 사이즈(예로서, 제스처 검출 전의 사이즈)에 대해서 확장될 수 있다. (예를 들어, 객체가 사용자 인터페이스 내에 숨겨졌기 때문에) 에지 부분이 더 이상 객체로 맵핑되지 않으면, 에지 부분을 통해 제 2 객체가 개시될 때까지(예를 들어, 그리고 에지 부분이 제 2 객체와 같은 다른 객체로 재맵핑될 때까지) 사이즈가 (예로서 자신의 초기 사이즈로) 축소될 수 있다.
본 명세서에서 객체의 개시, 애플리케이션들 사이의 트랜지션, 및/또는 객체의 조종을 위해 간접 상호작용 디바이스의 하나 이상의 에지 부분을 이용하는 것을 구체적으로 언급하고 있지만, 간접 상호작용 디바이스의 다른 부분들이 마찬가지로 또는 다르게 사용될 수 있다(예를 들어, 본 출원은 에지 부분으로 한정되는 것은 아니다). 또한, 달리 특별하게 언급되지 않는 한, 감지 표면의 단일 부분이 복수의 기능들을 위해 사용될 수 있음을 이해할 것이다. 예를 들어, 감지 표면은 단지 단일 부분을 포함할 수 있으며, 이때 단일 부분은 (특정화된 태스크를 시작할 수 있는) 사전정의된 제스처를 검출하고 사용자 인터페이스 내에서의 네비게이트를 위해 이용되도록 구성된다.
또한, 감지 표면이 복수의 부분들을 포함하는 것으로 기술되었다는 점에서, 이러한 부분들이 실질적으로 동일한 및/또는 유사한 하드웨어로 이루어질 수 있기 때문에 사용자가 이러한 복수의 부분들을 시각적으로 구별하는 것이 어려울 수 있고/있거나 불가능할 수 있다는 것이 이해될 것이다. 그럼에도, 일 실시예에서 다양한 부분들이 시각적으로 구별가능할 수 있다. 예를 들어, LED 조명 및/또는 다른 효과가 사용자가 부분들을 시각적으로 구별하는 것을 돕도록 활용될 수 있다(예로서, 제 1 부분이 제 2 부분과 다르게 조명될 수 있다). 또한, 하나 이상의 추가적인 및/또는 서로 다른 타입들의 센서가 감지 표면과 함께, 감지 표면을 보충하도록 사용될 수 있다. 예를 들어, 제스처가 감지 표면 밖에서 시작하여 감지 표면 으로 진입할 때 추가 센서가 이를 검출하도록 감지 표면의 에지 근처에 위치될 수 있다(예를 들어, 베젤(bezel) 센서, 광학 센서, 자기 센서, 전자기 센서 등). 이러한 센서들은, 예를 들어 특히 감지 표면에 콘택트(예를 들어, 손가락)가 접근하는 것, 표면으로부터 멀어지는 것 등을 검출하도록 감지 표면의 다른 부분으로부터 감지 표면의 에지를 구별하는 것이 유용할 수 있다. 임의의 이러한 시나리오에서, 감지 표면은 이러한 추가적인 센서, 다른 센서 등을 포함할 수 있다.
본 명세서에서 "간접 상호작용(indirect interaction)" 등의 표현은 엔티티(예로서, 사용자)는 디스플레이가 아닌 디바이스와 상호작용하여 디스플레이 상의 사용자 인터페이스가 변경되도록 하는 상호작용의 형태를 기술하기 위해 광범위하게 사용되었음을 이해할 수 있을 것이다. 예를 들어, 사용자가 랩탑의 디스플레이/모니터 상에 제시된 포인터를 제어하기 위한 터치패드와 상호작용할 수 있기 때문에 랩탑 컴퓨터의 터치패드는 간접 상호작용 디바이스의 예시일 수 있다. 일부 애플리케이션에서, 직접 상호작용 디바이스는 간접 상호작용 디바이스로서 이용될 수 있다는 것 또한 이해될 것이다. 예시로서, 터치스크린을 포함하는 모바일 디바이스가 텔레비전을 제어하기 위한 원격 제어로서 이용될 때, 모바일 디바이스의 터치스크린은 예를 들어 텔레비전 상에 디스플레이되는 사용자 인터페이스(예로서, 타겟, 커서 등)를 조종하기 위한 간접 상호작용 디바이스로서 이용될 수 있다.
도 1은 간접 상호작용 디바이스를 이용하여 컴퓨터 시스템의 사용자 인터페이스 상의 객체를 개시하고, 개시된 객체를 인게이지(engage)하고, 및/또는 (더 이상 사용자 인터페이스 내에 제시되지 않도록) 객체를 숨기기 위한 예시적인 방법(100)을 도시한다. 이러한 방법(100)은 일반적으로 터치스크린을 포함하지 않는 랩탑 및/또는 데스크톱 컴퓨터에 대한 특정한 적용가능성을 찾을 수 있지만, 이것으로 제한되는 것은 아니다. 예를 들어, 다른 실시예에서, 예시적인 방법(100)은 (예를 들어, 터치스크린을 통해 일반적으로 획득가능하지 않은 정확도가 요구되는 애플리케이션에서와 같이) 간접 상호작용 디바이스가 터치스크린을 보충할 수 있는 터치스크린과 함께 사용될 수 있다.
예시적인 방법(100)이 간접 상호작용 디바이스를 이용하여 객체를 개시, 인게이지 및 숨기는 것을 제공하지만, 이러한 동작들 중 하나 이상이 본 명세서에 기술된 것과 다른 기술을 사용하여 수행될 수 있음을 이해할 것이다. 예를 들어 다른 실시예에서, 객체는 사전결정된 기간이 만료된 후에 및/또는 사용자 인터페이스의 다른 측면이 인게이지되었을 때 자동으로 숨겨지고/숨겨지거나 닫힐 수 있다. 따라서, 특허청구범위의 범주를 포함하는 본 개시물이 반드시 본 명세서에 기술된 동작들 각각을 포함하는 것으로 제한되는 것은 아니다. 다른 예시로서, 단계(114)에서 수신되고 감지 표면의 제 1 부분에 대해 제 2 사전정의된 방식으로 적용된 콘택트를 나타내는 제 2 입력 데이터가 객체를 인게이지 및/또는 숨기도록 이용될 수 있다(예를 들어, 따라서 단계(118)와 관련하여 기술된 동작이 생략될 수 있다). 예를 들어, 만약 콘택트가 감지 표면의 제 1 부분에 대해 제 1 방식으로 적용되면(예를 들어, 콘택트에 명시된 크기의 힘이 인가되고, 콘택트가 특정한 제스처를 이루는 등), 객체는 단계(116)에서 인게이지될 수 있다. 만약 (예로서, 제 1 방식으로 적용되는 대신) 콘택트가 감지 표면의 제 1 부분에 대해 제 2 방식으로 적용되면(예를 들어, 콘택트가 사전정의된 방식으로 이동되거나(예로서, 콘택트가 사전정의된 제스처를 수행), 콘택트가 감지 표면에 다른 크기의 힘을 인가하는 등), 객체는 (예를 들어, 단계(116) 및/또는 단계(118)에서 기술된 동작들을 바이패스함으로써) 단계(120)에서 숨겨질 수 있다. 따라서, 예시적인 방법은 단지 하나의 예시적인 방법을 도시한 것이며, 실제로 애플리케이션 내에서 구현되는 방법은 본 명세서에 기술되지 않았을 수 있는 추가적인 동작들을 포함할 수 있고/있거나, 본 명세서에 기술된 방법은 하나 이상의 애플리케이션에서 수행되지 않았을 수 있는 추가적인 동작들을 포함할 수 있다(예를 들어, 단계(116), 단계(118), 및/또는 단계(120)와 같은 동작들(또는 다른 동작들)이 애플리케이션, 구현, 구성 등에 의존하여 생략될 수 있다). 또한, 입력 데이터가 수신되었을 때 발생하는 이벤트(예로서, 객체가 개시, 인게이지, 및/또는 숨겨지는지 여부)는 콘택트가 감지 표면에 대해 적용되는 방식의 함수일 수 있다. 따라서, 예시적인 방법이 반드시 이벤트들의 흐름을 기술한 것으로 해석되는 것은 아니다(예를 들어, 객체가 숨겨지도록 하기 위한 제스처를 나타내는 입력 데이터가, 객체가 인게이지되도록 하기 위한 제스처를 나타내는 입력 데이터 이전에 수신될 수 있기 때문이다).
예시적인 방법(100)은 단계(102)에서 시작하며, 컴퓨터 시스템에 연결된 간접 상호작용 디바이스가 단계(104)에서 검출된다. 예시로서, 터치패드가 유선 접속(예로서, USB 등) 및/또는 무선 접속(예로서, 블루투스 접속, 적외선 접속 등)을 통해서 컴퓨터 시스템에 연결될 수 있다. 또한, 간접 상호작용 디바이스는 컴퓨터 시스템이 제조된 시점에 컴퓨터 시스템에 연결될 수 있으며, 따라서 간접 상호작용 디바이스가 예를 들어 컴퓨터 시스템의 초기 부팅시에 검출될 수 있음을 이해할 것이다. 이와 달리, 간접 상호작용 디바이스는 예를 들어 최종 사용자에 의해 컴퓨터 시스템에 연결될 수 있으며, 예를 들어 연결된 간접 상호작용 디바이스에 따라 및/또는 후속하는 재부팅에 따라 검출될 수 있다.
간접 상호작용 디바이스를 검출하면, 컴퓨터 시스템 및/또는 그의 구성요소가 간접 상호작용 디바이스와 컴퓨터 시스템 사이의 데이터의 이송을 제공하고/하거나 예를 들어 간접 상호작용 디바이스와의 상호작용을 위해 컴퓨터를 준비하고/하거나 그 역도 성립하도록 구성되는 드라이버를 설치하도록 구성될 수 있다.
예시적인 방법(100)은 또한 단계(106)에서 간접 상호작용 디바이스의 감지 표면에 대해 제 1 사전정의된 방식으로 적용된 콘택트를 나타내는 제 1 입력 데이터를 수신하는 것을 포함한다. 예시로서, 사전정의된 방식으로 움직이는 콘택트를 나타내고(예를 들어, 하나 이상의 사전정의된 제스처를 수행), 감지 표면에 대해 특정 크기의 압력을 가하는 콘택트를 나타내는 등의 입력 데이터가 수신될 수 있지만 이것으로 제한되는 것은 아니다. 명확성을 위해서, 제스처 등이 본 명세서에서 감지 표면과 관련하여 적용되는 콘택트를 기술하도록 사용될 수 있음을 이해할 것이다. 이러한 표현의 사용은 움직임과 같은 애플리케이션의 특정 타입을 의미하는 것이 아니며, 보다 일반적으로 감지 표면에 대해 적용되는 콘택트를 지칭하도록 사용되는 것이다.
예시로서, 테이블 또는 다른 데이터 구조가 사용자 인터페이스 내의 특정한 태스크/이벤트를 트리거링하도록 (예를 들어 사용자, 애플리케이션 개발자, 컴퓨터 제조자 등에 의해) 사전정의된 복수의 제스처를 포함할 수 있다. 예를 들어, 이러한 태스크/이벤트는 사용자 인터페이스 내에서 객체를 여는 것, 객체를 닫는 것, 사용자 인터페이스 내에 제시된 애플리케이션들 사이에서 트랜지션하는 것, 사용자 인터페이스 내에 제시된 객체들 사이에서 트랜지션하는 것 등을 포함할 수 있다. (예를 들어, 간접 상호작용 디바이스가 동작가능하게 연결되는 컴퓨터 시스템에 의해) 사전정의된 제스처를 나타내는 입력 데이터도 수신될 수 있는 반면, 이러한 입력 데이터는 (예를 들어, (예로서, 사용자 인터페이스 내에서 이동하는 마우스 포인터와 유사하게) 사용자 인터페이스 내에서 네비게이트하기 위해서와 같은) 다른 목적을 위해 이용될 수도 있다.
사전정의된 제스처는, 특정한 방식(예로서, 시계방향, 반시계방향 등)으로 콘택트를 회전하는 것, 특정 방식으로 콘택트의 움직임 방향을 변경하는 것, 감지 표면의 특정 영역/부분에서 제스처를 시작 및/또는 종료하는 것, 특정한 크기의 힘을 가하는 것, 감지 표면의 특정 부분을 터치하는 것, 제스처를 감지 표면 밖에서 시작하여 감지 표면 안에서 종료하는 것, 제스처를 감지 표면 안에서 시작하여 감지 표면 밖에서 종료하는 것 등을 포함할 수 있다. 예시로서, 감지 표면은 (예를 들어 제 1 입력 데이터를 수신하기 전에) 둘 이상의 부분들로 분할될 수 있다. 제 1 부분은 (예를 들어 하나 이상의 객체의 개시를 초기화 및/또는 사용자 인터페이스 내의 객체를 닫는 것과 같이) 사용자 인터페이스 내에서의 일부 이벤트를 트리거링하도록 이용될 수 있고, 제 2 부분은 예를 들어 디스플레이된 사용자 인터페이스 내에서 이동하는 것과 같은 일부 다른 기능/목적을 위해 이용될 수 있다. 따라서, 감지 표면의 제 1 부분 내에서 발생, 시작, 및/또는 종료하는 제스처는 사용자 인터페이스 내의 일부 이벤트를 트리거링할 수 있는 반면, 감지 표면의 제 2 부분 내에서 발생, 시작, 및/또는 종료하는 제스처는 예를 들어 사용자 인터페이스 내의 타겟(예로서, 포인터)을 이동시키기 위해 이용될 수 있다.
예시적인 방법(100) 내의 단계(108)에서, (예로서, 단계(106)에서) 객체가 제 1 입력 데이터를 수신한 것에 응답하여 사용자 인터페이스에서 개시된다. 즉, 수신된 입력 데이터가 객체를 개시한 것과 일치하는 제스처를 나타낼 때, 객체는 사용자 인터페이스 내에서 개시될 수 (예로서, 열릴 수) 있다. 이러한 객체는 메뉴, 온-스크린 키보드, 및/또는 예를 들어 제 1 입력 데이터를 수신하기 전에 디스플레이되지 않은 (또는 (예로서, 적어도 부분적으로 불분명하기 때문에) 활발하게 디스플레이되지 않은) 다른 사용자 인터페이스 특성을 포함할 수 있다. 이러한 방식으로, 간접 상호작용 디바이스는 예를 들어 제 1 입력 데이터의 수신에 앞서 사용자 인터페이스 내에서 닫힌 것으로 나타나는 (예로서, 및/또는 다른 식으로 비활성화된) 예로서 메뉴 및/또는 온-스크린 키보드를 열도록 이용될 수 있다.
예시적인 방법(100)의 단계(110)에서, 간접 상호작용 디바이스의 감지 표면의 적어도 제 1 부분이 사용자 인터페이스 내에서 제시되는 개시된/열린 객체로 (예를 들어, 절대 맵핑, 상대 맵핑, 및/또는 다른 맵핑 기술을 이용하여) 맵핑된다. 즉, 다시 말하면 (전체 감지 표면을 포함하거나 그보다 작은 감지 표면을 포함할 수 있는) 감지 표면의 적어도 일부분이 객체에 맵핑된다. 이러한 방식으로, 콘택트가 감지 표면의 제 1 부분에 적용될 때, 객체가 인게이지될 수 있다. 예시로서, 객체는 5개의 선택(예를 들어, 5개의 버튼)을 포함하는 메뉴를 포함할 수 있다. 감지 표면의 제 1 부분은 따라서 5개의 섹션으로 분할될 수 있으며, 각각의 섹션은 예를 들어 5개의 선택 중 하나로 맵핑될 수 있다. 후속하여, 콘택트가 5개의 섹션 중 하나 이상에 대해 적용되면, 콘택트가 적용된 섹션(들)에 상응하는 하나 이상의 선택이 예를 들어 사용자 인터페이스 내에서 선택 및/또는 (예를 들어, 선택을 하이라이팅함으로써) 구별될 수 있다. 이러한 특성은 도 2 내지 7과 관련하여 추가로 기술될 것이다.
절대 맵핑 기술은 (예를 들어 간접 상호작용 디바이스의 일부분이 단지 객체(들)로 맵핑될 때) 디스플레이 내 특정 객체(들) 및/또는 디스플레이의 상응하는 축으로 간접 상호작용 디바이스의 축을 스케일하도록 일반적으로 구성된다. 예를 들어, 간접 상호작용 디바이스의 x-축은 디스플레이/객체의 상응하는 x축으로 스케일될 수 있으며, 그 결과 x 방향에서 간접 상호작용 디바이스의 감지 표면 상의 각각의 포인트가 디스플레이/객체 상의 단지 하나의 포인트(예로서, 또는 특정 수의 포인트)로 맵핑한다. 유사하게, 간접 상호작용 디바이스의 y-축은 디스플레이/객체의 상응하는 y-축으로 스케일될 수 있으며, 그 결과 y-축에서 간접 상호작용 디바이스의 감지 표면 상의 각각의 포인트가 디스플레이/객체 상의 단지 하나의 포인트(예를 들어, 또는 특정 수의 포인트들)로 맵핑한다. 통상적으로, 터치스크린 및/또는 펜 디지타이저는 절대 맵핑 기술을 이용해왔다.
상대 맵핑 기술은 감지 표면이 일반적으로 디스플레이/객체(예로서, 사용자에게 보여지지 않을 수 있는)의 이동가능한 서브영역으로 맵핑된다는 점에서 절대 맵핑 기술과는 다르다. 즉, 맵핑은 콘택트(예로서, 손가락)가 감지 표면에 의해 검출되는 시간에 디스플레이/객체 상에서 타겟(예로서, 포인터)의 현재 위치의 함수이며, 타겟의 위치에서의 변경에 기초하여 변화할 수 있다. 예를 들어, 콘택트가 검출되었을 때 디스플레이/객체의 상단 우측 사분면에서 타겟이 중심화되었을 때, 감지 표면은 감지 표면의 중심점이 타겟의 위치와 일치하도록 맵핑될 수 있다(예로서, 감지 표면 상에)(예로서, 단지 디스플레이/객체의 상단 우측 사분면이 맵핑될 수 있다). 만약 소정의 기간 동안 감지 표면에 의해 콘택트가 검출되지 않으면, 콘택트가 다시 검출되었을 때, 맵핑은 예를 들어 타겟의 위치가 감지 표면의 중심점으로 맵핑되도록 변경될 수 있다. 통상적으로, 마우스 및/또는 마우스-모방 트랙패드가 상대적인 맵핑 기술을 이용하였다.
만약 적어도 일부 감지 표면이 개시된 객체로 맵핑되지 않는다면, 남아있는 부분(예를 들어, 또는 적어도 (110)에서 객체로 맵핑되지 않은 감지 표면의 위치)이 예시적인 방법의 (112)에서 하나 이상의 맵핑 기술을 이용하여 사용자 인터페이스로 맵핑될 수 있다(예를 들어, 절대 맵핑, 상대 맵핑, 절대 맵핑과 상대 맵핑의 조합 등). 전형적으로, 남아있는 부분은 객체를 포함하지 않는 사용자 인터페이스의 부분들로 맵핑되지만(제 1 부분이 단계(110)에서 맵핑됨), 일 실시예에서, 제 2 부분은 적어도 부분적으로 객체로 맵핑될 수 있다. 예를 들어, 제 2 부분은 전체 사용자 인터페이스로 맵핑될 수 있다. 객체가 사용자 인터페이스 내에 포함되기 때문에, 제 2 부분은 적어도 부분적으로 객체로 맵핑될 수 있다(객체가 디스플레이를 채우지 않는 한, 객체를 포함하지 않는 사용자 인터페이스의 부분들로 제 2 부분의 적어도 일부가 맵핑될 수 있다). 이러한 방식으로, 타겟(예로서, 포인터)은 제 2 부분에 대해 적용된 콘택트를 나타내는 입력 데이터에 적어도 부분적으로 기초하여 객체에 대해 움직일 수 있으며, 객체는 제 1 부분에 대해 적용된 동일한 및/또는 서로 다른 콘택트를 나타내는 입력 데이터에 적어도 부분적으로 기초하여 인게이지될 수 있다.
사용자 인터페이스에 감지 표면의 제 2 부분을 맵핑함으로써, 예를 들어 객체로 맵핑된 제 1 부분이 (동시에) 객체를 인게이지하도록 이용될 수 있는 반면, 제 2 부분은 사용자 인터페이스를 네비게이트하고/하거나 일부 다른 기능을 수행하도록 이용될 수 있다. 즉, 다시 말하면 감지 표면(예로서, 단계(110)에서 맵핑된)의 제 1 부분은 객체를 네비게이트 및/또는 인게이지하도록 이용될 수 있는 반면, 감지 표면의 제 2 부분은 사용자 인터페이스의 다른 부분을 네비게이션 및/또는 인게이지하도록 이용될 수 있고/있거나 일부 다른 기능(예로서, 버튼 또는 키가 탭되었을 때 입력, 선택, 반환 등으로서의 역할)을 수행하도록 이용될 수 있다.
예시적인 방법(100)의 단계(114)에서, 감지 표면의 제 1 부분에 대해 제 2 사전정의된 방식으로 적용된 콘택트를 나타내는 제 2 입력 데이터가 수신되었을 때, 객체는 제 2 입력 데이터에 적어도 부분적으로 기초하여 단계(116)에서 인게이지된다. 예를 들어, 전술된 바와 같이, 단계(108)에서 개시된/열린 객체는 5개의 선택(예로서, 5개의 버튼)을 포함할 수 있으며, 감지 표면의 제 1 부분이 5개의 섹션으로 분할될 수 있고, 이때 각각의 섹션은 5개의 선택 중 하나에 상응한다. 제 2 입력 데이터는 5개의 섹션 중 하나 이상에 대해 적용된 콘택트를 나타낼 수 있으며, 제 2 입력 데이터에 기초하여, 콘택트가 적용된 섹션들에 상응하는 선택이 인게이지될 수 있다.
특허청구범위 및/또는 설명 전반에 걸쳐 제 1, 제 2, 제 3 등의 용어가 요소들을 구별하도록 이용될 수 있다. 그러나, 이러한 용어들은 객체/특성이 고유함을 의미하고/하거나 시간적인 순서를 의미하기 위한 것은 아니다. 예를 들어, 제 1 콘택트가 감지 표면에 대해 적용됨을 나타내는 제 1 입력 데이터를 수신하고 제 2 콘택트가 감지 표면에 대해 적용됨을 나타내는 제 2 입력 데이터를 수신하는 것에 대한 설명이 제공할 수 있다. 명시적으로 언급되지 않는 한, 제 1 및 제 2 콘택트는 동일한 콘택트일 수도 있고 제 1 콘택트가 제 2 콘택트와 서로 다를 수도 있다(예로서, 제 1 및 제 2 콘택트가 고유한 콘택트임).
본 명세서에서 제 2 입력 데이터를 수신하는 것 및/또는 객체를 인게이지하기 위해 제 2 입력 데이터를 이용하는 것에 대해 특히 언급하였지만, (예로서, 객체를 인게이지 하지 않는) 다른 입력 데이터도 간헐적으로 수신될 수 있음을 이해할 것이다. 예를 들어, 감지 표면이 제 1 및 제 2 부분을 포함하는 경우에, 제 2 부분에 대해 적용된 하나 이상의 콘택트를 나타내는 입력 데이터 또한 수신될 수 있다. 이러한 입력 데이터는 예를 들어 사용자 인터페이스의 다른 측면/객체를 인게이지하고 및/또는 사용자 인터페이스 내에서 타겟(예로서, 포인터)을 네비게이트하기 위해 이용될 수 있다.
예시적인 방법(100)의 단계(118)에서, 간접 상호작용 디바이스의 감지 표면에 대해 제 3 사전정의된 방식으로 적용된 콘택트를 나타내는 제 3 입력 데이터가 수신되며, 객체는 단계(120)에서 제 3 입력 데이터를 수신한 것에 응답하여 숨겨지고/닫힌다. 예를 들어, 일 실시예에서 (예로서, 단계(108)에서 개시된) 객체가 콘택트가 단계(108)에서 객체를 개시한 제스처와 상반되는 제스처를 수행할 때 숨겨지고/숨겨지거나 닫힐 수 있지만, 다른 유형의 제스처가 객체를 (적어도 부분적으로 불분명하도록) 숨겨지고/숨겨지거나 닫히게 할 수 있다. 예시로서, 감지 표면의 에지로부터 이동하는 하나 이상의 콘택트에 기초하여 객체가 개시되는/열리는 경우에, 객체는 감지 표면의 동일한 및/또는 서로 다른 에지를 향해 이동하는 콘택트에 의해 숨겨질/닫힐 수 있다. 다른 예시로서, 감지 표면의 제 1 에지에 대해 적용된 콘택트는 단계(108)에서 객체가 개시되게 할 수 있는 동시에 감지 표면의 제 2 에지에 대해 적용된 콘택트(예로서, 동일한 및/또는 서로 다른 콘택트)는 객체가 단계(120)에서 숨겨지도록/닫히도록 할 수 있다.
객체의 개시 및/또는 인게이지를 금지하거나 및/또는 숨겨진/닫힌 객체를 금지하도록 간접 상호작용 디바이스의 감지 표면에 적용될 수 있는 다수의 제스처가 고안되었음을 이해할 것이다. 전술된 제스처 및 아래에서 기술되는 제스처는 단지 적용될 수 있는 시각적으로 셀 수 없는 제스처들의 일부 예시를 제공하는 것이며, 특허청구범위의 범주를 포함하는 본 발명이 본 명세서에 기술된 특정한 제스처/움직임으로 실시의 범위를 제한하는 것은 아니다.
또한, 예시적인 방법 전반을 통해 감지 표면에 대해 적용된 콘택트를 나타내는 입력 데이터를 수신하는 것이 참조되었지만, 입력 데이터가 감지 표면에 대해 적용된 복수의 콘택트를 나타낼 수 있음을 이해할 것이다. 또한, 일 실시예에서, 입력 데이터가 단지 하나의 콘택트와 상반되게 복수의 콘택트를 나타내면, 서로 다른 태스크가 발생할 수 있다. 예를 들어, 단일 하나의 콘택트(예로서, 하나의 손가락)에 의해 수행된 제스처를 나타낸 입력 데이터가 제 1 객체를 개시하게 할 수 있는 반면 두 개의 콘택트로 수행되는 유사한 제스처를 나타내는 입력 데이터는 제 1 객체가 숨겨지고/닫힐 수 있게 하고/하거나 제 1 객체와는 다른 제 2 객체를 개시하게 할 수 있다. 또한, 콘택트는 그것이 적용되는 감지 표면에 실제로 "접촉"해야할 필요가 없다. 예를 들어, 콘택트는 열 감지, 자기, 전도성 등의 감지 표면에 단지 가까이 감으로써 감지 표면에 대해 적용될 수 있다.
예시적인 방법(100)은 단계(122)에서 종료된다.
도 2 내지 5는 간접 상호작용 디바이스를 통해 객체(예를 들어, 메뉴)를 열거나 및/또는 객체를 인게이지하는 예시적인 실시예를 도시한다. 보다 구체적으로, 도 2는 (도 1의 예시적인 방법(100)의 단계(106)에서 수신될 수 있는) 제 1 입력 데이터의 생성 이전의 예시적인 감지 표면(200)(예로서, 터치패드, 열 감지 표면 등)을 도시한다. 도 3은 제 1 입력 데이터의 생성 이전의 예시적인 디스플레이(300)를 도시한다. 도 4는 (예를 들어, 감지 표면을 포함하는 간접 상호작용 디바이스로부터) 제 1 입력 데이터가 수신되고 (예를 들어, 도 1의 예시적인 방법(100)의 단계(108)에서) 객체(406)(예로서, 메뉴)가 개시된 후의 예시적인 디스플레이(400)(예로서, 도 3의 디스플레이(300))를 도시한다. 도 5는 제 1 입력 데이터가 수신되고 (예를 들어, 도 1의 예시적인 방법(100)의 단계(110)에서) 감지 표면의 부분(502)이 도 4의 디스플레이(400) 상에 제시된 예시적인 사용자 인터페이스(402)와 같은 객체(406)로 맵핑된 후의 예시적인 감지 표면(500)(예로서, 도 2의 감지 표면(200))을 도시한다.
도 2에 도시되고 도 1의 예시적인 방법(100)과 관련하여 추가로 기술된 바와 같이, 일 실시예에서 감지 표면(200)은 (시각적으로 (및/또는 다른 식으로) 구별가능할 수 있거나 그렇지 않을 수 있는) 둘 이상의 부분들로 이루어질 수 있다. 명확성을 위해서, 도시된 실시예에서 제 1 부분(202)은 어두운 회색 패턴으로 채워진 반면, 제 2 부분(204)은 채워지지 않았다.
(예를 들어, 도 1의 예시적인 방법(100)의 단계(108)에서의) 객체의 개시 이전에, 제 1 부분(202)은 감지 표면(200)의 총 표면 영역의 상대적으로 작은 부분을 포함할 수 있다. 예를 들어, 도시된 실시예에서 제 1 부분(202)은 단지 감지 표면 상단부 9mm만을 소비한다.
제 1 콘택트(206)(예로서, 손가락)가 감지 표면(200)에 대해 적용되었을 때, 제 1 콘택트(206)가 적용된 위치를 나타내고 및/또는 감지 표면(200)에 대한 제 1 콘택트(206)의 움직임을 나타내는 입력 데이터가 간접 상호작용 디바이스에 의해 생성될 수 있다(예로서, 그리고 도 1의 예시적인 방법(100)의 단계(106)에서 컴퓨터 시스템에 의해 수신될 수 있다). 이러한 입력은 사용자 인터페이스 내에서 타겟(예로서, 포인터)을 이동하도록 및/또는 (예를 들어, 객체의 개시와 같은) 태스크/이벤트를 시작하도록 사용될 수 있다.
이러한 입력 데이터를 수신하는 컴퓨터 시스템은 사전정의된 제스처들의 세트를 포함할 수 있으며, 입력 데이터는 입력 데이터가 사전정의된 제스처와 일치하는 제스처를 나타내는지 여부를 결정하도록 사전정의된 제스처들의 세트에 비교될 수 있다. 만약 입력 데이터가 하나 이상의 사전정의된 제스처를 실질적으로 수행하는 제 1 콘택트(206)를 나타낸다면, 컴퓨터 시스템 및/또는 그의 일부분이 입력 데이터에 의해 표시된 제스처와 일치하는 사전정의된 제스처와 연관된 태스크/이벤트를 시작할 수 있다(예를 들어, 메뉴 열기, 메뉴 닫기, 온-스크린 키보드 열기, 사용자 인터페이스 내에 제시된 애플리케이션들 사이에서의 트랜지션 등).
예시로서, 컴퓨터 시스템은, 만약 수신된 입력 데이터가 콘택트가 감지 표면(200)의 제 1 부분(202)에 적용되어 도 2의 화살표(208)에 의해 도시된 바와 같이 아래 방향으로 (예를 들어, 감지 표면(200)의 제 2 부분(204)을 향해서) 드래그되는 것을 나타내면, 메뉴 및/또는 온-스크린 키보드를 개시하는 것을 제공할 수 있다. 만약 제 1 콘택트(206)가 이러한 제스처를 수행하는 것을 나타내는 입력 데이터가 수신되면 컴퓨터 시스템 및/또는 그의 일부분이 상응하는 사전정의된 제스처와 연관된 이벤트(예를 들어, 메뉴 및/또는 온-스크린 키보드 개시)를 시작할 수 있다. 만약 제 1 콘택트(206)가 제 1 부분(202)에 적용되지만 일부 다른 제스처를 수행하는 것을 나타내는 입력 데이터가 수신되면, 다른 이벤트가 시작될 수 있고/있거나 예를 들어 제스처가 컴퓨터 시스템의 데이터베이스 내의 사전정의된 제스처와 일치하는지 여부에 따라서 이벤트가 시작되지 않을 수 있다.
또한, 만약 입력 데이터가 제 1 콘택트(206) 및/또는 다른 콘택트가 제 2 부분(204)에 적용됨을 나타낸다면, 컴퓨터 시스템이 다른 기능을 수행하도록 입력 데이터를 이용할 수 있음을 이해할 것이다. 예를 들어, 일 실시예에서 콘택트(들)가 제 2 부분(204)에 적용됨을 나타내는 입력 데이터는 사용자 인터페이스 내에서 타겟(예로서, 마우스 포인터)을 네비게이트하기 위해 및/또는 현재 디스플레이된 사용자 인터페이스 내에 제시된 다른 객체/측면들을 인게이지하기 위해 이용될 수 있다(예를 들어, 제 2 부분은 터치패드가 종래에 이용되었던 것과 유사한 방식으로 이용될 수 있다).
도 3은 (예를 들어, 도 1의 예시적인 방법(100)의 단계(106)에서) 콘택트(예로서, 도 2의 콘택트(206))가 간접 상호작용 디바이스로부터 사전정의된 제스처를 수행하는 것을 를 나타내는 입력 데이터가 수신될 때 발생할 수 있는 태스크/이벤트(예로서, 메뉴의 개시)의 시작에 앞서 디스플레이(300) 상에 제시될 수 있는 사용자 인터페이스(302)를 포함하는 컴퓨터 시스템의 예시적인 디스플레이(300)(예로서, 모니터)를 도시한다. 도시된 바와 같이, 사용자 인터페이스(302)가 실질적으로 애플리케이션(304)으로 구성된다는 것을 이해할 것이다.
도 4는 (도 1의 예시적인 방법(100)의 단계(106))에서) 간접 상호작용 디바이스로부터 사전정의된 제스처를 나타내는 입력 데이터가 수신된 후에 사용자 인터페이스(402)(예로서, 도 3의 인터페이스(302))를 포함하는 컴퓨터 시스템의 예시적인 디스플레이(400)(예로서, 도 3의 단계(300))를 도시한다. 예를 들어, 콘택트(예로서, 도 2의 콘택트(206))가 감지 표면의 상단 에지로부터 (예를 들어, 도 2의 감지 표면(200)의 제 1 부분(202)으로부터의) 스와이핑(swiping) 및/또는 상단 에지로부터 감지 표면(200)으로 진입하는 것을 나타내는 입력 데이터를 수신하면, 메뉴(406)가 사용자 인터페이스(402) 내에서 열릴 수 있다. 메뉴(406)는 선택 및/또는 인게이지될 수 있는 하나 이상의 아이템들을 포함할 수 있다. 예를 들어, 도시된 메뉴(406)는 아이템 A, B, C, D, E, F 및 G를 포함한다. 또한 수신된 입력 데이터에 기초하여 메뉴(406)를 사용자 인터페이스에 통합하는 것으로 인해, 애플리케이션(404)(예로서, 도 3의 애플리케이션(304))을 나타내는 사용자 인터페이스(402)의 일부분이 (예로서, 도 3에 도시된 바와 같이) 메뉴(406)가 제시되지 않았을 때의 자신의 크기에 대해서 감소될 수 있다.
도 1의 예시적인 방법(100)에서 동작(110)과 관련하여 기술된 바와 같이, 감지 표면의 적어도 일부분이 사용자 인터페이스(402) 내에서 열린 메뉴(406)로 맵핑될 수 있다. 이러한 방식으로, 사용자는 감지 표면을 이용하여 메뉴(406)(또는 예로서 그의 선택)를 인게이지할 수 있다.
도 5는 메뉴(406)에 맵핑될 수 있고/있거나 (예로서, 도 1의 예시적인 방법(100)의 단계(116)에서) 메뉴(406)를 인게이지하는 데에 이용되도록 구성될 수 있는 제 1 부분(502)(예로서, 도 2의 제 1 부분(202)) 및/또는 사전정의된 제스처(들)를 나타내는 수신된 입력 데이터에 기초하여 개시될 수 있는 다른 객체를 포함하는 예시적인 감지 표면(500)(예로서, 도 2의 감지 표면(200))을 도시한다. 예시로서, 콘택트(506)(예로서, 도 2의 콘택트(206))는 도 4의 메뉴(406)를 인게이지하도록 감지 표면(500)의 제 1 부분(502)과 상호작용할 수 있다. 예를 들어, 콘택트(506)는 아이템 A(예로서, 제 1 부분(502)의 좌측 에지 섹션)에 맵핑된 제 1 부분(502)의 선택에 콘택트(506)를 적용함으로써 메뉴(406)의 아이템 A를 선택할 수 있다.
일 실시예에서, 감지 표면(500)의 제 1 부분(502)에 콘택트(들)가 적용되었을 때, 메뉴(406) 내의 아이템(들) 및/또는 제 1 부분(502)의 특정한 영역에 적용된 콘택트에 의해 인게이지되는 다른 객체가 메뉴(406)의 다른 측면들에 대해 (예로서, 하이라이트, 굵은 글씨체 등으로) 구별될 수 있다. 예를 들어, 만약 콘택트(506)가 아이템 A에 맵핑된 제 1 부분(502)의 섹션에 적용되면, 아이템 A는 메뉴(406) 내의 다른 아이템에 대해 하이라이트되고/되거나 다른 방식으로 구별될 수 있다. 이러한 방식으로, 사용자는 예를 들어 어떤 아이템이 인게이지되는지를 인식할 수 있다. 또한, 감지 표면의 일부분이 객체 또는 그의 일부분에 맵핑되었을 때, 타겟(예로서, 포인터 등)이 필요하지 않을 수 있고(예로서, 중복일 수 있기 때문에 생략될 수 있고), 이때 객체(예로서, 객체의 전체 또는 일부분)가 감지 표면의 상응하는 부분에 적용된 콘택트의 시각적 또는 다른 표시를 제공하도록 구성된다.
예를 들어 메뉴(406)에 맵핑되지 않은 감지 표면(500)의 일부분이 다른 기능을 수행하도록 이용될 수 있다. 예를 들어, 제 2 부분(504)(예로서, 도 2의 제 2 부분(204))은 사용자 인터페이스(402) 내에서 네비게이트하기 위해 및/또는 메뉴(406) 외의 및/또는 메뉴(406)를 포함하는 다른 객체/측면을 인게이지하기 위해 이용될 수 있다. 예를 들어, 감지 표면(500)의 제 2 부분(504)은 애플리케이션(404) 내에서 타겟(예로서, 마우스 포인터)을 네비게이트하도록 이용될 수 있고/있거나 (예로서, 종래의 터치패드가 사용자 인터페이스(402)와 상호작용할 수 있는 방식과 유사한 방식으로) 애플리케이션(404)의 측면들을 인게이지하도록 이용될 수 있다.
또한, 도 2를 도 5와 비교하여 도시된 바와 같이, 일 실시예에서 (간접 상호작용 디바이스로부터 수신된 입력 데이터에 기초하여) 객체가 개시, 숨겨짐 및/또는 다른 방식으로 조작될 때 감지 표면(500)의 제 1 부분(502) 및/또는 제 2 부분(504)의 표면 영역이 조정될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 사전정의된 제스처를 나타내는 제 1 입력 데이터를 수신하기 전에, 감지 표면(200)의 제 1 부분(202)은 감지 표면(200)의 상단 9mm로 정의되었다. 도 5에 도시된 바와 같이, 제 1 입력 데이터가 수신되고 수신된 입력 데이터에 기초하여 메뉴(406)가 열린 후에, 감지 표면(500)의 제 1 부분(502)은 감지 표면(500)의 상단 20mm로서 정의된다. 따라서, 제 1 부분(506)의 표면 영역은 (예로서, 도 2에 도시된 바와 같은) 제 1 입력 데이터를 수신하기 전의 자신의 크기에 대해 확장된다. 유사하게, 감지 표면(500)의 제 2 부분(504)의 표면 영역은 제 1 부분(502)의 확장을 수용하기 위해 (예로서, 도 2에 도시된 바와 같이) 제 1 입력 데이터를 수신하기 전의 자신의 크기에 대해 감소된다.
도 2-5는 단지 간접 상호작용 디바이스의 감지 표면을 이용하여 객체가 개시 및/또는 인게이지될 수 있는 방식의 일 예시를 제공하기 위한 것이며, 제한적인 방식으로 해석되어서는 안된다. 예를 들어, 일 실시예에서 감지 표면의 복수의 에지가 객체를 개시/열거나 및/또는 개시된/열린 객체를 인게이지하기 위한 부분을 각각 포함할 수 있다. 예를 들어, 감지 표면의 상단, 하단, 좌측, 및/또는 우측 에지는 객체를 개시 및/또는 인게이지하기 위한 부분들을 포함할 수 있다. 또한, 사용자 인터페이스 내의 객체의 배치 및/또는 인게이지된 객체의 유형은 특히 콘택트가 감지 표면의 좌측, 우측, 상단, 또는 바닥 에지와 인게이지하였는지 여부 및/또는 수신된 제스처의 유형에 의존할 수 있다. 예를 들어, 일 실시예에서 사용자 인터페이스 내의 객체의 배치는 콘택트(들)가 상호작용한 에지와 일치할 수 있다. 예시로서, 만약 콘택트(들)가 좌측 에지에 대해 적용되면 객체는 사용자 인터페이스의 좌측 에지 상에 배치될 수 있고, 및/또는 만약 콘택트(들)가 바닥 에지에 대해 적용되면, 객체는 사용자 인터페이스의 바닥 에지 상에 배치될 수 있다.
도 5가 개시된 객체(예로서, 도 4의 메뉴(406))에 맵핑된 전체 감지 표면(500)보다 작게 도시하였지만, 개시된 객체에 맵핑된 감지 표면(500)의 크기는 특히 개시된 객체의 유형에 의존할 수 있음을 이해할 것이다. 예를 들어, 일 실시예에서 엔티티(예로서, 사용자, 개발자 등)는 온-스크린 키보드를 개시하도록 구성된 하나 이상의 제스처를 정의할 수 있다. 이러한 키보드가 디스플레이 상에 제시된 전체 사용자 인터페이스를 포함하지 않을 수 있지만, (예로서, 간접 상호작용 디바이스를 이용하여 온-스크린 키보드의 각각의 키를 선택하기 위한 충분한 공간을 사용자에게 제공하도록) 실질적으로 모든 감지 표면을 키보드에 맵핑하는 것이 바람직할 수 있다. 이러한 실시예에서, 따라서 온-스크린 키보드가 개시된 동안 매우 적은 감지 표면이 사용자 인터페이스를 네비게이트하기 위해 이용될 수 있다(예로서, 감지 표면(500)의 제 1 부분(502)이 감지 표면(500)의 실질적으로 전부를 포함할 수 있고, 온-스크린 키보드가 사용자 인터페이스 내에 디스플레이되는 동안 제 2 부분(502)은 감지 표면(500)의 매우 적은 부분만을 포함한다).
일 예시에서, (예로서, 다른 사전정의된 제스처를 나타내는 수신된 입력에 기초하여) 온-스크린 키보드 및/또는 다른 객체가 사용자 인터페이스 내에 숨거나 닫히면, 객체(예로서, 도 5의 객체(502))에 맵핑된 감지 표면의 일부가 맵핑되지 않을 수 있다. 또한, (예로서, 도 5의 부분(502)) 맵핑된 부분이 개시된 객체(예로서, 도 4의 메뉴(406))에 기초하여 조정되거나 확장되는 경우에, 객체에 맵핑되는 감지 표면의 부분의 표면 영역이 재조정될 수 있다. 예를 들어, 일 실시예에서 맵핑된 부분의 표면 영역이 객체가 확장되기 전에 크기로 복귀될 수 있다(예로서, 도 5의 제 1 부분(506)을 감지 표면(500)의 상단 20mm로부터 도 2에 도시된 바와 같이 상단 9mm로 감소시킨다).
도 6 및 7은 간접 상호작용 디바이스의 감지 표면(600)(예를 들어, 도 5의 감지 표면(500))에 대한 사전정의된 제스처/이동을 수행하는 콘택트(600)(예로서, 도 5의 콘택트(506))를 나타내고 간접 상호작용 디바이스로부터의 입력 데이터의 수신에 적어도 부분적으로 기초하여 시작될 수 있는 또 다른 태스크/이벤트를 도시한다. 보다 구체적으로, 도 6 및 7은 애플리케이션(704, 706)(예로서 도 4의 (404)) 및/또는 디스플레이(700)(예로서, 도 4의 디스플레이(400)) 상에 디스플레이된 사용자 인터페이스(702)(예로서, 도 4의 사용자 인터페이스(402))에 제시될 수 있는 다른 객체들 사이의 트랜지션을 위해 간접 상호작용 디바이스를 이용하는 예시적인 기술을 도시한다.
도 6이 감지 표면(600)의 제 1 및 제 2 부분을 도시하지 않았지만, 일 실시예에서 감지 표면(600)은 도 2 및 5에 도시된 것과 유사한 제 1 및 제 2 (예로서, 및/또는 다른) 부분들을 포함할 수 있다. 예를 들어, 감지 표면(600)의 좌측 에지(예로서, 콘택트가 적용되는)는 언제 애플리케이션들 사이에서 트랜지션할지를 결정하도록 이용되도록 구성되는 얇은 스트립(예로서, 9mm 폭의)을 포함할 수 있다. 도 2 및 5에서 설명된 바와 같이, (만약 존재한다면) 감지 표면(600)의 남아있는 표면 영역은 (예로서, 도 7의 사용자 인터페이스(702) 내에서의 이동 및/또는 사용자 인터페이스(702)의 측면들 인게이지와 같은) 일부 다른 기능을 수행하도록 이용될 수 있다.
도 6은 u-형 제스처(예로서, 화살표(604)에 의해 도시된 것과 같은)를 수행하는 콘택트(606)를 도시한다. 전술된 바와 같이, 특정한 이벤트를 시작하도록 수행될 수 있는 제스처(들)는 특히 사용자 선호도, 개발자 명세 등에 의존할 수 있음을 이해할 것이다. 예를 들어, 사용자는 감지 표면(600)의 좌측 에지 상에서 시작하는 u-형 제스처를 나타내는 입력 데이터의 수신은 디스플레이되는 사용자 인터페이스(702) 상의 둘 이상의 애플리케이션들 사이의 트랜지션을 트리거링하기 위한 것이다. 그러나, 사용자 인터페이스(702) 상에서 제시될 수 있는 애플리케이션들 및/또는 다른 객체들 사이의 트랜지션을 위한 다른 제스처도 고안될 수 있다. 예를 들어 일 실시예에서, u-형 제스처를 나타내는 입력 데이터는 두 애플리케이션(704, 706)의 스플릿 스크린을 발생시키도록 구성될 수 있는 반면, 감지 표면(600)을 가로지르는 콘택트(602)의 간단한 좌측에서 우측으로의 이동은 사용자 인터페이스(702)가 제 1 애플리케이션(704) 디스플레이로부터 제 2 애플리케이션(706)의 디스플레이로 트랜지션하게 할 수 있다.
u-형 제스처 및/또는 다른 사전정의된 제스처를 나타내는 입력 데이터를 수신하면, 상응하는 이벤트가 시작될 수 있다. 예를 들어, 도 7에서 도시된 바와 같이, u-형 제스처를 나타내는 입력 데이터를 수신하는 것은, 사용자 인터페이스(702)를 단지 제 1 애플리케이션(704)을 디스플레이하는 것으로부터 제 1 애플리케이션(704) 및 제 2 애플리케이션(706)의 스플릿 스크린을 디스플레이하는 것으로 트랜지션(예를 들어, 화살표(708)에 의해 나타내어진 것과 같이)하도록 컴퓨터 시스템을 트리거링할 수 있다. 이러한 방식으로, 간접 상호작용 디바이스는 예를 들어, 사용자 인터페이스(702) 상에 제시될 수 있는 다른 객체들 및/또는 애플리케이션(704, 706) 사이에서 트랜지션하도록 이용될 수 있다.
도 8은 간접 상호작용 시스템(804)에 대한 예시적인 환경(800)의 구성요소 블록도를 도시한다. 보다 구체적으로, 도 8은 디스플레이(814) 상에서 제시되는 사용자 인터페이스 상에 포함된 하나 이상의 객체를 개시(예로서, 열기), 인게이지, 및/또는 닫도록 간접 상호작용 디바이스(802)를 이용하기 위해서 제공하도록 구성된 시스템(804)의 예시적인 환경(800)을 도시한다. 예시로서, 시스템(804)은 사용자 인터페이스 내에 제시된 애플리케이션들 사이에서 트랜지션하고/하거나 온-스크린 키보드 및/또는 메뉴를 열고 및/또는 닫도록 이용될 수 있다. 이러한 시스템은 개인 컴퓨터 및/또는 간접 인터페이스 디바이스(802)(예로서, 마우스, 터치패드 등)를 이용한 다른 컴퓨팅 환경에 대한 특정한 적용가능성을 찾을 수 있다.
예시적인 시스템(804)은 간접 상호작용 디바이스(802)로부터 입력을 수신하도록 구성될 수 있는 입력 수신기 구성요소(806)를 포함한다. 예시로서, 간접 상호작용 디바이스(802)(예로서, 터치패드, 열 감지 표면 등과 같은 터치 민감성 표면을 포함할 수 있는)는 콘택트(예로서, 손가락, 스타일러스 등)와의 상호접속의 특정 유형을 검출하고/하거나 이러한 상호작용을 입력 데이터로 번역하도록 구성될 수 있다. 이러한 입력 데이터는 예를 들어 감지 표면에 대해 적용된 콘택트(들)의 위치, 만약 하나 이상의 콘택트가 감지 표면에 대해 이동되었다면 콘택트(들)의 움직임 등과 관련된(예로서, 이를 나타내는) 정보를 제공할 수 있다.
예시적인 시스템(804)은 또한 감지 구성요소(808)를 포함한다. 하드웨어를 통해 적어도 부분적으로 구현되는 하드웨어 및/또는 소프트웨어를 포함할 수 있는 감지 구성요소(808)는, 간접 상호작용 디바이스(802)의 감지 표면이 적어도 제 1 및 제 2 부분을 포함하도록 구성된다. 즉 다시 말하면, 감지 구성요소(808)는 콘택트(들)가 감지 표면의 제 1 부분에 적용되는 것을 나타내는 입력 데이터가 콘택트(들)가 감지 표면의 제 2 부분에 적용되는 것을 나타내는 입력 데이터와는 다르게 처리되게 하도록 구성된다(예를 들어, 기본적으로 감지 표면이 서로 다른 기능을 수행하도록 각각 구성된 둘 이상의 부분들로 분할되게 한다). 예를 들어 일 실시예에서, 감지 표면의 제 1 부분(예를 들어, 도 2의 (202))은 감지 구성요소(808)에 의해 제 1 부분에 대해서 적용된 제 1 콘택트(들)에 의해 수행되는 하나 이상의 사전정의된 제스처를 검출한 것에 응답하여 사용자 인터페이스를 변경하기 위해 이용되도록 구성될 수 있다. 감지 표면의 제 2 부분(도 2의 (204))은 일부 다른 기능을 위해 이용되도록 구성될 수 있다. 예시로서, 제 2 부분은 사용자 인터페이스 내에서 이동하도록 이용될 수 있도록 감지 구성요소(808)에 의해 구성될 수 있다.
예시로서, 간접 상호작용 디바이스(802)가 컴퓨터 시스템에 연결되었을 때 및/또는 그 후에, 감지 구성요소(808)는 둘 이상의 부분으로 간접 상호작용 디바이스(802)의 감지 표면을 분할하도록 구성될 수 있지만, 이것으로 한정되는 것은 아니다. 이러한 분할은 간접 상호작용 디바이스(802)에 알려질 수 있거나 알려지지 않을 수 있음을 이해할 것이다. 예시로서, 입력 데이터가 입력 데이터 구성요소(806)에 의해 수신되었을 때, 예를 들어 이러한 데이터가 감지 표면의 제 1 부분 또는 제 2 부분에 적용된 콘택트를 나타내는지 여부에 대한 결정이 이루어질 수 있다. 이러한 실시예에서, 감지 표면이 둘 이상의 부분들로 분할되는 것과 관련된 정보를 간접 상호작용 디바이스(802)에 제공하는 것이 필요 및/또는 바람직하지 않을 수도 있다. 오히려, 분할은 예를 들어 간접 상호작용 디바이스(802)로부터 수신된 데이터를 처리하는 동안 이용될 수 있다. 그러나, 다른 실시예에서 감지 표면을 둘 이상의 부분들로 분할하는 것과 관련된 정보를 간접 상호작용 디바이스(802)에 제공하는 것이 바람직할 수도 있다. 예를 들어, 이러한 정보를 이용하여 간접 상호작용 디바이스(802)는 감지 표면의 시각적 모습, 감지 표면과의 청각적 상호작용(들) 등을 변경시킬 수 있다(예로서, 사용자가 이러한 분할을 인식하도록).
도 8이 시스템(804) 내에 포함된 것으로서 감지 구성요소(808)를 도시하였지만, 다른 실시예에서 감지 구성요소(808)가 간접 상호작용 디바이스(802) 내에 포함될 수 있음을 이해할 것이다. 이러한 실시예에서, 간접 상호작용 디바이스(802)는 간접 상호작용 디바이스(802)의 감지 표면을 둘 이상의 부분들로 독립적으로(예를 들어, 및/또는 시스템(804)으로부터의 입력으로) 분할할 수 있다.
감지 표면의 각각의 부분 서로 다른 기능을 수행하도록 이용되도록 구성된다(예를 들어, 그들의 기능이 겹쳐질지라도). 예시로서, 감지 표면의 제 1 부분(예를 들어, 하나 이상의 에지 부분) 내에서 시작, 종료 및/또는 포함된 감지 표면과 하나 이상의 콘택트(예로서, 손가락, 스타일리 등) 사이에서의 상호작용(들)을 나타내는 입력 데이터 구성요소(806)에 의해 수신되는 입력 데이터는, 예를 들어 사용자 인터페이스를 변경하도록 이용될 수 있다(예로서, 사용자 인터페이스 내에서 제시될 수 있는 애플리케이션들 및/또는 다른 객체들 사이에서 트랜지션 및/또는 일부 다른 이벤트/태스크를 시작하기 위해서 메뉴 및/또는 온스크린 키보드를 열고/닫음). 감지 표면의 제 2 부분(예를 들어, 감지 구성요소(808)에 의해 명시된 것과 같은) 내에서 시작, 종료 및/또는 포함된 감지 표면과 하나 이상의 콘택트 사이에서의 상호작용(들)을 나타내는 입력 데이터 구성요소(806)에 의해 수신되는 입력 데이터는, 예를 들어 사용자 인터페이스 내에서 제시되는 객체들을 이동 및/또는 인게이지하도록 이용될 수 있다.
제 1 부분과 상호작용하는 콘택트(들)를 나타내는 입력 데이터의 수신에 의해 트리거링되는 특정한 이벤트/태스크가 사용자 명세, 개발자 명세, 제조자 명세 등에 의존할 수 있음을 이해할 것이다. 예시로서, 시스템(804)은 하나 이상의 사전정의된 제스처를 포함하고(예로서 콘택트(들)와 감지 표면 사이의 사전정의된 상호작용) 만약 입력 데이터가 하나 이상의 사전정의된 제스처를 나타낸다면 연관된 이벤트/태스크가 수행되는 (도시되지 않은) 데이터베이스를 포함할 수 있다.
예시적인 환경(800)의 시스템(804)은 또한 입력 데이터 구성요소(806)에 의해 수신되는 입력 데이터를 프로세싱하도록 구성된 프로세싱 구성요소(810)를 포함한다. 예를 들어, 프로세싱 구성요소(810)는 입력 데이터가 감지 표면의 제 1 및 제 2 부분 내에서 발생되는 상호작용을 나타내는지 여부를 결정하도록 구성될 수 있다. 만약 상호작용이 제 2 부분 내에서 발생하였다면, 프로세싱 구성요소(810)는 수신된 입력 데이터에 적어도 부분적으로 기초하여 제 2 부분의 하나 이상의 기능을 수행하도록 구성될 수 있다. 예를 들어, 제 2 부분은 디스플레이(814) 상에 제시된 사용자 인터페이스를 이동시키도록 구성되며, 프로세싱 구성요소(810)는 사용자 인터페이스에 대한 타겟(예로서, 마우스 포인터)을 조종하도록 구성될 수 있다.
만약 상호작용이 제 1 부분에서 적어도 부분적으로 발생하였다면, 프로세싱 구성요소(810)는 입력 데이터가 명시된 이벤트/태스크를 시작하기 위한 제스처를 나타내는지를 결정하도록 구성될 수 있다. 예시로서, 프로세싱 구성요소(810)는 입력 데이터가 사전정의된 제스처를 나타내는 여부를 결정하도록 하나 이상의 정의된 제스처를 나타내는 정보를 포함하는 데이터베이스에 입력 데이터를 비교할 수 있다. 만약 입력 데이터가 사전정의된 제스처를 나타낸다면, 프로세싱 구성요소(810)는 입력 데이터 내에서 표시된 제스처와 연관되고 식별된 이벤트를 수행하는 이벤트를 식별할 수 있다. 예시로서, 프로세싱 구성요소(810)는 하나 이상의 객체를 시작하고(예로서, 메뉴 및/또는 온-스크린(예를 들어, 피아노) 키보드를 열고), 사용자 인터페이스 내에서 디스플레이되도록 구성된 둘 이상의 객체들(예로서, 애플리케이션) 사이에서 트랜지션하고, 및/또는 하나 이상의 객체를 닫고/숨기도록(메뉴 및/또는 온-스크린 키보드를 닫음) 구성될 수 있다.
일 실시예에서, 객체가 간접 상호작용 디바이스(802) 상에서 발생하는 상호작용을 통해 개시될 때(예로서, 사전정의된 제스처를 나타내는 입력 데이터가 수신되었을 때), 객체는 예시적인 시스템(804)의 맵핑 구성요소(812)를 통해 감지 표면의 적어도 일 부분으로 맵핑될 수 있다. 예를 들어 일 실시예에서, 맵핑 구성요소(812)는 감지 표면의 제 1 부분으로 객체를 맵핑하도록 구성될 수 있다(예를 들어, 감지 구성요소(800)에 의해 정의된 것과 같은)(예로서, 도 2-5와 관련하여 보다 상세하게 기술되는 바와 같이). 이러한 방식으로, 콘택트는 예를 들어 감지 표면의 제 1 부분을 통해 개시된 객체의 측면을 인게이지할 수 있다.
도 5와 관련하여 전술된 바와 같이, 감지 표면의 일부분이 객체로 맵핑되었을 때, 맵핑을 수용하도록 감지 표면의 하나 이상의 부분의 표면 영역을 조정하는 것이 바람직할 수 있음을 이해할 것이다. 예를 들어 일 실시예에서, 제 1 부분은 (객체의 개시/열기에 앞서) 단지 감지 표면의 상단 9mm만을 포함한다. 이러한 적은 양의 표면 영역은 사용자가 제 1 부분을 통해 맵핑된 객체의 측면과 상호작용하는 것을 어렵게 만들 수 있다. 따라서, 일 실시예에서 감지 구성요소(808)는 감지 표면의 일부분에 맵핑될 객체가 개시되었을 때 제 1 및 제 2 부분 중 적어도 하나의 표면 영역을 변경할 수 있다. 예를 들어, 객체가 사전정의된 제스처를 나타내는 입력 데이터에 기초하여 개시되었을 때, 감지 구성요소(808)는 (예를 들어 표면의 총 영역이 일정하게 유지하도록) 제 2 부분의 표면 영역을 감소시키는 동시에 제 1 부분의 표면 영역을 확장하도록 구성될 수 있다. 이러한 방식으로, 맵핑 구성요소(812)는 (예를 들어, 객체가 열리기 이전에 자신의 크기에 대해서) 감지 표면의 더 넓은 부분으로 객체를 맵핑할 수 있다).
감지 표면의 일부분으로 맵핑된 객체가 닫히거나 및/또는 숨겨질 때, 제 1 및/또는 제 2 부분의 표면 영역이 감지 구성요소(808)에 의해서 다시 조정될 수 있음을 이해할 것이다. 예시로서 객체가 닫혔을 때, 객체에 맵핑된 감지 표면의 일부분의 표면 영역이 객체의 개시 이전의 자신의 크기로 조정(예를 들어, 감소)될 수 있다.
또 다른 실시예는 본 명세서에 제시된 하나 이상의 기술을 구현하도록 구성된 프로세서-실행가능한 명령을 포함하는 컴퓨터-판독가능한 매체를 포함한다. 이러한 방식으로 고안될 수 있는 예시적인 컴퓨터 판독가능한 매체가 도 9에 도시되었으며, 구현(900)은 인코딩된 컴퓨터-판독가능한 데이터(914)가 존재하는 컴퓨터-판독가능한 매체(916)(예로서, CD-R, DVD-R, 또는 하드 디스크 드라이브의 플래터)를 포함한다. 이러한 컴퓨터-판독가능한 데이터(914)는 본 명세서에 개진된 하나 이상의 원리에 따라 동작하도록 구성된 컴퓨터 명령들(912)의 세트를 포함한다. 이러한 일 실시예(900)에서, 프로세서-실행가능한 컴퓨터 명령들(912)은, 예를 들어 도 1의 예시적인 방법(100)의 적어도 일부와 같은 방법(910)을 수행하도록 구성될 수 있다. 이러한 다른 실시예에서, 프로세서-실행가능한 명령들(912)은 예를 들어 도 8의 예시적인 시스템(800)의 적어도 일부와 같은 시스템을 구현하도록 구성될 수 있다. 본 명세서에 제시된 기술들에 따라 동작하도록 구성된 다수의 이러한 컴퓨터-판독가능한 매체(916)는 당업자에 의해서 고안될 수 있다.
청구사항이 구조적 특징들 및/또는 방법론적 동작들로 특정된 언어로 기술되었지만, 첨부된 특허청구범위에서 정의된 청구사항이 반드시 전술한 특정된 특징들 또는 동작들로 한정되는 것이 아님을 이해해야 한다. 오히려, 전술된 특정한 특징들 및 동작들은 특허청구범위를 구현하는 예시적인 형태로서 개시되었다.
본 명세서에서 사용되는 "구성요소," "모듈," "시스템," "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어와 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하기 위한 것이다. 예를 들어 구성요소는 프로세서 상에서 구동중인 프로세스, 프로세서, 객체, 실행가능물, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이것으로 한정되지는 않는다. 예시로서, 컨트롤러 상에서 구동중인 애플리케이션과 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고/있거나 둘 이상의 컴퓨터들 사이에서 분산될 수 있다.
또한, 청구된 청구사항은 개시된 청구사항을 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 제조하기 위한 표준 프로그래밍 및/또는 엔지니어링 기술을 이용하여 방법, 장치, 또는 제조품으로서 구현될 수 있다. 본 명세서에서 사용되는 "제조품(article of manufacture)"이라는 용어는 임의의 컴퓨터-판독가능한 디바이스, 캐리어, 또는 매체로부터 액세스가능한 컴퓨터 프로그램을 포괄하는 것이다. 물론, 당업자는 청구된 청구사항의 범주 또는 사상으로부터 벗어나지 않고 이러한 구성에 대해 다수의 수정이 이루어질 수 있음을 인지할 것이다.
도 10 및 아래의 논의는, 본 명세서에 개진된 하나 이상의 규정들의 실시예를 구현하기에 적합한 컴퓨팅 환경에 대한 간략한, 일반적인 설명을 제공한다. 도 10의 운영 환경은 단지 적합한 운영 환경의 일 예시이며, 운영 환경의 용도 또는 기능성의 범주에 대한 어떠한 한계를 제안하기 위한 것이 아니다. 예시적인 컴퓨팅 디바이스는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, (모바일폰, PDA, 미디어 플레이어 등과 같은) 모바일 디바이스, 멀티프로세서 시스템, 소비자 전자기기, 미니컴퓨터, 메인프레임 컴퓨터, 전술된 임의의 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
필수적인 것은 아니지만, 실시예들은 하나 이상의 컴퓨팅 디바이스에 의해 실행되는 "컴퓨터 판독가능한 명령"의 일반적인 맥락으로 기술되었다. 컴퓨터 판독가능한 명령은 (아래에서 논의되는) 컴퓨터 판독가능한 매체를 통해 배포될 수 있다. 컴퓨터 판독가능한 명령은 특정 태스크를 수행하거나 특정 추출 데이터 타입을 구현하는 함수, 객체, 애플리케이션 프로그래밍 인터페이스(API), 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 전형적으로, 컴퓨터 판독가능한 명령의 기능은 다양한 환경에서 요구되는 바와 같이 결합 또는 분산될 수 있다.
도 10은 본 명세서에 제공된 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1012)를 포함하는 시스템(1010)의 예시를 도시한다. 일 구성에서, 컴퓨팅 디바이스(1012)는 적어도 하나의 프로세싱 장치(1016) 및 메모리(1018)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 타입에 의존하여, 메모리(1018)는 (예를 들어 RAM과 같은) 휘발성, (예를 들어 ROM, 플래시 메모리 등과 같은) 비휘발성, 또는 이들의 일부 조합일 수 있다. 이러한 구성은 도 10에서 점선(1014)에 의해 도시되었다.
다른 실시예에서, 디바이스(1012)는 추가적인 특성 및/또는 기능을 포함할 수 있다. 예를 들어, 디바이스(1012)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되는 것은 아닌 (예를 들어 제거가능 및/또는 제거 불가능한) 추가적인 스토리지도 포함할 수 있다. 이러한 추가적인 스토리지는 도 10에서 스토리지(1020)로 도시되었다. 일 실시예에서, 본 명세서에서 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령은 스토리지(1020) 내에 존재할 수 있다. 스토리지(1020)는 또한 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독가능한 명령도 저장할 수 있다. 컴퓨터 판독가능한 명령은 예를 들어 프로세싱 장치(1016)에 의한 실행을 위해 메모리(1018)에서 로딩될 수 있다.
본 명세서에서 사용되는 "컴퓨터 판독가능한 매체(computer readable media)"라는 용어는 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능한 명령 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 제거가능 및 제거 불가능한 매체를 포함한다. 메모리(1018) 및 스토리지(1020)는 컴퓨터 저장 매체의 예시이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 원하는 정보를 저장하도록 사용될 수 있고 디바이스(1012)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이것으로 한정되는 것은 아니다. 임의의 이러한 컴퓨터 저장 매체는 디바이스(1012)의 일부일 수 있다.
디바이스(1012)는 또한 디바이스(1012)가 다른 디바이스들과 통신할 수 있게 하는 통신 접속(들)(1026)을 포함할 수 있다. 통신 접속(들)(1026)은 모뎀, 네트워크 인터페이스 카드(NIC), 집적 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속, 또는 컴퓨팅 디바이스(1012)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스들을 포함할 수 있지만, 이것으로 한정되는 것은 아니다. 통신 접속(들)(1026)은 유선 접속 또는 무선 접속을 포함할 수 있다. 통신 접속(들)(1026)은 통신 매체를 전송 및/또는 수신할 수 있다.
"컴퓨터 판독가능한 매체"라는 용어는 통신 매체를 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독가능한 명령들 또는 반송파와 같은 "변조된 데이터 신호" 또는 다른 수송 메커니즘 내의 다른 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호(modulated data signal)"라는 용어는 신호에서 정보를 인코딩하기 위한 방식으로 설정 또는 변경된 하나 이상의 자신의 특징을 갖는 신호를 포함할 수 있다.
디바이스(1012)는 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스, 및/또는 임의의 다른 입력 디바이스와 같은 입력 디바이스(들)(1024)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터, 및/또는 임의의 다른 출력 디바이스와 같은 출력 디바이스(들)(1022)도 디바이스(1012) 내에 포함될 수 있다. 입력 디바이스(들)(1024) 및 출력 디바이스(들)(1022)는 유선 접속, 무선 접속, 또는 이들의 임의의 조합을 통해 디바이스(1012)에 접속될 수 있다. 일 실시예에서, 다른 컴퓨팅 디바이스로부터의 입력 디바이스 또는 출력 디바이스가 컴퓨팅 디바이스(1012)를 위한 입력 디바이스(들)(1024) 또는 출력 디바이스(들)(1022)로서 사용될 수도 있다.
컴퓨팅 디바이스(1012)의 구성요소들은 버스와 같은 다양한 상호접속에 의해서 접속될 수 있다. 이러한 상호접속은 PCI Express와 같은 주변 구성요소 상호접속(PCI), USB, 파이어와이어(firewire)(IEEE 1394), 광학 버스 구조 등을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(1012)의 구성요소들은 네트워크에 의해 상호접속될 수 있다. 예를 들어, 메모리(1018)는 네트워크에 의해 상호접속된 서로 다른 물리적 위치들에 위치된 복수의 물리적 메모리 장치들로 이루어질 수 있다.
당업자는 컴퓨터 판독가능한 명령을 저장하도록 이용되는 저장 디바이스가 네트워크를 가로질러 분산될 수 있음을 인지할 것이다. 예를 들어, 네트워크(1028)를 통해 액세스 가능한 컴퓨팅 디바이스(1030)는 본 명세서에서 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령을 저장할 수 있다. 컴퓨팅 디바이스(1012)는 컴퓨팅 디바이스(1030)에 액세스할 수 있으며, 실행을 위해서 컴퓨터 판독가능한 명령의 일부 또는 전부를 다운로드할 수 있다. 이와 달리, 컴퓨팅 디바이스(1012)는 필요에 따라 컴퓨터 판독가능한 명령의 조각들을 다운로드할 수 있거나, 또는 일부 명령들은 컴퓨팅 디바이스(1012)에서 실행되고 일부는 컴퓨팅 디바이스(1030)에서 실행될 수 있다.
실시예의 다양한 동작들이 본 명세서에 제공되었다. 일 실시예에서, 기술된 하나 이상의 동작들은 하나 이상의 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 판독가능한 명령을 구성할 수 있으며, 이것이 컴퓨팅 디바이스에 의해서 실행되면, 컴퓨팅 디바이스로 하여금 기술된 동작들을 수행하게 할 것이다. 동작들의 일부 또는 전부가 기술된 순서가 이러한 동작들이 반드시 순서 의존적임을 의미하는 것으로 해석되어서는 안된다. 이러한 설명으로부터 이익을 취하는 당업자에 의해서 다른 순서가 인식될 것이다. 또한, 모든 동작들이 반드시 본 명세서에서 제공된 각각의 실시예에서 존재해야하는 것은 아님이 이해될 것이다.
또한, "예시적인"이라는 표현이 본 명세서에서 예시, 사례, 또는 실례로서의 역할을 하는 것을 의미하도록 사용되었다. 본 명세서에서 "예시적인" 것으로서 기술된 임의의 측면 또는 설계가 반드시 다른 측면 또는 설계보다 바람직한 것으로서 해석되는 것은 아니다. 오히려, "예시적인"이라는 표현의 사용은 구체적인 방식으로 개념을 제시하기 위한 것이다. 본 명세서에서 사용되는 바와 같은 "또는"이라는 표현은, 배타적인 "또는"이기보다는 포괄적인 "또는"을 의미하기 위한 것이다. 즉, 달리 명시되거나 맥락으로부터 명백하지 않은 한, "X는 A 또는 B를 사용한다"는 임의의 포괄적인 자연적 순열을 의미하기 위한 것이다. 즉, 만약 X가 A를 사용하거나; X가 B를 사용하거나; 또는 X가 A 및 B 모두를 사용한다면, "X는 A 또는 B를 사용한다"는 앞서 말한 임의의 사례를 만족시킨다. 또한, 본 명세서 및 첨부된 특허청구범위에서 사용된 단수 명사는, 달리 명시되거나 맥락으로부터 단수 형태를 지시한 것임이 명백하지 않은 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석될 수 있다. 또한, "A와 B 중 적어도 하나" 등과 같은 표현은 일반적으로 A 또는 B, 또는 A와 B 모두를 의미한다.
본 명세서가 하나 이상의 구현과 관련하여 도시되고 기술되었지만, 이러한 명세 및 첨부된 도면을 읽고 이해한 것에 적어도 부분적으로 기초하여 동등한 교체 및 수정이 당업자에게 발생할 것이다. 본 명세서는 이러한 모든 수정 및 교체를 포함하며, 아래의 특허청구범위의 범주에 의해서만 제한된다. 특히 전술된 구성요소들(예로서, 요소, 리소스 등)에 의해서 수행되는 다양한 기능들과 관련하여, 본 명세서에서 설명된 본 발명의 예시적인 구현의 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않다고 해도, 달리 표시되지 않은 한 이러한 구성요소들을 기술하기 위해 사용된 용어들은 기술된 구성요소의 명시된 기능을 수행하는 (예를 들어, 기술적으로 동등한) 임의의 구성요소와 일치한다. 또한, 본 발명의 특정한 특성이 몇몇 구현들 중 오직 하나와 관련하여 개시되었을 수 있지만, 이러한 특성은 임의의 주어진 또는 특정한 애플리케이션에 대해 바람직하도록 다른 구현들의 하나 이상의 다른 특성들과 결합될 수 있다. 또한, "포괄하는," "구비하는," "갖는," 또는 그의 변형어가 상세한 설명 또는 특허청구범위에서 사용되는 경우에, 이러한 표현들은 "포함하는"과 유사한 포괄적인 의미를 가진다.

Claims (10)

  1. 사용자 인터페이스와의 간접 상호작용(indirect interaction) 방법으로서,
    제 1 콘택트(contact)가 간접 상호작용 디바이스의 감지 표면(sensory surface)에 대해 제 1 사전정의된 방식으로 적용(apply)되는 것을 나타내는 제 1 입력 데이터를 수신하는 단계와,
    상기 제 1 입력 데이터에 응답하여 상기 사용자 인터페이스 내의 객체를 개시(launching)하는 단계와,
    상기 감지 표면의 적어도 일부분을 상기 객체에 맵핑하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 객체를 개시하는 단계는, 메뉴를 여는 단계와 온-스크린 키보드를 여는 단계 중 적어도 하나를 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 감지 표면의 적어도 일부분을 상기 객체에 맵핑하는 단계는, 상기 감지 표면의 제 1 부분이 상기 객체에 맵핑되도록 상기 감지 표면 전체보다는 작은 부분을 상기 객체에 맵핑하는 단계를 포함하는
    방법.
  4. 제 3 항에 있어서,
    제 2 콘택트가 상기 감지 표면의 상기 제 1 부분에 대해 적용되는 것을 나타내는 제 2 입력 데이터를 수신하는 단계와,
    상기 제 2 입력 데이터에 적어도 부분적으로 기초하여 상기 객체를 인게이지(engage)하는 단계를 포함하는
    방법.
  5. 제 3 항에 있어서,
    상기 사용자 인터페이스 내에서 네비게이트(navigate)하도록 상기 감지 표면의 제 2 부분을 이용하는 단계를 포함하되,
    상기 제 2 부분은 상기 제 1 부분과는 상이한
    방법.

  6. 제 1 항에 있어서,
    상기 감지 표면을 적어도 두 개의 부분으로 분할하는 단계를 포함하되,
    상기 감지 표면의 제 1 부분에서 시작하는 상기 제 1 콘택트와의 상호작용은 하나 이상의 객체의 개시를 초기화하도록 구성되고,
    상기 감지 표면의 제 2 부분에서 시작하는 제 2 콘택트와의 상호작용은 상기 사용자 인터페이스 내에서의 네비게이트를 위해 이용되도록 구성되는
    방법.
  7. 제 6 항에 있어서,
    상기 객체를 개시하면, 상기 감지 표면의 상기 제 1 부분의 표면 영역을 확장하는 동시에 상기 감지 표면의 상기 제 2 부분의 표면 영역을 축소하는 단계를 포함하고,
    상기 감지 표면의 적어도 일부분을 상기 객체에 맵핑하는 단계는, 상기 감지 표면의 상기 확장된 제 1 부분을 상기 객체에 맵핑하는 단계를 포함하는
    방법.
  8. 간접 상호작용 디바이스의 감지 표면이 적어도 제 1 부분과 제 2 부분을 포함하게 하도록 구성되는 감지 구성요소를 포함하되,
    상기 제 1 부분은 상기 제 1 부분에 대해 사전정의된 방식으로 적용된 제 1 콘택트를 검출한 것에 응답하여 사용자 인터페이스를 변경하기 위해 이용되도록 구성되고,
    상기 제 2 부분은 상기 사용자 인터페이스 내에서의 네비게이트를 위해 이용되도록 구성되는
    시스템.
  9. 제 8 항에 있어서,
    상기 감지 구성요소는, 상기 사전정의된 방식으로 적용된 상기 제 1 콘택트를 검출한 것에 적어도 부분적으로 기초하여 상기 감지 표면의 상기 제 1 부분과 상기 제 2 부분 중 적어도 하나의 표면 영역을 변경하도록 구성되는
    시스템.
  10. 제 8 항에 있어서,
    상기 사용자 인터페이스를 변경하는 것은 객체를 여는 것을 포함하며,
    상기 시스템은 상기 감지 표면의 상기 제 1 부분을 상기 객체에 맵핑하도록 구성된 맵핑 구성요소를 포함하는
    시스템.
KR1020147012323A 2011-11-08 2012-11-05 사용자 인터페이스 간접 상호작용 KR102061360B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/291,776 US9594504B2 (en) 2011-11-08 2011-11-08 User interface indirect interaction
US13/291,776 2011-11-08
PCT/US2012/063626 WO2013070557A1 (en) 2011-11-08 2012-11-05 User interface indirect interaction

Publications (2)

Publication Number Publication Date
KR20140094534A true KR20140094534A (ko) 2014-07-30
KR102061360B1 KR102061360B1 (ko) 2019-12-31

Family

ID=48224637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147012323A KR102061360B1 (ko) 2011-11-08 2012-11-05 사용자 인터페이스 간접 상호작용

Country Status (6)

Country Link
US (1) US9594504B2 (ko)
EP (1) EP2776911B1 (ko)
JP (1) JP6141300B2 (ko)
KR (1) KR102061360B1 (ko)
CN (1) CN103917945B (ko)
WO (1) WO2013070557A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9658766B2 (en) * 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9213482B2 (en) * 2011-11-11 2015-12-15 Elan Microelectronics Corporation Touch control device and method
US9032292B2 (en) * 2012-01-19 2015-05-12 Blackberry Limited Simultaneous display of multiple maximized applications on touch screen electronic devices
US20160041965A1 (en) * 2012-02-15 2016-02-11 Keyless Systems Ltd. Improved data entry systems
US9395852B2 (en) * 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
KR101963787B1 (ko) * 2012-07-09 2019-03-29 삼성전자주식회사 휴대 단말기의 부가 기능 운용 방법 및 장치
KR102044829B1 (ko) * 2012-09-25 2019-11-15 삼성전자 주식회사 휴대단말기의 분할화면 처리장치 및 방법
US8887097B2 (en) * 2012-10-24 2014-11-11 Hewlett-Packard Development Company, L.P. Object opening menu
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
KR102210278B1 (ko) * 2012-12-06 2021-02-02 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN103324435B (zh) * 2013-05-24 2017-02-08 华为技术有限公司 分屏显示的方法、装置及其电子设备
JP5739479B2 (ja) * 2013-06-12 2015-06-24 本田技研工業株式会社 プログラム及びアプリケーション制御方法
CN104298453A (zh) * 2013-07-15 2015-01-21 鸿富锦精密工业（深圳）有限公司 手写输入控制方法
CN103530059B (zh) * 2013-10-30 2016-08-17 广州视睿电子科技有限公司 人机交互系统及方法
KR20150081840A (ko) * 2014-01-07 2015-07-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
USD759724S1 (en) * 2014-06-03 2016-06-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN105786341B (zh) * 2014-12-24 2019-12-13 阿里巴巴集团控股有限公司 控制移动终端应用程序的方法和装置
JP6520227B2 (ja) * 2015-03-04 2019-05-29 セイコーエプソン株式会社 表示装置および表示制御方法
US9785484B2 (en) 2015-07-02 2017-10-10 Microsoft Technology Licensing, Llc Distributed application interfacing across different hardware
US10198252B2 (en) 2015-07-02 2019-02-05 Microsoft Technology Licensing, Llc Transformation chain application splitting
US9658836B2 (en) 2015-07-02 2017-05-23 Microsoft Technology Licensing, Llc Automated generation of transformation chain compatible class
US9733915B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Building of compound application chain applications
US9712472B2 (en) 2015-07-02 2017-07-18 Microsoft Technology Licensing, Llc Application spawning responsive to communication
US9733993B2 (en) 2015-07-02 2017-08-15 Microsoft Technology Licensing, Llc Application sharing using endpoint interface entities
US10261985B2 (en) 2015-07-02 2019-04-16 Microsoft Technology Licensing, Llc Output rendering in dynamic redefining application
US9860145B2 (en) 2015-07-02 2018-01-02 Microsoft Technology Licensing, Llc Recording of inter-application data flow
US10198405B2 (en) 2015-07-08 2019-02-05 Microsoft Technology Licensing, Llc Rule-based layout of changing information
US10031724B2 (en) 2015-07-08 2018-07-24 Microsoft Technology Licensing, Llc Application operation responsive to object spatial status
US10277582B2 (en) 2015-08-27 2019-04-30 Microsoft Technology Licensing, Llc Application service architecture
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
DK180117B1 (en) 2017-05-15 2020-05-15 Apple Inc. SYSTEMS AND METHODS FOR INTERACTING WITH MULTIPLE APPLICATIONS THAT ARE SIMULTANEOUSLY DISPLAYED ON AN ELECTRONIC DEVICE WITH A TOUCHSENSITIVE DISPLAY

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327161A (en) 1989-08-09 1994-07-05 Microtouch Systems, Inc. System and method for emulating a mouse input device with a touchpad input device
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US6262717B1 (en) 1998-07-02 2001-07-17 Cirque Corporation Kiosk touch pad
US7348961B1 (en) * 1999-02-26 2008-03-25 Jonathan Shneidman Telescreen operating method
US6757002B1 (en) 1999-11-04 2004-06-29 Hewlett-Packard Development Company, L.P. Track pad pointing device with areas of specialized function
JP4300703B2 (ja) 2000-11-15 2009-07-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム格納媒体
US20030025676A1 (en) * 2001-08-02 2003-02-06 Koninklijke Philips Electronics N.V. Sensor-based menu for a touch screen panel
JP2005348036A (ja) 2004-06-02 2005-12-15 Sony Corp 情報処理システム、情報入力装置、情報処理方法、および、プログラム
US8402384B2 (en) * 2004-11-09 2013-03-19 Research In Motion Limited Dynamic bar oriented user interface
JP2009501389A (ja) 2005-07-12 2009-01-15 サーク・コーポレーション 矩形タッチパッド・センサおよび円形スクロール領域としての機能性を提供する矩形センサ・グリッド
US20090278806A1 (en) 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7949948B2 (en) * 2007-05-09 2011-05-24 Microsoft Corporation Constraint and rule-based page layout
JP2009087075A (ja) 2007-09-28 2009-04-23 Toshiba Corp 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP5065838B2 (ja) 2007-10-04 2012-11-07 アルプス電気株式会社 座標入力装置
JP2009129171A (ja) 2007-11-22 2009-06-11 Denso It Laboratory Inc 移動体に搭載される情報処理装置
US9086775B1 (en) * 2008-07-10 2015-07-21 Google Inc. Minimizing software based keyboard
US20100031202A1 (en) 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US10375223B2 (en) * 2008-08-28 2019-08-06 Qualcomm Incorporated Notifying a user of events in a computing device
US9501694B2 (en) * 2008-11-24 2016-11-22 Qualcomm Incorporated Pictorial methods for application selection and activation
KR101565768B1 (ko) 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
KR20100106638A (ko) 2009-03-24 2010-10-04 한국과학기술원 터치 기반 인터페이스 장치, 방법 및 이를 이용한 모바일 기기, 터치 패드
TW201035824A (en) 2009-03-25 2010-10-01 E Lead Electronic Co Ltd Method of operating trackpad with button function
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
KR20100118366A (ko) * 2009-04-28 2010-11-05 삼성전자주식회사 휴대 단말기의 터치스크린 운용 방법 및 이를 지원하는 휴대 단말기
US20100277422A1 (en) * 2009-04-30 2010-11-04 Microsoft Corporation Touchpad display
US8279194B2 (en) * 2009-05-22 2012-10-02 Elo Touch Solutions, Inc. Electrode configurations for projected capacitive touch screen
US8493344B2 (en) 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20100328261A1 (en) 2009-06-24 2010-12-30 Woolley Richard D Capacitive touchpad capable of operating in a single surface tracking mode and a button mode with reduced surface tracking capability
US9152317B2 (en) 2009-08-14 2015-10-06 Microsoft Technology Licensing, Llc Manipulation of graphical elements via gestures
US8429565B2 (en) * 2009-08-25 2013-04-23 Google Inc. Direct manipulation gestures
US9513798B2 (en) 2009-10-01 2016-12-06 Microsoft Technology Licensing, Llc Indirect multi-touch interaction
KR20110063297A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 휴대용단말기 및 그 제어방법
KR101092722B1 (ko) 2009-12-02 2011-12-09 현대자동차주식회사 차량의 멀티미디어 시스템 조작용 사용자 인터페이스 장치
US9542097B2 (en) 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US9367205B2 (en) * 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9405404B2 (en) 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
CN102236442B (zh) 2010-04-28 2015-04-15 赛恩倍吉科技顾问（深圳）有限公司 触摸板控制系统及方法
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US20110292268A1 (en) * 2010-05-26 2011-12-01 T-Mobile Usa, Inc. Multi-region touchpad device
US20110314427A1 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures
CN102339208A (zh) * 2010-07-14 2012-02-01 华硕电脑股份有限公司 界面显示调整方法及应用其的触控显示器
US8972879B2 (en) * 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
WO2012020865A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US8918725B2 (en) * 2010-08-31 2014-12-23 A Thinking Ape Technologies Systems and methods to support real-time integrated mobile communication for social applications
KR101750898B1 (ko) * 2010-12-06 2017-06-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8825734B2 (en) * 2011-01-27 2014-09-02 Egain Corporation Personal web display and interaction experience system
US9553948B2 (en) * 2011-05-05 2017-01-24 Vmware, Inc. User interface for managing monitoring profiles
EP3767463B1 (en) * 2011-06-05 2024-02-21 Apple Inc. Systems and methods for displaying notifications received from multiple applications
US8959430B1 (en) * 2011-09-21 2015-02-17 Amazon Technologies, Inc. Facilitating selection of keys related to a selected key

Also Published As

Publication number Publication date
JP6141300B2 (ja) 2017-06-07
EP2776911A4 (en) 2015-07-22
EP2776911A1 (en) 2014-09-17
KR102061360B1 (ko) 2019-12-31
JP2014532949A (ja) 2014-12-08
US9594504B2 (en) 2017-03-14
CN103917945B (zh) 2018-10-19
CN103917945A (zh) 2014-07-09
WO2013070557A1 (en) 2013-05-16
US20130117715A1 (en) 2013-05-09
EP2776911B1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
KR20140094534A (ko) 사용자 인터페이스 간접 상호작용
EP3191930B1 (en) Handedness detection from touch input
EP3195100B1 (en) Inactive region for touch surface based on contextual information
EP2917814B1 (en) Touch-sensitive bezel techniques
KR101756579B1 (ko) 베젤 에지에서의 터치를 검출하기 위한 방법, 전자 디바이스 및 컴퓨터 판독 가능 저장 매체
US10248224B2 (en) Input based on interactions with a physical hinge
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
KR102022288B1 (ko) 터치 입력 방법 및 휴대 단말
US20130038552A1 (en) Method and system for enhancing use of touch screen enabled devices
KR102052773B1 (ko) 간접 상호작용 디바이스를 위한 상호작용 모델
US11543961B2 (en) Touch screen display with virtual trackpad
CN103210366A (zh) 用于基于邻近的输入的装置和方法
KR20150083730A (ko) 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스
US20150242112A1 (en) Human interface device with touch sensor
EP2879038A1 (en) Input system with parallel input data
NL2027879B1 (en) Touch screen and trackpad touch detection
KR20140002900A (ko) 단말의 음원 재생 방법 및 그 단말
KR102205235B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
CN110945470A (zh) 可编程的多点触摸屏幕上键盘
US20130257727A1 (en) Input device and method for simulating input using input device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant