KR20120003441A - 터치감지 컴퓨팅시스템 및 이를 위한 인터페이스방법 - Google Patents

터치감지 컴퓨팅시스템 및 이를 위한 인터페이스방법 Download PDF

Info

Publication number
KR20120003441A
KR20120003441A KR1020117022120A KR20117022120A KR20120003441A KR 20120003441 A KR20120003441 A KR 20120003441A KR 1020117022120 A KR1020117022120 A KR 1020117022120A KR 20117022120 A KR20117022120 A KR 20117022120A KR 20120003441 A KR20120003441 A KR 20120003441A
Authority
KR
South Korea
Prior art keywords
touch
pen
command
item
commands
Prior art date
Application number
KR1020117022120A
Other languages
English (en)
Inventor
케네스 폴 힌클레이
조지 페츠슈니그
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120003441A publication Critical patent/KR20120003441A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

터치 감지 디스플레이, 그리고 이 터치 감지 디스플레이와 동작하도록 연결된 인터페이스 소프트웨어를 포함한 터치 감지 컴퓨팅 시스템을 개시한다. 인터페이스 소프트웨어는 터치 감지 디스플레이에 가해지는 터치 입력을 감지하고, 이러한 감지에 응답하여, 터치 입력이 터치 감지 디스플레이에 가해지는 장소에 의존하는 터치 감지 디스플레이상의 위치에서 터치 작동가능 사용자 인터페이스를 디스플레이하도록 구성된다.

Description

터치감지 컴퓨팅시스템 및 이를 위한 인터페이스방법{BIMODAL TOUCH SENSITIVE DIGITAL NOTEBOOK}
터치 감지 디스플레이(touch sensitive displays)는 디스플레이 표면 상에서 의 터치 형태의 입력, 소정 경우에 객체의 접근 또는 가까운 터치 형태의 입력을 수신하도록 구성된다. 터치 입력은 사용자의 손(예를 들어 엄지손가락 또는 손가락), 스틸러스(stylus) 또는 다른 펜형 도구, 혹은 다른 외부 객체로부터의 터치를 포함할 수 있다. 터치 감지 디스플레이는 다양한 컴퓨팅 시스템에 점점 더 사용되고 있음에도 불구하고, 터치 입력을 사용하려면 흔히 기능성과 인터페이스 사용의 용이성에서 상당한 트레이드오프(tradeoffs)를 수용할 필요가 있다.
따라서 터치 감지 디스플레이, 그리고 이 터치 감지 디스플레이와 동작하도록 연결된 인터페이스 소프트웨어(interface software)를 포함한 터치 감지 컴퓨팅 시스템이 제공된다. 인터페이스 소프트웨어는 터치 감지 디스플레이에 가해지되는 터치 입력을 감지하고, 이러한 감지에 응답하여, 터치 입력이 터치 감지 디스플레이에 가해지는 장소에 의존하는 터치 감지 디스플레이상의 위치에서 터치 작동가능 사용자 인터페이스를 디스플레이하도록 구성된다.
다른 일 양상에서, 터치 입력은 핸드터치(handtouch) 입력이며, 응답시에 디스플레이되는 터치 작동가능 사용자 인터페이스는 펜터치 작동가능 커맨드(pentouch operable command) 또는 커맨드들이다. 또 다른 양상에서, 활성화된 사용자 인터페이스는 초기 터치 입력의 수신에 이은 시간간격의 경과시에 디스플레이되지만, 활성화된 사용자 인터페이스의 디스플레이는 펜형 도구의 접근을 검출한 경우에 이 시간간격(interval)이 완전히 경과하기 전에 발생되도록 가속화될 수 있다.
이 요약은 상세한 설명에서 더 후술되는 개념 선택을 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구 주제의 주요 특징 또는 핵심적 특징을 확인하려는 것이 아니며, 또한 청구 주제의 범주를 제한하는데 사용하려는 것도 아니다. 더욱이 청구 주제는 본 개시물의 임의 부분에 기록된 임의 또는 모든 단점을 해결하는 구현으로 제한되지 않는다.
도 1은 대화형 디스플레이 장치의 실시예를 도시하는 블록도.
도 2는 터치 감지 컴퓨팅 장치의 실시예와 상호작용하는 사용자를 개략적으로 도시하는 도면.
도 3은 터치 감지 컴퓨팅 장치의 대표적인 인터페이스 방법의 흐름도.
도 4는 정지 핸드터치(rest handtouch) 감지에 응답하여 터치 작동가능 커맨드를 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 5는 정지 핸드 터치 및 펜팁 접근의 감지에 응답하여 터치 작동가능 커맨드를 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 6은 핸드 터치를 통해 객체의 거친 드래깅을 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 7은 펜터치를 통한 객체의 정밀한 드래깅을 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 8은 핸드터치를 통해 사용자가 객체를 선택하는 것을 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 9는 사용자가 펜터치를 통해 도 8의 객체를 복제하는 것을 도시하는 도면.
도 10은 사용자가 도 9의 복제된 객체를 펜처리를 통해 배치하는 것을 도시하는 도면.
도 11은 사용자가 핸드터치를 통해 콜렉션을 선택하는 것을 디스플레이하는 터치 감지 컴퓨팅 장치의 실시예를 개략적으로 도시하는 도면.
도 12는 사용자가 양손 핸드터치를 통해 도 11의 콜렉션을 확장하는 것을 도시하는 도면.
도 13은 사용자가 펜터치를 통해 도 11의 콜렉션으로부터 객체를 선택하는 것을 도시하는 도면.
도 1은 논리 서브시스템(22), 그리고 논리 서브시스템(22)과 동작하도록 연결된 메모리/데이터 저장 서브시스템(24)을 구비한 터치 감지 컴퓨팅 시스템(20)의 블록도이다. 메모리/데이터 저장 서브시스템(24)은 여기에 개시된 하나 이상의 방법을 수행하기 위해 논리 서브시스템(22)에 의해 실행될 수 있는 명령을 포함할 수 있다. 터치 감지 컴퓨팅 시스템(20)은 I/O 서브시스템(28)의 일부로서 포함된 디스플레이 서브시스템(26)을 더 포함할 수 있는데, 이 디스플레이 서브시스템(26)은 메모리/데이터 저장 서브시스템(24)에 의해 저장되는 데이터의 시각적 표현을 제공하도록 구성된다.
디스플레이 서브시스템(26)은 디스플레이의 표면상에서 객체에 의한 터치 형태의 입력, 소정 경우에 객체의 접근 또는 가까운 터치 형태의 입력을 수신하도록 구성된다. 소정 경우, 터치 감지 디스플레이는 "바이모달(bimodal)" 터치를 감지하도록 구성될 수 있는데, 여기서 "바이모달"은 사용자의 손가락의 터치와 펜의 터치와 같이 상이한 두 모드의 터치를 가리킨다. 소정 경우에, 터치 감지 디스플레이는 "양손사용(bimanual)" 터치를 감지하도록 구성될 수 있는데, 여기서 "양손사용"은 사용자의 집게 손가락(상이한 손)의 터치, 또는 사용자 엄지손가락 및 집게 손가락(동일한 손)의 터치와 같이 동일 모드의 터치(전형적으로 핸드터치)를 가리킨다. 따라서 소정 경우에 터치 감지 디스플레이는 바이모달과 양손사용 터치의 모두를 감지하도록 구성될 수 있다.
컴퓨팅 시스템(20)은 바이모달 및/또는 양손사용 터치를 감지하고, 감지된 터치 유형에 따라 응답을 생성하기 위하여 이러한 터치를 구별하도록 더 구성될 수 있다. 예를 들면 사람의 터치는 태핑(tapping)을 통한 즉시 객체 선택, 객체 그룹 선택 및/또는 라쏘잉(lassoing), 쥐거나(squeezing) 또는 펴는(stretching) 제스처에 의해 객체 "핀칭(pinching)", 드래깅(dragging) 및 드로핑(dropping), 그리고 객체를 회전 및/또는 변환하기 위한 제스처를 포함하지만 이로 제한되지 않는 보다 덜 정밀한 넓고 및/또는 거친(coarse) 제스처를 위해 사용될 수 있다. 부가적으로 바이모달 모드에서, 이러한 터치의 조합이 이용될 수도 있다.
다른 예에서, 펜형 터치 도구(즉 펜 터치)의 작동점(operative end)으로부터의 터치는 기록, 메뉴 항목 선택, 복사 및 붙이기와 같은 편집 동작 수행, 이미지 개선(refining), 객체를 특정 위치로 이동, 정밀한 크기조정 등을 포함하지만 이로 제한되지 않는 보다 높은 정밀도의 미세한 및/또는 로컬화된 제스처를 위해 사용될 수 있다. 또한 도 2를 참조하여 후술되는 바와 같이, 바이모달 모드에서, 이러한 인간의 터치와 펜 터치의 조합이 또한 사용될 수 있다.
실제 터치하는 것뿐만 아니라, 시스템(20)은 가까운 터치 또는 터치의 접근을 감지하도록 구성될 수 있다. 예를 들면 터치 감지 디스플레이는 펜이 디스플레이 표면의 특정 위치에 접근하고 있을 때, 디스플레이 표면으로부터 미리 정해진 거리에 또는 감지 범위 내에 있을 때, 펜 터치의 접근을 감지하도록 구성될 수 있다. 예를 들면 터치 감지 디스플레이는 펜이 디스플레이 표면의 2 센티미터내에 있을 때에 디스플레이 표면에 접근하고 있는 펜을 감지하도록 구성될 수 있다.
여기에 기술된 터치 감지 컴퓨팅 시스템은 태블릿 랩탑, 스마트폰, PDA(portable digital assistant), 디지털 노트북 등을 포함한 다양한 형태로 구현될 수 있다. 이러한 디지털 노트북의 예는 도 2에 도시되어 있으며, 보다 상세히 후술될 것이다.
논리 서브시스템(22)은 I/O 서브시스템(28)과 관련하여, 특히 디스플레이 서브시스템(26)(예를 들어 터치 감지 디스플레이)을 통해 사용자 인터페이스 기능성을 제공하기 위하여 인터페이스 명령을 실행하도록 구성될 수 있다. 전형적으로, 인터페이스 소프트웨어는 디스플레이 서브시스템(26)의 터치 감지 디스플레이와 동작하도록 연결되고, 터치 감지 디스플레이에 가해지는 터치 입력을 감지하도록 구성된다. 이러한 감지에 응답하여, 인터페이스 소프트웨어는 터치 입력이 터치 감지 디스플레이에 가해지는 장소에 의존하는 터치 감지 디스플레이상의 위치에서 터치 작동가능 사용자 인터페이스를 디스플레이하도록 더 구성될 수 있다. 예를 들면 터치(또는 펜) 작동가능 아이콘은 사용자가 디스플레이상에 그의 손가락을 두는 위치 주위에 나타날 수 있다. 이 위치는 (예를 들면 선택 상부에) 선택된 객체의 규모에 의존할 수 있다. 또한 터치 작동가능 아이콘은 고정된 위치에 나타날 수 있는데, 터치가 아이콘 또는 툴바의 출현(페이드-인(fade-in))을 조절하고, 터치를 때는 것은 그것들의 사라짐을 유발한다. 또한 아이콘 위치는 터치 위치에 부분적으로 의존할 수 있는데, 예를 들어 터치 위치에 대응한 우측 여백에 나타날 수 있다.
도 2는 대화형 디스플레이 장치의 실시예와 상호작용하는 사용자를 개략적으로 도시한다. 예를 들면 대화형 디스플레이 장치의 이러한 실시예는 디지털 노트북(30)과 같은 터치 감지 컴퓨팅 시스템일 수 있다. 디지털 노트북(30)은 하나 이상의 터치 감지 디스플레이(32)를 포함할 수 있다. 소정 실시예에서, 디지털 노트북(30)은 이 디지털 노트북(30)이 물리적 노트북의 방식으로 접어서 닫을 수 있도록 해주는 힌지(hinge)(34)를 포함할 수 있다. 도 1을 참조하여 전술한 바와 같이, 디지털 노트북(30)은 터치 감지 디스플레이와 동작하도록 연결된 인터페이스 소프트웨어를 더 포함할 수 있다.
도 2에 도시된 바와 같이, 디지털 노트북(30)은 터치 감지 디스플레이(32) 상의 펜(38)의 터치와 사용자의 손가락(36)의 터치를 감지할 수 있다. 디지털 노트북(30)은 펜(38)이 터치 감지 디스플레이(32)로부터 미리 정해진 거리내에 있을 때에 펜(38)의 접근을 감지하도록 더 구성될 수 있다. 예를 들어, 사용자의 손가락(36)이 터치 감지 디스플레이(32)에 디스플레이된 객체(40)를 선택하는데 사용될 수 있고, 응답하여, 터치 감지 디스플레이(32)는 객체(40) 주위의 대시 박스(42)를 디스플레이하는 것과 같이 하여 항목이 선택되었다는 표시를 디스플레이하도록 구성될 수 있다. 그 후, 사용자는 펜(38)을 사용한 객체(40)의 정밀한 크기조정과 같은 보다 정밀한 제스처를 수행할 수 있다. 이것은 단지 다수의 잠재적 예들 중의 하나로서, 객체 선택 및 크기조정은 터치와 펜 터치의 조합으로 수행될 수 있는 다수의 동작 중의 단지 하나라는 것을 알아야 한다. 더욱이 선택된 객체(들)의 범주는 디스플레이를 접촉하고 있는 손가락(들)과 손(들)에 의해 형성된 접촉 영역(들)의 위치, 규모 또는 형태에 의존할 수 있다는 데에 주목한다. 다른 예는 더 후술될 것이다.
도 3은 터치 감지 컴퓨팅 장치를 위한 대표적인 인터페이스 방법(50)을 도시한다. 단계(52)에서, 방법(50)은 터치 감지 디스플레이에 가해지는 터치 입력을 감지하는 단계를 포함한다. 여기에 기술한 바와 같은 터치 입력은 엄지손가락 또는 손가락(즉 핸드터치)과 같은 터치 감지 디스플레이상의 물리적 객체의 터치를 포함할 수 있다. 소정 경우, 이러한 터치 입력은 펜형 터치 도구(즉 펜터치)의 작동점일 수 있다. 더욱이 터치 입력은 또한 핸드 터치와 펜터치의 조합 및/또는 핸드터치와 펜의 접근(즉 펜팁(pentip) 접근)의 조합을 포함할 수 있다. 소정 실시예에서, 핸드터치 유형의 터치 입력은 "탭(tap)" 핸드터치를 포함할 수 있는데, 여기서 사용자는 터치 감지 디스플레이가 터치의 시작에 이은 터치의 중지를 감지하도록 터치 감지 디스플레이를 태핑한다. 다수의 경우에, 탭 핸드터치는 터치 감지 디스플레이상의 항목 선택을 일으키는 인터페이스 소프트웨어에 의해 처리되는 것이 바람직할 것이다.
소정 실시예에서, 핸드터치 유형의 터치 입력은 "정지(rest)" 핸드터치를 포함할 수 있는데, 여기서 사용자는 터치 감지 디스플레이를 터치하고, 디스플레이 장치에 대한 터치를 저장함으로써, 터치 감지 디스플레이는 연장된 터치의 시작을 감지한다. 소정 실시예에서, 터치 감지 디스플레이 장치가 정지 핸드터치를 감지하는 동안에, 디스플레이 장치는 펜팁의 접근을 추가적으로 감지할 수 있어, 방법(50)에서 전술한 바와 같은 터치 입력은 정지 핸드터치와 펜팁 접근의 조합을 감지하는 것을 포함할 수 있다. 후술하는 바와 같이, 사용자의 손 또는 다른 객체로부터의 정지 터치는 디스플레이 스크린상에 터치 작동가능 커맨드의 디스플레이를 일으키도록 처리될 수 있다. 접근하는 펜터치의 추가 입력은 스크린 상에 터치 작동가능 커맨드를 디스플레이시키는 프로세스를 변경할 수 있다. 후술되는 예에서 거론되는 바와 같이, 예를 들어 접근하는 펜 터치가 터치 작동가능 커맨드를 보다 신속하게 디스플레이시킬 수 있다.
단계(54)에서, 방법(50)은 터치 입력을 감지하는 것에 응답하여, 터치 감지 디스플레이상에 디스플레이된 항목의 선택을 일으키고, 항목에 실행가능한 터치 작동가능 커맨드 또는 커맨드들을 터치 감지 디스플레이상에 디스플레이하는 것을 포함한다. 예를 들어 전술한 바와 같이, 터치 입력은 터치 감지 디스플레이상에 디스플레이된 항목을 선택하는 데 사용될 수 있다. 더욱이 항목 선택시에, 터치 감지 디스플레이는 터치 감지 디스플레이 장치상에 터치 작동가능 커맨드 또는 커맨드들을 디스플레이할 수 있다. 이 대신에, 터치 작동가능 커맨드는 디스플레이된 항목에 가해지는 "정지" 핸드터치에 응답하여 디스플레이될 수 있다.
어쨌든, 나타나는 터치 작동가능 커맨드는 포맷 옵션, 편집 옵션 등과 같은 임의의 수 및 유형의 맥락상 메뉴의 항목에 대응한 선택가능한 옵션(options)을 포함할 수 있다. 소정 실시예에서, 터치 작동가능 커맨드의 디스플레이는 "페이드 인(fading in)", 및/또는 "플로트 인(floating in)"을 통해 터치 작동가능 커맨드를 드러내는 것을 포함함으로써, 터치 작동가능 커맨드는 서서히 보여지고(fade into view), 그리고/또는 활성화될 디스플레이상의 장소로 이동한다. 이러한 방식으로 터치 작동가능 커맨드를 드러내면 사용자를 정신없게 만들 수 있는 디스플레이상의 이미지의 플래싱 및/또는 갑작스런 변동을 피함으로써 보다 미적인 사용자 경험을 제공할 수 있다. 더욱이 페이드 인/플로트 인 방법의 진행적인 특성은 사용자가 디스플레이의 변경을 알아채도록 하고, 점점 뚜렷해진(faded-in) 커맨드를 활성화시킬 수 있는 특정 위치로 사용자의 눈을 이끌 수 있다는 것이다.
더욱이, 이러한 터치 작동가능 커맨드 또는 커맨드들은 선택되었거나 또는 구동될 항목의 위치에 의존하는 위치에서 터치 감지 디스플레이상에 디스플레이될 수 있다. 예를 들면 터치 작동가능 커맨드 또는 커맨드들은 항목 부근에 디스플레이된 맥락상 메뉴와 같이 디스플레이될 수 있다.
부가적으로 또는 이 대신에, 터치 작동가능 커맨드 또는 커맨드들은 터치 입력이 터치 감지 디스플레이에 가해지는 장소에 의존하는 위치에 디스플레이될 수 있다. 예를 들어 터치 작동가능 사용자 인터페이스는 터치 입력을 제공하는 손가락 부근에 디스플레이된 맥락상 메뉴로서 디스플레이될 수 있다.
다수의 경우에, 활성화 입력(예를 들어 정지 핸드터치)에 이은 사전결정된 시간간격(interval)의 경과 후에만 터치 작동가능 커맨드(예를 들어 점점 뚜렷해진(faded in) 커맨드)를 디스플레이하는 것이 바람직할 것이다. 예를 들어, 도 4는 대화형 디스플레이 장치(60)의 실시예를 개략적으로 도시한다. 이미지(66)에서 터치 감지 디스플레이(64)상에 사용자의 손가락(62)의 정지 핸드터치를 감지시에, 터치 감지 디스플레이(64)는 커맨드의 점선에 의해 표시되는 바와 같이 시각적으로 커맨드를 서서히 보여지게 함으로써 터치 작동가능 커맨드 "1", "2", "3"을 드러낸다. 소정 경우, 터치 감지 디스플레이(64)는 터치 입력의 감지에 이은 미리 정해진 시간간격(예를 들어 2초) 후에 커맨드를 디스플레이하도록 구성될 수 있다. 2초의 시간간격은 미리 정해진 시간간격의 지속시간이 임의 적당한 시간 길이일 수 있는 있다는 점에서 예시적인 것으로 알아야 한다. 이 대신에, (터치와 저장에 반대되는) 터치와 터치를 때는 것은 사용자가 나중에 펜 또는 손가락을 사용하여 활성화시키는 커맨드를 디스플레이할 수 있다.
커맨드 "1', "2", "3"은 임의의 수의 커맨드가 임의의 수의 상이한 구성으로 나타날 수 있고, 이들 커맨드는 사용자에게 제공되는 임의의 수의 옵션과 더 관련될 수 있다는 것으로 볼 때에 예시적인 것이다. 게다가 소정 경우에 점점 뚜렷해진(faded-in) 커맨드는 인터페이스 소프트웨어에 의해 감지되는 바와 같이 항목의 특성을 기반으로 선택될 것이다. 예를 들어 텍스트 항목의 경우에, 대응하는 터치 작동가능 커맨드는 잘라내기, 복사 및 붙이기 기능과 같은 편집 커맨드일 수 있다. 다른 예에서, 텍스트 항목과 관련된 대응한 커맨드는 폰트 스타일, 폰트 크기 및 폰트 색상과 같은 텍스트 포맷 커맨드일 수 있다. 또 다른 예에서, 텍스트 항목은 잠재적 연락 정보 및/또는 약속 정보를 포함하는 것으로 감지될 수 있고, 대응한 터치 작동가능 커맨드는 연락처와 칼렌더 항목을 포함한 개인정보 관리 스키마에 항목을 저장하기 위한 기능을 포함한다.
또한 도 3의 방법은 의도적이거나 또는 원하는 입력과는 반대로, 입력이 우발적인 입력인지를 결정하기 위해 감지된 입력을 처리하는 추가적 또는 대안적 단계를 포함할 수 있다. 잠재적인 우발적 터치는 무시할 수 있고, 그리고/또는 터치가 의도적이였는지의 여부를 명확히 결정(또는 보다 높은 신뢰도로써 결정)하기에 충분한 시간이 경과할 때까지 연기될 수 있다. 이미 나타낸 바와 같이, 예를 들어 펜 도구를 쥐고 있는 손과 관련된 터치를 무시하고 거부하는 것이 주로 바람직할 것이다. 접촉 영역의 형태, 어떤 손이 입력 면을 터치하고 있는 것에 대한 추론, 감지된 펜 터치의 근접성, 스크린상의 기본 객체 등을 포함한 다양한 인자를 사용하여 터치의 우발적인지의 여부를 평가할 수 있다.
더욱이, 도 4에 도시된 바와 같이, 커맨드 "1", "2", "3"은 항목의 위치에 의존한 위치에서 터치 감지 디스플레이(64)상에 디스플레이된다. 도시된 바와 같이, 커맨드는 사용자의 손가락(62) 부근에 디스플레이되고, 이미지(66)를 오버랩하고 있다. 커맨드는 탭-활성화 제어부, 방사형 메뉴, 드래깅가능 제어부(예를 들면 슬라이더), 다이얼 제어(옵션을 통해 값 또는 단계를 조정하기 위한 터치 다운과 원), 위젯의 교차(crossing widgets), 풀다운 메뉴, 다이얼로그 또는 다른 인터페이스 요소의 임의의 조합으로 구성될 수 있다.
전술한 바와 같은 이러한 인터페이스 소프트웨어는 터치 감지 디스플레이상의 위치를 향해 펜형 터치 도구의 작동점의 접근을 감지하도록 더 구성될 수 있고, 입력 터치의 미리 정해진 시간간격 동안에 이러한 접근을 감지시에, 터치 작동가능 사용자 인터페이스는 미리 정해진 시간간격이 완전히 경과하기에 앞서 디스플레이된다. 예를 들어 도 5는 대화형 디스플레이 장치(70)의 다른 실시예를 개략적으로 도시한다. 터치 감지 디스플레이(74)상에서 사용자의 손가락(72)의 정지 핸드터치를 감지시에, 터치 감지 디스플레이(74)는 펜(76)의 펜팁 접근을 감지한다. 정지 핸드터치와 펜팁 접근의 조합을 감지시에 응답하여, 터치 감지 디스플레이는 이미지(78)와 관련된 커맨드 "1", "2", "3"를 즉시 드러낸다. 따라서 이러한 실시에에서, 터치 감지 디스플레이(74)는 정지 핸드터치 혼자인 경우에서보다 정지 핸드터치와 펜팁 접근의 조합에 응답하여 보다 신속하게 커맨드를 보여지게 할 수 있다. 따라서 이러한 실시예에서, 키보드 단축키가 통상적인 퍼스널 컴퓨터의 사용자에게 제공할 수 있는 것처럼, 정지 핸드터치와 펜팁 접근의 조합은 대화형 디스플레이 장치(70)의 사용자에게 보다 신속한 해결방안을 제공한다. 보통, 커맨드의 시각적 출현과 커맨드의 물리적 액세스가능성은 분리될 수 있다. 예를 들면 스크린을 터치하는 손에 펜이 근접해 올 시에, 일부 또는 모든 커맨드는 즉시 활동가능할 수 있다. 또 다른 예로서, 손에 바로 근접한 펜 스트로크(pen stroke)는 커맨드(들)가 그 때 시각적으로 디스플레이되든지 간에 커맨드 '1"에 의해 제시되는 방사형 메뉴로부터 옵션을 선택하는 것으로 이해될 수 있다.
더욱이 소정 경우에, 여기에 기술한 바와 같이 터치 감지 디스플레이, 그리고 이 터치 감지 디스플레이와 동작하도록 연결된 인터페이스 소프트웨어를 포함한 터치 감지 컴퓨팅 시스템은 터치 감지 디스플레이에 디스플레이된 항목에 가해지는 터치 입력을 감지하고, 이러한 감지에 응답하여 항목상에 실행할 수 있는 펜터치 작동가능 커맨드 또는 커맨드들을 터치 감지 디스플레이상에 디스플레이하도록 구성될 수 있다.
펜터치 작동가능 커맨드는 전술한 바와 같은 터치 작동가능 커맨드를 포함한 여러가지 알맞는 형태일 수 있다. 또한 펜터치 작동가능 커맨드는 펜형 터치 도구의 작동점이 터치 감지 디스플레이와 상호작용하는 디스플레이의 특정하고 비교적 작은 상호작용 영역을 사용하는 보다 정밀한 특성의 터치 작동가능 커맨드를 더 포함할 수 있다. 따라서 펜터치 작동가능 커맨드는 상이한 애플리케이션 모드로 변경 및/또는 확대 뷰에서 디지털 작업공간을 볼 필요없이 정밀한 작업을 쉽게 완료하는 잠재적 이점을 사용자에게 제공할 수 있다. 환언하면, 펜터치 작동가능 커맨드는 디스플레이의 보다 큰 상호작용 영역을 가릴 수 있는 손가락 끝으로는 힘든, 통제되고 정밀한 방식으로 터치 감지 디스플레이에 디스플레이된 객체의 정밀한 조작을 용이하게 할 수 있다.
소정 경우에, 터치 감지 디스플레이는 터치 작동가능 커맨드를 참조하여 전술한 바와 같이 터치 입력의 감지에 이은 미리 정해진 시간간격 후에 펜터치 작동 가능 커맨드를 디스플레이하도록 구성될 수 있다.
소정 실시예에서, 펜터치 작동가능 커맨드는 터치 감지 디스플레이상의 원하는 위치로 항목을 이동시키기 위해 펜형 도구의 조작을 통해 실행가능한 이동 커맨드를 포함할 수 있다. 예를 들어 도 6은 핸드터치를 통한 객체의 거친 드래깅을 도시하고, 도 7은 펜터치를 통한 객체의 정밀한 드래깅을 도시하는데, 이는 보다 상세히 후술될 것이다.
도 6은 터치 감지 디스플레이(84)상에 이미지(82)를 디스플레이하는 대화형 디스플레이 장치(80)의 실시예를 개략적으로 도시한다. 도시된 바와 같이, 사용자의 손가락(86)은 이미지(82)를 가상으로 "던지기(toss)"위해 거친 제스처를 수행중이다. 따라서 터치 감지 디스플레이(84)는 이미지가 대시선에 의해 표시된 원 위치로부터 실선으로 표시된 마지막 위치로 조정되는 것을 디스플레이한다.
도 7은 펜터치를 통한 객체의 정밀한 드래깅을 디스플레이하는 대화형 디스플레이 장치(90)의 실시예를 개략적으로 도시한다. 도시된 바와 같이, 펜(92)은 이미지(94)의 정밀한 드래깅을 수행중이다. 따라서 터치 감지 디스플레이(96)는 이미지가 대시선에 의해 표시된 원 위치로부터 실선으로 표시된 최종 정밀한 위치로 조정되는 것을 디스플레이한다. 도시된 바와 같이, 사용자는 터치 감지 디스플레이(96)에 디스플레이되는 다른 객체(98)에 인접한 이미지(94)를 정밀하게 위치시키고 있다.
소정 실시예에서, 펜터치 작동가능 커맨드는 항목의 사본을 터치 감지 디스플레이상의 원하는 위치에 배치하도록 하는 펜형 도구의 조작을 통해 실행가능한 복사 및 배치 커맨드를 포함할 수 있다. 도 8 내지 도 10은 이러한 "복사 및 배치" 커맨드의 예를 도시한다. 도 8은 사용자가 사용자의 손가락(106)의 핸드터치를 통해 객체(104)를 선택하는 것은 터치 감지 디스플레이(102)상에 디스플레이하는 대화형 디스플레이 장치(100)의 실시예를 개략적으로 도시한다. 이렇게 함으로써, 사용자는 도 9에 도시된 바와 같이 펜터치(108)를 통해 객체(104)를 복제하고, 복제된 객체를 정밀하게 드래깅하기 시작한다. 객체를 복제시에, 사용자는 펜터치를 통해 복제된 객체를 정밀하게 드래깅하고, 복제된 객체를, 터치 감지 디스플레이 장치(102)상에 디스플레이된 선에 인접하게 정확하게 배치하는데, 이는 도 10에 도시된다. 이와 같이, "복사 및 던지기(copy and toss)" 커맨드는 물리적 화면의 흠이 독립된 스크린 또는 오프-스크린 위치로의 객체 복사를 막지 않도록, 복사된 항목을 제2 스크린상으로 던짐으로써 유사한 트랜잭션을 종료시킬 수 있게 한다.
소정 실시예에서, 펜터치 작동가능 커맨드는 항목을 원하는 양의 크기로 조정되게 펜형 도구의 조작을 통해 실행가능한 크기조정 커맨드를 포함할 수 있다. 이러한 커맨드는 터치 감지 디스플레이 상에 펜이 선택된 이미지의 크기를 정밀하게 조정하기 위해 사용할 수 있는 선택된 이미지상의 "핸들(handles)"을 디스플레이되는 것을 포함할 수 있다.
더욱이 소정 실시예에서, 펜터치 작동가능 커맨드는 항목을 원하는 양만큼 회전시키는, 펜형 도구의 조작을 통해 실행가능한 회전 커맨드를 포함할 수 있다. 또한 펜을 이용함으로써, 이러한 회전은 핸드터치를 통한 회전보다 더 정밀하게 제어될 수 있다. 펜 대신에 두 터치를 사용함으로써, 펜으로 작은 선택 핸들을 선택할 필요없이 선택된 객체의 거친 크기조정 및 회전을 행할 수 있다.
소정 실시예에서, 핸드터치와 펜터치의 조합은 터치 감지 디스플레이상에 디스플레이된 항목 콜렉션을 조작 및/또는 정리하는데 사용될 수 있는데, 이의 예는 도 11 내지 도 13에 도시되며, 보다 상세히 후술된다. 도 11은 터치 감지 디스플레이(124)상에 항목 콜렉션(122)을 디스플레이하는 대화형 디스플레이 장치(120)의 실시예를 도시한다. 사용자(126)의 핸드터치는 콜렉션을 선택하고, 이에 따라 터치 감지 디스플레이(124)는 도 12에 도시된 바와 같이 콜렉션(122)내 항목(128)의 확장을 디스플레이하는데, 이는 사용자(126)가 핀칭(pinching)과 같은 양손사용 터치로써 더 조작할 수 있다. 이렇게 함으로서, 도 13에 도시된 바와 같이, 펜(130)의 펜터치를 사용하여 콜렉션으로부터 항목(132)을 선택할 수 있다. 그 후, 선택된 항목(132)은 여기에 기술된 바와 같이 여러 가지 방식으로 펜터치를 통해 더 조작될 수 있다. 이런 식으로, 콜렉션은 유닛으로 조작될 수 있거나, 콜렉션내 요소는 예를 들어 분명한 "그룹"과 "비그룹(ungroup)" 커맨드로 재정렬될 필요없이 개별적으로 조작될 수 있다.
전술한 바로부터 알 수 있듯이, 여기에 거론된 바이모달(예를 들어 핸드터치와 펜터치)과 양손사용(두 손) 인터페이스 접근방안을 사용하여 다양한 이점 및 이득을 얻을 수 있다. 이들 접근방안은 다양한 설정상에서 사용될 수 있다. 더 예를 들면, 듀얼스크린(dual screen) 실시예에서, 일 스크린은 일 유형의 입력(예를 들어 핸드터치) 전용일 수 있고, 반면에 다른 스크린은 다른 입력 유형(예를 들어 펜터치) 전용일 수 있다. 스크린들 간의 이러한 일(labor) 분할은 입력의 해석을 용이하게 하고, 인체공학성(ergonomics)을 개선하고, 인터페이스의 사용을 용이하게 할 수 있으며, 그리고/또는 스크린에 대한 부수적인 핸드레스트 또는 터치와 같은 원치않는 입력의 거부를 개선시킬 수 있다. 듀얼 스크린 환경에서의 또 다른 예시적 이득은 사용자의 양 손이 다른 스크린에 입력을 가하는데 사용중임을 감지시에 스크린 중의 일 스크린에 디지타이저 전력(digitizer power)을 감소시키는 것이다(그리고 이로써 장치의 배터치 사용시간을 늘린다).
도 1을 다시 참조하면, 논리 서브시스템(22)은 하나 이상의 명령을 실행하기 위해 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들면 논리 서브시스템은 하나 이상의 프로그램, 루틴, 객체, 구성요소, 데이터 구조, 또는 다른 논리 구조물의 일부인 하나 이상의 명령을 실행하도록 구성될 수 있다. 이러한 명령은 작업을 수행하고, 데이터 유형을 구현하고, 하나 이상의 장치의 상태를 변환하고, 그렇지 않으면 원하는 결과에 도달하도록 구현될 수 있다. 논리 서브시스템은 소프트웨어 명령을 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 부가적으로 또는 이 대신에, 논리 서브시스템은 하드웨어 또는 펌웨어 명령을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 서브시스템은 선택사양으로, 소정 실시예에서 원격으로 위치할 수 있는 둘 이상의 장치에 분산된 개별 구성요소를 포함할 수 있다.
메모리/데이터 저장 서브시스템(24)은 여기에 기술된 방법 및 프로세스를 구현하기 위해 논리 서브시스템에 의해 실행될 수 있는 데이터 및/또는 명령을 저장하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 이러한 방법 및 프로세스를 구현할 때, 메모리/데이터 저장 서브시스템(24)의 상태가 (예를 들어 상이한 데이터를 저장하기 위해) 변환될 수 있다. 메모리/데이터 저장 서브시스템(24)은 분리식 매체 및/또는 내장 장치를 포함할 수 있다. 메모리/데이터 저장 서브시스템(24)은 다른 것들 중에서 광 메모리 장치, 반도체 메모리 장치 및/또는 자기 메모리 장치를 포함할 수 있다. 메모리/데이터 저장 서브시스템(24)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 임의 액세스, 순차 액세스, 위치 주소지정가능, 파일 주소지정가능, 및 콘텐츠 주소지정가능의 특성 중의 하나 이상을 가진 장치를 포함할 수 있다. 소정 실시예에서, 논리 서브시스템(22)과 메모리/데이터 저장 서브시스템(24)은 ASIC(application specific integrated circuit) 또는 SoC(system on a chip)와 같은 하나 이상의 공통 장치로 통합될 수 있다.
디스플레이 서브시스템(26)은 포함될 때에 메모리/데이터 저장 서브시스템(24)에 의해 저장되는 데이터의 시각적 표현을 제공하는데 사용될 수 있다. 여기에 기술된 방법과 프로세스는 데이터 저장 서브시스템에 의해 저장되는 데이터를 변경하고, 따라서 데이터 저장 서브시스템의 상태를 변환하므로, 디스플레이 서브시스템(26)의 상태는 기본 데이터에서 변경을 시각적으로 나타내기 위해 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(26)은 거의 모든 유형의 기술을 사용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유 인클로저(shared enclosure) 내에서 논리 서브시스템(22) 및/또는 메모리/데이터 저장 서브시스템(24)과 조합될 수 있거나, 이러한 디스플레이 장치는 주변 디스플레이 장치일 수 있다.
많은 변형이 가능하나, 여기에 기술된 구성 및/또는 접근방안은 특성상 예시적인 것이며, 이들 특정 실시예 또는 예시는 제한하려는 것으로 간주되지 않는다는 것을 알아야 한다. 여기에 기술된 특정 루틴 또는 방법은 임의의 수의 처리 전략중의 하나 이상을 나타낼 수 있다. 따라서 기술된 다양한 액트(acts)는 도시된 시퀀스로, 다른 시퀀스로, 병렬로, 또는 소정 경우 생략되어 수행될 수 있다. 이와 같이, 전술한 프로세스의 순서는 변경될 수 있다.
본 개시물의 주제는 다양한 프로세스, 시스템 및 구성, 그리고 여기에 개시된 다른 특징, 기능, 액트 및/또는 속성의 모든 신규이자 자명하지 않은 조합 및 부조합뿐만 아니라 이의 어떠한 및 모든 등가물을 포함한다.

Claims (14)

  1. 터치 감지 디스플레이(touch sensitive display)(26), 및
    상기 터치 감지 디스플레이(26)와 동작하도록 연결된 인터페이스 소프트웨어(interface software)(28)
    를 포함하고,
    상기 인터페이스 소프트웨어(28)는 상기 터치 감지 디스플레이(26)상에 디스플레이된 항목에 가해지는 핸드터치 입력(handtouch input)을 감지하고, 이러한 감지에 응답하여, 상기 항목에 실행될 수 있는 펜터치 작동가능 커맨드(pentouch operable command) 또는 커맨드들을 상기 터치 감지 디스플레이(26)상에 디스플레이하도록 구성되는
    터치 감지 컴퓨팅시스템.
  2. 제1항에 있어서,
    상기 펜터치 작동가능 커맨드 또는 커맨드들은 상기 터치 감지 디스플레이상의 원하는 위치에 상기 항목의 사본(copy)을 배치하기 위해 펜형 도구의 조작을 통해 실행가능한 복사 및 배치(copy and place) 커맨드를 포함하는
    터치 감지 컴퓨팅시스템.
  3. 제1항에 있어서,
    상기 펜터치 작동가능 커맨드 또는 커맨드들은 상기 항목을 상기 터치 감지 디스플레이상의 원하는 위치로 이동시키기 위해 펜형 도구의 조작을 통해 실행가능한 이동(move) 커맨드를 포함하는
    터치 감지 컴퓨팅시스템.
  4. 제1항에 있어서,
    상기 펜터치 작동가능 커맨드 또는 커맨드들은 상기 항목을 원하는 양만큼 크기조정하기 위해 펜형 도구의 조작을 통해 실행가능한 크기조정(resize) 커맨드를 포함하는
    터치 감지 컴퓨팅시스템.
  5. 제1항에 있어서,
    상기 펜터치 작동가능 커맨드 또는 커맨드들은 상기 항목을 원하는 양만큼 회전시키기 위해 펜형 도구의 조작을 통해 실행가능한 회전(rotate) 커맨드를 포함하는
    터치 감지 컴퓨팅시스템.
  6. 제1항에 있어서,
    상기 인터페이스 소프트웨어는 상기 핸드터치 입력의 감지에 이은 미리 정해진 시간간격의 경과 후에 상기 펜터치 작동가능 커맨드 또는 커맨드들을 디스플레이하도록 구성되는
    터치 감지 컴퓨팅시스템.
  7. 제6항에 있어서,
    상기 인터페이스 소프트웨어는 상기 항목을 향한 펜형 도구의 작동점(operative end)의 접근을 감지하도록 구성되고, 그리고 상기 미리 정해진 시간간격 동안에 이러한 접근이 감지될 때, 상기 펜터치 작동가능 커맨드 또는 커맨드들은 상기 미리 정해진 시간간격이 완전히 경과하기 전에 디스플레이되는
    터치 감지 컴퓨팅시스템.
  8. 터치 감지 컴퓨팅 장치를 위한 인터페이스 방법(50)에 있어서,
    터치 감지 디스플레이로 가해지는 터치 입력을 감지하는 단계(52), 및
    상기 터치 입력의 감지에 응답하여, 상기 터치 감지 디스플레이상에 디스플레이된 항목의 선택을 발생시키고, 상기 항목에 실행될 수 있는 터치 작동가능 커맨드 또는 커맨드들을 상기 터치 감지 디스플레이상에 디스플레이하는 단계(54)
    를 포함하고,
    상기 터치 작동가능 커맨드 또는 커맨드들은 상기 항목의 위치에 의존하는 위치에서 상기 터치 감지 디스플레이상에 디스플레이되는
    인터페이스 방법.
  9. 제8항에 있어서,
    상기 터치 입력은 상기 항목 위에 놓이는(rest) 핸드터치 입력인
    인터페이스 방법.
  10. 제9항에 있어서,
    상기 터치 작동가능 커맨드 또는 커맨드들은 펜터치 작동가능하며, 미리 정해진 시간 간격의 경과에 뒤이어 상기 항목에 근접하게 디스플레이되는
    인터페이스 방법.
  11. 제10항에 있어서,
    상기 항목으로 펜형 도구의 작동점의 접근을 감지하는 단계를 더 포함하고, 미리 정해진 시간 간격 동안에 이러한 접근을 감지한다면, 상기 미리 정해진 시간 간격의 완전히 경과하기 전에 상기 터치 작동가능 커맨드 또는 커맨드들을 디스플레이하게 하는
    인터페이스 방법.
  12. 제10항에 있어서,
    상기 터치 작동가능 커맨드 또는 커맨드들은 항목의 특성에 의존하는
    인터페이스 방법.
  13. 제12항에 있어서,
    상기 터치 작동가능 커맨드 또는 커맨드들은 연락처와 칼렌더 항목을 포함한 개인 정보 관리자 스키마에 상기 항목을 저장하기 위한 커맨드를 포함하는
    인터페이스 방법.
  14. 제12항에 있어서,
    상기 터치 작동가능 커맨드 또는 커맨드들은 잘라내기(cut), 복사(copy) 및 붙이기(paste) 커맨드를 포함하는
    인터페이스 방법.
KR1020117022120A 2009-03-24 2010-03-03 터치감지 컴퓨팅시스템 및 이를 위한 인터페이스방법 KR20120003441A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/410,311 US20100251112A1 (en) 2009-03-24 2009-03-24 Bimodal touch sensitive digital notebook
US12/410,311 2009-03-24

Publications (1)

Publication Number Publication Date
KR20120003441A true KR20120003441A (ko) 2012-01-10

Family

ID=42781756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117022120A KR20120003441A (ko) 2009-03-24 2010-03-03 터치감지 컴퓨팅시스템 및 이를 위한 인터페이스방법

Country Status (8)

Country Link
US (1) US20100251112A1 (ko)
EP (1) EP2411894A4 (ko)
JP (1) JP5559866B2 (ko)
KR (1) KR20120003441A (ko)
CN (1) CN102362249B (ko)
RU (1) RU2011139143A (ko)
TW (1) TWI493394B (ko)
WO (1) WO2010111003A2 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US9035887B1 (en) * 2009-07-10 2015-05-19 Lexcycle, Inc Interactive user interface
US20120313865A1 (en) * 2009-08-25 2012-12-13 Promethean Ltd Interactive surface with a plurality of input detection technologies
JP2011150413A (ja) 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
JP5666239B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
KR102033599B1 (ko) 2010-12-28 2019-10-17 삼성전자주식회사 페이지간 오브젝트 이동 방법 및 인터페이스 장치
TWI467463B (zh) * 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
KR101802759B1 (ko) * 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8640047B2 (en) 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
CN109460118A (zh) * 2011-09-30 2019-03-12 英特尔公司 可变换的计算设备
KR102027601B1 (ko) 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
EP2795430A4 (en) 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US9678574B2 (en) 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
US9684379B2 (en) * 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9928562B2 (en) 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US20130191781A1 (en) * 2012-01-20 2013-07-25 Microsoft Corporation Displaying and interacting with touch contextual user interface
US10001906B2 (en) * 2012-02-06 2018-06-19 Nokia Technologies Oy Apparatus and method for providing a visual indication of an operation
KR102129374B1 (ko) 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9589538B2 (en) 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
JP6003566B2 (ja) * 2012-11-19 2016-10-05 コニカミノルタ株式会社 オブジェクト操作装置及びオブジェクト操作制御プログラム
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
KR102131825B1 (ko) 2013-03-20 2020-07-09 엘지전자 주식회사 적응적 터치 센서티브 영역을 제공하는 폴더블 디스플레이 디바이스 및 그 제어 방법
KR102070776B1 (ko) * 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US10599250B2 (en) * 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
KR102332468B1 (ko) * 2014-07-24 2021-11-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR20160023298A (ko) * 2014-08-22 2016-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인터페이스 제공 방법
US10146409B2 (en) 2014-08-29 2018-12-04 Microsoft Technology Licensing, Llc Computerized dynamic splitting of interaction across multiple content
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN105589648A (zh) * 2014-10-24 2016-05-18 深圳富泰宏精密工业有限公司 快速复制粘贴系统及方法
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CN110045789B (zh) 2018-01-02 2023-05-23 仁宝电脑工业股份有限公司 电子装置、枢纽组件及电子装置的扩增实境互动方法
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11980792B2 (en) 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
CN112114688A (zh) * 2019-06-20 2020-12-22 摩托罗拉移动有限责任公司 用于旋转显示器上呈现的图形对象的电子设备及相应方法
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
JP2022065419A (ja) * 2020-10-15 2022-04-27 セイコーエプソン株式会社 表示方法、及び表示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5448263A (en) * 1991-10-21 1995-09-05 Smart Technologies Inc. Interactive display system
US5956020A (en) * 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
TW449709B (en) * 1997-11-17 2001-08-11 Hewlett Packard Co A method for distinguishing a contact input
US6310610B1 (en) * 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US7190348B2 (en) * 2000-12-26 2007-03-13 International Business Machines Corporation Method for touchscreen data input
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7401300B2 (en) * 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
US7489305B2 (en) * 2004-12-01 2009-02-10 Thermoteknix Systems Limited Touch screen control
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
US20060267958A1 (en) * 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
CN1991720A (zh) * 2005-12-28 2007-07-04 中兴通讯股份有限公司 一种自动实现手写输入的装置
CN100426212C (zh) * 2005-12-28 2008-10-15 中兴通讯股份有限公司 一种虚拟键盘和手写协同输入的系统及其实现方法
WO2008020446A1 (en) * 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
KR20110007237A (ko) * 2006-09-28 2011-01-21 교세라 가부시키가이샤 휴대 단말 및 그 제어 방법
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
WO2008095132A2 (en) * 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
CN101308434B (zh) * 2007-05-15 2011-06-22 宏达国际电子股份有限公司 使用者界面的操作方法
US8330733B2 (en) * 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity

Also Published As

Publication number Publication date
WO2010111003A2 (en) 2010-09-30
CN102362249B (zh) 2014-11-19
JP2012521605A (ja) 2012-09-13
CN102362249A (zh) 2012-02-22
WO2010111003A3 (en) 2011-01-13
JP5559866B2 (ja) 2014-07-23
US20100251112A1 (en) 2010-09-30
TW201037577A (en) 2010-10-16
EP2411894A2 (en) 2012-02-01
TWI493394B (zh) 2015-07-21
RU2011139143A (ru) 2013-03-27
EP2411894A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5559866B2 (ja) バイモーダルタッチセンサ式デジタルノートブック
US11320931B2 (en) Swipe-based confirmation for touch sensitive devices
US11204687B2 (en) Visual thumbnail, scrubber for digital content
US9134892B2 (en) Drag-based content selection technique for touch screen UI
US9477382B2 (en) Multi-page content selection technique
US8842084B2 (en) Gesture-based object manipulation methods and devices
US9766723B2 (en) Stylus sensitive device with hover over stylus control functionality
US9261985B2 (en) Stylus-based touch-sensitive area for UI control of computing device
US9367208B2 (en) Move icon to reveal textual information
US9400601B2 (en) Techniques for paging through digital content on touch screen devices
US9134893B2 (en) Block-based content selecting technique for touch screen UI
TWI393045B (zh) 瀏覽多個應用視窗的方法、系統及圖形化使用者介面
US10331777B2 (en) Merging annotations of paginated digital content
US20070257891A1 (en) Method and system for emulating a mouse on a multi-touch sensitive surface
US20140253522A1 (en) Stylus-based pressure-sensitive area for ui control of computing device
US20120044164A1 (en) Interface apparatus and method for setting a control area on a touch screen
US9134903B2 (en) Content selecting technique for touch screen UI
US10915698B2 (en) Multi-purpose tool for interacting with paginated digital content
Tu et al. Text Pin: Improving text selection with mode-augmented handles on touchscreen mobile devices

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application