KR20100029191A - 시각적 피드백 디스플레이 - Google Patents

시각적 피드백 디스플레이 Download PDF

Info

Publication number
KR20100029191A
KR20100029191A KR1020097025448A KR20097025448A KR20100029191A KR 20100029191 A KR20100029191 A KR 20100029191A KR 1020097025448 A KR1020097025448 A KR 1020097025448A KR 20097025448 A KR20097025448 A KR 20097025448A KR 20100029191 A KR20100029191 A KR 20100029191A
Authority
KR
South Korea
Prior art keywords
point
menu
displaying
control
screen
Prior art date
Application number
KR1020097025448A
Other languages
English (en)
Other versions
KR101541928B1 (ko
Inventor
브라이언 허드슨
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100029191A publication Critical patent/KR20100029191A/ko
Application granted granted Critical
Publication of KR101541928B1 publication Critical patent/KR101541928B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/974—Slider control as on-screen object in operator interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

시각적 피드백이 제공될 수 있다. 먼저, 표면상의 제1 포인트와의 연속적인 접촉이 검출될 수 있다. 표면은 예를 들어, 터치 스크린 또는 터치 패드를 포함할 수 있다. 연속 접촉은 예를 들어, 스타일러스 또는 본인의 손가락을 포함하는 선택 요소에 의해 야기될 수 있다. 그 다음, 메뉴는 검출된 연속 접촉에 응답하여 표시될 수 있다. 메뉴는 다수의 메뉴 선택가능 요소를 포함할 수 있다. 다음에, 연속 접촉이 표면상의 제1 포인트에서 표면상의 제2 포인트로 이동했다는 것이 검출될 수 있다. 제2 포인트는 다수의 메뉴 선택가능 요소 중의 하나에 대응할 수 있다. 그 다음, 컨트롤은 다수의 메뉴 선택가능 요소 중의 하나에 대응하여 표시될 수 있다.
시각적 피드백, 터치 스크린, 터치 패드, 연속 접촉, 선택 요소, 메뉴, 컨트롤

Description

시각적 피드백 디스플레이{VISUAL FEEDBACK DISPLAY}
본 발명은 시각적 피드백 디스플레이에 관한 것이다.
종래의 터치 기반 입력 솔루션은 일반적으로 상호작용을 위한 "포인트 앤드 클릭(point and click)" 방법을 이용한다. 스크린상의 시각적 요소(예를 들어, 아이콘, 하이퍼링크, 버튼 또는 편집 상자)는 사용자가 시스템에 정보 또는 입력을 제공할 기회를 준다. 사용자는 흔히 컨트롤 위에 마우스 커서를 호버링(hovering)하여 클릭함으로써 달성되는 것을 시뮬레이션하기 위해 스크린의 터치 민감 부분을 톡톡 두드린다.
터치 기반 장치를 전개할 때 자주 부닥치는 문제는 사용자가 "OK" 버튼을 두드릴 때, 실제로 컨트롤을 놓치거나, 의도하지 않은 바로 옆의 컨트롤을 트리거하지 않도록, 터치 스크린을 조정하는 것이다. 이것은 때때로, 더 큰 타깃 영역으로 인해 놓치기 더 어려운 대형 컨트롤을 생성함으로써 완화된다. 그러나, 모바일 장치상에서, 사람들은 일반적으로 그보다도 스타일러스를 사용하여, 스타일러스를 통한 터치 입력의 정밀도를 이용하여 작은 버튼에 계속 의존한다.
흔히, 계단식 메뉴 또는 탭 컨트롤 세트는 유사한 옵션 또는 컨트롤을 그룹화하기 위해 사용된다. 이것은 사용자가 뷰잉 또는 변경을 위해 보고 있는 컨트 롤, 데이터 또는 옵션을 액세스하기 위해 스크린의 작은 영역을 사용자가 여러 번 두드리게 한다. 소형 휴대용 장치상에서, 이것은 지루할 수 있고, 사용자가 그 장치에 대해 인내심을 잃게 할 수 있다.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들의 선택된 개념을 단순화된 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 중요한 특징이나 본질적인 특징을 식별하고자 하는 것이 아니다. 또한, 이 요약은 청구된 주제의 범위를 제한하는데 사용하고자 하는 것도 아니다.
시각적 피드백이 제공될 수 있다. 먼저, 표면상의 제1 포인트와의 연속적인 접촉이 검출될 수 있다. 표면은 예를 들어, 터치 스크린 또는 터치 패드를 포함할 수 있다. 연속 접촉은 예를 들어, 스타일러스 또는 본인의 손가락을 포함하는 선택 요소에 의해 야기될 수 있다. 그 다음, 메뉴는 검출된 연속 접촉에 응답하여 표시될 수 있다. 메뉴는 다수의 메뉴 선택가능 요소를 포함할 수 있다. 다음에, 연속 접촉이 표면상의 제1 포인트에서 표면상의 제2 포인트로 이동했다는 것이 검출될 수 있다. 제2 포인트는 다수의 메뉴 선택가능 요소 중의 하나에 대응할 수 있다. 그 다음, 컨트롤은 다수의 메뉴 선택가능 요소 중의 하나에 대응하여 표시될 수 있다.
상기 일반적인 설명 및 다음의 상세한 설명은 예를 제공하고, 단지 설명하기 위한 것일 뿐이다. 따라서, 상기 일반적인 설명 및 다음의 상세한 설명은 제한적인 것으로 생각되어서는 안 된다. 더욱이, 여기에서 설명된 것들 이외의 특징 또는 변형이 제공될 수 있다. 예를 들어, 실시예는 상세한 설명에서 설명된 다양한 특징의 조합 및 서브-조합에 관한 것일 수 있다.
이 명세서에 포함되고 그 일부를 구성하는 첨부 도면은 본 발명의 다양한 실시예를 나타낸다.
도 1은 운영 환경의 블록도.
도 2는 시각적 피드백 디스플레이를 제공하는 방법의 순서도.
도 3은 디스플레이를 도시한 도면.
도 4는 디스플레이를 도시한 도면.
도 5는 디스플레이를 도시한 도면.
도 6은 디스플레이를 도시한 도면.
도 7은 컴퓨팅 장치를 포함하는 시스템의 블록도.
다음의 상세한 설명은 첨부 도면을 참조한다. 가능한 곳이면 어디나, 동일한 참조 번호는 동일하거나 유사한 요소를 나타내기 위해 도면 및 다음 설명에서 사용된다. 본 발명의 실시예가 설명될 수 있지만, 변경, 개조 및 그외 다른 구현도 가능하다. 예를 들어, 도면에 도시된 요소에 대체, 추가 또는 변경이 행해질 수 있고, 여기에 설명된 방법은 개시된 방법에 대해 단계를 대체, 재순서화 또는 추가함으로써 변경될 수 있다. 따라서, 다음의 상세한 설명은 본 발명을 제한하지 않는다. 그 대신에, 본 발명의 적절한 범위는 첨부된 청구범위에 의해 정의된다.
많은 종래의 터치 스크린 사용자 인터페이스는 번거롭고, 스타일러스 없이는 사용하기 어렵다. 본 발명의 실시예에 따라, 직관적으로 상호작용하는 방식으로 더욱 지능적으로 스크린 공간을 사용함으로써 터치 스크린 장치와 상호작용하기 위해 손가락(예를 들어, 엄지손가락 또는 나머지 손가락)을 사용하기 쉽게 하는 입력 모델이 제공될 수 있다. 본 발명의 실시예는 절대 위치설정(예를 들어, "헌트 앤드 펙(hunt and peck)" 방법)보다는 오히려 스크린과의 상호작용의 상대 위치를 사용함으로써 이것을 제공할 수 있다.
도 1은 메뉴(110)가 스크린(105) 상에 표시되어 있는 스크린(105)을 포함하는 컴퓨팅 장치(100)를 도시한 것이다. 컴퓨팅 장치(100)는 퍼스널 컴퓨터, 네트워크 컴퓨터, 메인프레임 또는 기타 유사한 마이크로컴퓨터 기반 워크스테이션을 포함할 수 있다. 하지만, 컴퓨팅 장치(100)는 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능 송신기 전자 장치, 미니컴퓨터, 메인프레임 컴퓨터 등과 같은 임의의 유형의 컴퓨터 운영 환경을 포함할 수 있다. 더욱이, 컴퓨팅 장치(100)는 스마트 폰, 휴대폰, 무선 애플리케이션 프로토콜(WAP)을 이용하는 휴대폰, 개인용 정보 단말기(PDA), 인텔리전트 페이저, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 종래의 전화기 또는 팩스기와 같은 모바일 단말기를 포함할 수 있다. 상기 설명된 시스템 및 장치는 예시적인 것이고, 컴퓨팅 장치(100)는 그외 다른 시스템 또는 장치를 포함할 수 있다.
본 발명의 실시예는 사용자가 스크린(105)을 톡톡 두드릴 수 있게 하고 (선택적으로) 스크린(105)과의 접촉을 유지할 수 있게 할 수 있다. 이 초기 터치 포 인트의 절대 위치는 시각적 피드백을 표시하기 위해 참조하기 위한 시작점으로서 사용될 수 있다. 더구나, 이 초기 터치 포인트는 손가락(또는 스타일러스)으로부터의 터치 포인트의 장래의 상대적인 움직임에 대한 기준 점이 될 뿐만 아니라 옵션을 제공할 수 있다. 본 발명의 실시예에 따르면, 사용자는 원하는 컨트롤을 맞히기 위해 스크린(105) 상의 특정 포인트를 두드리지 않아도 된다. 그 대신에, 컨트롤은 초기 터치와 관련하여 드로잉(drawing)될 수 있다. 후속 명령으로, 입력은 후속 터치 포인트의 상대 위치에 기초하여 계산될 수 있다. 이것은 디스플레이 및 터치 센서의 조정으로 인한 에러를 줄일 수 있다.
스크린(105)은 사용자가 스크린(105)의 상이한 영역으로 손가락(또는 스타일러스)을 이동함에 따라 컨트롤을 재드로잉함으로써 효율적으로 사용될 수 있다. 예를 들어, 깊은 계층 메뉴 구조 속으로 들어가기 위해 미리 정의된 포인트들을 여러 번 두드리기보다는 오히려, 메뉴 아이템은 터치 포인트 주위에 드로잉될 수 있다. 터치 포인트가 옵션 쪽으로 이동하면, 서브 옵션이 새로운 터치 포인트 주위로 드로잉될 수 있다. 사용자가 최종 아이템/옵션을 선택할 때까지, 이러한 반복이 계속되어, 각각의 새로운 옵션 세트가 이전 세트의 위에 또는 이전 세트의 자리에 드로잉된다. 따라서, 사용자는 전체 상호작용(예를 들어, 컨트롤의 값을 조작하거나, 메뉴를 통해 들어가, 궁극적으로 액션을 선택하는 것)을 완료하기 위해 한 번만 두드려서 유지하면 된다.
따라서, 본 발명의 실시예는 i) 터치 스크린상의 현재 접촉 포인트; 또는 ii) 상호작용의 초기 접촉 포인트, 및 터치 포인트로부터 각각의 기본 방향으로 스 크린상에서 사용가능한 공간의 분량에 기초하여 메뉴/컨트롤/액션의 지능적인 레이아웃을 제공할 수 있다. 메뉴/컨트롤은 사용 가능 공간이 주어지면 가능한 한 크게 드로잉될 수 있다.
더구나, 본 발명의 실시예는 사용자 인터페이스 요소의 레이아웃 및 드로잉에 기초하여 터치 입력 위치를 제공할 수 있다. 예를 들어, 컨트롤이 드로잉되는 위치는 사용자의 손가락 또는 스타일러스가 현재 스크린을 터치하고 있는 곳, 또는 터치 액션이 시작한 곳에 입각한 곳일 수 있다. 컨트롤은 "즉시 사용 가능(ready to use)" 상태로 드로잉될 수 있다. 예를 들어, 볼륨 슬라이더/스크롤러는 "엄지손가락"이 조작 축을 따라 현재의 터치 포인트와 정렬된 상태로 드로잉될 수 있다. 더구나, 실시예는 왼손잡이 또는 오른손잡이와 같이 사용자가 선호하는 것을 고려할 수 있다.
도 2는 시각적 피드백을 제공하는 본 발명의 실시예에 따른 방법(200)에 관련된 일반적인 단계를 설명하는 순서도이다. 방법(200)은 도 7과 관련하여 아래에 더욱 상세하게 설명되는 컴퓨팅 장치(100)를 사용하여 구현될 수 있다. 방법(200)의 단계를 구현하는 방식은 아래에서 더욱 상세하게 설명될 것이다. 방법(200)은 시작 블록(205)에서 시작할 수 있고, 컴퓨팅 장치(100)가 표면상의 제1 포인트와의 연속 접촉을 검출할 수 있는 단계(210)로 진행할 수 있다. 도 3은 스크린(105), 스크린(105) 상의 제1 포인트(305) 및 본인(예를 들어, 사용자)의 손가락(310)을 도시한 것이다. 사용자가 스크린(105)을 두드리고, 제1 포인트(305)에 손가락(310)이 머물러 있을 때(예를 들어, "호버링"하고 있을 때), 컴퓨팅 장치는 제1 포인트(305)의 좌표를 저장할 수 있고, 제1 포인트(305) 주위에서(예를 들어, 부근에서) 스크린(105) 상에서 사용 가능한 공간의 분량을 계산할 수 있다.
위에서 설명된 표면은 터치 스크린(예를 들어, 스크린(105)) 또는 터치 패드를 포함할 수 있다. 상기 설명된 것은 예이고, 표면은 그외 다른 장치를 포함할 수 있다. 더욱이, 위에서 설명된 검출된 연속 접촉은 예를 들어, 스타일러스 또는 본인의 손가락(310)을 포함하는 선택 요소에 의해 야기될 수 있다. 상기 설명된 것은 예이고, 선택 요소는 그외 다른 장치를 포함할 수 있다. 본인은 컴퓨팅 장치(100)를 조작하는 사람을 포함할 수 있다.
컴퓨팅 장치(100)가 표면상의 제1 포인트(305)와의 연속 접촉을 검출하는 단계(210)로부터, 방법(200)은 컴퓨팅 장치(100)가 제1 포인트(305)와 관련하여 표면상에서 검출된 연속 접촉에 응답하여 메뉴(110)를 표시할 수 있는 단계(220)로 진행할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 상기 설명된 사용 가능한 공간의 분량에 기초하여, 컴퓨팅 장치(100)는 메뉴(110)를 배치할 수 있다. 메뉴(110)는 다수의 선택가능 메뉴 요소(410 내지 445)를 포함할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 아이콘, 이미지 또는 텍스트 스트링을 표시하기 위해 다수의 선택가능 메뉴 요소(410 내지 445)를 메뉴(110) 상에 균일한 간격을 두고 배치할 수 있고, 이들 아이템을 스크린(105) 상으로 렌더링할 수 있다. 예를 들어, 제1 포인트(305)가 스크린(105)의 구석에 있는 경우에, 다수의 선택가능 메뉴 요소(410 내지 445)는 90도의 사용 가능 공간에서 일정 간격으로 배치될 수 있다. 이와 유사하게, 제1 포인트(305)가 스크린(105)의 가장자리에 있는 경우에, 다수의 선택가능 메뉴 요소(410 내지 445)는 180도의 사용 가능 공간에서 일정 간격으로 배치될 수 있다.
단계(220)에서 일단 컴퓨팅 장치(100)가 메뉴(110)를 표시하면, 방법(200)은 단계(230)로 계속될 수 있고, 여기에서 컴퓨팅 장치(100)는 연속 접촉이 도 5에 도시된 바와 같이 표면상의 제1 포인트(305)에서 표면상의 제2 포인트(505)로 이동했다는 것을 검출할 수 있다. 제2 포인트(505)는 선택가능 요소 중의 하나(410)에 대응할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 사용자는 제1 포인트(305)로부터 제2 포인트(505)에 있는 선택가능 메뉴 요소(410) 쪽으로 호버링 손가락(310)(예를 들어, 또는 스타일러스)을 드래그할 수 있다. 컴퓨팅 장치(100)는 호버링 손가락(310)의 움직임을 계속 모니터할 수 있고, 사용자가 선택가능 메뉴 요소(410 내지 445) 중에서 어느 것을 선택하려고 하는지 판정하는 알고리즘을 적용할 수 있다. 예를 들어, 알고리즘은 제1 포인트(305), 제2 포인트(505), 및 제1 포인트(305)에서 제2 포인트(505)로 진행한 경로(510)를 고려할 수 있다. 경로(510)는 예를 들어, 컴퓨팅 장치(100) 내의 터치 드라이버에 의해 일정한 빈도로 측정될 수 있다. 더구나, 알고리즘은 (예를 들어, 터치 드라이버로부터 얻은 샘플들 사이의 연속 거리에 기초하여) 손가락(310)의 속도를 고려할 수 있다. 상기 설명된 정보는 손가락(310)이 다수의 선택가능 메뉴 요소(410 내지 445) 중의 임의의 요소를 "선택된" 것으로 생각할 만큼 충분히 오래 그 요소 위에서 호버링했는지 판정하는데 유용할 수 있다.
단계(230)에서 컴퓨팅 장치(100)가 연속 접촉이 이동했다는 것을 검출한 후 에, 방법(200)은 단계(240)로 진행할 수 있고, 여기에서 컴퓨팅 장치(100)는 예를 들어, 제2 포인트(505)에 관한 선택가능 메뉴 요소(410)에 대응하는 컨트롤(605)을 표시할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 사용자가 어느 아이템(예를 들어, 선택가능 메뉴 요소(410))을 선택하려고 했는지 판정한 후에, 컴퓨팅 장치(100)는 다시 현재의 손가락(310) 위치를 저장하고, 스크린(105) 상의 사용 가능 공간을 다시 계산하며, 선택된 컨트롤(605)과 관련된 아이템 세트를 드로잉할 곳을 결정할 수 있다. 도 6의 예에 도시된 바와 같이, 사용자는 볼륨 아이콘을 선택했다. 선택가능 메뉴 요소(410)에 대응하는 컨트롤(605)이 드로잉될 수 있지만, 본 발명의 실시예는 선택가능 메뉴 요소(410)에 응답하여 또 다른 메뉴를 드로잉할 수 있다.
예를 들어, 수집된 데이터를 사용하여, 컴퓨팅 장치(100)는 손가락(310)을 경로(615)에서 위 아래로 움직임으로써 사용자가 컴퓨팅 장치(100)의 볼륨을 조정할 수 있도록 컨트롤(605)을 드로잉할 수 있다. 도 6에 도시된 상황은 몇 가지 방식으로 나타내질 수 있다. 예를 들어, 컨트롤(605)의 초기 위치(예를 들어, 볼륨 슬라이더 내의 "엄지손가락")는 수평 축 상의 현재의 터치 위치(예를 들어, 제2 위치)와 정렬될 수 있다. 더욱이, 컨트롤은 스크린(105) 상에서 가능한 한 많은 공간을 사용하도록 크기조정될 수 있다. 게다가, 화살표는 제2 포인트(505) 아래에 드로잉되어, 스크린(105)의 이 축 위에서의 움직임이 컨트롤에 영향을 미칠 수 있다는 것을 사용자에게 나타내기 위해 위 아래로 연장될 수 있다. 이 개념은 상이한 옵션 다이얼로그, 계층 메뉴 구조, 새로운 컨트롤에 확장될 수 있고, 휴대 장치 로부터, 예를 들어 산업 자동화, 의료 디스플레이 및 제어 시스템으로 여러 분야에서 적용가능할 수 있다.
본 발명의 실시예는 또한 사용자가 왼손잡이인지 오른손잡이인지에 기초하여 컨트롤(605)을 표시할 수 있다. 예를 들어, 사용자는 어느 손이 사용자에게 유리한지 컴퓨팅 장치(100)에 입력할 수 있다. 이 정보에 응답하여, 컴퓨팅 장치는 사용자의 손(또는 스타일러스)이 컨트롤(605)을 막지 않는 방식으로 컨트롤(605)을 표시할 수 있다. 예를 들어, 선택가능 메뉴 요소(410)에 대응하는 사용자가 왼손잡이로 판정된 경우에, 컨트롤(605)이 표시되는 영역의 일부는 제2 포인트(505)의 오른쪽에 있을 수 있다. 이와 유사하게, 선택가능 메뉴 요소(410)에 대응하는 사용자가 오른손잡이로 판정된 경우에, 컨트롤(605)이 표시되는 영역의 일부는 제2 포인트(505)의 왼쪽에 있을 수 있다. 이러한 방식으로, 사용자는 사용자 자신의 손으로 가리지 않고 컨트롤(605)을 볼 수 있다. 도 6에 도시된 바와 같이, 컨트롤(605)은 손가락(310)에 대응하는 사용자가 오른손잡이라는 것을 나타내는 데이터를 컴퓨팅 장치가 가질 수 있기 때문에, 제2 포인트(505)의 왼쪽에 배치될 수 있다. 더욱이, 컨트롤(605)은 제2 포인트(505)가 스크린(105) 상에서 위치하는 곳에 기초하여 수직으로, 수평으로, 또는 임의의 다른 방향으로 배치될 수 있다. 예를 들어, 제2 포인트(505)가 스크린(105)의 가장자리나 구석에 있는 경우에, 컨트롤(605)은 수평으로 또는 수직으로 배치될 수 있다. 단계(240)에서 일단 컴퓨팅 장치(100)가 컨트롤을 표시하면, 그 다음에 방법(200)은 단계(250)에서 종료될 수 있다.
본 발명에 따른 실시예는 시각적 피드백을 제공하는 시스템을 포함할 수 있다. 시스템은 메모리 저장 장치 및 메모리 저장 장치에 결합된 처리 장치를 포함할 수 있다. 처리 장치는 표면상의 제1 포인트와의 연속 접촉을 검출하고, 검출된 연속 접촉에 응답하여 메뉴를 표시하도록 동작할 수 있다. 메뉴는 다수의 메뉴 선택가능 요소를 포함할 수 있다. 처리 장치는 또한, 연속 접촉이 표면상의 제1 포인트에서 표면상의 제2 포인트로 이동했다는 것을 검출하도록 동작할 수 있다. 제2 포인트는 다수의 메뉴 선택가능 요소 중의 하나에 대응할 수 있다. 처리 장치는 또한, 다수의 메뉴 선택가능 요소 중의 하나에 대응하는 컨트롤을 표시하도록 동작할 수 있다.
본 발명에 따른 다른 실시예는 시각적 피드백을 제공하는 시스템을 포함할 수 있다. 시스템은 메모리 저장 장치 및 메모리 저장 장치에 결합된 처리 장치를 포함할 수 있다. 처리 장치는 제1 포인트에서 터치 스크린 위를 호버링하는 선택 요소에 응답하여 메뉴를 표시하도록 동작할 수 있다. 메뉴는 제1 포인트와 관련하여 표시된 다수의 메뉴 선택가능 요소를 포함할 수 있다. 처리 장치는 또한, 선택 요소가 스크린을 가로질러 제1 포인트에서 제2 포인트로 이동했다고 판정하도록 동작할 수 있다. 제2 포인트는 다수의 메뉴 선택가능 요소 중의 하나에 대응할 수 있다. 처리 장치는 또한, 다수의 메뉴 선택가능 요소 중의 하나에 대응하는 컨트롤을 표시하도록 동작할 수 있다. 컨트롤은 제2 포인트와 관련하여 표시될 수 있는데, 이 컨트롤에 대응하는 컨트롤 선택가능 요소가 제2 포인트에서 표시된다.
본 발명에 따른 또 다른 실시예는 시각적 피드백을 제공하는 시스템을 포함 할 수 있다. 시스템은 메모리 저장 장치 및 메모리 저장 장치에 결합된 처리 장치를 포함할 수 있다. 처리 장치는 표면상의 제1 포인트에서 호버링하는 사용자의 손가락을 검출하고, 검출된 호버링 손가락에 응답하여 제1 메뉴를 제1 포인트와 관련하여 표시하도록 동작할 수 있다. 제1 메뉴는 다수의 제1 메뉴 선택가능 요소를 포함할 수 있다. 처리 장치는 또한, 검출된 호버링 손가락이 표면상의 제1 포인트에서 표면상의 제2 포인트로 이동했다고 판정하도록 동작할 수 있다. 제2 포인트는 다수의 제1 메뉴 선택가능 요소 중의 하나에 대응할 수 있다. 더구나, 처리 장치는 검출된 호버링 손가락이 이동했다는 판정에 응답하여, 스크린에서 제1 메뉴를 제거하고, 다수의 제1 메뉴 선택가능 요소 중의 하나에 대응하는 제2 메뉴를 제2 포인트와 관련하여 표시하도록 동작할 수 있다.
도 7은 컴퓨팅 장치(100)를 포함하는 시스템의 블록도이다. 본 발명의 실시예에 따라, 상기 설명된 메모리 저장 장치 및 처리 장치는 도 7의 컴퓨팅 장치(100)와 같은 컴퓨팅 장치에서 구현될 수 있다. 하드웨어, 소프트웨어 또는 펌웨어의 임의의 적합한 조합은 메모리 저장 장치 및 처리 장치를 구현하기 위해 사용될 수 있다. 예를 들어, 메모리 저장 장치 및 처리 장치는 컴퓨팅 장치(100)로 또는 이 컴퓨팅 장치(100)와 결합한 임의의 다른 컴퓨팅 장치(718)로 구현될 수 있다. 상기 설명된 시스템, 장치 및 프로세서는 예이고, 그 밖의 다른 시스템, 장치 및 프로세서가 본 발명의 실시예에 따라 상기 설명된 메모리 저장 장치 및 처리 장치를 포함할 수 있다.
도 7과 관련하여, 본 발명의 실시예에 따른 시스템은 컴퓨팅 장치(100)와 같 은 컴퓨팅 장치를 포함할 수 있다. 기본 구성에서, 컴퓨팅 장치(100)는 최소한 하나의 처리 장치(702) 및 시스템 메모리(704)를 포함할 수 있다. 컴퓨팅 장치의 구성 및 유형에 의존하여, 시스템 메모리(704)는 휘발성(예를 들어, 랜덤 액세스 메모리(RAM)), 비휘발성(예를 들어, 판독 전용 메모리(ROM)), 플래시 메모리 또는 임의의 조합을 포함할 수 있는데, 이에 제한되는 것은 아니다. 시스템 메모리(704)는 운영 체제(705), 하나 이상의 프로그래밍 모듈(706)을 포함할 수 있고, 프로그램 데이터(707)를 포함할 수 있다. 예를 들어, 운영 체제(705)는 컴퓨팅 장치(100)의 동작 제어에 적합할 수 있다. 한 실시예에서, 프로그래밍 모듈(706)은 시각적 피드백 애플리케이션(720)을 포함할 수 있다. 더욱이, 본 발명의 실시예는 그래픽 라이브러리, 기타 운영 체제 또는 임의의 다른 애플리케이션 프로그램과 함께 실시될 수 있고, 임의의 특정 애플리케이션 또는 시스템에 제한되지 않는다. 이 기본 구성은 점선(708) 내의 컴포넌트들에 의해 도 7에 도시된다.
컴퓨팅 장치(100)는 추가 특징 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(100)는 또한, 예를 들어 자기 디스크, 광 디스크 또는 테이프와 같은 추가 데이터 저장 장치(이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 추가 저장 장치는 이동식 저장 장치(709) 및 비이동식 저장 장치(710)로 도 7에 도시된다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 시스템 메모리(704), 이동식 저장 장치(709) 및 비이동식 저장 장치(710)는 모두 컴퓨터 저장 매체 예(즉, 메모리 저장 장치)이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM(electrically erasable read-only memory), 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 정보를 저장하기 위해 사용될 수 있고 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 기타 매체를 포함할 수 있는데, 이에 제한되는 것은 아니다. 임의의 이러한 컴퓨터 저장 매체는 장치(100)의 일부일 수 있다. 컴퓨팅 장치(100)는 또한, 키보드, 마우스, 펜, 사운드 입력 장치, 터치 입력 장치 등과 같은 입력 장치(들)(712)를 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(714)가 또한 포함될 수 있다. 상기 설명된 장치는 예이고, 그외 다른 것이 사용될 수 있다.
컴퓨팅 장치(100)는 이를테면 분산 컴퓨팅 환경에서의 네트워크를 통해, 예를 들어 인트라넷 또는 인터넷을 통해, 장치(100)가 다른 컴퓨팅 장치(718)와 통신할 수 있게 하는 통신 접속(716)을 또한 포함할 수 있다. 통신 접속(716)은 통신 매체의 한 예이다. 통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘과 같은 피변조 데이터 신호 내의 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터에 의해 구현될 수 있고, 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하는 방식으로 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 나타낼 수 있다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속과 같은 유선 매체, 그리고 음향, RF(radio frequency), 적외선 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있 는데, 이에 제한되는 것은 아니다. 여기에서 사용된 컴퓨터 판독가능 매체라는 용어는 저장 매체 및 통신 매체 둘 다를 포함할 수 있다.
상기 설명된 바와 같이, 운영 체제(705)를 포함하여 다수의 프로그램 모듈 및 데이터 파일은 시스템 메모리(704) 내에 저장될 수 있다. 처리 장치(702)에서 실행되는 동안, 프로그래밍 모듈(706)(예를 들어, 시각적 피드백 애플리케이션(720))은 예를 들어, 위에서 설명된 하나 이상의 방법(200)의 단계들을 포함하는 프로세스를 실행할 수 있다. 상기 설명된 프로세스는 한 예이고, 처리 장치(702)는 그외 다른 프로세스를 실행할 수 있다. 본 발명의 실시예에 따라 사용될 수 있는 기타 프로그래밍 모듈은 전자 메일 및 연락처 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 데이터베이스 애플리케이션, 슬라이드 프레젠테이션 애플리케이션, 드로잉 또는 컴퓨터 지원 애플리케이션 프로그램 등을 포함할 수 있다.
일반적으로, 본 발명의 실시예에 따르면, 프로그램 모듈은 특정 작업을 실행할 수 있거나 특정 추상 데이터 유형을 구현할 수 있는 루틴, 프로그램, 컴포넌트, 데이터 구조 및 기타 유형의 구조를 포함할 수 있다. 더구나, 본 발명의 실시예는 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능 소비자 전자제품, 미니컴퓨터, 메인프레임 컴퓨터 등을 포함하는 기타 컴퓨터 시스템 구성에서 실시될 수 있다. 본 발명의 실시예는 또한 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 작업이 실행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.
더욱이, 본 발명의 실시예는 이산 전자 소자를 포함하는 전기 회로, 논리 게이트를 포함하는 패키지되거나 집적된 전자 칩, 또는 마이크로프로세서를 이용하는 회로 내에서 실시되거나, 전자 소자 또는 마이크로프로세서를 포함하는 단일 칩 상에서 실시될 수 있다. 본 발명의 실시예는 또한 기계, 광, 유체 및 양자 기술을 포함하여(이에 제한되지 않음), 예를 들어 AND, OR 및 NOT과 같은 논리 연산을 실행할 수 있는 기타 기술을 사용하여 실시될 수 있다. 게다가, 본 발명의 실시예는 범용 컴퓨터 내에서, 또는 임의의 다른 회로 또는 시스템 내에서 실시될 수 있다.
본 발명의 실시예는 예를 들어, 컴퓨터 프로세스(방법)나 컴퓨팅 시스템으로서 구현될 수 있고, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은 제조품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고, 컴퓨터 프로세스를 실행하는 명령어의 컴퓨터 프로그램을 인코딩한 컴퓨터 저장 매체일 수 있다. 컴퓨터 프로그램 제품은 또한 컴퓨팅 시스템에 의해 판독가능하고, 컴퓨터 프로세스를 실행하는 명령어의 컴퓨터 프로그램을 인코딩한 반송파 상의 전파 신호일 수 있다. 따라서, 본 발명은 하드웨어 및/또는 소프트웨어(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함)로 구현될 수 있다. 달리 말하면, 본 발명의 실시예는 명령어 실행 시스템에 의해 또는 이 시스템과 관련하여 사용하기 위한 컴퓨터 사용 가능 또는 컴퓨터 판독가능 프로그램 코드가 매체 내에 구현되어 있는 컴퓨터 사용 가능 또는 컴퓨터 판독가능 저장 매체에 관한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는 명령어 실행 시스템, 장비 또는 장치에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나, 저장하거나, 통신하거나, 전파하거나, 전송할 수 있는 임의의 매체일 수 있다.
컴퓨터 사용 가능 또는 컴퓨터 판독가능 매체는 예를 들어, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장비, 장치 또는 전파 매체일 수 있는데, 이에 제한되는 것은 아니다. 더욱 구체적인 컴퓨터 판독가능 매체의 예(비한정적 열거)와 관련하여, 컴퓨터 판독가능 매체는 다음을 포함할 수 있다: 하나 이상의 배선을 갖는 전기 접속, 휴대용 컴퓨터 디스켓, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광 섬유, 및 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM). 주의할 점은 프로그램이, 예를 들어 종이 또는 기타 매체의 광학 스캐닝을 통해, 전자적으로 캡처된 다음에, 컴파일되거나, 해석되거나, 그 밖에 필요한 경우에 적합한 방식으로 처리되고, 그 다음에 컴퓨터 메모리에 저장될 수 있기 때문에, 컴퓨터 사용 가능 또는 판독가능 매체는 심지어 프로그램이 인쇄되는 종이 또는 다른 적합한 매체일 수 있다는 것이다.
예를 들어, 본 발명의 실시예는 본 발명의 실시예에 따른 방법, 시스템 및 컴퓨터 프로그램 제품의 블록도 및/또는 조작도와 관련하여 위에서 설명된다. 블록에 명시된 기능/동작은 임의의 순서도에 나타낸 순서를 벗어나 행해질 수 있다. 예를 들어, 연속하여 도시된 2개의 블록은 실제로 거의 동시에 실행될 수 있고, 또는 블록들은 관련된 기능/동작에 의존하여, 때때로 역순으로 실행될 수 있다.
본 발명의 소정의 실시예가 설명되었지만, 그외 다른 실시예가 존재할 수 있다. 더욱이, 본 발명의 실시예가 메모리 및 기타 저장 매체에 저장된 데이터와 관련되는 것으로 설명되었지만, 데이터는 또한, 하드 디스크, 플로피 디스크 또는 CD-ROM과 같은 보조 저장 장치, 인터넷으로부터의 반송파, 또는 그외 다른 형태의 RAM 또는 ROM과 같은 기타 유형의 컴퓨터 판독가능 매체 상에 저장되거나 그러한 매체로부터 판독될 수 있다. 더욱이, 개시된 방법의 단계는 본 발명의 범위를 벗어나지 않고서, 단계의 재순서화 및/또는 단계의 삽입 또는 삭제에 의한 것을 포함하여 모든 방식으로 변경될 수 있다.
여기에 포함된 코드의 저작권을 포함한 모든 권리는 출원인에게 귀속되어 출원인 소유 재산이 된다. 출원인은 여기에 포함된 코드의 모든 권리를 보유하고 소유하며, 부여된 특허의 재생과 관련해서만(그외 다른 용도는 금지) 매체를 재생할 권한을 부여한다.
명세서가 예를 포함하고 있지만, 본 발명의 범위는 다음의 청구범위에 의해 나타내진다. 더욱이, 명세서가 구조적 특징 및/또는 방법적 동작에 특정된 언어로 설명되었지만, 청구범위는 상기 설명된 특징 또는 동작에 제한되지 않는다. 오히려, 상기 설명된 특정의 특징 및 동작은 본 발명의 실시예를 위한 예로서 개시된다.

Claims (20)

  1. 시각적 피드백을 제공하는 방법으로서,
    표면상의 제1 포인트와의 연속 접촉을 검출하는 단계;
    상기 검출된 연속 접촉에 응답하여 메뉴를 표시하는 단계 - 상기 메뉴는 다수의 메뉴 선택가능 요소들을 포함함-;
    상기 연속 접촉이 상기 표면상의 상기 제1 포인트에서 상기 표면상의 제2 포인트로 이동했다는 것을 검출하는 단계 - 상기 제2 포인트는 상기 다수의 메뉴 선택가능 요소들 중의 하나에 대응함-; 및
    상기 다수의 메뉴 선택가능 요소들 중의 상기 하나에 대응하는 컨트롤을 표시하는 단계
    를 포함하는 시각적 피드백 제공 방법.
  2. 제1항에 있어서, 상기 표면상의 제1 포인트와의 연속 접촉을 검출하는 단계는 터치 스크린 및 터치 패드 중의 하나를 포함하는 표면상의 제1 포인트와의 연속 접촉을 검출하는 단계를 포함하는 시각적 피드백 제공 방법.
  3. 제1항에 있어서, 상기 연속 접촉을 검출하는 단계는 스타일러스(stylus) 및 본인의 손가락(a digit of a subject) 중의 하나를 포함하는 선택 요소에 의해 야기되는 연속 접촉을 검출하는 단계를 포함하는 시각적 피드백 제공 방법.
  4. 제1항에 있어서, 상기 메뉴를 표시하는 단계는 상기 표면상에 상기 메뉴를 표시하는 단계를 포함하는 시각적 피드백 제공 방법.
  5. 제1항에 있어서, 상기 메뉴를 표시하는 단계는 상기 제1 포인트와 관련하여 상기 표면상에 상기 메뉴를 표시하는 단계를 포함하는 시각적 피드백 제공 방법.
  6. 제1항에 있어서, 상기 메뉴를 표시하는 단계는
    상기 제1 포인트의 부근에 있는 상기 표면상의 제1 공간 분량을 판정하는 단계; 및
    상기 판정된 제1 공간 분량 내에 상기 다수의 메뉴 선택가능 요소들을 표시하는 단계
    를 포함하는 시각적 피드백 제공 방법.
  7. 제1항에 있어서, 상기 컨트롤을 표시하는 단계는 사용자가 오른손잡이라고 판정될 때 상기 표면상의 제1 영역 내에 상기 컨트롤을 표시하는 단계를 포함하는 시각적 피드백 제공 방법.
  8. 제1항에 있어서, 상기 컨트롤을 표시하는 단계는 사용자가 왼손잡이라고 판정될 때 상기 표면상의 제2 영역 내에 상기 컨트롤을 표시하는 단계를 포함하는 시 각적 피드백 제공 방법.
  9. 제1항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 제2 포인트와 관련하여 상기 컨트롤을 표시하는 단계를 포함하는 시각적 피드백 제공 방법.
  10. 제1항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 제2 포인트와 관련하여 상기 컨트롤을 표시하는 단계를 포함하고, 상기 컨트롤에 대응하는 컨트롤 선택가능 요소가 상기 제2 포인트에서 표시되는 시각적 피드백 제공 방법.
  11. 제1항에 있어서, 상기 컨트롤을 표시하는 단계는
    상기 제2 포인트의 부근에 있는 상기 표면상의 제2 공간 분량을 판정하는 단계; 및
    상기 판정된 제2 공간 분량 내에 상기 컨트롤을 표시하는 단계
    를 포함하는 시각적 피드백 제공 방법.
  12. 실행시에, 시각적 피드백을 제공하는 방법을 수행하는 명령어들의 집합을 저장하는 컴퓨터 판독가능 매체로서, 상기 명령어들의 집합에 의해 실행된 방법은,
    제1 포인트에서 터치 스크린 위를 호버링(hovering)하는 선택 요소에 응답하여 메뉴를 표시하는 단계 - 상기 메뉴는 상기 제1 포인트와 관련하여 표시된 다수의 메뉴 선택가능 요소들을 포함함-;
    상기 선택 요소가 상기 스크린을 가로질러 상기 제1 포인트에서 제2 포인트로 이동했다고 판정하는 단계 - 상기 제2 포인트는 상기 다수의 메뉴 선택가능 요소들 중의 하나에 대응함-; 및
    상기 다수의 메뉴 선택가능 요소들 중의 상기 하나에 대응하는 컨트롤을 표시하는 단계 - 상기 컨트롤은 상기 제2 포인트와 관련하여 표시되고, 상기 컨트롤에 대응하는 컨트롤 선택가능 요소가 상기 제2 포인트에서 표시됨-
    를 포함하는 컴퓨터 판독가능 매체.
  13. 제12항에 있어서, 상기 선택 요소에 응답하여 상기 메뉴를 표시하는 단계는 스타일러스 및 본인의 손가락 중의 하나를 포함하는 선택 요소에 응답하여 상기 메뉴를 표시하는 단계를 포함하는 컴퓨터 판독가능 매체.
  14. 제12항에 있어서, 상기 메뉴를 표시하는 단계는
    상기 제1 포인트의 부근에 있는 상기 터치 스크린상의 제1 공간 분량을 판정하는 단계; 및
    상기 판정된 제1 공간 분량 내에 상기 다수의 메뉴 선택가능 요소들을 표시하는 단계
    를 포함하는 컴퓨터 판독가능 매체.
  15. 제12항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 선택 요소에 대응하 는 사용자가 오른손잡이라고 판정될 때 상기 터치 스크린상의 제1 영역 내에 상기 컨트롤을 표시하는 단계를 포함하는 컴퓨터 판독가능 매체.
  16. 제12항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 선택 요소에 대응하는 사용자가 오른손잡이라고 판정될 때 상기 스크린상의 제1 영역 내에 상기 컨트롤을 표시하는 단계를 포함하고, 상기 제1 영역의 적어도 일부는 상기 제2 포인트의 왼쪽에 있는 컴퓨터 판독가능 매체.
  17. 제12항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 선택 요소에 대응하는 사용자가 왼손잡이라고 판정될 때 상기 스크린상의 제2 영역 내에 상기 컨트롤을 표시하는 단계를 포함하는 컴퓨터 판독가능 매체.
  18. 제12항에 있어서, 상기 컨트롤을 표시하는 단계는 상기 선택 요소에 대응하는 사용자가 왼손잡이라고 판정될 때 상기 스크린상의 제2 영역 내에 상기 컨트롤을 표시하는 단계를 포함하고, 상기 제2 영역의 적어도 일부는 상기 제2 포인트의 오른쪽에 있는 컴퓨터 판독가능 매체.
  19. 제12항에 있어서, 상기 컨트롤을 표시하는 단계는
    상기 제2 포인트의 부근에 있는 상기 스크린상의 제2 공간 분량을 판정하는 단계; 및
    상기 판정된 제2 공간 분량 내에 상기 컨트롤을 표시하는 단계
    를 포함하는 컴퓨터 판독가능 매체.
  20. 시각적 피드백을 제공하는 시스템으로서,
    메모리 저장 장치; 및
    상기 메모리 저장 장치에 결합된 처리 장치
    를 포함하고,
    상기 처리 장치는
    표면상의 제1 포인트에서 호버링하는 사용자의 손가락을 검출하고;
    검출된 호버링 손가락에 응답하여 제1 메뉴를 상기 제1 포인트와 관련하여 표시하며 - 상기 제1 메뉴는 다수의 제1 메뉴 선택가능 요소들을 포함함-;
    상기 검출된 호버링 손가락이 상기 표면상의 상기 제1 포인트에서 상기 표면상의 제2 포인트로 이동했다고 판정하고 - 상기 제2 포인트는 상기 다수의 제1 메뉴 선택가능 요소들 중의 하나에 대응함-;
    상기 검출된 호버링 손가락이 이동했다는 판정에 응답하여, 상기 스크린에서 상기 제1 메뉴를 제거하며;
    상기 다수의 제1 메뉴 선택가능 요소들 중의 상기 하나에 대응하는 제2 메뉴를 상기 제2 포인트와 관련하여 표시하도록
    동작하는 시각적 피드백 제공 시스템.
KR1020097025448A 2007-06-12 2008-06-03 시각적 피드백 디스플레이 KR101541928B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/761,412 US8074178B2 (en) 2007-06-12 2007-06-12 Visual feedback display
US11/761,412 2007-06-12

Publications (2)

Publication Number Publication Date
KR20100029191A true KR20100029191A (ko) 2010-03-16
KR101541928B1 KR101541928B1 (ko) 2015-08-05

Family

ID=40133493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097025448A KR101541928B1 (ko) 2007-06-12 2008-06-03 시각적 피드백 디스플레이

Country Status (7)

Country Link
US (1) US8074178B2 (ko)
EP (1) EP2156275B1 (ko)
JP (2) JP2010530578A (ko)
KR (1) KR101541928B1 (ko)
CN (1) CN101681218B (ko)
TW (1) TWI461973B (ko)
WO (1) WO2008157023A1 (ko)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104268A (ja) * 2007-10-22 2009-05-14 Hitachi Displays Ltd 座標検出装置、及びタッチパネルを用いた操作方法
US10503376B2 (en) * 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
US20100095207A1 (en) * 2008-10-15 2010-04-15 Pierre Bonnat Method and System for Seamlessly Integrated Navigation of Applications
JP5402322B2 (ja) * 2009-07-02 2014-01-29 ソニー株式会社 情報処理装置および情報処理方法
JP5792424B2 (ja) 2009-07-03 2015-10-14 ソニー株式会社 地図情報表示装置、地図情報表示方法およびプログラム
JP2011013990A (ja) * 2009-07-03 2011-01-20 Pioneer Electronic Corp コンテンツ再生装置
US8629754B2 (en) 2009-12-15 2014-01-14 Echostar Technologies L.L.C. Audible feedback for input activation of a remote control device
US8303151B2 (en) * 2010-05-12 2012-11-06 Apple Inc. Microperforation illumination
JP5642425B2 (ja) * 2010-05-19 2014-12-17 シャープ株式会社 情報処理装置、情報処理装置の制御方法、制御プログラム、及び記録媒体
BR112012029421A2 (pt) * 2010-05-24 2017-02-21 John Temple Will botão multidirecional, tecla e teclado
JPWO2011152335A1 (ja) * 2010-05-31 2013-08-01 日本電気株式会社 タッチパネル入力を用いた電子機器及びそれによる操作受付方法
US20110314421A1 (en) * 2010-06-18 2011-12-22 International Business Machines Corporation Access to Touch Screens
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
CN102479046B (zh) * 2010-11-30 2013-09-25 英业达股份有限公司 触控装置及其操作方法
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9411509B2 (en) 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
FR2971066B1 (fr) 2011-01-31 2013-08-23 Nanotec Solution Interface homme-machine tridimensionnelle.
US20120272144A1 (en) * 2011-04-20 2012-10-25 Microsoft Corporation Compact control menu for touch-enabled command execution
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9746995B2 (en) 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
JP5799628B2 (ja) * 2011-07-15 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5790257B2 (ja) * 2011-07-29 2015-10-07 富士通株式会社 文字入力装置，文字入力プログラムおよび文字入力方法
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146752B2 (en) * 2011-09-07 2015-09-29 International Business Machines Corporation Efficient browsing, selection, visualization, and tracing of complex multi-dimensional relationships among objects
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8988467B2 (en) 2011-10-13 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen selection visual feedback
KR101850302B1 (ko) * 2011-10-14 2018-04-20 삼성전자주식회사 사용자 단말 장치 및 그 렌더링 장치 제어 방법
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US8890808B2 (en) 2012-01-06 2014-11-18 Microsoft Corporation Repositioning gestures for chromeless regions
US9141262B2 (en) * 2012-01-06 2015-09-22 Microsoft Technology Licensing, Llc Edge-based hooking gestures for invoking user interfaces
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
US20130265235A1 (en) * 2012-04-10 2013-10-10 Google Inc. Floating navigational controls in a tablet computer
CN103376972A (zh) * 2012-04-12 2013-10-30 环达电脑(上海)有限公司 电子装置及其触控式屏幕控制方法
BR112014025516A2 (pt) * 2012-04-20 2017-08-08 Sony Corp aparelho e método de processamento de informação, e, programa.
CN102799347B (zh) 2012-06-05 2017-01-04 北京小米科技有限责任公司 应用于触屏设备的用户界面交互方法、装置及触屏设备
WO2014030152A1 (en) * 2012-08-19 2014-02-27 Celltick Technologies Ltd Methods of operation and computer program products for touch sensitive mobile devices
KR20140026723A (ko) * 2012-08-23 2014-03-06 삼성전자주식회사 휴대 장치의 가이드 제공 방법 및 그 휴대 장치
US9261989B2 (en) 2012-09-13 2016-02-16 Google Inc. Interacting with radial menus for touchscreens
US9195368B2 (en) * 2012-09-13 2015-11-24 Google Inc. Providing radial menus with touchscreens
JP5844707B2 (ja) * 2012-09-28 2016-01-20 富士フイルム株式会社 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
CN103853489B (zh) * 2012-11-29 2018-06-08 北京千橡网景科技发展有限公司 判断用户操作习惯的方法及装置
FR3002052B1 (fr) 2013-02-14 2016-12-09 Fogale Nanotech Procede et dispositif pour naviguer dans un ecran d'affichage et appareil comprenant une telle navigation
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
CN104102441B (zh) * 2013-04-09 2019-08-23 腾讯科技（深圳）有限公司 一种菜单项执行方法及装置
US8812995B1 (en) 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection
US9937416B2 (en) 2013-06-11 2018-04-10 Microsoft Technology Licensing, Llc Adaptive touch input controls
CN105359094A (zh) 2014-04-04 2016-02-24 微软技术许可有限责任公司 可扩展应用表示
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
CN106662891B (zh) 2014-10-30 2019-10-11 微软技术许可有限责任公司 多配置输入设备
JP5735696B1 (ja) * 2014-11-05 2015-06-17 株式会社 ディー・エヌ・エー ゲームプログラム、及び、情報処理装置
US9980304B2 (en) 2015-04-03 2018-05-22 Google Llc Adaptive on-demand tethering
JP6701502B2 (ja) * 2015-05-21 2020-05-27 ニプロ株式会社 治療装置
CN105094558A (zh) * 2015-08-07 2015-11-25 北京思特奇信息技术股份有限公司 一种多级联动数据人机交互方法及系统
CN105224187A (zh) * 2015-09-23 2016-01-06 北京金山安全软件有限公司 一种菜单执行的控制方法及终端设备
US10852913B2 (en) * 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
KR102629409B1 (ko) 2016-11-11 2024-01-26 삼성전자주식회사 객체 정보를 제공하기 위한 방법 및 그 전자 장치
SG11201906336WA (en) * 2017-01-11 2019-08-27 Bgc Partners Lp Graphical user interface for order entry with hovering functionality
CN107943381B (zh) * 2017-10-20 2020-11-03 创新先进技术有限公司 热区调整方法和装置、客户端
KR102512879B1 (ko) * 2018-04-12 2023-03-22 라인플러스 주식회사 미디어 플레이어를 제어하는 방법 및 시스템
JP7365429B2 (ja) * 2019-12-13 2023-10-19 アルプスアルパイン株式会社 入力装置
CN111309206A (zh) * 2020-02-04 2020-06-19 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0498082B1 (en) * 1991-02-01 1998-05-06 Koninklijke Philips Electronics N.V. Apparatus for the interactive handling of objects
JPH0785216B2 (ja) * 1992-02-07 1995-09-13 インターナショナル・ビジネス・マシーンズ・コーポレイション メニュー表示装置および方法
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
JPH07271501A (ja) * 1994-03-31 1995-10-20 Wacom Co Ltd 表示画面における表示物の表示方法
JPH08161138A (ja) * 1994-12-08 1996-06-21 Nec Corp メニュー表示方法
US5708787A (en) * 1995-05-29 1998-01-13 Matsushita Electric Industrial Menu display device
US5689667A (en) * 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5790820A (en) * 1995-06-07 1998-08-04 Vayda; Mark Radial graphical menuing system
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
US6473102B1 (en) * 1998-05-11 2002-10-29 Apple Computer, Inc. Method and system for automatically resizing and repositioning windows in response to changes in display
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
JP3773716B2 (ja) * 1999-09-13 2006-05-10 富士通株式会社 グラフィカルユーザインターフェース表示装置及びその装置での処理をコンピュータにて行なわせるためのプログラムを格納した記録媒体
US6664991B1 (en) * 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
KR100381583B1 (ko) 2001-04-24 2003-04-26 엘지전자 주식회사 개인용 정보단말기에서의 유저 인터페이스 방법
US20020167534A1 (en) * 2001-05-10 2002-11-14 Garrett Burke Reading aid for electronic text and displays
US20030011638A1 (en) * 2001-07-10 2003-01-16 Sun-Woo Chung Pop-up menu system
US7034802B1 (en) * 2001-08-30 2006-04-25 Palm, Incorporated Implementation of electronic muscles in a portable computer as user input/output devices
US7093201B2 (en) * 2001-09-06 2006-08-15 Danger, Inc. Loop menu navigation apparatus and method
JP2003099171A (ja) * 2001-09-21 2003-04-04 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US7257776B2 (en) * 2002-02-05 2007-08-14 Microsoft Corporation Systems and methods for scaling a graphical user interface according to display dimensions and using a tiered sizing schema to define display objects
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US20040075693A1 (en) * 2002-10-21 2004-04-22 Moyer Timothy A. Compact method of navigating hierarchical menus on an electronic device having a small display screen
WO2004051392A2 (en) 2002-11-29 2004-06-17 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
US20040165012A1 (en) * 2003-02-20 2004-08-26 International Business Machines Corp. Cascading menu with selectable offset
US20040230916A1 (en) * 2003-05-14 2004-11-18 Salvatori Phillip H. Method for menu navigation
US7418670B2 (en) * 2003-10-03 2008-08-26 Microsoft Corporation Hierarchical in-place menus
US7565623B2 (en) * 2004-04-30 2009-07-21 Microsoft Corporation System and method for selecting a view mode and setting
US20060022953A1 (en) * 2004-07-30 2006-02-02 Nokia Corporation Left-hand originated user interface control for a device
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
KR20060119527A (ko) 2005-05-20 2006-11-24 삼성전자주식회사 터치 스크린에서 슬라이드 방식으로 문자 메시지를입력하는 시스템, 방법 및 무선 단말기
US9785329B2 (en) * 2005-05-23 2017-10-10 Nokia Technologies Oy Pocket computer and associated methods
KR20070006477A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 가변적 메뉴 배열 방법 및 이를 이용한 디스플레이 장치
US7437678B2 (en) * 2005-10-27 2008-10-14 International Business Machines Corporation Maximizing window display area using window flowing
TWI297847B (en) * 2006-03-08 2008-06-11 Htc Corp Multi-function activation methods and related devices thereof
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface

Also Published As

Publication number Publication date
JP5813794B2 (ja) 2015-11-17
EP2156275B1 (en) 2021-01-27
EP2156275A1 (en) 2010-02-24
CN101681218A (zh) 2010-03-24
KR101541928B1 (ko) 2015-08-05
JP2014139792A (ja) 2014-07-31
EP2156275A4 (en) 2012-08-01
WO2008157023A1 (en) 2008-12-24
US20080313538A1 (en) 2008-12-18
CN101681218B (zh) 2013-04-10
US8074178B2 (en) 2011-12-06
JP2010530578A (ja) 2010-09-09
TWI461973B (zh) 2014-11-21
TW200905536A (en) 2009-02-01

Similar Documents

Publication Publication Date Title
KR20100029191A (ko) 시각적 피드백 디스플레이
JP5922598B2 (ja) マルチタッチ利用、ジェスチャ及び実装
US11036372B2 (en) Interface scanning for disabled users
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
RU2501068C2 (ru) Интерпретация неоднозначных вводов на сенсорном экране
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
TWI584164B (zh) 在多點觸控裝置上模擬壓感
US20140062875A1 (en) Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function
JP2006236339A (ja) グラフィカルユーザインタフェースを操作する方法及びグラフィカルユーザインタフェース
KR20190114348A (ko) 멀티 터치 인식 장치 및 방법
KR101390083B1 (ko) 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치
JP2018133108A (ja) 電子端末、及びその制御方法とプログラム
JP6341171B2 (ja) 電子端末、及びその制御方法とプログラム
JP6344355B2 (ja) 電子端末、及びその制御方法とプログラム
KR20210029175A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
KR20120114478A (ko) 터치 감지 장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
B701 Decision to grant
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4