KR102019002B1 - 타겟 명확화 및 보정 기법 - Google Patents

타겟 명확화 및 보정 기법 Download PDF

Info

Publication number
KR102019002B1
KR102019002B1 KR1020187025702A KR20187025702A KR102019002B1 KR 102019002 B1 KR102019002 B1 KR 102019002B1 KR 1020187025702 A KR1020187025702 A KR 1020187025702A KR 20187025702 A KR20187025702 A KR 20187025702A KR 102019002 B1 KR102019002 B1 KR 102019002B1
Authority
KR
South Korea
Prior art keywords
target
user
geometry
links
selection
Prior art date
Application number
KR1020187025702A
Other languages
English (en)
Other versions
KR20180102211A (ko
Inventor
폴 아미스테드 후버
마이클 제이 패튼
테레사 비 피타필리
잔-크리스티안 마르키에위즈
아드리안 제이 가사이드
맥심 브이 마지브
자로드 롬바르도
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20180102211A publication Critical patent/KR20180102211A/ko
Application granted granted Critical
Publication of KR102019002B1 publication Critical patent/KR102019002B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

타겟 명확화 및 보정을 가능하게 하는 다양한 실시예들이 개시된다. 하나 이상의 실시예에서, 타겟 명확화 기법은 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드(entry mode)와 타겟 명확화를 마치는 퇴장 모드(exit mode)를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상(geometry) 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다.

Description

타겟 명확화 및 보정 기법{TARGET DISAMBIGUATION AND CORRECTION}
본 발명은 타겟을 명확화하고 보정하는 기법에 관한 것이다.
터치 스크린이나 기타 다른 다양한 스크린 상에서 사용자가 획득하려고 하는 타겟이 사용자가 타겟 획득을 시도함에 있어 사용하는 메커니즘이 차지하는 공간(footprint)보다 작은 경우가 종종 있다. 예를 들어, 터치 스크린이 사용되는 경우, 타겟이 사용자의 손가락 끝보다 작을 수 있다. 이로 인해 문제점이 발생할 수 있다. 우선, 타겟을 시각적으로 가리게 되어 올바른 타겟이 선택되었는지 여부를 확인하는 것이 어려워질 수 있다. 또한, 타겟들의 크기가 작을 수 있기 때문에, 하나 이상의 타겟이 선택되어 불명확함이 발생하고 잘못된 타겟 획득으로 이어질 가능성도 있다.
본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다.
타겟 명확화 및 보정을 가능하게 하는 다양한 실시예들이 개시된다. 하나 이상의 실시예에서, 타겟 명확화 기법은 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드(entry mode)와 타겟 명확화를 마치는 퇴장 모드(exit mode)를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상(geometry) 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다.
하나 이상의 실시예에서, 타겟 명확화 기법은 기하학 기반 접근방식(geometric-based approach)을 사용하여 타겟 명확화를 개시하고 종료할 시점을 정의한다.
발명의 상세한 설명은 첨부하는 도면을 참조하여 기술된다. 도면에서 참조 부호의 최대자리(left-most digit)는 그 참조부호가 처음 나타나는 도면 번호를 나타낸다. 상세한 설명 중 서로 다른 경우 동일한 참조부호를 사용하는 것은 동일하거나 유사한 개체를 가리키는 것일 수 있다.
도 1은 하나 이상의 실시예에 따른 구현예에서 환경을 나타낸다.
도 2는 도 1의 구현예의 시스템을 더 구체적으로 도시한다.
도 3은 하나 이상의 실시예에 따른 예시적인 컴퓨팅 장치를 보여준다.
도 4는 하나 이상의 실시예에 따른 타겟 명확화의 특징들을 묘사한다.
도 5는 하나 이상의 실시예에 따른 타겟 명확화의 특징들을 설명한다.
도 6은 하나 이상의 실시예에 따른 타겟 명확화의 특징들을 제시한다.
도 7은 하나 이상의 실시예에 따른 타겟 명확화의 특징들을 나타낸다.
도 8은 하나 이상의 실시예에 따른 방법의 단계들을 기술하는 흐름도이다.
도 9는 하나 이상의 실시예에 따른 방법의 단계들을 설명하는 흐름도이다.
도 10은 하나 이상의 실시예에 따른 타겟 명확화의 특징들을 도시한다.
도 11은 하나 이상의 실시예에 따른 방법의 단계들을 묘사하는 흐름도이다.
도 12는 본 명세서에서 기술된 다양한 실시예들을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 장치를 도시한다.
타겟 명확화 및 보정을 가능하게 하는 다양한 실시예들이 개시된다. 하나 이상의 실시예에서, 타겟 명확화 기법은 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드(entry mode)와 타겟 명확화를 마치는 퇴장 모드(exit mode)를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 예를 들면, 사용자의 손가락이 터치 스크린 환경 내의 둘 이상의 타겟과 겹치게 되는 경우에는 복수 개의 타겟이 획득될 수 있다. 이를테면, 사용자의 손가락이 하나 이상의 터치에 의해 선택되는 타겟 위에 너무 오래(예컨대, 2초 이상) 머무르는 경우 선택 지연이 발생할 수 있다.
퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상(geometry) 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다.
하나 이상의 실시예에서, 타겟 명확화 기법은 기하학 기반 접근방식(geometric-based approach)을 사용하여 타겟 명확화를 개시하고 종료할 시점을 정의한다.
이어지는 논의에서는 본 명세서에서 기술하는 기법을 사용하도록 동작가능한 예시적인 환경에 대해 먼저 설명하도록 한다. 이어서, "타겟 명확화"라는 제목의 섹션에서는 하나 이상의 실시예에 따른 타겟 명확화의 특징들에 대해 기술한다. 이후에는 "기하학적 형상을 이용한 타겟 명확화의 개시/종료"라는 제목의 섹션에서 어떻게 기하학적 형상을 이용하여 아이템 선택 불명확성을 명확화할 수 있는지에 대해 묘사한다. 마지막으로, "예시적 장치"라는 제목의 섹션에서는 하나 이상의 실시에를 구현하는 데 사용될 수 있는 예시적인 장치의 특징들에 대해 설명한다.
예시적인 환경
도 1은 본 명세서에서 기술하는 타겟 명확화 기법을 사용하도록 동작가능한 예시적인 구현예의 환경(100)을 나타내고 있다. 묘사된 환경(100)은 다양한 방식으로 구성될 수 있는 컴퓨팅 장치(102)의 예를 포함한다. 예를 들어, 컴퓨팅 장치(102)는 도 2에서 추가로 설명될테지만 (데스크탑 PC, 랩탑 컴퓨터 등과 같은) 전통적인 컴퓨터, 모바일 스테이션, 엔터테인먼트 가전, 텔레비전에 통신가능하게 결합된 셋탑 박스, 무선 전화, 넷북, 게임 콘솔, 소지형 장치 등으로서 구성될 수 있다. 하나 이상의 실시예에서, 컴퓨팅 장치는 통상 사용자가 한 손에 쥐고 다른 손을 이용하여 상호작용할 수 있는 슬레이트형 또는 테블릿형 장치로 구현된다. 적어도 일부 실시예에서, 컴퓨팅 장치는 사용자가 디스플레이되는 아이템을 터치에 의해 선택할 수 있도록 해주는 터치 스크린 기능을 포함한다.
따라서, 컴퓨팅 장치(102)는 상당한 메모리와 프로세스 리소스를 갖는 PC, 게임 콘솔, 슬레이트형 또는 테블릿형 장치와 같은 풀 리소스 장치(full resource devices)일 수도 있고 제한된 메모리 및/또는 프로세싱 리소스를 갖는 전통적인 셋탑 박스나 소지형 게임 콘솔과 같은 로우 리소스 장치(low-resource device)일 수도 있다. 컴퓨팅 장치(102)는 컴퓨팅 장치(102)로 하여금 이하에서 설명할 하나 이상의 동작을 수행하도록 하는 소프트웨어도 포함한다.
컴퓨팅 장치(102)는 다양한 형태의 애플리케이션 기능을 제공하도록 동작가능한 하나 이상의 애플리케이션(104)을 포함한다. 이러한 애플리케이션 중 하나는 본 명세서에서 기술되는 것과 같은 웹 브라우징 기능을 제공하는 웹 브라우저이다. 이들 애플리케이션은 임의의 적절한 유형의 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 적어도 일부 실시예에서, 애플리케이션(104)은 이하에서 제공되는 예시적인 유형의 (tangible) 컴퓨터 판독가능 매체 상에 존재하는 소프트웨어로 구현된다.
이 실시예에서 애플리케이션(104)은 전술 및 후술하는 방식으로 동작하는 타겟 명확화 모듈(106)을 포함하거나 이용한다.
타겟 명확화 모듈(106)은 링크나 기타 객체와 같은 타겟을 선택하는 데 사용될 수 있는 인식된 제스쳐(recognized gestures)들을 사용할 수 있고 후술하는 것과 같이 타겟 명확화 기법을 사용할 수 있는 기능을 나타낸다.
제스쳐들은 적절히 구성된 제스쳐 모듈을 이용하여 컴퓨팅 장치에 의해 다양한 방식으로 인식될 수 있다. 제스쳐 모듈은 제스쳐들을 인식하고 연관된 이벤트를 레이아웃 엔진과 같은 기타 컴포넌트 및/또는 애플리케이션으로 전달하는 별도의 모듈일 수 있다. 이를테면, 제스쳐 모듈은 터치 스크린 기능을 이용하여 컴퓨팅 장치(102)의 디스플레이 장치(107) 근처에 있는 사용자 손(106a)의 손가락과 같은 터치 입력을 인식하도록 구성될 수 있다. 이에 더하여, 또는 이에 갈음하여, 컴퓨팅 장치(102)는 사용자 손(106a)의 하나 이상의 손가락에 의해 제공되는 터치 입력과 스타일러스에 의해 제공되는 스타일러스 입력을 구별하여 감지하도록 구성될 수도 있다. 이와 같은 구별은 다양한 방식으로 수행될 수 있는데, 예컨대, 사용자 손(106a)의 손가락이 접촉하는 디스플레이 장치(107)의 면적과 스타일러스가 접촉하는 디스플레이 장치(107)의 면적을 검출하는 것에 의해 수행될 수 있다.
따라서, 전술 및 후술하는 임의의 컴퓨팅 장치에서 사용되는 제스쳐 모듈은 스타일러스 입력, 터치 입력, 터치 스크린이나 터치 디스플레이를 사용하는 제스쳐 입력 이외의 제스쳐 입력과 다양한 터치 입력을 구분하여 인식하고 이용함으로써 다양한 제스쳐 기법을 지원한다.
타겟 명확화 모듈(106)을 사용하여 타겟 명확화 및 보정을 수행할 수 있다. 하나 이상의 실시예에서, 타겟 명확화 기법은 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드와 타겟 명확화를 마치는 퇴장 모드를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다. 하나 이상의 실시예에서, 타겟 명확화 기법은 기하학 기반 접근방식을 사용하여 타겟 명확화를 개시하고 종료할 시점을 정의한다.
도 2는 복수 개의 장치들이 중앙 컴퓨팅 장치를 통해 상호접속되어 있는 환경에서 웹 브라우저 형태의 애플리케이션(104)이 구현되고 있는 것을 도시하는 예시적인 시스템(200)을 묘사하고 있다. 여기서는 애플리케이션(104)을 웹 브라우저로 묘사하고 있지만, 이는 예시를 위한 것임을 이해해야 한다. 따라서, 청구된 실시예의 사상과 범주를 벗어나지 않으면서 다른 애플리케이션을 이용할 수 있다. 다른 애플리케이션은 전술 및 후술하는 임의의 컴퓨팅 장치와 함께 사용될 수 있다.
중앙 컴퓨팅 장치는 복수의 장치들에 대해 로컬(local)일 수도 있고 복수의 장치들로부터 원격 위치할 수도 있다. 일 실시예에서, 중앙 컴퓨팅 장치는 "클라우드" 서버 팜(cloud server farm)으로서, 네트워크, 인터넷, 기타 수단을 통해 복수의 장치들에 접속되는 하나 이상의 서버 컴퓨터들을 포함할 수 있다.
일 실시예에서는, 이러한 상호접속 아키텍쳐로 인해 복수의 장치들로 기능들이 전달되어, 복수의 장치를 이용하는 사용자에게 공통되고 끊김이 없는 경험을 제공할 수 있게 된다. 복수의 장치 각각은 서로 다른 물리적 요건과 성능을 가질 수 있고, 중앙 컴퓨팅 장치는 특정 장치에 맞춤화되면서도 모든 장치에 공통되는 경험을 해당 장치로 전달할 수 있게 하는 플랫폼을 사용한다. 일 실시예에서는, 타겟 장치의 "클래스"가 생성되고, 경험들이 장치들의 포괄적인 클래스(generic class)에 맞춤화된다. 장치의 클래스는 장치들의 물리적 특징, 용도, 또는 기타 공통적인 특징에 의해 정의될 수 있다. 이를테면, 전술한 바와 같이 컴퓨팅 장치(102)는 모바일(202), 컴퓨터(204), 텔레비전(206)에 사용되는 것과 같이 다양한 방식으로 구성될 수 있다. 이들 구성 각각은 전반적으로 대응하는 스크린 크기나 형태를 가지며, 따라서, 컴퓨팅 장치(102)는 이 예시적인 시스템(200)의 장치 클래스들 중 하나로서 구성될 수 있다. 예컨대, 컴퓨팅 장치(102)는 이동 전화, 뮤직 플레이어, 게임 장치, 슬레이트형 또는 테블릿형 장치 등을 포함하는 모바일 장치 클래스(202)를 가정할 수 있다. 컴퓨팅 장치(102)는 PC, 랩탑 컴퓨터, 넷북 등을 포함하는 컴퓨터 장치 클래스(204)를 포함할 수도 있다. 텔레비전(206) 구성은 텔레비전, 셋탑 박스, 게임 콘솔 등과 같은 일상적인 환경 하의 디스플레이를 포함하는 장치 구성을 포함한다. 그러므로, 본 명세서에서 기술되는 기법은 컴퓨팅 장치(102)의 다양한 구성에 의해 지원될 수 있으며, 이하의 섹션에서 설명하는 특정한 예들로 한정되지 않는다.
클라우드(208)는 웹 서비스(212)를 위한 플랫폼(210)을 포함하는 것으로 도시되어 있다. 플랫폼(210)은 클라우드(208)의 하드웨어(서버 등)와 소프트웨어 자원의 하부 기능을 추상화하여, "클라우드 운영 체제(cloud operating system)"로 동작할 수 있다. 이를테면, 플랫폼(210)은 자원을 추상화하여 컴퓨팅 장치(102)를 다른 컴퓨팅 장치들과 접속할 수 있다. 플랫폼(210)은 자원의 스케일(scaling of resources)을 추상화하여 플랫폼(210)을 통해 구현되는 웹 서비스(212)에 대한 요구의 대응 스케일 레벨(corresponding level of scale)을 제공하기도 한다. 서버 팜의 서버들의 로드 밸런싱이나, 스팸, 바이러스, 기타 멀웨어(malware)와 같은 유해한 당사자로부터의 보호 등과 같은 다른 다양한 예들을 고려할 수 있다.
따라서, 클라우드(208)는 인터넷이나 기타 네트워크를 통해 컴퓨팅 장치(102)가 이용할 수 있는 소프트웨어 및 하드웨어 자원에 관한 전략의 일부(part of the strategy)로서 포함될 수 있다.
명확화 모듈(106)에 의해 지원되는 명확화 기법은 모바일 구성(202)의 터치 스크린 기능, 특정 입력 장치를 이용한 접촉을 포함하지 않는 자연스러운 사용자 인터페이스(natural user interface)를 지원하는 일환으로서 카메라에 의해 검출된 컴퓨터(204) 구성의 트랙 패드 기능 등을 이용할 수 있다.
일반적으로, 본 명세서에서 기술된 임의의 기능은 소프트웨어, 펌웨어, 고정된 논리 회로와 같은 하드웨어, 수동 프로세싱, 이들 구현의 조합을 통해 구현될 수 있다. 본 명세서에서 사용된 "모듈", "기능", "논리"라는 용어는 일반적으로 소프트웨어, 펌웨어, 하드웨어 및 이들의 조합을 나타낸다. 소프트웨어 구현의 경우, 모듈, 기능, 논리는 CPU(들)과 같은 프로세서 상에서 또는 프로세서에 의해 실행되어 특정 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 장치에 저장될 수 있다. 이하에서 설명되는 제스쳐 기법의 특징들은 플랫폼-독립형으로서, 다양한 프로세서를 갖는 다양한 상용화된 컴퓨팅 플랫폼 상에서 구현될 수 있다.
다양한 실시예들이 구현될 수 있는 예시적인 환경에 대해 고려하였으니, 이제는 하나 이상의 실시예에 따른 타겟 명확화에 대해 논의하도록 한다.
타겟 명확화
전술한 바와 같이, 타겟 명확화 및 보정을 가능하게 하는 다양한 실시예들이 있다. 하나 이상의 실시예에서, 타겟 명확화는 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드와 타겟 명확화를 마치는 퇴장 모드를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 예를 들면, 사용자의 손가락이 터치스크린 환경 내의 둘 이상의 타겟과 겹치게 되는 경우에는 복수 개의 타겟이 획득될 수 있다. 이를테면, 사용자의 손가락이 하나 이상의 터치에 의해 선택되는 타겟 위에 너무 오래(예컨대, 2초 이상) 머무르는 경우 선택 지연이 발생할 수 있다. 퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상(geometry) 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다.
이하의 다양한 서브섹션에서 사용가능한 다양한 접근 방식과 관련하여 타겟 명확화에 대해 논의하도록 한다. 첫 번째 서브섹션에서는 타겟 명확화를 개시하는 방안으로서 복수의 타겟 획득의 개념에 대해 설명한다. 이어서, 두 번째 서브섹션에서는 타겟 명확화를 개시하는 방안으로서 선택 지연의 개념에 대해 논의한다.
복수의 타겟 획득
일예로서, 도 3을 참조하면, 터치 스크린 기능을 갖는 디스플레이 장치(107)를 구비하는 컴퓨팅 장치(102)를 포함하는 예시적인 환경(300) 하에서의 타겟 명확화 기법이 도시되어 있다. 여기서 사용자의 손이 하나 이상의 아이템들이나 웹 페이지의 일부로서 디스플레이되는 "타겟들"을 터치하여 선택할 수 있다. 어떤 경우, 이들 아이템 중 하나 이상의 터치에 의해 선택되는 방식으로 인해 사용자가 선택을 했는지 여부에 대한 불명확성이 발생할 수 있다. 사용자가 디스플레이 장치(107)를 터치하여 둘 이상의 아이템들이 연루되게 된 상황을 먼저 고려해 보도록 한다. 이 특정 실시예에서, 아이템은 링크의 형태로 존재한다.
일예로서, 도 4를 참조하면, 하나 이상의 실시예에 따라 도 3의 확대된 영역을 전반적으로 참조부호 400으로 나타내고 있다. 이 예에서는 4 개의 링크가 존재한다는 점과, 전반적으로 참조부호 402로 표시한 바와 같이 사용자가 링크 위에 손가락을 위치시키고 디스플레이 장치를 터치하는 것에 의해 사용자의 손(306a)이 두 개의 링크들을 터치하여 선택했다는 점에 유의해야 한다. 이 예에서, 사용자 손가락의 지배적인 부분이 가장 아래쪽 링크 위에 위치한다고 가정하자. 그러나, 사용자 손가락의 적어도 일부분이 참조부호 402의 위쪽 링크 위에도 위치하기 때문에, 사용자가 선택하고자 했던 링크가 어떤 것인지에 대해 불명확성이 발생한다. 이러한 불명확성을 해소하기 위해, 타겟 명확화 모듈이 하나 이상의 시각적 표지를 제공하여 사용자로 하여금 웹 브라우저가 생각하는 사용자의 선택이 무엇인지를 확인할 수 있게 해준다. 그 예가 도 5에 도시되어 있다.
도 5에서는 하이라이트(500) 형태의 시각적 표지가 제공되어 웹 브라우저가 생각하는 사용자의 선택이 무엇인지를 사용자에게 알려준다. 하이라이트(500)에 의해 전달된 사용자의 선택이 올바르지 않다면, 사용자는 자신의 손가락을 올바른 선택쪽으로 이동시킬 수 있다. 예를 들어, 사용자가 참조부호 (402)의 위쪽 링크를 선택하려고 했다면, 사용자는 흔들거나 슬라이딩하는 것에 의해 올바른 선택쪽으로 자신의 손가락을 올릴 수 있다. 이때 위쪽 링크가 하이라이트되고, 손가락을 치우면 웹 브라우저가 선택된 링크로 네비게이트하면서 링크 선택 과정이 완료될 것이다. 다른 시각적 표지를 이용할 수도 있다. 예로서 도 6을 참조하도록 한다.
도 6에서는 툴팁(tooltip: 600) 형태의 시각적 표지가 디스플레이되어, 웹 브라우저가 생각하는 사용자의 선택이 무엇인지를 사용자에게 알려준다. 툴팁을 이용하여 임의의 적절한 형태의 정보가 전달될 수 있다. 기술되는 실시예에서는 사용자의 선택과 연관된 URL과 타이틀이 디스플레이된다. 툴팁(600)에 의해 전달된 사용자의 선택이 올바르지 않은 경우, 사용자는 자신의 손가락을 올바른 선택쪽으로 이동시킬 수 있다. 이를테면, 사용자가 참조부호 (402)의 위쪽 링크를 선택하려고 했다면, 사용자는 흔들거나 슬라이딩하는 것에 의해 올바른 선택쪽으로 자신의 손가락을 옮길 수 있다. 이때 위쪽 링크가 (해당 정보와 함께) 디스플레이되는 툴팁을 갖게 되고, 손가락을 치우면 웹 브라우저가 선택된 링크로 네비게이트하면서 링크 선택 과정이 완료될 것이다. 다른 시각적 표지를 이용할 수도 있다. 도 7에 그 예가 도시되어 있다.
도 7에서는 확대된 사용자 인터페이스 요소(700) 형태의 시각적 표지가 디스플레이되어, 브라우저가 생각하는 사용자의 선택이 무엇인지를 사용자에게 알려준다. 기술되는 실시예에서는 사용자의 손(706a)에 의해 2개의 하부 구성요소가 선택되었다. 구체적으로, 아이템 "3"과 "4"가 선택되었다. 그에 따라, 확대된 사용자 인터페이스 요소(700)가 사용자에게 하부 구성요소 및 브라우저가 생각하는 사용자의 선택을 디스플레이한다. 이 특정 실시예에서는 "3"이 확대된 사용자 인터페이스 요소 내에서 시각적으로 하이라이트되어, 요소 "3"이 선택되었다고 브라우저가 생각하고 있음을 사용자에게 알려준다. 확대된 사용자 인터페이스 요소(700)에 의해 전달된 사용자의 선택이 올바르지 않은 경우, 사용자는 자신의 손가락을 올바른 선택쪽으로 옮길 수 있다. 예컨대, 사용자가 요소 "4"를 선택하고자 했다면, 사용자는 흔들거나 슬라이딩하는 것에 의해 올바른 선택쪽으로 자신의 손가락을 옮길 수 있다. 이때 요소 "4"가 확대된 사용자 인터페이스 요소(700) 내에서 하이라이트되고, 손가락을 치우면 웹 브라우저가 선택된 링크로 네비게이트하면서 링크 선택 과정이 완료될 것이다.
전술한 시각적 표지들은 다른 것과 조합하여 사용될 수도 있음을 이해해야 한다. 이를테면, 도 5의 하이라이팅 방식과 도 6의 툴팁을 조합하는 등의 방식으로 시각적 표지들을 조합할 수 있다.
도 8은 하나 이상의 실시예에 따른 방법의 단계들을 나타내는 흐름도이다. 본 방법은 적절한 하드웨어, 소프트웨어, 펌웨어, 이들의 조합을 이용하여 수행될 수 있다. 적어도 일부 실시예에서 본 방법은 전술한 것과 같이 적절히 구성된 웹 브라우저에 의해 수행될 수 있다.
단계(800)에서는 하나 이상의 아이템이 선택되었는지 여부가 불명확한 선택이 수신된다. 이 단계는 임의의 적절한 방식으로 수행되면 된다. 예컨대, 선택 불명확성은 선택 프로필(selection profile)이 아이템을 선택함에 있어 불명확성과 연관된 특징을 갖는다는 것을 확인함으로써 결정될 수 있다. 예를 들어, 적어도 일부 실시예에서 이 단계는 터치 스크린 기능을 통해 선택을 수신하고, 사용자의 손가락이 물리적으로 닿게 되는(engaged) 스크린 상의 영역과 같은 선택 프로필이 둘 이상의 아이템을 선택한다는 것을 확인함으로써 수행될 수 있다. 그러나, 선택은 위에서 제공한 예인 터치 스크린 기능과는 다른 방식으로 수행될 수도 있다. 또한, 링크나 이미지 등을 포함하는 임의의 적절한 아이템이 선택될 수 있는데, 이는 예시적인 것으로 본 발명을 한정하는 것이 아니다. 단계(802)에서는 아이템들 중 하나와 연관된 시각적 표지를 디스플레이한다. 이 시각적 표지는 선택을 하는 사용자에게 선택된 아이템과 관련된 불명확성이 있음을 알려주고자 마련된다. 구체적으로, 시각적 표지는 연관 애플리케이션에 의해 제공되어, 선택된 것으로 보이는 둘 이상의 아이템 중 하나의 아이템을 사용자가 선택했다고 그 애플리케이션이 판단하고 있다는 사실을 사용자에게 알려줄 수 있다. 임의의 적절한 유형의 시각적 표지를 사용할 수 있는바, 이하에서 그 예들에 대해 설명하도록 한다.
단계(804)에서는 사용자가 지정한 아이템과 연관된 입력을 수신한다. 이 단계는 임의의 적절한 방식으로 수행할 수 있다. 예컨대, 시각적 표지의 디스플레이에 기초하는 경우, 시각적 표지가 사용자가 선택하고자 했던 아이템을 나타낸다면, 이 단계에서 사용자가 지정한 아이템은 시각적 표지가 디스플레이하는 것과 동일한 아이템이 될 것이다. 한편, 시각적 표지의 디스플레이에 기초하는 경우, 시각적 표지가 사용자가 선택하고자 했던 것이 아닌 아이템을 나타낸다면, 사용자는 자신이 선택하고자 했던 아이템을 가리키도록 자신의 선택을 보정할 수 있다. 이 경우, 단계(804)에서 사용자가 지정한 아이템은 시각적 표지가 디스플레이하는 것과 다른 아이템일 수도 있다. 단계(804)에서 수신된 입력은 예를 들어, 터치 스크린 시나리오에서 터치 스크린으로부터 손가락을 들어올리는 것에 의해 사용자의 선택을 완료시키는 입력일 수 있으나, 이에 한정되지는 않는다.
단계(806)에서는 선택 관련 동작이 수행된다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 이를테면, 터치 스크린/웹 브라우저 시나리오에서는 이 단계가 연관된 네비게이션을 수행함으로써 수행될 수 있다.
복수의 타겟 획득에 대해 논의하였으니, 이제는 선택 지연 및 선택 지연이 타겟 명확화를 개시하는 데 사용되는 방식에 대해 살펴보도록 한다.
선택 지연
전술한 바와 같이, 타겟 명확화 프로세스를 개시하는 방식 중 한 가지가 소위 선택 지연을 통한 개시이다. 선택 지연이 시사하는 바는 사용자가 특정한 아이템을 터치에 의해 선택하는 것 등에 의해 해당 아이템을 선택하는 경우 사용자의 손가락이 그 아이템 위에 지나치게 오래 머무르게 되면, 이는 사용자가 의도하지 않은 선택을 했음을 의미할 수 있다는 것이다. 그러므로, 이러한 경우 타겟 명확화 프로세스가 개시될 수 있고, 전술한 다양한 시각적 표지가 제공되어 사용자 선택을 도울 수 있다.
도 9는 하나 이상의 실시예에 따른 방법의 단계들을 도시하는 흐름도이다. 이 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 이용하여 수행될 수 있다. 적어도 일부 실시예에서 본 방법은 전술한 것과 같은 적절히 구성된 웹 브라우저에 의해 수행될 수 있다.
단계(900)에서는 하나 이상의 아이템을 선택하는 선택이 수신된다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 적어도 일부 실시예에서 이 단계는 터치 스크린 기능을 통해 선택을 수신함으로써 수행될 수 있다. 그러나 선택은 터치 스크린 기능이 아닌 다른 방식으로도 수행될 수 있는바, 이하에서 그 예에 대해 설명하도록 한다. 또한, 링크, 이미지 등을 포함하는 임의의 적절한 유형의 아이템들이 선택될 수 있는데, 본 발명이 여기에 제한되는 것은 아니다. 단계(902)에서는 선택 완료가 시간 임계값을 초과하였는지 여부에 대해 확인한다. 임의의 적절한 시간 임계값을 사용할 수 있다. 이를테면, 1 내지 2초 사이의 시간 임계값을 사용할 수도 있다. 시간 임계값이 초과되지 않았고 사용자가 선택을 완료하지 않은 경우, 본 방법은 시간 임계값을 모니터링하는 루프로 회귀한다. 반면에 시간 임계값이 초과된 경우 단계(904)에서 선택된 적어도 하나의 아이템과 연관된 시각적 표지가 디스플레이된다. 시각적 표지는 선택을 하는 사용자가 자신의 선택에 대한 정보를 더 제공받을 수 있도록 마련된다. 임의의 적절한 유형의 시각적 표지를 사용할 수 있는데, 그 예는 전술한 바와 같다.
단계(906)에서는 사용자가 지정한 아이템과 연관된 입력을 수신한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예컨대, 시각적 표지의 디스플레이에 기초하는 경우 시각적 표지가 사용자가 선택하고자 했던 아이템을 나타내면, 이 단계에서는 사용자가 지정한 아이템이 시각적 표지가 디스플레이하는 아이템과 동일한 것이 될 것이다. 반면, 시각적 표지의 디스플레이의 기초하는 경우 시각적 표지가 사용자가 선택하고자 했던 것이 아닌 아이템을 나타낸다면, 사용자는 선택하고자 했던 아이템을 지정하도록 자신의 선택을 보정할 수 있다. 이 경우, 단계(906)에서 사용자가 지정한 아이템은 시각적 표지가 디스플레이하는 것과 다른 아이템일 것이다.
단계(908)에서는 선택과 관련된 동작을 수행한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 터치 스크린/웹 브라우저 시나리오에서는 이 단계가 연관된 네비게이션을 수행하는 것에 의해 수행될 수 있다.
예시적인 선택 지연 실시예에 대해 논의하였으니, 이제는 타겟 명확화를 언제 개시하고 종료할지를 결정하기 위해 기하학 기반 접근방식을 사용하는 타겟 명확화 기법에 대해 살펴본다.
기하학적 형상을 이용한 타겟 명확화의 개시/종료
하나 이상의 실시예에서 기하학을 사용하여 언제 타겟 명확화를 개시하고 종료할지를 정의할 수 있다. 예로서 도 10을 참조한다.
도 10은 사용자가 선택가능한 아이템들의 집합을 참조부호 1000으로 도시하고 있다. 도시된 실시예에서는 아이템들이 웹 페이지 상에 제시될 수 있는 아이템이라고 가정한다. 이 특정한 예에서, 아이템들의 집합은 4개의 선택가능한 아이템을 포함하는데, 이들 각각은 정사각형으로 도시되어 있다. 이하에서 설명하겠지만, 같은 행에 있는 아이템들은 상이한 시점이나 상태에 있는 동일한 아이템을 나타낸 것이다.
최상위 행에 대하여 사용자가 아이템에 대해 터치에 의한 선택을 했다고 가정하도록 한다. 사용자의 손가락이 물리적으로 닿게 되는 연관된 터치 스크린의 해당 면적을 공간(1002)으로 나타냈다. 공간(1002)은 타겟 명확화를 개시하고 종료하는 시점을 결정하는 기하학적 연산의 기초 역할을 하는 소위 타겟 포인트(1004)를 정의한다.
이제 제 2 행의 아이템을 참조하면 타겟 포인트를 포함하도록 기하학적 형상(1006)이 정의되어 있다. 임의의 적절한 기하학적 형상을 사용할 수 있다. 예를 들어, 적어도 일부 실시예에서 기하학적 형상은 반지름이 고정된 원의 형태 내에 위치할 수 있다. 하나 이상의 실시예에서, 6 내지 8 밀리미터 사이 범위에 있는 반지름이 사용될 수 있다. 이와는 달리 기하학적 형상은 공간(1002)과 같이 타원형일 수도 있다. 기하학적 형상(1006)이 두 개의 객체와 겹쳐서 선택 불명확성을 초래한다는 점에 유의해야 한다. 적어도 일부 실시예에서, 원의 반지름과 같은 기하학적 형상의 치수는 사용자의 손가락이 물리적으로 닿게 되는 대응 영역의 크기에 따라 사용자마다 설정될 수 있다. 예로서, 손가락이 큰 개인들은 손가락이 작은 개인들보다 큰 기하학적 형상을 갖게 될 것이다.
이제 제 3 행의 아이템 근처에서 사용자가 자신의 손가락을 화살표 방향으로 움직이는 경우를 가정해 보도록 한다. 따라서, 타겟 포인트(1004)도 그 거리만큼 이동하게 된다. 도시하고 설명된 실시예에서는 기하학적 형상(1006)이 사용자의 최초 터치에 의해 정의된 위치로 고정되어 남아있게 된다. 타겟 포인트가 기하학적 형상(1006)의 경계 내에 존재하기는 하지만, 전술한 타겟 명확화 기법이 사용될 수 있다.
이제 사용자가 자신의 손가락을 이동시킴에 따라 타겟 포인트(1004)도 기하학적 형상(1006)의 경계 밖에 있는 위치로 이동하게 되었다고 가정해 보도록 한다. 이는 아이템의 제 4 행에 도식적으로 나타나 있다. 하나 이상의 실시예에서는 이러한 경우 그 아래에 있는 아이템들에 대한 아이템 선택이 종료할 수 있다. 사용자가 자신의 손가락을 그 최초 위치로부터 충분히 멀리 이동시킨다는 것은 그 손가락 아래에 있는 아이템을 선택하려는 의도가 없다는 것을 의미한다고 볼 수 있기 때문이다.
도 11은 하나 이상의 실시예에 따른 방법의 단계들을 설명하는 흐름도이다. 이 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 이용해 수행할 수 있다. 적어도 일부 실시예에서 본 방법은 앞서 설명한 것과 같이 적절하게 구성된 웹 브라우저에 의해 수행될 수 있다.
단계(1100)에서는 터치 선택 입력이 수신된다. 터치 선택 입력의 수신에 응답하여, 단계(1102)에서는 터치 선택 입력과 연관된 타겟 포인트를 정의한다. 이 단계는 전술한 예와 같은 임의의 적절한 방식으로 수행될 수 있다. 단계(1104)에서는 타겟 포인트와 연관된 기하학적 형상이 정의된다. 그 수행 방법에 대한 예는 위에서 논의한 바 있다. 단계(1106)에서는 그 형상의 경계 내에 복수 개의 아이템들이 포함되는지 여부를 확인한다. 복수의 아이템들이 그 형상의 경계 내에 존재하지 않는 경우, 단계(1108)에서 타겟 명확화를 개시하지 않는다. 반면 복수 개의 아이템들이 그 형상의 경계 내에 존재하는 경우, 단계(1110)에서 타겟 명확화를 개시한다. 타겟 명확화 기법의 예는 전술한 바와 같다.
단계(1112)에서는 터치 선택 입력의 이동을 검출한다. 이는 사용자의 손가락이 원래 놓인 장소로부터 이동하는 것을 검출하는 것 등에 의해 수행될 수 있다. 그러한 이동이 일어나면, 최초로 정의된 타겟 포인트도 손가락과 함께 이동한다. 단계(1114)에서는 타겟 포인트가 기하학적 형상의 경계 내에 위치하는지 여부를 확인한다. 타겟 포인트가 형상의 경계 내에 위치하면, 단계(1116)는 타겟 명확화를 계속한다. 이 방법은 단계(1112)로 돌아갈 수도 있고, 사용자가 특정한 선택을 하는 것에 응답하여 종료할 수도 있다. 반면 타겟 포인트가 형상의 경계 내에 존재하지 않으면 단계(1118)에서 타겟 명확화를 종료한다.
하나 이상의 실시예에서 기하학적 형상의 경계 밖으로 타겟 포인트가 이동하는 것에 의해 타겟 명확화가 종료되면, 팬 기능(panning functionality)이 인에이블되어 사용자가 디스플레이된 컨텐트를 팬할 수 있도록 해준다.
하나 이상의 실시예에서 타겟 명확화는 다른 방식으로 종료할 수도 있다. 예컨대, 손가락의 이동 속도를 사용하여 타겟 명확화를 계속할지 아니면 종료할지 여부를 판단할 수도 있다. 구체적으로, 적절한 경우, 손가락이 터치 스크린을 가로질러 빨리 이동하는 경우는 팬 기능을 수행하고 손가락이 천천히 이동하는 경우는 타겟 명확화를 수행할 수 있다.
기하학을 이용하여 타겟 명확화를 개시/종료하는 것에 대해 설명하였으니, 이제 하나 이상의 실시예를 구현하는 데 사용할 수 있는 예시적인 장치에 대해 논의하도록 한다.
예시적 장치
도 12는 도 1 및 2를 참조하여 설명한 임의 유형의 휴대형 및/또는 컴퓨터 장치로서 구현되어 본 명세서에서 기술한 제스쳐 기법의 실시예들을 구현할 수 있는 예시적인 장치(1200)의 다양한 구성요소들을 도시하고 있다. 장치(1200)는 수신된 데이터, 수신 중인 데이터, 브로드캐스팅될 예정인 데이터, 데이터의 데이터 패킷 등과 같은 장치 데이터(1204)의 유무선 통신을 가능하게 하는 통신 장치(1202)를 포함한다. 장치 데이터(1204)나 기타 장치 컨텐트는 장치의 구성 세팅, 장치 상에 저장된 미디어 컨텐트 및/또는 장치의 사용자와 연관된 데이터를 포함할 수 있다. 장치(1200) 상에 저장된 미디어 컨텐트는 임의 유형의 오디오, 비디오 및/또는 이미지 데이터를 포함할 수 있다. 이 장치(1200)는 사용자가 선택가능한 입력, 메시지, 음악, 텔레비전 미디어 컨텐트, 레코딩된 비디오 컨텐트 및 기타 유형의 비디오 및/또는 임의의 컨텐트나 데이터 소스로부터 수신된 이미지 데이터와 같이 임의 유형의 데이터, 미디어 컨텐트 및/또는 입력을 수신할 수 있는 하나 이상의 데이터 입력부(1206)를 포함한다.
이 장치(1200)는 통신 인터페이스(1208)를 포함하는데, 이는 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의 유형의 네트워크 인터페이스, 모뎀 및 임의의 기타 유형의 통신 인터페이스 중 하나 이상으로서 구현될 수 있다. 통신 인터페이스(1208)는 장치(1200)와 통신 네트워크 사이의 접속 및/또는 통신 링크를 제공하여, 다른 전기, 컴퓨팅, 통신 장치들이 장치(1200)와 데이터를 통신하도록 해준다.
이 장치(1200)는 임의의 마이크로프로세서, 제어기 등과 같은 하나 이상의 프로세서를 포함하여, 장치(1200)의 동작을 제어하고 전술한 제스쳐 실시예들을 구현하는 다양한 컴퓨터 실행가능 또는 판독가능 인스트럭션을 처리한다. 이에 더하여, 또는 이에 갈음하여, 장치(1200)는 하드웨어, 펌웨어, 또는 참조부호(1212)로 표시된 프로세싱 및 제어 회로를 이용하여 구현될 수 있는 고정 논리 회로를 이용하여 구현될 수 있다. 도시하지는 않았지만 이 장치(1200)는 장치 내의 다양한 컴포넌트들을 접속하는 시스템 버스나 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스나 메모리 컨트롤러, 주변 버스, 범용 직렬 버스 및/또는 프로세서나 다양한 버스 아키텍쳐를 사용하는 로컬 버스와 같은 서로 다른 버스 구조들의 하나 이상의 조합을 포함할 수 있다.
이 장치(1200)는 하나 이상의 메모리 컴포넌트와 같은 컴퓨터 판독가능 매체(1214)도 포함하는데, 그 예로서 RAM, (ROM, 플래시 메모리, EPROM, EEPROM 등의) 비휘발성 메모리, 디스크 저장 장치가 있다. 디스크 저장 장치는 하드 디스크 드라이브, 기록가능 및/또는 재기록가능 CD, 임의 유형의 DVD 등과 같은 자기 또는 광학 저장 장치로서 구현될 수 있다. 이 장치(1200)는 대용량 저장 매체 장치(1216)를 포함할 수도 있다.
컴퓨터 판독가능 매체(1214)는 다양한 장치 애플리케이션(1218), 기타 임의 유형의 정보 및/또는 장치(1200)의 동작적 특징과 관련된 데이터, 장치 데이터(1204)를 저장하는 데이터 저장 메커니즘을 제공한다. 이를테면, 운영 체제(1220)는 컴퓨터 판독가능 매체(1214)를 이용하여 컴퓨터 애플리케이션으로서 유지될 수 있고 프로세서(1210) 상에서 실행될 수 있다. 장치 애플리케이션(1218)은 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정 장치에 대한 네이티브(native) 코드, 특정 장치에 대한 하드웨어 추상화 계층 등과 같은 장치 관리자를 포함할 수 있다. 장치 애플리케이션(1218)은 본 명세서에서 기술된 제스쳐 기법의 실시예들을 구현할 임의의 시스템 컴포넌트나 모듈을 포함할 수 있다. 이 예에서 장치 애플리케이션(1218)은 소프트웨어 모듈 및/또는 컴퓨터 애플리케이션으로서 도시된 웹 브라우저(1224) 및 인터페이스 애플리케이션(1222)을 포함한다. 웹 브라우저(1224)는 웹 브라우징 기능을 제공하는 데 사용되는 소프트웨어를 나타내는 것으로, 터치 스크린, 트랙 패드, 카메라 등과 같이 제스쳐를 캡쳐하도록 구성된 장치와의 인터페이스를 포함한다.
이 장치(1200)는 오디오 시스템(1228)에 오디오 데이터를 제공하거나 디스플레이 시스템(1230)에 비디오 데이터를 제공하는 오디오 및/또는 비디오 입출력 시스템(1226)을 포함한다. 오디오 시스템(1228) 및/또는 디스플레이 시스템(1230)은 오디오, 비디오, 이미지 데이터를 처리, 디스플레이 및/또는 기타 렌더링하는 임의의 장치를 포함할 수 있다. 비디오 신호와 오디오 신호는 장치(1200)로부터 오디오 장치 및/또는 디스플레이 장치로 RF(무선 주파수) 링크, S-비디오 링크, 복합 비디오 링크, 컴포넌트 비디오 링크, DVI(디지털 비디오 인터페이스), 아날로그 오디오 접속부 및 기타 유사한 통신 링크를 통해 통신될 수 있다. 일 실시예에서 오디오 시스템(1228) 및/또는 디스플레이 시스템(1230)은 장치(1200)의 외부 컴포넌트로서 구현된다. 이와는 달리, 오디오 시스템(1228) 및/또는 디스플레이 시스템(1230)이 예시적인 장치(1200) 내에 통합된 컴포넌트로 구현될 수도 있다.
결론
다양한 실시예를 이용하여 타겟 명확화 및 보정을 구현할 수 있다. 하나 이상의 실시예에서, 타겟 명확화 기법은 사용자가 선택한 하나 이상의 타겟을 명확화하는 시도가 행해지는 입장 모드와 타겟 명확화를 마치는 퇴장 모드를 포함한다. 입장 모드는 여러 가지 다양한 방식으로 개시될 수 있는데, 예컨대, 복수의 타겟 획득, 선택 지연, 복수의 타겟 획득 및 선택 지연의 결합 등을 포함하지만, 이에 한정되지는 않는다. 퇴장 모드 역시 다양한 방식으로 개시될 수 있으며, 이를테면, 정의된 기하학적 형상 밖으로의 타겟 선택 메커니즘의 이동, 타겟 선택 메커니즘의 이동 속도 등을 포함하지만, 이에 한정되지는 않는다.
하나 이상의 실시예에서, 타겟 명확화 기법은 타겟 명확화를 개시하고 종료하는 시점을 정의하기 위해 기하학 기반 접근방식을 사용한다.
설명한 실시예들이 구조적 특징 및/또는 방법적 동작에 특유한 표현을 이용하여 기술되었지만, 첨부하는 특허청구범위에 정의된 예들이 기술된 구체적인 특징이나 동작으로 제한되는 것이 아님을 이해해야 한다. 오히려 구체적인 특징이나 동작은 청구항에 기재된 예들을 구현하는 예시적인 형태로서 개시된 것일 뿐이다.

Claims (6)

  1. 하나 이상의 프로세서와,
    인스트럭션이 저장된 하나 이상의 메모리
    를 포함하고,
    상기 인스트럭션은 상기 하나 이상의 프로세서에 의한 실행에 응답해서 상기 하나 이상의 프로세서로 하여금,
    웹 페이지의 일부인 복수의 링크를 디스플레이하는 동작과,
    사용자의 최초 터치와 관련된 터치 선택 입력을 수신하는 동작과,
    상기 터치 선택 입력을 수신하는 것에 응답하여, 상기 터치 선택 입력과 연관된 타겟 포인트를 정의하는 동작과,
    상기 타겟 포인트를 포함하는 기하학적 형상을 정의하는 동작 - 상기 기하학적 형상은 상기 사용자의 최초 터치에 의하여 정의된 위치에 고정된 채로 유지됨 - 과,
    상기 복수의 링크가 상기 기하학적 형상의 경계 내에 포함되는지 확인하는 동작과,
    상기 복수의 링크가 상기 기하학적 형상의 경계 내에 포함되는 것에 응답해서, 상기 복수의 링크 중 선택하려고 의도한 링크를 확인하는 동작을 개시하는 동작과,
    상기 터치 선택 입력의 이동을 검출하는 동작 - 상기 이동은 상기 타겟 포인트를 이동시키는 것임 - 과,
    상기 타겟 포인트가 상기 기하학적 형상의 상기 경계 내에 있는지 확인하는 동작과,
    상기 타겟 포인트가 상기 기하학적 형상의 상기 경계 내에 있는 것에 응답해서, 상기 복수의 링크 중 선택하려고 의도한 링크를 확인하는 동작을 계속하는 동작과,
    상기 타겟 포인트가 상기 기하학적 형상의 상기 경계 내에 있지 않은 것에 응답해서, 상기 복수의 링크 중 선택하려고 의도한 링크를 확인하는 동작을 종료하는 동작
    을 포함한 동작을 수행하게 하는
    타겟 명확화 시스템.
  2. 제 1 항에 있어서,
    상기 기하학적 형상은 원을 포함하는
    타겟 명확화 시스템.
  3. 제 1 항에 있어서,
    상기 기하학적 형상은, 6 내지 8 밀리미터 사이의 반지름을 가진 원을 포함하는
    타겟 명확화 시스템.
  4. 제 1 항에 있어서,
    상기 기하학적 형상은 사용자의 손가락이 물리적으로 닿게 되는 대응 영역의 크기에 기초해서, 사용자마다 설정될 수 있는 치수를 갖는
    타겟 명확화 시스템.
  5. 제 1 항에 있어서,
    상기 복수의 링크 중 선택하려고 의도한 링크를 확인하는 동작은 상기 복수의 링크 중 하나와 연관된 시각적 표지를 디스플레이하는 것을 포함하되,
    상기 시각적 표지는 하이라이트 혹은 툴팁을 포함하는
    타겟 명확화 시스템.
  6. 제 1 항에 있어서,
    상기 동작은, 상기 복수의 링크 중 선택하려고 의도한 링크를 확인하는 동작을 종료한 이후에, 팬 기능(panning functionality)을 인에이블하는 동작을 더 포함하는
    타겟 명확화 시스템.
KR1020187025702A 2011-05-27 2011-10-09 타겟 명확화 및 보정 기법 KR102019002B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/117,964 US9389764B2 (en) 2011-05-27 2011-05-27 Target disambiguation and correction
US13/117,964 2011-05-27
PCT/US2011/055510 WO2012166173A1 (en) 2011-05-27 2011-10-09 Target disambiguation and correction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137031329A Division KR20140039205A (ko) 2011-05-27 2011-10-09 타겟 명확화 및 보정 기법

Publications (2)

Publication Number Publication Date
KR20180102211A KR20180102211A (ko) 2018-09-14
KR102019002B1 true KR102019002B1 (ko) 2019-09-05

Family

ID=47220110

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137031329A KR20140039205A (ko) 2011-05-27 2011-10-09 타겟 명확화 및 보정 기법
KR1020187025702A KR102019002B1 (ko) 2011-05-27 2011-10-09 타겟 명확화 및 보정 기법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137031329A KR20140039205A (ko) 2011-05-27 2011-10-09 타겟 명확화 및 보정 기법

Country Status (8)

Country Link
US (1) US9389764B2 (ko)
EP (1) EP2715485B1 (ko)
JP (1) JP6141262B2 (ko)
KR (2) KR20140039205A (ko)
CN (1) CN103562820B (ko)
ES (1) ES2734975T3 (ko)
TW (1) TWI607368B (ko)
WO (1) WO2012166173A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213920A1 (ko) * 2019-04-15 2020-10-22 삼성전자 주식회사 회전 가능한 안테나 모듈이 실장된 전자 장치 및 그 제어 방법
WO2020262713A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 이동 단말기
WO2021025197A1 (ko) * 2019-08-06 2021-02-11 엘지전자 주식회사 롤-슬라이드 이동 단말기
WO2022065732A1 (ko) * 2020-09-22 2022-03-31 삼성전자 주식회사 안테나를 포함하는 전자 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863232B1 (en) 2011-02-04 2014-10-14 hopTo Inc. System for and methods of controlling user access to applications and/or programs of a computer
US20140123051A1 (en) * 2011-05-30 2014-05-01 Li Ni Graphic object selection by way of directional swipe gestures
US8713658B1 (en) 2012-05-25 2014-04-29 Graphon Corporation System for and method of providing single sign-on (SSO) capability in an application publishing environment
US9419848B1 (en) 2012-05-25 2016-08-16 hopTo Inc. System for and method of providing a document sharing service in combination with remote access to document applications
US9239812B1 (en) 2012-08-08 2016-01-19 hopTo Inc. System for and method of providing a universal I/O command translation framework in an application publishing environment
US10146316B2 (en) * 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
US8812995B1 (en) 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection
CN103616973B (zh) * 2013-12-04 2017-07-14 惠州Tcl移动通信有限公司 一种触摸屏的操作方法及触摸屏设备
US20170039076A1 (en) * 2014-04-30 2017-02-09 Empire Technology Development Llc Adjusting tap position on touch screen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941874B1 (ko) * 2007-10-27 2010-02-11 강대현 디스플레이 장치상에 실행 메뉴 아이콘을 표시하는 실행 메뉴 아이콘 표시 장치

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208736A (en) * 1992-05-18 1993-05-04 Compaq Computer Corporation Portable computer with trackball mounted in display section
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US6211856B1 (en) * 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6278442B1 (en) * 1998-06-26 2001-08-21 Research In Motion Limited Hand-held electronic device with a keyboard optimized for use with the thumbs
US6489950B1 (en) * 1998-06-26 2002-12-03 Research In Motion Limited Hand-held electronic device with auxiliary input device
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US20030056384A1 (en) * 2001-09-25 2003-03-27 Masley Francis J. Glove sizing system
TW563870U (en) 2001-12-05 2003-11-21 Tony Wang Display apparatus with adjustable multi-direction viewing angle
US20050162398A1 (en) 2002-03-13 2005-07-28 Eliasson Jonas O.P. Touch pad, a stylus for use with the touch pad, and a method of operating the touch pad
US20040004632A1 (en) * 2002-06-28 2004-01-08 International Business Machines Corporation Tooltip hyperlinks
EP1567927B1 (en) * 2002-11-29 2013-07-10 Koninklijke Philips Electronics N.V. System and method for user interface with displaced representation of touch area
US7158123B2 (en) * 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
US7103852B2 (en) * 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
US7427987B2 (en) * 2003-04-22 2008-09-23 International Business Machines Corporation Displaying multi-ownership in a tree-map visualization
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
KR100537280B1 (ko) * 2003-10-29 2005-12-16 삼성전자주식회사 휴대용 단말기에서 터치스크린을 이용한 문자 입력 장치및 방법
JP3962718B2 (ja) * 2003-12-01 2007-08-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US7321781B2 (en) * 2004-08-24 2008-01-22 Moshe Sorotzkin Cellular telephone design for the elderly
US7443316B2 (en) * 2005-09-01 2008-10-28 Motorola, Inc. Entering a character into an electronic device
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
DE602005015978D1 (de) * 2005-09-28 2009-09-24 Sony Ericsson Mobile Comm Ab Vorrichtung mit mehrfachen Hervorhebungen
US7607088B2 (en) * 2006-04-18 2009-10-20 International Business Machines Corporation Computer program product, apparatus and method for displaying a plurality of entities in a tooltip for a cell of a table
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
JP2007334025A (ja) 2006-06-15 2007-12-27 Kyocera Mita Corp 操作装置及び画像形成装置
KR100770936B1 (ko) * 2006-10-20 2007-10-26 삼성전자주식회사 문자 입력 방법 및 이를 위한 이동통신단말기
US7692629B2 (en) 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
US7889184B2 (en) 2007-01-05 2011-02-15 Apple Inc. Method, system and graphical user interface for displaying hyperlink information
US9285930B2 (en) * 2007-05-09 2016-03-15 Wacom Co., Ltd. Electret stylus for touch-sensor device
KR20090024541A (ko) * 2007-09-04 2009-03-09 삼성전자주식회사 하이퍼링크 선택 방법 및 이를 이용하는 이동통신 단말기
US20100275150A1 (en) 2007-10-02 2010-10-28 Access Co., Ltd. Terminal device, link selection method, and display program
WO2009069392A1 (ja) 2007-11-28 2009-06-04 Nec Corporation 入力装置、サーバ、表示管理方法および記録媒体
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US9092134B2 (en) * 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
JP2009211663A (ja) * 2008-03-06 2009-09-17 Nissan Motor Co Ltd 表示制御装置及び項目表示方法
CN101593055A (zh) * 2008-05-29 2009-12-02 纬创资通股份有限公司 触控屏幕的输入方法及其相关触控屏幕和触控式电子装置
US8683390B2 (en) 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
EP2175355A1 (en) 2008-10-07 2010-04-14 Research In Motion Limited Portable electronic device and method of secondary character rendering and entry
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
US20100103439A1 (en) * 2008-10-27 2010-04-29 Xerox Corporation System and method for visual configuation of dynamic document hole placement
JP2010102662A (ja) 2008-10-27 2010-05-06 Sharp Corp 表示装置、携帯端末
US20100251161A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with staggered keys
US20100251176A1 (en) 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP2011022842A (ja) * 2009-07-16 2011-02-03 Sony Corp 表示装置、表示方法及びプログラム
US8531410B2 (en) * 2009-08-18 2013-09-10 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
KR20110037298A (ko) * 2009-10-06 2011-04-13 삼성전자주식회사 리스트 편집 방법 및 이를 지원하는 휴대 단말기
JP5495702B2 (ja) 2009-10-08 2014-05-21 京セラ株式会社 入力装置
TWI397849B (zh) * 2009-11-27 2013-06-01 Au Optronics Corp 電容式觸控顯示裝置以及電容式觸控面板
JP2011197719A (ja) 2010-03-17 2011-10-06 Jvc Kenwood Holdings Inc タッチパネル入力装置、タッチパネル入力装置の制御方法およびプログラム
US20120001923A1 (en) * 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress
US20120218231A1 (en) * 2011-02-28 2012-08-30 Motorola Mobility, Inc. Electronic Device and Method for Calibration of a Touch Screen
US9001059B2 (en) * 2012-06-08 2015-04-07 Adobe Systems Incorporated Method and apparatus for choosing an intended target element from an imprecise touch on a touch screen display
US8812995B1 (en) * 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941874B1 (ko) * 2007-10-27 2010-02-11 강대현 디스플레이 장치상에 실행 메뉴 아이콘을 표시하는 실행 메뉴 아이콘 표시 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213920A1 (ko) * 2019-04-15 2020-10-22 삼성전자 주식회사 회전 가능한 안테나 모듈이 실장된 전자 장치 및 그 제어 방법
WO2020262713A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 이동 단말기
KR20210149859A (ko) * 2019-06-24 2021-12-09 엘지전자 주식회사 이동 단말기
WO2021025197A1 (ko) * 2019-08-06 2021-02-11 엘지전자 주식회사 롤-슬라이드 이동 단말기
WO2022065732A1 (ko) * 2020-09-22 2022-03-31 삼성전자 주식회사 안테나를 포함하는 전자 장치

Also Published As

Publication number Publication date
TWI607368B (zh) 2017-12-01
KR20180102211A (ko) 2018-09-14
ES2734975T3 (es) 2019-12-13
KR20140039205A (ko) 2014-04-01
CN103562820B (zh) 2019-02-19
CN103562820A (zh) 2014-02-05
JP2014517975A (ja) 2014-07-24
EP2715485A4 (en) 2014-12-24
EP2715485A1 (en) 2014-04-09
US20120304061A1 (en) 2012-11-29
US9389764B2 (en) 2016-07-12
WO2012166173A1 (en) 2012-12-06
TW201248492A (en) 2012-12-01
JP6141262B2 (ja) 2017-06-07
EP2715485B1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
KR102019002B1 (ko) 타겟 명확화 및 보정 기법
RU2701988C2 (ru) Параметрическая инерция и интерфейсы прикладного программирования
JP5980924B2 (ja) 選択及び再配置するクロススライドジェスチャ
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
KR102150733B1 (ko) 패닝 애니메이션
CN105474160A (zh) 高性能触摸拖放
US20130014053A1 (en) Menu Gestures
US9348498B2 (en) Wrapped content interaction
US20130063446A1 (en) Scenario Based Animation Library
CN104024990A (zh) 输入指示器延迟和缩放逻辑
RU2600544C2 (ru) Навигационный пользовательский интерфейс с поддержкой сосредоточенного на странице восприятия просмотра на основе распознавания прикосновений или жестов
KR20140109926A (ko) 입력 포인터 지연 기법
EP2756377B1 (en) Virtual viewport and fixed positioning with optical zoom
US9182823B2 (en) Actuating haptic element of a touch-sensitive device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right