KR101872560B1 - 터치 지능성 타겟팅 기법 - Google Patents

터치 지능성 타겟팅 기법 Download PDF

Info

Publication number
KR101872560B1
KR101872560B1 KR1020147003574A KR20147003574A KR101872560B1 KR 101872560 B1 KR101872560 B1 KR 101872560B1 KR 1020147003574 A KR1020147003574 A KR 1020147003574A KR 20147003574 A KR20147003574 A KR 20147003574A KR 101872560 B1 KR101872560 B1 KR 101872560B1
Authority
KR
South Korea
Prior art keywords
point
display
indication
determining
objects
Prior art date
Application number
KR1020147003574A
Other languages
English (en)
Other versions
KR20140047126A (ko
Inventor
젠 앤더슨
에릭 크리스챤 브라운
제니퍼 티드
고란 프레도빅
브루스 에드워드 제임스
페이 수
메이벨 리퍼트
무디트 아그라왈
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140047126A publication Critical patent/KR20140047126A/ko
Application granted granted Critical
Publication of KR101872560B1 publication Critical patent/KR101872560B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 입력은 디스플레이 상의 위치를 타겟화하기 위한 사용자의 의도를 나타낼 수 있다. 사용자 입력에 기초하여 타겟 포인트를 결정하기 위해서, 컴퓨팅 디바이스는 적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시를 수신할 수 있다. 컴퓨팅 디바이스는 적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이의 일부분을 추정할 수 있다. 컴퓨팅 디바이스는 또한 적어도 하나의 포인트의 위치와, 디스플레이의 추정된 부분 내에 있는 하나 이상의 객체의 부분의 위치에 기초하여 타겟 포인트를 결정할 수 있다.

Description

터치 지능성 타겟팅 기법{TOUCH INTELLIGENT TARGETING}
본 발명의 청구사항은 디스플레이된 사용자 인터페이스와의 사용자 상호작용에 관한 것이다. 컴퓨터 시스템은 키보드, 모니터 및 마우스와 같은 주변 기기를 포함할 수 있으며, 이는 사용자가 컴퓨터 시스템과 상호작용하고 사용자 인터페이스의 측면들을 제어할 수 있게 한다. 마우스, 스타일러스 등과 같은 일부 주변 기기들은 사용자가 디스플레이된 사용자 인터페이스를 제어하도록 정확한 입력을 하게 만든다. 그러나, 터치 스크린 디스플레이, 터치 패드, 모션 감지 카메라 등과 같은 다른 디바이스는 일부 경우에는 사용자에게 보다 다가가기 쉽지만 사용자 입력이 훨씬 덜 정확하다. 터치 스크린 디스플레이, 터치 패드 및 유사한 사용자 입력 디바이스는 모니터, 랩탑 컴퓨터, 태블릿 컴퓨터, 셀룰러 전화기, 매장 키오스크 등과 같은 다수의 디바이스 내에 포함될 수 있다.
터치 스크린, 터치 패드 및 모선 감지 카메라 디바이스의 다양한 구현이 갖는 문제는 사용자가 타겟(target)하고자 의도하는 객체가 무엇인지를 어떻게 결정하는가 하는 것이다. 사용자 인터페이스를 제어하도록 마우스가 사용될 때, 마우스 포인터는 스크린상의 특정한 포인트를 표시한다. 마우스 포인터에 의해 표시된 포인트는 터치 스크린상의 사용자 손가락보다 훨씬 더 정확하다. 그러나, 셀룰러 전화기, 태블릿 컴퓨터 등과 같은 일부 디바이스에서 마우스를 사용하는 것은 바람직하지 않거나 실현 가능하지 않다. 마우스와 반대로, 터치 스크린 디스플레이는 정확도가 훨씬 낮다. 사용자가 터치 스크린 디스플레이를 터치할 때, 사용자의 손가락은 터치 스크린 디스플레이 상의 임의의 한 포인트보다 훨씬 크기 때문에 사용자가 어느 포인트를 타겟으로 하고자 하는지가 불분명할 수 있거나 또는 손가락이 관심 요소의 뷰를 모호하게 하여 사용자 정확도 오류를 증가시킬 수 있다.
본 명세서에 개시된 발명은 디스플레이 상에 나타난 객체들에 기초하여 타겟 포인트(targeted point)를 결정하는 것과 관련된다. 일 실시예에서, 디스플레이 상에 나타난 객체들에 기초하여 타겟 포인트를 결정하는 방법은, 제 1 포인트의 표시(indication), 폭의 표시 및 높이의 표시를 수신하는 단계와, 제 1 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이의 일부분을 추정하는 단계와, 하나 이상의 객체의 적어도 일부분이 디스플레이의 추정된 부분 내에 위치되었는지를 결정하는 단계와, 제 1 포인트의 위치와, 디스플레이의 추정된 부분 내에 있는 하나 이상의 객체의 일부분에 기초하여 하나 이상의 객체로부터 타겟 포인트를 결정하는 단계를 포함한다. 사용자 입력은 터치 스크린 디스플레이의 터치, 터치 패드 디바이스의 터치, 모션 감지 카메라 또는 그 외의 사용자 입력 디바이스에 의해 감지된 제스처일 수 있다.
다른 실시예에서, 시스템은 하나 이상의 객체를 디스플레이하도록 구성된 디스플레이 디바이스와, 컴퓨팅 디바이스를 포함하되, 컴퓨팅 디바이스는 제 1 포인트의 표시, 제 2 포인트의 표시, 폭의 표시 및 높이의 표시를 수신하고, 제 2 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이의 일부분을 추정하고, 하나 이상의 객체의 적어도 일부분이 디스플레이의 추정된 부분 내에 위치되었는지를 결정하며, 제 1 포인트의 위치와 디스플레이의 추정된 부분 내에 있는 하나 이상의 객체의 일부분에 기초하여 하나 이상의 객체로부터 타겟 포인트를 결정하도록 구성된다.
또 다른 실시예에서, 컴퓨터 판독가능한 매체는 명령들을 포함하며, 이러한 명령들은 제 1 포인트의 표시, 제 2 포인트의 표시, 폭의 표시 및 높이의 표시를 수신하라는 명령과, 제 2 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이의 일부분을 추정하라는 명령과, 하나 이상의 객체의 적어도 일부분이 디스플레이의 추정된 부분 내에 위치되었는지를 결정하라는 명령과, 제 1 포인트의 위치와 디스플레이의 추정된 부분 내에 있는 하나 이상의 객체의 일부분에 기초하여 하나 이상의 객체로부터 타겟 포인트를 결정하라는 명령을 포함한다.
도 1은 본 발명의 실시예가 구현될 수 있는 예시적인 범용 컴퓨팅 환경을 도시한다.
도 2a-2b는 컴퓨팅 디바이스 및 터치 스크린 디스플레이의 예시적인 실시예를 도시한다.
도 3a-3c는 터치 스크린 디스플레이의 예시적인 실시예와 터치 스크린 디스플레이와의 예시적인 사용자 상호작용을 도시한다.
도 4a-4d는 터치 스크린 디스플레이에 의해 제공되는 데이터의 실시예 및 사용자 손가락과 터치 스크린 디스플레이 사이의 접촉 영역을 추정하는 실시예를 도시한다.
도 5a-5d는 터치 스크린 디스플레이와의 예시적인 사용자 상호작용 및 사용자와 터치 스크린 디스플레이 사이의 접촉 영역을 추정하는 실시예를 도시한다.
도 6a-6d는 터치 스크린 디스플레이에 의해 제공되는 데이터의 추가적인 실시예 및 디스플레이의 일부분을 추정하는 실시예를 도시한다.
도 7a-7f는 타겟 포인트를 결정하는 다양한 실시예를 도시한다.
도 8a-8d는 타겟 포인트를 결정하는 추가적인 실시예를 도시한다.
도 9a-9b는 복수의 프레임워크를 도시하는 터치 스크린 디스플레이의 실시예 및 사용자와 터치 스크린 디스플레이 사이의 접촉 영역을 추정하였을 때 디스플레이의 추정된 부분이 복수의 프레임워크의 부분들에 걸쳐 있는 경우에 타겟 포인트를 결정하는 실시예를 도시한다.
도 10a-10b는 사용자가 터치 스크린 디스플레이를 터치하고 터치 스크린과 사용자 사이의 접촉 포인트를 이동하는 동시에 터치 스크린 디스플레이와의 접촉을 유지하는 실시예를 도시한다.
도 11은 타겟화된 객체를 결정하는 실시예에 따른 방법의 표현을 도시한다.
도 12는 타겟 포인트의 결정으로 이어지는 이벤트들의 예시적인 시퀀스의 표현을 도시한다.
도 13은 디스플레이의 일부분을 추정하기 위해 디스플레이에 의해 보고된 기하학적 구조를 컴퓨팅 디바이스가 이용할지 여부 또는 디스플레이의 일부분을 추정하기 위해 시뮬레이션된 기하학적 구조를 컴퓨팅 디바이스가 이용할지 여부를 결정하는 방법을 도시한다.
본 발명의 실시예는 하나 이상의 컴퓨터 시스템 상에서 실행할 수 있다. 도 1과 아래의 설명은 본 발명의 실시예가 구현될 수 있는 적절한 컴퓨팅 환경에 대한 간략한 일반적인 설명을 제공하기 위한 것이다.
도 1은 예시적인 범용 컴퓨팅 시스템을 도시한다. 범용 컴퓨팅 시스템은 처리 장치(21)를 포함하는 종래의 컴퓨터(20) 등을 포함할 수 있다. 처리 장치(21)는 각각이 하나 이상의 프로세싱 코어를 구비할 수 있는 하나 이상의 프로세서를 포함할 수 있다. 하나보다 많은 프로세싱 코어를 갖는 프로세서로서 흔히 지칭되는 멀티-코어 프로세서는, 단일 칩 패키지 내에 포함된 복수의 프로세서를 포함한다.
컴퓨터(20)는 또한 그래픽 처리 장치(GPU)(90)도 포함할 수 있다. GPU(90)는 컴퓨터 그래픽을 조정하도록 최적화된 특화된 마이크로프로세서이다. 처리 장치(21)는 GPU(90)에게 작업을 오프로드할 수 있다. GPU(90)는 자체의 그래픽 메모리를 구비할 수 있고/있거나, 시스템 메모리(22)의 일부에 액세스할 수도 있다. 처리 장치(21)와 같이, GPU(90)는 각각이 하나 이상의 코어를 갖는 하나 이상의 프로세싱 유닛을 포함할 수 있다.
컴퓨터(20)는 또한 시스템 메모리(22)와, 시스템이 동작 상태에 있을 때 시스템 메모리(22)를 포함하는 다양한 시스템 구성요소를 처리 장치(21)에 통신가능하게 연결하는 시스템 버스(23)를 포함할 수 있다. 시스템 메모리(22)는 판독 전용 메모리(ROM)(24) 및 랜덤 액세스 메모리(RAM)(25)를 포함할 수 있다. 예를 들어 스타트-업 동안에 컴퓨터(20) 내에서 요소들 간의 정보 전송을 돕는 베이직 루틴을 포함하는 베이직 입력/출력 시스템(26)(BIOS)은 ROM(24) 내에 저장된다. 시스템 버스(23)는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 또는 로컬 버스를 포함하는 임의의 여러 타입의 버스 구조일 수 있으며, 이는 임의의 다양한 버스 아키텍처를 구현한다. 처리 장치(21)와 관계없이 메모리로부터 판독하도록 및/또는 메모리로 기록하도록 구성된 직접 메모리 액세스(DMA; direct memory access) 컨트롤러(80)가 시스템 버스(23)에 연결될 수 있다. 또한, 스토리지 드라이브 I/F(32) 또는 자기 디스크 드라이브 I/F(33)과 같이 시스템 버스(23)에 접속된 디바이스는, DMA 컨트롤러(80)를 이용하지 않고 처리 장치(21)와 무관하게 메모리로부터 판독하도록 및/또는 메모리에 기록하도록 구성될 수 있다.
컴퓨터(20)는 또한 하드 디스크(도시되지 않음) 또는 고체-상태 디스크(SSD)(도시되지 않음)로부터의 판독 및 기록을 위한 스토리지 드라이브(27), 제거가능한 자기 디스크(29)로부터의 판독 및 기록을 위한 자기 디스크 드라이브(28) 및 CD ROM와 같은 제거가능한 광학 디스크(31) 또는 그 외의 광학 매체로부터의 판독 또는 기록을 위한 광학 디스크 드라이브(30)를 더 포함할 수 있다. 하드 디스크 드라이브(27), 자기 디스크 드라이브(28) 및 광학 디스크 드라이브(30)는 하드 디스크 드라이브 인터페이스(32), 자기 디스크 드라이브 인터페이스(33) 및 광학 드라이브 인터페이스(34)에 의해 각각 시스템 버스(23)에 접속된 것으로 도시되었다. 드라이브 및 그와 연관된 컴퓨터 판독가능한 저장 매체는 컴퓨터(20)에 대한 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 및 그 외의 데이터의 비휘발성 스토리지를 제공한다.
본 명세서에 기술된 예시적인 환경이 하드 디스크, 제거가능한 자기 디스크(29) 및 제거가능한 광학 디스크(31)와 같은 스토리지 매체를 도시하지만, 당업자는 다양한 실시예에서 이러한 스토리지 매체가 존재하지 않거나 필요하지 않을 수도 있음을 이해해야 할 것이다. 또한, 컴퓨터에 의해 액세스될 수 있는 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능한 매체가 이용될 수 있으며, 플래시 메모리 카드, 디지털 비디오 디스크 또는 DVD, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등과 같은 컴퓨터 판독가능한 매체가 예시적인 운영 환경에서 사용될 수 있다. 일반적으로, 이러한 컴퓨터 판독가능한 저장 매체는 본 발명의 측면들을 구현하는 프로세서 실행가능한 명령을 저장하도록 일부 실시예에서 사용될 수 있다. 컴퓨터(20)는 또한 작은 컴퓨터 시스템 인터페이스(SCSI) 버스(56)를 통해 스토리지 디바이스(62)로 접속하는 호스트 어댑터(55)를 포함할 수 있다.
운영 시스템(35), 하나 이상의 애플리케이션 프로그램(36), 그 외의 프로그램 모듈(37) 및 프로그램 데이터(38)를 포함하는 컴퓨터 판독가능한 명령을 포함하는 다수의 프로그램 모듈이, 하드 디스크, 자기 디스크(29), 광학 디스크(31), ROM(24) 또는 RAM(25)과 같은 컴퓨터 판독가능한 매체 상에 저장될 수 있다. 처리 장치에 의해 실행되면, 컴퓨터 판독가능한 명령은 아래에서 더욱 상세하게 기술되는 동작들이 수행되도록 하거나 또는 다양한 프로그램 모듈이 개시되도록 한다. 사용자는 키보드(40) 또는 포인터 디바이스(42)와 같은 입력 디바이스를 통해서 커맨드 및 정보를 컴퓨터(20)로 입력할 수 있다. 포인터 디바이스(42)는 마우스, 터치 패드, 터치 스크린, 사용자 움직임을 감지하는 카메라 등일 수 있다. (도시되지 않은) 다른 입력 디바이스는 마이크로폰, 조이스틱, 게임 패드, 위성 디스크, 스캐너 등을 포함할 수 있다. 이러한 입력 디바이스들과 그 외의 입력 디바이스는 종종 시스템 버스에 연결된 직렬 포트 인터페이스(46)를 통해 처리 장치(32)에 접속되지만, 병렬 포트, 게임 포트 또는 USB와 같은 다른 인터페이스에 의해서 접속될 수도 있다. 디스플레이(47) 또는 다른 유형의 디스플레이 디바이스 또한 비디오 어댑터(48)와 같은 인터페이스를 통해 시스템 버스(23)에 접속될 수 있다. 디스플레이(47)에 추가로, 컴퓨터는 전형적으로 스피커 및 프린터와 같은 다른 주변 출력 디바이스(도시되지 않음)를 포함한다.
컴퓨터(20)는 원격 컴퓨터(49)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용하는 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(49)는 다른 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 흔한 네트워크 노드일 수 있으며, 도 1에는 오직 메모리 스토리지 디바이스(50)만이 도시되었지만 일반적으로 컴퓨터(20)에 대해 전술된 다수의 또는 모든 요소들을 포함할 수 있다. 도 1에 도시된 논리적 접속은 로컬 영역 네트워크(LAN)(51) 및 광역 네트워크(WAN)(52)를 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 전사적(enterprise wide) 컴퓨터 네트워크, 인트라넷 및 인터넷에서 매우 흔하다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(20)는 네트워크 인터페이스 또는 어댑터(53)를 통해서 LAN(5)에 접속될 수 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(20)는 전형적으로 모뎀(54) 또는 인터넷과 같은 광역 네트워크(52)에 대한 통신을 확립하기 위한 다른 수단을 포함할 수 있다. 내부 모뎀 또는 외부 모뎀일 수 있는 모뎀(54)은 직렬 포트 인터페이스(46)를 통해 시스템 버스(23)로 접속될 수 있다. 네트워킹된 환경에서, 컴퓨터(20)와 관련하여 도시된 프로그램 모듈 또는 그의 일부분이 원격 메모리 스토리지 디바이스 내에 저장될 수 있다. 도시된 네트워크 접속이 예시적인 것이며 컴퓨터들 간의 통신 링크를 확립하기 위한 다른 수단이 사용될 수 있음을 이해할 것이다.
컴퓨터(20)가 네트워킹된 환경에서 동작하도록 구성된 실시예에서, OS(35)가 네트워크 상에 원격으로 저장되며, 컴퓨터(20)는 로컬식으로 저장된 OS로부터 부팅하기보다는 이렇게 원격으로 저장된 OS를 넷부팅(netboot)할 수 있다. 실시예에서, 컴퓨터(20)는 OS(35)가 풀 OS(full OS)보다 작은, 네트워킹 및 예로서 모니터(47)상에서의 출력 디스플레이를 조정하도록 구성된 커널인 씬클라이언트(thin client)를 포함한다.
이제 도 2a를 참조하면, 모바일 컴퓨팅 디바이스(200)의 실시예가 도시되었다. 모바일 컴퓨팅 디바이스(200)는 셀룰러 전화기, PDA 또는 그외의 유사한 디바이스일 수 있다. 모바일 컴퓨팅 디바이스(200)는 하우징(210) 내의 (도시되지 않은) 컴퓨팅 디바이스를 포함할 수 있다. 모바일 디바이스(200) 내의 컴퓨팅 디바이스는 도 1과 관련하여 기술된 컴퓨터(20)와 유사하며, 처리 장치(21), 시스템 메모리(22), 스토리지 디바이스(27) 등과 같은 컴퓨터(20)의 구성요소들의 일부 또는 전부를 포함할 수 있다. 하우징(210)은 복수의 버튼(211)을 포함할 수 있다. 모바일 컴퓨팅 디바이스(200)는 터치 스크린 디스플레이(220)도 포함할 수 있다. 터치 스크린 디스플레이(220)는 도 1과 관련하여 전술된 포인터 디바이스(42)와 유사한 포인터 디바이스의 실시예이다. 터치 스크린 디스플레이(220)는 상호작용가능한 객체(221) 및 상호작용 불가능한 객체(222) 모두를 디스플레이할 수 있다. 사용자는 객체(221) 중 하나를 선택하는 것과 같은 수행되길 원하는 동작을 나타내도록 터치 스크린 디스플레이(220)를 터치할 수 있다. 터치 스크린 디스플레이(220)는 용량성(capacitive) 터치 스크린 디스플레이 또는 저항성(resistive) 터치 스크린 디스플레이일 수 있다.
이제 도 2b를 참조하면, 시스템(200)의 실시예가 도시되었다. 시스템(200)은 컴퓨터(260) 및 모니터(270)를 포함한다. 컴퓨터(260)는 도 1과 관련하여 기술된 컴퓨터(20)와 유사하며, 처리 장치(21), 시스템 메모리(22), 스토리지 드라이브(27) 등과 같은 컴퓨터(20)의 구성요소들의 일부 또는 전부를 포함할 수 있다. 모니터(270)는 또한 터치 스크린 디스플레이(271)를 포함할 수 있다. 터치 스크린 디스플레이(271)는 도 1과 관련하여 전술된 포인터 디바이스(42)와 유사한 포인터 디바이스의 실시예이다. 터치 스크린 디스플레이(271)는 객체들(272)을 모두 디스플레이할 수 있다. 사용자는 객체들(272) 중 하나를 선택하는 것과 같은 수행되길 원하는 동작을 나타내도록 터치 스크린 디스플레이(272)를 터치할 수 있다.
이제 도 3a를 참조하면, 세 개의 객체(301, 302, 303)를 디스플레이하는 터치 스크린 디스플레이(300)의 실시예가 도시되었다. 도 3a에 도시된 실시예에서, 사용자는 손가락(310)으로 터치 스크린 디스플레이(300)를 터치한다. 도 3a의 도면은 터치 스크린 디스플레이를 이용하는 사용자들에 대한 어려운 점들 중 하나를 나타낸다. 사용자가 터치 스크린 디스플레이(300)를 터치하려고 시도할 때, 사용자의 손가락(310)이 터치하려고 하는 터치 스크린 디스플레이(300)의 부분을 모호하게 한다. 터치 스크린 디스플레이의 사용자의 뷰가 모호하게 되었기 때문에, 사용자는 터치 스크린 디스플레이(300)의 어느 부분이 실제로 터치되었는지 정확하게 알지 못한다.
이제 도 3b를 참조하면, 터치 스크린 디스플레이(300)의 뷰 및 투명하게 도시된 사용자의 손가락(310)이 도시되었다. 사용자가 터치 스크린 디스플레이(300)를 터치하였을 때, 터치 스크린 디스플레이(300)는 터치 포인트(320)를 결정한다. 터치 포인트(320)는 사용자가 터치 스크린 디스플레이(300)를 터치함으로써 타겟으로 하는 포인트라고 터치 스크린 디스플레이(300)가 해석하는 포인트이다. 터치 스크린 디스플레이(300)는 사용자가 터치 스크린 디스플레이(300)를 터치할 때 터치 포인트(320)의 표시(indication)를 컴퓨팅 디바이스로 전송할 수 있다. 터치 포인트(320)의 표시는 수직 좌표계(Cartesian coordinate)(x, y), 극좌표(r, θ)의 형태를 취할 수 있거나, 또는 2차원 평면상의 포인트를 명시하는 임의의 다른 정보의 형태를 취할 수 있다.
이제 도 3c를 참조하면, 객체(301, 302, 303)를 나타내는 터치 스크린 디스플레이(300)의 뷰와 터치 포인트(320)가 도시되었다. 또한 사용자의 손가락(310)이 실제로 접촉된 터치 스크린 디스플레이(300)의 실제 접촉 영역(330)의 윤곽이 도시되었다. 사용자와 터치 스크린 디스플레이 사이의 접촉 영역은 복수의 객체들의 부분들을 커버할 수 있다. 도 3c에 도시된 예시에서, 실제 접촉 영역(330)은 각각의 객체(301, 302, 303)의 부분들을 커버한다. 그러나, 터치 스크린 디스플레이(300)에 의해 결정된 터치 포인트(320)는 객체(301, 302, 303) 중 하나 위에 위치되지 않았다. 따라서, 도 3a-3c에 도시된 예시에서, 사용자의 손가락(310)이 실제로 각각의 세 객체(301, 302, 303)의 부분들 위의 터치 스크린 디스플레이(300)를 터치하였다고 해도, 터치 포인트(320)는 실제로 임의의 객체 상에 위치되지 않는다. 컴퓨팅 디바이스는 터치 스크린 디스플레이를 터치하였을 때 사용자에 의해 타겟화된 포인트로서 터치 포인트를 해석할 수 있다. 이러한 상황에서, 터치 포인트(320)가 객체(301, 302, 303) 중 하나 위에 위치하지 않았기 때문에 컴퓨팅 디바이스는 터치 스크린 디스플레이(300)의 사용자 터치를 객체(301, 302, 303) 중 하나를 타겟화한 것으로서 해석하지 않을 것이다.
도 3a-3c와 관련하여 기술된 바와 같이, 터치 스크린 디스플레이는 터치 스크린 디스플레이의 사용자 터치를 검출할 수 있으며 이러한 사용자의 터치에 기초하여 터치 포인트를 결정할 수 있다. 터치 스크린 디스플레이는 컴퓨팅 디바이스에 직각좌표계(x, y)의 형태인 터치 포인트의 표시를 제공할 수 있다. 도 4a는 터치 스크린 디스플레이가 컴퓨팅 디바이스에게 터치 포인트 T의 표시 이상의 어떠한 정보도 제공하지 않을 때 컴퓨팅 디바이스가 이용가능한 정보를 도시한다. 도시된 바와 같이, 터치 스크린 디스플레이가 터치 포인트 T의 표시 이상의 어떠한 정보도 컴퓨팅 디바이스로 전송하지 않을 때, 컴퓨팅 디바이스는 직각좌표계 상의 터치 포인트 T의 위치 외에는 터치 스크린 디스플레이의 사용자 터치에 대해 더이상 알지 못한다.
도 4b는 터치 스크린 디스플레이에 의해 제공될 수 있는 다른 데이터의 실시예를 도시한다. 터치 포인트 T의 표시를 제공하는 것에 추가로, 터치 스크린 디스플레이는 중심 포인트 C의 표시를 제공할 수 있다. 중심 포인트 C는 터치 스크린 디스플레이와 사용자 손가락 사이의 접촉 영역의 중심에 있는 포인트에 근접한 것일 수 있다. 반면에, 터치 포인트 T는 사용자가 타겟화하고자 한 포인트에 대한 예상으로서 터치 스크린 디바이스에 의해 선택된 포인트이다. 중심 포인트 C 및 터치 포인트 T는 도 4b에 도시된 바와 같이 서로 다른 위치일 수 있거나, 또는 동일한 위치일 수도 있다. 실시예에서, 터치 포인트 T의 위치는 중심 포인트 C의 위치 고정된 오프셋에 기초하여 결정될 수 있다. 예를 들어, 터치 포인트 T의 위치는 중심 포인트 C의 위치보다 2mm 위에 있는 위치로서 결정될 수 있다.
도 4c는 터치 스크린 디스플레이에 의해 제공될 수 있는 데이터의 다른 실시예와 사용자와 터치 스크린 디스플레이 사이의 접촉에 기초하여 디스플레이의 일부분을 추정하는 실시예를 도시한다. 도 4c에 도시된 실시예에서, 터치 스크린 디스플레이는 터치 포인트 T의 표시, 중심 포인트 C의 표시, 높이 H의 표시 및 폭 W의 표시를 컴퓨팅 디바이스에 제공한다. 터치 포인트 T 및 중심 포인트 C는 도 4a 및 4b와 관련하여 기술된 포인트들과 유사할 수 있다. 폭은 사용자가 터치 스크린 디스플레이를 터치하는 가장 좌측의 포인트와 사용자가 터치 스크린 디스플레이를 터치하는 가장 우측의 포인트 사이의 수평거리일 수 있다. 유사하게, 높이는 사용자가 터치 스크린 디스플레이를 터치하는 가장 높은 포인트와 사용자가 터치 스크린 디스플레이를 터치하는 가장 낮은 포인트 사이의 수직거리일 수 있다. 컴퓨팅 디바이스는 중심 포인트 C의 표시, 높이 H의 표시 및 폭 W의 표시에 기초하여 터치 스크린 디스플레이와 사용자의 손가락 사이의 디스플레이(410)의 부분을 추정할 수 있다. 도 4c에 도시된 실시예에서, 디스플레이의 추정된 부분(410)은 폭 W와 높이 H를 갖고 중심 포인트 C가 중심인 직사각형이다. 디스플레이의 추정된 부분(410)의 직사각형 형태가 사용자의 손가락과 터치 스크린 디스플레이 사이의 접촉 영역의 정확한 형태가 아닐 가능성이 크지만, 아래에서 더욱 상세하게 논의되는 것처럼, 이는 타겟 객체를 결정하는데에 사용될 수 있는 실제 접촉 영역의 추정치이다. 디스플레이의 추정된 부분(410)이 중심 포인트 C를 중심으로 할 수 있지만, 도 4c에 도시된 바와 같이, 디스플레이의 추정된 부분(410)이 터치 포인트 T를 중심으로 하는 것 역시 가능하다. 후자의 경우에, 컴퓨팅 디바이스가 터치 포인트 T의 표시, 높이 H의 표시 및 폭 W의 표시에 기초하여 디스플레이의 추정된 부분을 결정하는 것이 가능하다.
도 4d는 디스플레이의 일부분을 추정하는 다른 실시예를 도시한다. 터치 스크린 디스플레이는 터치 포인트 T의 표시, 중심 포인트 C의 표시, 높이 H의 표시 및 폭 W의 표시를 컴퓨팅 디바이스에 제공한다. 이러한 실시예에서, 컴퓨팅 디바이스는 폭 W와 높이 H를 가지며 중심포인트 C를 중심으로 하는 타원형인 디스플레이(420)의 부분을 추정한다. 디스플레이의 추정된 부분(420)의 타원형 형태는 도 4c에서의 직사각형 근사보다 터치 스크린 디스플레이와 사용자 손가락 사이의 실제 접촉 영역에 더 가까운 근사(approximation)일 수 있다. 그러나, 디스플레이(420)의 타원형 추정 부분은 여전히 사용자의 손가락과 터치 스크린 디스플레이 사이의 실제 접촉 영역의 근사치일 뿐이다. 도 4c에 도시된 직사각형과 도 4d에 도시된 타원형 이외의 다른 형태가 사용자의 손가락과 터치 스크린 디스플레이 사이의 접촉 영역을 추정하거나 디스플레이의 일부분을 추정하기 위해 사용될 수 있다.
이제 도 5a-5d를 참조하면, 터치 스크린 디스플레이와 사용자 손가락 사이의 접촉의 두 예시와, 이에 상응하는 컴퓨팅 디바이스에 의한 디스플레이의 일부분의 추정이 도시되었다. 도 5a에서, 사용자의 손가락(510)이 사용자의 손가락(510) 끝 근처에 있는 터치 스크린 디스플레이(520)에 접촉한다. 이러한 실시예와 같은 환경하에서, 사용자의 손가락(510)과 터치 스크린 디스플레이(520) 사이의 접촉 영역의 폭이 높이보다 더 길 수 있다. 도 5b는 사용자의 손가락(510)과 터치 스크린 디스플레이(520) 사이의 디스플레이의 일부분(530)에 대한 컴퓨팅 디바이스의 추정을 도시한다. 컴퓨팅 디바이스는 터치 포인트 T의 표시, 중심 포인트 C의 표시, 높이 H의 표시 및 폭 W의 표시를 터치 스크린 디스플레이(520)로부터 수신할 수 있다. 사용자 손가락(510)과 터치 스크린 디스플레이(520) 사이의 접촉 영역의 폭이 높이보다 크기 때문에, W의 값은 H의 값보다 크다. W의 값이 H의 값보다 크기 때문에, 컴퓨팅 디바이스는 폭이 높이보다 큰 디스플레이의 타원형 부분(530)을 추정할 수 있다.
도 5c에서, 사용자의 손가락(540)은 사용자 손가락(540)의 패드(pad)에 더 가까운 터치 스크린 디스플레이(550)에 접촉한다. 이러한 환경하에서, 사용자 손가락(540)과 터치 스크린 디스플레이(550) 사이의 접촉 영역의 높이가 폭보다 클 수 있다. 도 5d는 도 5c에 도시된 사용자 손가락(540)과 터치 스크린 디스플레이(550) 사이의 디스플레이의 일부분에 대한 컴퓨팅 디바이스의 추정을 도시한다. 컴퓨팅 디바이스는 터치 포인트 T의 표시, 중심 포인트 C의 표시, 높이 H의 표시 및 폭 W의 표시를 터치 스크린 디스플레이(550)로부터 수신할 수 있다. 사용자 손가락(540)과 터치 스크린 디스플레이(550) 사이의 접촉 영역의 높이가 폭보다 크기 때문에, H의 값이 W의 값보다 크다. H의 값이 W의 값보다 크기 때문에, 컴퓨팅 디바이스는 높이가 폭보다 큰 디스플레이의 타원형 부분(560)을 추정할 수 있다.
본 발명의 실시예가 터치 스크린 디스플레이와 관련하여 기술되었지만, 본 발명의 다른 실시예가 가능하다. 일 실시예에서, 사용자는 디스플레이된 사용자 인터페이스를 제어하기 위해 입력을 제공하도록 터치 패드 디바이스와 상호작용할 수 있다. 터치 패드는 터치 패드의 사용자 터치에 기초하여 포인트의 표시, 폭의 표시 및 높이의 표시를 컴퓨팅 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이된 사용자 인터페이스의 부분을 추정할 수 있다. 다른 실시예에서, 사용자는 텔레비전 상에 디스플레이된 사용자 인터페이스를 제어하기 위해 모션 감지 카메라와 상호작용할 수 있다. 모션 감지 카메라는 사용자의 위치, 모션, 또는 제스처에 기초하여 포인트의 표시, 폭의 표시 및 높이의 표시를 컴퓨팅 디바이스로 전송할 수 있다. 컴퓨팅 디바이스는 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 텔레비전 상에 디스플레이된 사용자의 인터페이스의 부분을 추정할 수 있다. 다른 실시예에서, 사용자는 용량성 펜을 이용하여 터치 스크린 디스플레이와 상호작용할 수 있다. 터치 스크린 디스플레이는 터치 패드의 용량성 펜 터치에 기초하여 포인트의 표시, 폭의 표시 및 높이의 표시를 컴퓨팅 디바이스에 전송할 수 있다.
도 6a-6d는 터치 스크린 디스플레이가 컴퓨팅 디바이스에 제공할 수 있는 데이터의 추가적인 실시예 및 디스플레이의 일부분을 추정하는 실시예를 도시한다. 이러한 실시예에서, 컴퓨팅 디바이스는 터치 스크린 디스플레이로부터 터치 포인트 T의 표시, 중심 포인트 C의 표시, 높이 H의 표시, 폭 W의 표시 및 각도 θ의 표시를 수신할 수 있다. 각도 θ는 직각좌표 평면 내의 방향들 중 하나에 대해 터치 스크린에 사용자의 손가락이 접촉된 각도의 근사를 나타낸다. 도 6a-6b에 도시된 실시예에서, 각도 θ는 사용자의 손가락이 터치 스크린에 접속되는 y축에 대한 각도의 근사를 나타낸다. 그러나, 당업자는 각도 θ가 직각좌표 평면 내의 임의의 축 또는 선에 대한 사용자 손가락의 각도일 수 있음을 인식할 것이다.
도 6a에서, 컴퓨팅 디바이스는 폭 W와 높이 H를 갖는 직사각형으로서 디스플레이의 일부분(610)을 추정하였다. 디스플레이의 직사각형으로 추정된 부분(610)은 중심 포인트 C를 중심으로 하여 각도 θ만큼 중심 포인트 C에 대해 회전된다. 도 6b에서, 컴퓨팅 디바이스는 디스플레이의 일부분(620)이 폭 W와 높이 H를 갖는 타원으로 추정하였다. 디스플레이의 타원형 부분은 중심 포인트 C를 중심으로 하며 각도 θ만큼 중심 포인트 C에 대해 회전된다. 도 6a 및 6b 모두에서 도시된 바와 같이, 터치 포인트 T는 각도 θ만큼 중심 포인트 C에 대해 회전될 필요가 없다.
도 6c에서, 컴퓨팅 디바이스는 디스플레이의 일부분(630)을 직사각형(631) 내에 내접한 타원으로 추정하였다. 직사각형(631)은 폭 W과 높이 H를 가지며 중심 포인트 C를 중심으로 한다. 직사각형(631)의 긴 모서리는 y-축에 평행이다. 디스플레이의 타원형 부분(630)은 y-축에 대해 각도 θ로 위치한 장축(632)과 장축(632)에 직교하는 단축(633)을 갖는다. 도 6c에 도시된 바와 같이, 터치 포인트 T는 각도 θ만큼 중심 포인트 C에 대해 회전될 수 있다. 도 6d는 도 6c에 도시된 디스플레이의 타원형 부분(630)을 도시한다. 도 6d에 도시된 바와 같이, 디스플레이(630)의 타원형 부분은 직사각형(631)의 폭 W 및 높이 H와는 상이한 폭 W' 및 높이 H'를 갖는다. 직사각형(631)의 내부에 디스플레이의 추정된 부분이 내접하는 것은 디스플레이의 타원형으로 추정된 부분으로 한정되지 않는다. 컴퓨팅 디바이스가 직사각형(631) 내에 내접된 디스플레이의 일부분을 직사각형 또는 그 외의 형태로 추정하는 것 또한 가능하다.
다른 실시예에서, 컴퓨팅 디바이스가 디스플레이의 일부분을 다른 방식으로 추정하는 것이 가능하다. 일 실시예에서, 컴퓨팅 디바이스는 디스플레이의 일부분을 추정하기 위해서 단순히 사용자의 디스플레이 사이의 접촉 영역의 폭과 높이를 추정할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스는 이전의 높이 및 폭의 표시들의 높이들과 폭들을 평균할 수 있으며, 디스플레이의 일부분을 추정하기 위해서 평균 높이 및 폭을 이용할 수 있다.
이제 도 7a-7f를 참조하면, 타겟 포인트(targeted point)를 결정하는 다양한 실시예들이 도시되었다. 도 7a는 객체와 디스플레이의 추정된 부분 사이의 교차지점을 찾음으로써 타겟 포인트를 결정하는 것을 도시한다. 도시된 바와 같이, 객체(711)의 부분이 디스플레이의 추정된 부분(710)과 교차하지만, 터치 포인트 T는 객체(711) 상에 위치되지 않았다. 객체(711)가 디스플레이의 추정된 부분(710)과 교차하는 유일한 객체이기 때문에, 터치 포인트 T가 객체(711) 상에 위치되지 않았다고 할지라도, 컴퓨팅 디바이스는 타겟 포인트 S가 객체(711) 상에 위치되었다고 결정할 수 있다. 스냅 포인트로도 지칭되는 타겟화 포인트 S는 터치 스크린 디스플레이의 사용자 터치에 의해 타겟화된 타겟 객체(711) 상의 위치를 나타낸다.
도 7b는 터치 포인트가 객체 내에 포함된다는 것을 발견함으로써 타겟 포인트를 결정하는 것을 도시한다. 도시된 바와 같이, 객체(721)의 부분 및 객체(722)의 부분이 디스플레이의 추정된 부분(720)과 교차한다. 터치 포인트 T는 객체(721) 상에 위치한다. 객체(721)가 터치 포인트 T를 포함하는 유일한 객체이기 때문에, 컴퓨팅 디바이스는 타겟 포인트 S가 터치 포인트 T와 동일한 위치에 위치된 것으로 결정할 수 있다.
도 7c는 객체들과 연관된 순위를 이용함으로써 타겟 포인트 및 타겟화된 객체를 결정하는 것을 도시한다. 도시된 바와 같이, 객체(731)의 부분과 객체(732)의 부분이 디스플레이의 추정된 부분(730)과 교차한다. 객체(732)는 또한 객체(731)와도 겹쳐지며 터치 포인트 T는 객체(731, 732) 모두에 대해 위치된다. 터치 포인트 T가 객체(731, 732) 모두에 대해 위치되었기 때문에, 타겟 위치 S는 터치 포인트 T의 위치에서 결정될 수 있다. 순위는 각각의 객체(731, 732)와 연관될 수 있다. 객체들이 겹쳐질 때 그리고 타겟 위치 S가 도 7c에 도시된 객체(731, 732)와 같이 겹쳐진 객체들 상에 위치할 때, 컴퓨팅 디바이스는 각각의 객체(731, 732)의 순위에 기초하여 객체(731, 732) 중 어느 객체가 타겟화된 객체인지를 결정할 수 있다. 객체(731, 732)의 순위는 객체(731, 732)의 기하학적 구조에 기초할 수 있거나, 사용자가 각각의 객체(731, 732)를 선택할 가능성에 기초할 수 있거나, 또는 다른 형태의 순위에 기초할 수 있다. 객체(731, 732)의 순위는 또한 운영 시스템, 애플리케이션, 또는 컴퓨팅 시스템상의 다른 구성요소들에 의해서 제공될 수도 있다.
도 7d는 터치 포인트가 모호할 때 타겟 포인트를 결정하는 것을 도시한다. 터치 포인트는 터치 포인트가 객체 위에 위치되지 않았을 때 모호하지만, 복수의 객체들이 디스플레이의 추정된 부분 내에 적어도 부분적으로 위치되었다. 도 7d에 도시된 바와 같이, 각각의 객체(741, 742, 743)의 부분들이 디스플레이의 추정된 부분(740) 내에 위치된다. 그러나, 터치 포인트 T는 임의의 객체(741, 742, 743) 위에 위치되지 않았다. 타겟 포인트의 위치에 대한 모호성을 해소하기 위해서, 컴퓨팅 디바이스는 각각의 객체(741, 742, 743)와 터치 포인트 T 사이의 거리를 결정할 수 있다. 컴퓨팅 디바이스는 오직 거리에만 기초하여 결정을 내릴 수도 있고, 또는 컴퓨팅 디바이스가 이러한 거리에 가중치를 둘 수 있다. 거리는 각각의 객체(741, 742, 743)와 연관된 순위, 각각의 객체(741, 742, 743)의 형태, 디스플레이의 추정된 부분(740) 내에 위치된 각각의 객체(741, 742, 743)의 부분 등 중에서 하나 이상에 의해 평가될 수 있다. 도 7d에 도시된 실시예에서, 컴퓨팅 디바이스는 타겟 포인트 S가 객체(741) 위에 있는 것으로 결정하였다. 타겟 포인트 S의 결정은 터치 포인트 T와 객체(742, 743) 사이의 거리보다 짧은 터치 포인트 T와 객체(741) 사이의 거리에 기초한 것일 수 있다.
도 7e는 모호한 터치 포인트를 해결하기 위한 샷건(shotgun) 접근법을 이용하여 타겟 포인트를 결정하는 것을 도시한다. 도 7e에 도시된 실시예에서, 각각의 객체(751, 752, 753)의 부분은 디스플레이의 추정된 부분(750) 내에 위치하지만, 터치 포인트 T는 객체(751, 752, 753) 중 어떠한 객체 상에도 위치하지 않는다. 컴퓨팅 디바이스는 디스플레이의 추정된 부분(750) 내의 다수의 포인트(754)를 이용할 수 있으며 객체(751, 752, 753) 내에 위치된 포인트(754)의 수를 결정할 수 있다. 도 7e에 도시된 실시예에서, 객체(751, 753)보다 객체(752) 내에 더 많은 포인트(754)가 존재한다. 포인트(754)의 위치에 기초하여, 이러한 실시예에서 컴퓨팅 디바이스는 타겟 포인트 S가 객체(752) 상에 위치되었다고 결정할 수 있다.
도 7f는 모호한 터치 포인트를 해결하기 위한 객체 오버랩 접근법을 이용하여 타겟 포인트를 결정하는 것을 도시한다. 도 7f에 도시된 실시예에서, 각각의 객체(761, 762, 763)의 부분이 디스플레이의 추정된 부분(760) 내에 위치되었지만, 터치 포인트 T는 객체(761, 762, 763) 중 어떠한 객체 위에도 존재하지 않는다. 컴퓨팅 디바이스는 디스플레이의 추정된 부분(760) 내에 위치된 각각의 객체(761, 762, 763)의 부분의 크기를 결정할 수 있다. 도 7f에 도시된 실시예에서, 객체(762)가 디스플레이의 추정된 부분(760) 내에 위치된 부분이 디스플레이의 추정된 부분(760) 내에 위치된 객체(761, 763)의 부분보다 더 많다. 디스플레이의 추정된 부분(760) 내에 위치된 객체(761, 762, 763)의 부분들에 기초하여, 이러한 실시예에서 컴퓨팅 디바이스는 타겟 포인트 S가 객체(762) 상에 위치되었다고 결정할 수 있다.
이제 도 8a-8d를 참조하면, 터치 스크린 디스플레이의 실시예 및 타겟 포인트를 결정하는 실시예가 도시되었다. 도 8a에는 세 개의 객체(801, 802, 803)를 디스플레이하는 터치 스크린 디스플레이(800)가 도시되었다. 터치 스크린 디스플레이(800)의 사용자 터치에 응답하여, 터치 스크린 디스플레이는 컴퓨팅 디바이스에 포인트(810)의 표시, 폭의 표시 및 높이의 표시를 전송한다. 포인트(810)는 중심 포인트 또는 터치 포인트일 수 있다. 터치 스크린 디스플레이(800)는 모니터와 같은 컴퓨팅 디바이스의 주변 디바이스의 일부일 수 있고, 또는 터치 스크린 디스플레이는 셀룰러 전화기 또는 태블릿 컴퓨터의 경우와 같이 컴퓨팅 디바이스와 통합적으로 형성될 수도 있다. 컴퓨팅 디바이스가 포인트(810)의 표시, 폭의 표시 및 높이의 표시를 수신한 후에, 컴퓨팅 디바이스는 사용자와 터치 스크린 디스플레이(800) 사이에 접촉한 디스플레이의 일부분(811)을 추정할 수 있다.
도 8b는 디스플레이의 추정된 부분(811) 내에 위치된 객체(801, 803)의 부분과 함께 사용자와 터치 스크린 디스플레이(800) 사이의 접촉에 기초한 디스플레이의 추정된 부분(811), 그리고 포인트(810)를 도시한다. 포인트(810)는 객체(801) 상에 위치된다. 포인트(810)가 하나의 객체(801) 위에 위치되었지만, 컴퓨팅 디바이스는 타겟 포인트가 포인트(810)와 동일한 위치에 위치한 것으로 결정할 수 있다.
도 8c는 모호한 포인트에 기초하여 타겟 포인트를 결정하는 것을 도시한다. 도 8c에 도시된 바와 같이, 디스플레이의 추정된 부분(821) 내에 복수의 객체(801, 802, 803)의 적어도 일부가 포함되었지만 터치 포인트(820)는 객체(801, 802, 803) 상에 위치되지 않았기 때문에, 포인트(820)는 모호하다. 컴퓨팅 디바이스는 포인트(820)와 객체(801, 802, 803)의 각 부분 사이의 거리에 기초하여 타겟 포인트(822)의 위치를 결정할 수 있다. 도 8c에 도시된 실시예에서, 터치 포인트(820)는 객체(802, 803)보다 객체(801)에 더 가깝게 위치되었다. 도시된 실시예에서, 객체(801)와 포인트(820) 간의 거리가 포인트(820)와 객체(802, 803) 사이의 가장 짧은 거리보다도 더 짧기 때문에 컴퓨팅 디바이스는 타겟 포인트(822)가 객체(801) 위에 위치된 것으로 결정한다.
다른 실시예에서, 컴퓨팅 디바이스는 터치 포인트(810)와 각각의 객체(801, 802, 803) 사이의 각각의 거리에 가중치를 둘 수 있다. 가중은 디스플레이의 추정된 부분(821) 내에 있는 객체(801, 802, 803)의 특성에 기초할 수 있다. 예를 들어, 터치 포인트 T는 객체(801, 802)의 코너에 가장 근접하게 위치되었고, 터치 포인트 T는 객체(803)의 측면에 가장 근접하게 위치되었다. 만약 사용자가 객체의 코너보다는 객체의 긴 모서리를 선택할 가능성이 높다고 결정되었다면 컴퓨팅 디바이스는 포인트(820)와 객체(803) 사이의 거리에 보다 높은 무게를 부여할 수 있다. 유사하게, 만약 사용자가 객체의 긴 모서리보다는 객체의 코너를 선택할 가능성이 높다고 결정되면 컴퓨팅 디바이스는 포인트(820)와 객체(801, 802) 사이의 거리에 보다 큰 무게를 부여할 수 있다. 가중은 사용자가 소정의 객체를 선택할 가능성에도 기초할 수 있다. 예를 들어, 사용자가 객체(801, 803)보다는 객체(802)를 선택할 가능성이 훨씬 높을 수 있다. 이러한 경우에, 컴퓨팅 디바이스는 포인트(820)와 객체(801, 803) 사이의 거리보다는 포인트(820)와 객체(802) 사이의 거리에 보다 높은 가중치를 부여할 수 있다. 무게는 디스플레이의 추정된 부분(821) 내에 위치된 각 객체의 부분에 기초할 수도 있다. 예를 들어, 도 8c에 도시된 바와 같이, 객체(803)는 디스플레이의 추정된 부분(821)의 거의 절반을 차지하지만, 객체(801, 802)는 디스플레이의 추정된 부분(821)의 훨씬 더 작은 부분들을 차지한다. 이러한 경우에, 컴퓨팅 디바이스는 포인트(820)와 객체(801, 802) 사이의 거리보다 포인트(820)와 객체(803) 사이의 거리에 훨씬 더 큰 가중치를 부여할 수 있다.
도 8d에는 터치 스크린 디스플레이(800)의 다른 실시예가 도시되었다. 이러한 실시예에서, 터치 스크린 디스플레이(800)는 세 개의 객체(801, 802, 803)를 디스플레이하는 것으로서 도시되었다. 또한 포인트(830)와 디스플레이의 추정된 부분(831)도 도시되었다. 포인트(830)는 객체(801, 802, 803) 위에 위치되지 않았다. 그러나, 객체(801)의 부분이 디스플레이의 추정된 부분(831)과 교차한다. 일 실시예에서, 객체(801)가 디스플레이의 추정된 부분(831)과 교차하며 객체(801)는 디스플레이의 추정된 부분(831) 내에 부분적으로 위치된 유일한 객체이기 때문에 컴퓨팅 디바이스는 타겟 포인트(832)가 객체(801) 위에 위치된다고 결정한다.
이제 도 9a를 참조하면, 하우징(910) 및 터치 스크린 디스플레이(920)를 포함하는 디바이스(900)가 도시되었다. 디바이스(900)는 컴퓨팅 디바이스에 접속하는 모니터와 같은 디스플레이 디바이스일 수 있다. 디바이스(900)는 또한 셀룰러 전화기 또는 태블릿 컴퓨터와 같은 하우징(910) 내의 컴퓨팅 디바이스를 포함할 수 있다. 도 9a에 도시된 바와 같이, 터치 스크린 디스플레이(920)는 운영 시스템(930), 웹 브라우저(940) 및 웹 브라우저(940)에 의해 디스플레이되는 웹 페이지 내에 포함된 미디어 플레이어(950)를 디스플레이한다. 운영 시스템(930), 웹 브라우저(940) 및 미디어 플레이어(950) 각각은 개별적인 프레임워크이다. 각 프레임워크는 객체를 포함할 수 있다. 예를 들어, 도 9a에 도시된 실시예에서, 운영 시스템(930)은 아이콘(931, 932)을 포함하고, 웹 브라우저(940)는 버튼(941)을 포함하며, 미디어 플레이어(950)는 버튼(951)을 포함한다.
전술된 바와 같이, 컴퓨팅 디바이스는 객체가 타겟화될 가능성에 기초하여 다수의 객체 중 어느 객체가 타겟화된 객체인지를 결정할 수 있다. 일 실시예에서, 각 프레임워크는 프레임워크 내의 객체들 중 일부 또는 전부에 대해 순위를 갖는 컴퓨팅 시스템을 제공할 수 있다. 예를 들어, 운영 시스템(930)은 아이콘(931)에 대한 순위와 아이콘(932)에 대한 순위를 제공할 수 있으며, 웹 브라우저(940)는 버튼(941)에 대한 순위를 제공할 수 있고, 미디어 플레이어(950)는 버튼(951)에 대한 순위를 제공할 수 있다. 또한 일부 프레임워크가 객체들에 대해 순위를 제공하는 한편, 다른 프레임워크는 객체들에 대해 순위를 제공하지 않는 것도 가능하다. 예를 들어, 일 실시예에서, 운영 시스템(930)과 웹 브라우저(940)는 그들의 객체 각각에 대해 순위를 제공하지만, 미디어 플레이어(950)는 자신의 객체에 대해서 순위를 제공하지 않을 수 있다.
이제 도 9b를 참조하면, 도 9a에 도시된 터치 스크린 디스플레이의 일부분이 도시되었다. 또한 도 9b에는 터치 포인트(960)와 디스플레이의 추정된 부분(961)이 도시되었다. 전술된 바와 같이, 디스플레이의 추정된 부분(961)은 터치 스크린 디스플레이(920)로부터 수신된 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 컴퓨팅 디바이스에 의해 결정될 수 있다. 도시된 바와 같이, 운영 시스템(930)의 아이콘(931, 932)의 일부분, 웹 브라우저(940)의 버튼(941), 수직 모서리(942), 수평 모서리(943) 및 코너(944)의 일부분, 그리고 미디어 플레이어(950)의 버튼(951)의 일부분을 포함하는 다수의 객체의 일부분이 디스플레이의 추정된 부분(961) 내에 위치된다.
컴퓨팅 디바이스는 디스플레이의 추정된 부분(961) 내에 위치된 객체들의 부분의 위치에 기초하여 디스플레이의 추정된 부분(961) 내의 타겟 포인트(962)의 위치를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스는 터치 포인트(960)에 가장 가까운 객체 위에 타겟 포인트(962)가 위치한다고 결정할 수 있다. 그러나, 거리 기반의 결정은 소정의 상황에서 문제가 될 수 있다. 도 9b에 도시된 바와 같이, 수직 에지(942)와 아이콘(931)은 겹쳐져서 수직 에지(942)와 아이콘(931)은 실질적으로 터치 포인트(960)로부터 같은 거리에 있다. 이러한 문제를 해결할 하나의 방법은 각 객체와 연관된 순위에 따라서 터치 포인트와 각 객체 사이의 거리에 가중치를 부여하는 것이다. 전술된 바와 같이, 각 프레임워크는 컴퓨팅 시스템에 객체들에 대한 순위를 제공할 수 있다. 프레임워크가 객체에 대한 순위를 제공하지 않는다면, 순위가 객체에 할당될 수 있다. 순위가 제공되지 않은 객체들에 순위를 할당하는 것은 각 객체가 타겟화된 객체에 대한 순위 기반 결정시에 사용하기 위한 자신과 연관된 순위를 가질 것임을 보장한다. 도 9b에 도시된 실시예에 도시된 바와 같이, 타겟 포인트(962)는 아이콘(932) 위에 위치된다.
이제 도 10a 및 10b를 참조하면, 디바이스(1000)의 두 가지 예시와 사용자가 터치 스크린 디스플레이를 터치하고 터치 스크린과 사용자 사이의 접촉 포인트를 이동하는 동시에 터치 스크린 디스플레이와의 접촉을 유지하는 실시예가 도시되었다. 디바이스(100)는 하우징(1010) 및 터치 스크린 디스플레이(1020)를 포함할 수 있다. 터치 스크린 디스플레이(1020)는 운영 시스템(1030) 및 웹 브라우저(1040)를 디스플레이한다. 웹 브라우저(1040)의 코너(1041)는 선택시에 사용자의 손가락을 하나의 위치로부터 다른 위치로 드래그함으로써 사용자가 웹 브라우저(1040)의 크기를 조정하게 할 수 있는 객체이다. 또한 도 10a 및 10b에는 터치 포인트(1050) 및 디스플레이의 추정된 부분(1051)이 도시되었다. 도 10a는 사용자가 터치 스크린 디스플레이(1020)를 터치한 시점을 도시하고, 도 10b는 그 시점 후를 도시한다. 도 10a에 도시된 시점과 도 10b에 도시된 시점 사이에서, 사용자의 손가락은 웹 브라우저(1040)의 크기를 조정하기 위해서 터치 스크린 디스플레이(1020)를 가로질러 드래그되었다. 도 10a에 도시된 시점에서, 컴퓨팅 디바이스는 터치 포인트가 코너(1041) 상에 위치되지 않았다고 할지라도 웹 브라우저의 코너(1041)가 타겟 포인트라고 결정할 수 있다. 터치 포인트와 타겟 포인트의 위치의 차이는 오프셋(1052)에 의해 표현되었다. 도 10b에서 도시된 바와 같이, 오프셋(1052)은 사용자의 손가락이 터치 스크린 디스플레이(1020)를 가로질러 드래그되는 동안 유지된다. 일 실시예에서, 터치 포인트(1050)와 타겟 포인트(1041) 사이의 오프셋(1052)은 사용자가 터치 스크린 디스플레이에 접촉하는 도 10a의 시점에서 결정된다. 사용자가 터치 스크린을 가로질러 손가락을 드래그할 때와 같이 사용자가 사용자와 터치 스크린 사이의 접촉 포인트를 이동하면, 사용자가 터치 스크린 디스플레이와 접속을 유지하는 한 오프셋은 유지된다.
전술된 바와 같이, 본 발명의 일 실시예는 텔레비전 상에 디스플레이된 사용자 인터페이스를 제어하기 위해서 모션 감지 카메라와 상호작용하는 사용자를 포함할 수 있다. 이러한 실시예에서, 모션 감지 카메라는 사용자의 위치 또는 사용자의 동작에 기초하여 사용자 입력을 인식할 수 있다. 사용자 입력으로부터, 모션 감지 카메라는 타겟 포인트, 사용자 상호작용의 중심 포인트, 사용자 상호작용의 폭 및 사용자 상호작용의 높이를 결정할 수 있다. 모션 감지 카메라는 타겟 포인트의 표시, 중심 포인트의 표시, 폭의 표시 및 높이의 표시를 컴퓨팅 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는 전술된 방법에 따라서 수신된 타겟 포인트의 표시, 중심 포인트의 표시, 폭의 표시 및 높이의 표시에 기초해 타겟 객체를 결정할 수 있다.
도 11은 본 발명의 실시예에 따른 방법의 표현을 도시한다. 단계(1110)에서 적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시가 수신된다. 적어도 하나의 포인트의 표시는 중심 포인트의 표시, 터치 포인트의 표시, 그외의 포인트의 표시, 또는 이들의 임의의 조합을 포함할 수 있다. 단계(1120)에서 적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시에 기초하여 디스플레이의 일부분이 추정된다. 단계(1130)에서 객체의 일부가 디스플레이의 추정된 부분 내에 위치된 것으로 결정된다. 단계(1140)에서 타겟화된 객체가 적어도 하나의 포인트의 위치와 디스플레이의 추정된 부분 내에 있는 객체의 일부분에 기초하여 결정된다.
도 12는 타겟 포인트의 결정으로 이어지는 이벤트들의 예시적인 시퀀스의 표현을 도시한다. 단계(1210)에서 사용자는 터치 스크린 디스플레이를 터치한다. 단계(1220)에서 터치 스크린 디스플레이는 사용자가 터치 스크린 디스플레이를 터치한 것에 기초하여 포인트, 폭 및 높이를 결정한다. 단계(1230)에서 터치 스크린 디스플레이는 포인트, 높이 및 폭의 표시를 컴퓨팅 디바이스에 전송한다. 단계(1240)에서 컴퓨팅 디바이스는 포인트, 높이 및 폭의 표시를 수신한다. 단계(1250)에서 컴퓨팅 디바이스는 포인트, 높이 및 폭의 표시에 기초하여 디스플레이의 일부분을 추정한다. 단계(1260)에서 컴퓨팅 디바이스는 하나 이상의 객체의 적어도 일부분이 디스플레이의 추정된 부분 내에 위치된다고 결정한다. 단계(1270)에서 컴퓨팅 디바이스는 디스플레이의 추정된 부분 내에 위치된 하나 이상의 객체의 부분과 포인트의 위치에 기초하여 타겟 포인트를 결정한다.
이제 도 13을 참조하면, 디스플레이 디바이스에 의해 제공된 높이의 표시 및 폭의 표시를 사용할지 여부 또는 시뮬레이션된 기하학적 구조(simulated geometry)를 사용할지 여부를 결정하는 방법이 도시되었다. 시뮬레이션된 기하학적 구조는 디스플레이 디바이스에 의해 제공된 기하학적 구조를 이용하는 것 외에 디스플레이의 일부분을 추정하기 위해 컴퓨팅 디바이스에 의해 사용되는 기하학적 구조를 지칭한다. 예를 들어, 시뮬레이션된 기하학적 구조는 디스플레이의 일부분을 추정하기 위한 사용자와 디스플레이 사이의 접촉 영역의 높이와 폭에 대한 컴퓨팅 디바이스에 의한 추정일 수 있다. 다른 예시에서, 시뮬레이션된 기하학적 구조는 이전의 높이들의 표시의 평균 높이와 이전의 폭들의 표시의 평균 폭과 같이, 이전의 높이들과 폭들의 표시로부터 파생될 수 있다.
도 13에 도시된 바와 같이, 단계(1305)에서 디스플레이 디바이스는 터치 정보를 컴퓨팅 디바이스로 보고할 수 있다. 터치 정보는 터치 포인트, 중심 포인트, 폭의 표시 및 높이의 표시 중 하나 이상을 포함할 수 있다. 단계(1310)에서 컴퓨팅 디바이스는 터치 정보가 높이의 표시 및 폭의 표시(H,W)를 포함하는지 여부를 결정할 수 있다. 만약 터치 정보가 (H,W)를 포함하지 않으면, 단계(1315)에서 컴퓨팅 디바이스는 디스플레이의 일부분을 결정하도록 시뮬레이션된 기하학적 구조를 이용한다. 만약 터치 정보가 (H,W)를 포함하면, 단계(1320)에서 컴퓨팅 디바이스는 (H,W)가 눌(null) 값(0,0)이 아닌지를 결정할 수 있다. 만약 (H,W)가 (0,0)과 같지 않다면, 단계(1325)에서 컴퓨팅 디바이스는 (H,W)의 값이 사전결정된 범위 내에 포함되는지 여부를 결정할 수 있다. 사전결정된 범위는 (H,W)의 유효값으로서 간주되는 범위일 수 있다. 만약 (H,W)의 값이 사전결정된 범위 내에 있다면, 단계(1330)에서 컴퓨팅 디바이스는 디스플레이의 일부분을 추정하도록 (H,W)의 값을 사용할 수 있다. 만약 (H,W)의 값이 사전결정된 범위 밖에 있다면, 단계(1335)에서 컴퓨팅 디바이스는 디스플레이의 일부분을 추정하도록 시뮬레이션된 기하학적 구조를 이용할 수 있다. (H,W)의 값이 (0,0)과 같은 경우에, 단계(1340)에서 컴퓨팅 디바이스는 (H,W)의 값이 주입(injection)을 통해 설정되는지 여부를 결정할 수 있다. 만약 (H,W)의 값이 주입을 통해 설정된다면, 단계(1345)에서 컴퓨팅 디바이스는 디스플레이의 일부분을 추정하기 위해서 시뮬레이션된 기하학적 부분을 이용할 수 있다. 만약 (H,W)의 값이 주입을 통해 설정되는 것이 아니라면, 단계(1350)에서 컴퓨팅 디바이스는 디스플레이의 일부분을 추정하지 않고 타겟 포인트의 결정 없이 진행한다.
본 발명이 다양한 도면에 도시된 바와 같은 바람직한 측면들과 관련하여 기술되었지만, 다른 유사한 측면들이 이용될 수 있으며 본 발명의 범주로부터 벗어나지 않고 본 발명과 동일한 기능을 수행하기 위해 기술된 측면들에 대해 수정 및 추가가 이루어질 수 있음을 이해해야 한다. 따라서, 본 발명은 하나의 단일 측면으로 한정되어서는 안되고, 첨부된 특허청구범위에 따른 범주 및 사상 내에서 해석되어야 한다. 예를 들어, 본 명세서에 기술된 다양한 절차는 하드웨어 또는 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 본 발명은 컴퓨터 판독가능한 저장 매체 및/또는 컴퓨터 판독가능한 통신 매체로 구현될 수 있다. 따라서, 발명 또는 그 측면 또는 일부분이 플로피 디스켓, CD-ROM, 하드 드라이브, 또는 임의의 다른 기계 판독가능한 저장 매체와 같은 실체적 매체에 포함된 프로그램 코드(즉, 명령)의 형태를 취할 수 있다. 프로그램 코드가 컴퓨터와 같은 기계에 로딩되어 이에 의해 실행될 때, 장치는 개시된 실시예를 실시하도록 구성된 장치가 된다. 본 명세서에 명백하게 기술된 특정한 구현에 더하여, 본 명세서에 개시된 명세를 참조함으로써 당업자에게 다른 측면들 및 구현이 명백하게 될 것이다. 이러한 명세 및 도시된 구현들은 단지 예시적인 것으로 간주되어야 한다.

Claims (19)

  1. 사용자 입력에 기초하여 디스플레이 상에 도시된 타겟 포인트(targeted point)를 결정하는 방법으로서,
    적어도 하나의 포인트의 표시(indication), 폭의 표시 및 높이의 표시를 수신하는 단계와,
    상기 적어도 하나의 포인트의 표시, 상기 폭의 표시 및 상기 높이의 표시에 기초하여 상기 디스플레이의 일부분을 추정하는 단계와,
    하나 이상의 객체의 적어도 일부분이 상기 디스플레이의 상기 추정된 부분 내에 위치하는지를 판정하는 단계와,
    상기 적어도 하나의 포인트의 위치와, 상기 디스플레이의 상기 추정된 부분 내에 위치하는 상기 하나 이상의 객체의 상기 일부분에 기초하여 상기 하나 이상의 객체의 상기 타겟 포인트를 결정하는 단계와,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 오프셋을 결정하는 단계 -상기 오프셋은 상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 거리를 나타냄- 와,
    상기 적어도 하나의 포인트의 상기 위치의 변경의 표시를 수신하는 단계와,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 상기 오프셋이 유지되도록, 상기 하나 이상의 객체의 크기 또는 위치를 변경하는 단계를 포함하되,
    상기 타겟 포인트를 결정하는 단계는, 둘 이상의 객체가 상기 디스플레이의 상기 추정된 부분 내에 위치하고, 제 1 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸는(encompass) 부분보다 더 큰 부분을 제 2 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸면, 상기 적어도 하나의 포인트가 상기 제1 객체 내에 위치한다고 결정하는 동작 및 상기 제 2 객체가 상기 적어도 하나의 포인트를 포함하지 않는다고 결정하는 동작을 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 포인트는 상기 디스플레이 상의 추정된 터치 포인트 및 상기 디스플레이 상의 추정된 중심 포인트를 포함하는
    방법.
  3. 제 1 항에 있어서,
    상기 타겟 포인트를 결정하는 단계는
    상기 적어도 하나의 포인트의 위치와 상기 디스플레이의 상기 추정된 부분 내에 있는 상기 하나 이상의 객체의 각각의 부분과의 거리 및 상기 하나 이상의 객체의 각각과 연관된 순위에 기초하여 상기 타겟 포인트를 결정하는 단계를 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 객체는 제 1 프레임워크 내의 제 1 객체 및 제 2 프레임워크 내의 제 2 객체를 포함하는
    방법.
  5. 제 4 항에 있어서,
    상기 제 1 객체와 연관된 제 1 순위는 상기 제 1 프레임워크에 의해서 제공되는
    방법.
  6. 제 5 항에 있어서,
    상기 제 2 객체에 제 2 순위를 할당하는 단계를 더 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 제 1 순위에 기초하여 상기 적어도 하나의 포인트와 상기 제 1 객체 사이의 거리에 가중치를 부여하는 단계와,
    상기 제 2 순위에 기초하여 상기 적어도 하나의 포인트와 상기 제 2 객체 사이의 거리에 가중치를 부여하는 단계를 포함하되,
    상기 타겟 포인트를 결정하는 단계는, 상기 적어도 하나의 포인트와 상기 제 1 객체 사이의 상기 가중된 거리 및 상기 적어도 하나의 포인트와 상기 제 2 객체 사이의 상기 가중된 거리에 기초하여 상기 타겟 포인트를 결정하는 단계를 포함하는
    방법.
  8. 제 1 항에 있어서,
    상기 타겟 포인트를 결정하는 단계는,
    상기 하나 이상의 객체의 일부분이 상기 디스플레이의 상기 추정된 부분 내에 위치함을 결정하는 단계를 포함하는
    방법.
  9. 제 1 항에 있어서,
    상기 타겟 포인트를 결정하는 단계는,
    사용자가 상기 하나 이상의 객체 중의 하나를 선택할 가능성에 기초하여 상기 타겟 포인트를 결정하는 단계를 포함하는
    방법.
  10. 디바이스와의 사용자 상호작용에 기초하여 타겟 포인트를 결정하는 시스템으로서,
    하나 이상의 객체를 디스플레이하도록 구성된 디스플레이 디바이스와,
    컴퓨팅 디바이스를 포함하되,
    상기 컴퓨팅 디바이스는,
    적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시를 수신하고,
    상기 적어도 하나의 포인트의 표시, 상기 폭의 표시 및 상기 높이의 표시에 기초하여 상기 디스플레이의 일부분을 추정하고,
    하나 이상의 객체의 적어도 일부분이 상기 디스플레이의 상기 추정된 부분 내에 위치하는지를 판정하고,
    상기 적어도 하나의 포인트의 위치와, 상기 디스플레이의 상기 추정된 부분 내에 있는 상기 하나 이상의 객체의 일부분에 기초하여 상기 하나 이상의 객체의 타겟 포인트를 결정하고,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 오프셋을 결정하고 -상기 오프셋은 상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 거리를 나타냄- ,
    상기 적어도 하나의 포인트의 상기 위치의 변경의 표시를 수신하고,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 상기 오프셋이 유지되도록, 상기 하나 이상의 객체의 크기 또는 위치를 변경하도록 구성되며,
    상기 타겟 포인트를 결정하도록 구성되는 것은, 둘 이상의 객체가 상기 디스플레이의 상기 추정된 부분 내에 위치하고, 제 1 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸는(encompass) 부분보다 더 큰 부분을 제 2 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸면, 상기 적어도 하나의 포인트가 상기 제1 객체 내에 위치한다고 결정하도록 하는 것 및 상기 제 2 객체가 상기 적어도 하나의 포인트를 포함하지 않는다고 결정하도록 하는 것을 포함하는
    시스템.
  11. 제 10 항에 있어서,
    상기 디스플레이 디바이스는 터치스크린 디스플레이를 포함하고,
    상기 디스플레이의 상기 추정된 부분은 상기 사용자에 의해 접촉된 상기 터치스크린 디스플레이의 상기 부분의 추정인
    시스템.
  12. 제 10 항에 있어서,
    상기 컴퓨팅 디바이스는 또한 상기 디스플레이의 상기 추정된 부분 내에 있는 상기 하나 이상의 객체의 각 부분과 상기 적어도 하나의 포인트 사이의 거리에 기초하여 상기 타겟 포인트를 결정하도록 구성되는
    시스템.
  13. 제 12 항에 있어서,
    상기 컴퓨팅 디바이스는 또한 상기 하나 이상의 객체 각각과 연관된 순위에 기초하여 상기 타겟 포인트를 결정하도록 구성되는
    시스템.
  14. 제 10 항에 있어서,
    상기 컴퓨팅 디바이스는 또한 상기 하나 이상의 객체의 일부분이 상기 디스플레이의 상기 추정된 부분 내에 위치함을 결정하도록 구성되는
    시스템.
  15. 제 10 항에 있어서,
    상기 컴퓨팅 디바이스는 또한 사용자가 상기 하나 이상의 객체 중의 하나를 선택할 가능성에 기초하여 상기 타겟 포인트를 결정하도록 구성되는
    시스템.
  16. 터치 스크린 디스플레이에 대한 사용자 터치에 기초하여 타겟 포인트를 결정하기 위한 명령어를 포함하는 컴퓨터 판독가능한 저장매체로서,
    상기 명령어는,
    적어도 하나의 포인트의 표시, 폭의 표시 및 높이의 표시를 수신하라는 명령어와,
    상기 적어도 하나의 포인트의 표시, 상기 폭의 표시 및 상기 높이의 표시에 기초하여 상기 디스플레이의 일부분을 추정하라는 명령어와,
    하나 이상의 객체의 적어도 일부분이 상기 디스플레이의 상기 추정된 부분 내에 위치하는지를 판정하라는 명령어와,
    상기 적어도 하나의 포인트의 위치와, 상기 디스플레이의 상기 추정된 부분 내에 있는 상기 하나 이상의 객체의 일부분에 기초하여 상기 하나 이상의 객체의 상기 타겟 포인트를 결정하라는 명령어와,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 오프셋을 결정하라는 명령어 -상기 오프셋은 상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 거리를 나타냄- 와,
    상기 적어도 하나의 포인트의 상기 위치의 변경의 표시를 수신하라는 명령어와,
    상기 적어도 하나의 포인트와 상기 하나 이상의 객체의 상기 타겟 포인트 간의 상기 오프셋이 유지되도록, 상기 하나 이상의 객체의 크기 또는 위치를 변경하라는 명령어
    를 포함하되,
    상기 타겟 포인트를 결정하라는 명령어는, 둘 이상의 객체가 상기 디스플레이의 상기 추정된 부분 내에 위치하고, 제 1 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸는(encompass) 부분보다 더 큰 부분을 제 2 객체가 상기 디스플레이의 상기 추정된 부분 내에서 에워싸면, 상기 적어도 하나의 포인트가 상기 제1 객체 내에 위치한다고 결정하라는 명령어 및 상기 제 2 객체가 상기 적어도 하나의 포인트를 포함하지 않는다고 결정하라는 명령어를 포함하는
    컴퓨터 판독가능한 저장매체.
  17. 제 16 항에 있어서,
    상기 디스플레이의 일부분을 추정하라는 명령어는,
    상기 디스플레이의 상기 일부분을 상기 적어도 하나의 포인트를 중심으로 하는 타원으로서 추정하라는 명령어를 포함하는
    컴퓨터 판독가능한 저장매체.
  18. 제 17 항에 있어서,
    상기 타원은 상기 높이의 표시에 상응하는 높이와 상기 폭의 표시에 상응하는 폭을 갖는
    컴퓨터 판독가능한 저장매체.
  19. 제 17 항에 있어서,
    상기 디스플레이의 일부분을 추정하라는 명령어는, 상기 디스플레이의 상기 일부분을 직사각형 내에 내접하며 상기 적어도 하나의 포인트를 중심으로 하는 타원으로서 추정하라는 명령어를 포함하되,
    상기 직사각형은 상기 높이의 표시에 상응하는 높이와 상기 폭의 표시에 상응하는 폭을 갖는
    컴퓨터 판독가능한 저장매체.
KR1020147003574A 2011-08-12 2011-10-10 터치 지능성 타겟팅 기법 KR101872560B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/209,058 US10140011B2 (en) 2011-08-12 2011-08-12 Touch intelligent targeting
US13/209,058 2011-08-12
PCT/US2011/055619 WO2013025228A1 (en) 2011-08-12 2011-10-10 Touch intelligent targeting

Publications (2)

Publication Number Publication Date
KR20140047126A KR20140047126A (ko) 2014-04-21
KR101872560B1 true KR101872560B1 (ko) 2018-06-28

Family

ID=47677224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147003574A KR101872560B1 (ko) 2011-08-12 2011-10-10 터치 지능성 타겟팅 기법

Country Status (6)

Country Link
US (1) US10140011B2 (ko)
EP (1) EP2742405A4 (ko)
JP (1) JP5847939B2 (ko)
KR (1) KR101872560B1 (ko)
CN (1) CN103718136B (ko)
WO (1) WO2013025228A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5460679B2 (ja) * 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US9727228B2 (en) * 2013-02-22 2017-08-08 Keysight Technologies, Inc. Method for selecting waveforms on electronic test equipment
US9506966B2 (en) 2013-03-14 2016-11-29 Google Technology Holdings LLC Off-center sensor target region
WO2014188496A1 (ja) * 2013-05-20 2014-11-27 楽天株式会社 情報処理装置
JP6370118B2 (ja) * 2014-06-06 2018-08-08 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP6035290B2 (ja) * 2014-07-29 2016-11-30 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
CN107004305B (zh) * 2014-12-18 2021-02-02 皇家飞利浦有限公司 与医学图像编辑相关的设备、系统、方法、装置和计算机可读介质
JP5906345B1 (ja) * 2015-08-05 2016-04-20 株式会社Ｃｙｇａｍｅｓ 操作履歴に基づいてタッチ対象を予測するプログラム、電子装置、システム及び制御方法
JP6607121B2 (ja) * 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
KR102650630B1 (ko) * 2016-11-29 2024-03-21 주식회사 넥슨코리아 가상 입력수단 제공 방법 및 장치
CN111552429B (zh) * 2020-04-29 2021-07-23 杭州海康威视数字技术股份有限公司 一种图形选中方法、装置及电子设备
CN114237419B (zh) * 2021-03-31 2023-10-27 青岛海信商用显示股份有限公司 显示设备、触控事件的识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079405A1 (en) * 2008-09-30 2010-04-01 Jeffrey Traer Bernstein Touch Screen Device, Method, and Graphical User Interface for Moving On-Screen Objects Without Using a Cursor
US20110157085A1 (en) 2006-05-25 2011-06-30 Atmel Corporation Capacitive Keyboard with Position-Dependent Reduced Keying Ambiguity

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887395A (ja) 1994-09-20 1996-04-02 Hitachi Ltd アイコンメニュー選択方式およびそのシステムならびに情報処理装置
JP2001141504A (ja) 1996-07-31 2001-05-25 Aisin Aw Co Ltd 情報表示装置
KR100260760B1 (ko) 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치
JP2001175375A (ja) 1999-12-22 2001-06-29 Casio Comput Co Ltd 携帯情報端末装置、及び記憶媒体
US6573844B1 (en) 2000-01-18 2003-06-03 Microsoft Corporation Predictive keyboard
US6654733B1 (en) 2000-01-18 2003-11-25 Microsoft Corporation Fuzzy keyboard
KR100474267B1 (ko) 2002-01-08 2005-03-10 엘지전자 주식회사 차량용 터치 패널의 인식오류 최소화 방법
TWI226583B (en) 2003-03-14 2005-01-11 Higher Way Electronic Co Ltd Coordinates detection method and system for a touch panel
US8164573B2 (en) 2003-11-26 2012-04-24 Immersion Corporation Systems and methods for adaptive interpretation of input from a touch-sensitive input device
JP4431004B2 (ja) 2004-07-29 2010-03-10 京セラ株式会社 多方向キー構造及び携帯端末装置
JP2006139655A (ja) 2004-11-15 2006-06-01 Matsushita Electric Ind Co Ltd タッチパネル付き表示装置およびプログラム
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US20070097096A1 (en) 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US7843427B2 (en) 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
CN101529874A (zh) 2006-09-06 2009-09-09 苹果公司 用于具有触摸屏显示器的便携式多功能设备的电话呼入管理
US7889185B2 (en) 2007-01-05 2011-02-15 Apple Inc. Method, system, and graphical user interface for activating hyperlinks
US9552155B2 (en) 2008-02-04 2017-01-24 Microsoft Technology Liecsnsing, LLC Dynamic soft keyboard
JP2010186254A (ja) 2009-02-10 2010-08-26 Panasonic Corp 表示制御装置
JP5157971B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20100295796A1 (en) 2009-05-22 2010-11-25 Verizon Patent And Licensing Inc. Drawing on capacitive touch screens
US20110050575A1 (en) 2009-08-31 2011-03-03 Motorola, Inc. Method and apparatus for an adaptive touch screen display
KR101680343B1 (ko) 2009-10-06 2016-12-12 엘지전자 주식회사 이동 단말기 및 그 정보처리방법
CN102117143B (zh) 2009-12-31 2015-05-13 深圳迈瑞生物医疗电子股份有限公司 一种触摸屏响应方法及装置
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157085A1 (en) 2006-05-25 2011-06-30 Atmel Corporation Capacitive Keyboard with Position-Dependent Reduced Keying Ambiguity
US20100079405A1 (en) * 2008-09-30 2010-04-01 Jeffrey Traer Bernstein Touch Screen Device, Method, and Graphical User Interface for Moving On-Screen Objects Without Using a Cursor

Also Published As

Publication number Publication date
KR20140047126A (ko) 2014-04-21
US20130038540A1 (en) 2013-02-14
CN103718136A (zh) 2014-04-09
US10140011B2 (en) 2018-11-27
EP2742405A1 (en) 2014-06-18
JP5847939B2 (ja) 2016-01-27
EP2742405A4 (en) 2015-04-08
CN103718136B (zh) 2018-07-10
WO2013025228A1 (en) 2013-02-21
JP2014526107A (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
KR101872560B1 (ko) 터치 지능성 타겟팅 기법
EP3180687B1 (en) Hover-based interaction with rendered content
EP2972727B1 (en) Non-occluded display for hover interactions
US7802202B2 (en) Computer interaction based upon a currently active input device
US9501218B2 (en) Increasing touch and/or hover accuracy on a touch-enabled device
US9158446B2 (en) Method and apparatus for interfacing
US20150116363A1 (en) User Interface for Mobile Device Including Dynamic Orientation Display
US10089000B2 (en) Auto targeting assistance for input devices
CN203241978U (zh) 信息处理装置
EP2776905B1 (en) Interaction models for indirect interaction devices
JP6500041B2 (ja) 確率的なタッチ感知
EP3435211B1 (en) Method and appartus for responding to touch operation, storage medium and terminal
CN116507995A (zh) 带有虚拟轨迹板的触摸屏显示器
US9619134B2 (en) Information processing device, control method for information processing device, program, and information storage medium
KR102198596B1 (ko) 간접 입력의 명확화 기법
JP4171509B2 (ja) 入力処理方法及びそれを実施する入力処理装置
JP5595312B2 (ja) 表示装置、表示装置の制御方法、及びプログラム
US9158451B2 (en) Terminal having touch screen and method for displaying data thereof
US20140337805A1 (en) Information processor and computer program product
US10275146B2 (en) Virtual navigation apparatus, navigation method, and non-transitory computer readable medium thereof

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right