KR20140009510A - 힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들 - Google Patents

힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들 Download PDF

Info

Publication number
KR20140009510A
KR20140009510A KR1020137030565A KR20137030565A KR20140009510A KR 20140009510 A KR20140009510 A KR 20140009510A KR 1020137030565 A KR1020137030565 A KR 1020137030565A KR 20137030565 A KR20137030565 A KR 20137030565A KR 20140009510 A KR20140009510 A KR 20140009510A
Authority
KR
South Korea
Prior art keywords
force
touch screen
screen display
contact
computing device
Prior art date
Application number
KR1020137030565A
Other languages
English (en)
Other versions
KR101715992B1 (ko
Inventor
브라이언 모메이어
케빈 엠 벡위드
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47174621&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140009510(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140009510A publication Critical patent/KR20140009510A/ko
Application granted granted Critical
Publication of KR101715992B1 publication Critical patent/KR101715992B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

컴퓨팅 디바이스는 적어도 하나의 힘 센서를 구비하는 터치 스크린 디스플레이를 포함하고, 힘 센서 각각은 터치 스크린 디스플레이와의 접촉에 응답하여 신호를 제공한다. 터치 스크린과의 접촉으로부터 야기되는 적어도 하나의 힘 센서로부터의 힘 신호들을 사용하면, 컴퓨팅 디바이스의 동작은, 예를 들면, 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하고, 2차 확인을 요하는 커맨드들의 의도치 않은 활성화를 방지하고, 그리고 증강 현실 어플리케이션들에서 실세계 오브젝트들의 힘 요구사항들을 흉내내도록 제어될 수도 있다.

Description

힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들{USER INTERFACE ELEMENTS AUGMENTED WITH FORCE DETECTION}
관련 출원(들) 의 상호참조
본 출원은, 2011년 5월 19일자 출원되고 발명의 명칭이 "User Interface Elements Augmented With Force Detection"인 미국 가출원 제61/488,072호를 35 USC 119하에서 우선권으로 주장하는 2012년 3월 9일자로 출원되고 발명의 명칭이 "User Interface Elements Augmented With Force Detection"인 미국 특허출원 제13/416,731호를 우선권으로 주장하며, 이들 양자는 본원의 양수인에게 양도되었으며, 참조에 의해 본원에 통합된다.
기술분야
본원에서 설명된 주제의 구체예들은 컴퓨팅 시스템에 대한 유저 인터페이스에 일반적으로 관련되고, 특히, 컴퓨팅 시스템에 대한 유저 인터페이스에서의 힘 검출에 관련된다.
관련 배경
터치 스크린 디스플레이들은 스마트폰과 같은 현대의 모바일 플랫폼 응용들에서 보편화되고 있다. 터치 스크린 디스플레이들은 키패드들에 대한 필요성을 없앤다. 일 적응에서, 터치 스크린 디스플레이들은, 키패드들에 대한 대체로서뿐만 아니라, 터치 스크린 상에서의 유저 제스쳐들을 검출하고 그 제스쳐들을 수행될 소망의 커맨드들로 변환하는 유저 인터페이스로서도 사용된다.
전통적으로, 터치 스크린 디스플레이들은 LCD (liquid crystal display) 기술, 또는 LPD (light emitting polymer display) 기술이다. 터치 센서가 스크린들 상에 오버레이되며, 터치 센서는, 터치 스크린과의 하나 이상의 접점들을 결정하기 위해, 용량성, 저항성, 적외선, 및 표면 탄성파 기술들과 같은 터치 센싱 기술을 사용한다. 그러나, 터치 센싱 기술들은 디스플레이의 평면에서 2차원의 정보를 수신한다. 용량성 센서들과 같은 몇몇 터치 센싱 기술들은, 오브젝트가 터치 스크린 디스플레이 (12) 에 얼마나 가까운지를 검출할 수도 있지만, 궁극적으로는, 검출된 파라미터, 예를 들면, 용량이 소정의 임계값 내에 있을 때 그 오브젝트가 접촉하고 있다고 결정한다. 따라서, 이러한 터치 센싱 기술은 2차원 정보만을, 즉, 오브젝트가 접촉하고 있다고 고려될만큼 충분히 가까운지, 그리고 만약 그렇다면, 그 접촉의 2차원 위치만을 실제 검출하고 있다. 따라서, 종래의 용량성 터치 스크린들 및 유저 인터페이스들은 힘이 아니라 터치에만 응답한다.
따라서, 종래의 터치 스크린 디스플레이들은 2차원 유저 인터페이스로서 기능하고, 따라서 유저의 인터페이싱 기회들 및 디바이스들이 그에 응답하는 것을 제한한다.
컴퓨팅 디바이스는 적어도 하나의 힘 센서를 구비하는 터치 스크린 디스플레이를 포함하고, 힘 센서 각각은 터치 스크린 디스플레이와의 접촉에 응답하여 신호를 제공한다. 터치 스크린과의 접촉으로부터 야기되는 적어도 하나의 힘 센서로부터의 힘 신호들을 사용하면, 컴퓨팅 디바이스의 동작은, 예를 들면, 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하고, 2차 확인을 요하는 커맨드들의 의도치 않은 활성화를 방지하고, 그리고 증강 현실 어플리케이션들에서 실세계 오브젝트들의 힘 요구사항들 (force requirements) 을 흉내내도록 제어될 수도 있다.
일 구현예에서, 방법은, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하는 단계; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 단계; 상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하는 단계; 및 선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하는 단계를 포함한다.
일 구현예에서, 장치는, 하우징; 디스플레이와 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및 상기 적어도 하나의 힘 센서로부터 데이터를 수신하도록 연결된 프로세서를 포함하고, 상기 프로세서는 상기 터치 스크린 디스플레이로 하여금 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하게 하고, 상기 적어도 하나의 힘 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하고, 상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하고, 선택된 상기 오브젝트와 관련된 커맨드를 개시하도록 구성된다.
일 구현예에서, 장치는, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하는 수단; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단; 상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하는 수단; 및 선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하는 수단을 포함한다.
일 구현예에서, 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체는, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하기 위한 프로그램 코드; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하기 위한 프로그램 코드; 상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하기 위한 프로그램 코드; 및 선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하기 위한 프로그램 코드를 포함한다.
일 구현예에서, 방법은, 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하는 단계로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하는 단계; 상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하는 단계; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하는 단계; 및 상기 선택가능한 오브젝트와의 상기 접촉 및 상기 힘 레벨에 응답하여 상기 커맨드를 개시하는 단계를 포함한다.
일 구현예에서, 장치는, 하우징; 디스플레이, 상기 디스플레이에 커플링된 터치 센서, 및 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및 상기 적어도 하나의 힘 센서와 상기 터치 센서로부터 데이터를 수신하도록 연결된 프로세서를 포함하고, 상기 프로세서는 상기 터치 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이 상의, 커맨드와 관련된 선택가능한 오브젝트와의 접촉을 검출하고, 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하고, 상기 적어도 하나의 힘 센서로부터의 데이터에 기초하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하고, 상기 힘 레벨 및 상기 선택가능한 오브젝트와의 상기 접촉에 응답하여 상기 커맨드를 개시하도록 구성된다.
일 구현예에서, 장치는, 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하는 수단으로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하는 수단; 상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하는 수단; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단; 및 상기 선택가능한 오브젝트와의 상기 접촉 및 상기 힘 레벨에 응답하여 상기 커맨드를 개시하는 수단을 포함한다.
일 구현예에서, 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체는, 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하기 위한 프로그램 코드로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하기 위한 프로그램 코드; 상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 하는 것을 결정하기 위한 프로그램 코드; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하기 위한 프로그램 코드; 및 상기 힘 레벨 및 상기 선택가능한 오브젝트와의 상기 접촉에 응답하여 상기 커맨드를 개시하기 위한 프로그램 코드를 포함한다.
일 구현예에서, 방법은, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하는 단계로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하는 단계; 상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하는 단계; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하는 단계; 상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하는 단계; 및 상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하는 단계를 포함한다.
일 구현예에서, 장치는, 하우징; 선택을 위한 힘 요구사항을 갖는 실세계의 선택가능한 오브젝트를 갖는 실세계 디바이스의 이미지들을 캡쳐하기 위한 카메라; 디스플레이, 상기 디스플레이에 커플링된 터치 센서, 및 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및 상기 카메라로부터의 이미지들과 상기 적어도 하나의 힘 센서와 상기 터치 센서로부터의 데이터를 수신하도록 연결된 프로세서를 포함하고, 상기 프로세서는 상기 디스플레이로 하여금 상기 실세계 디바이스의, 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하는 증강 현실 표현을, 상기 디스플레이 상에 디스플레이하게 하고, 상기 터치 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하고, 상기 적어도 하나의 힘 센서로부터의 데이터에 기초하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하고, 상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하고, 상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 선택가능한 오브젝트와 관련된 커맨드를 개시하도록 구성된다.
일 구현예에서, 장치는, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하는 수단으로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하는 수단; 상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하는 수단; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단; 상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하는 단계; 및 상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하는 수단을 포함한다.
일 구현예에서, 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체는, 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하기 위한 프로그램 코드로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하기 위한 프로그램 코드; 상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하기 위한 프로그램 코드; 상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하기 위한 프로그램 코드; 상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하기 위한 프로그램 코드; 및 상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하기 위한 프로그램 코드를 포함한다.
도 1은 3차원 터치 정보를 검출하는 터치 스크린 디스플레이를 구비하는 컴퓨팅 디바이스를 예시한다.
도 2는 3차원 터치 정보를 검출하기 위해 힘 센서들을 구비하는 터치 스크린 디스플레이의 투시도를 예시한다.
도 3은 힘 센서들을 구비하는 터치 스크린을 구비하며 3차원 유저 인터페이싱에 의해 야기된 커맨드들을 지원할 수 있는 컴퓨팅 디바이스의 블록도이다.
도 4는 검출된 힘을 사용하여 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하는 것에 의해 컴퓨팅 디바이스의 동작을 제어하기 위해, 터치 스크린 디스플레이 상의 적어도 하나의 힘 센서를 사용하는 일 구체예를 예시하는 순서도이다.
도 5는 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하기 위해 컴퓨팅 디바이스의 터치 스크린 디스플레이를 힘을 가지고 접촉하는 유저를 예시한다.
도 6은 2차 확인을 필요로 하는 의심스러운 커맨드들, 예를 들면, 비일상적, 비가역적, 넌-디폴트 (non-default), 또는 잠재적인 시스템 위험 액션들과 관련된 커맨드들의 의도치 않은 활성화를 방지하는 것에 의해 컴퓨팅 디바이스의 동작을 제어하기 위해, 터치 스크린 디스플레이 상의 적어도 하나의 힘 센서를 사용하는 일 구체예를 예시하는 순서도이다.
도 7은, 예로서, 컴퓨팅 디바이스의 터치 스크린 디스플레이를 접촉하는 유저를 예시하는데, 더 큰 힘 레벨을 갖는 접촉을 필요로 하는 것에 의해 2차 확인을 필요로 하는 의심스러운 커맨드들의 원치 않는 활성화를 방지한다.
도 8은 증강 현실 어플리케이션에서 실세계 오브젝트들의 힘 요구사항들을 흉내내도록 컴퓨팅 디바이스의 동작을 제어하기 위해, 터치 스크린 디스플레이 상의 적어도 하나의 힘 센서를 이용하는 일 구체예를 예시하는 순서도이다.
도 9는, 예로서, 실세계 오브젝트들의 힘 요구사항들을 흉내내는 증강 현실 어플리케이션을 포함하는 컴퓨팅 디바이스의 터치 스크린 디스플레이를 접촉하는 유저를 예시한다.
상세한 설명
도 1은 3차원, 즉 X축, Y축, 및 Z축에서 터치 정보를 검출하는 터치 스크린 디스플레이 (102) 를 구비하는 컴퓨팅 디바이스 (100) 를 예시한다. Z축 정보의 추가를 통해, 터치 스크린 디스플레이 (102) 는 3차원 인터페이싱을 허용하며 터치 스크린의 표면 상의 단순한 2차원 인터페이스에 제한되지 않는다.
컴퓨팅 디바이스 (100) 는 모바일 플랫폼, 예컨대 셀룰러 또는 다른 무선 통신 디바이스, PCS (personal communication system) 디바이스, PND (personal navigation device), PIM (Personal Information Manager), PDA (Personal Digital Assistant), 랩탑 또는 다른 적절한 모바일 디바이스 또는 데스크탑 컴퓨터 또는 다른 유사한 디바이스를 포함하는 임의의 다른 적절한 고정형 컴퓨팅 디바이스일 수도 있다. 따라서, "컴퓨팅 디바이스"는, 터치 스크린 디스플레이를 포함하는 유저 인터페이스를 갖는 무선 통신 디바이스들, 컴퓨터들, 랩탑들 등을 포함하는 모든 디바이스들을 포함하도록 의도된다.
도 2는 X축, Y축, 및 Z축을 갖는 컴퓨팅 디바이스 (100) 의 터치 스크린 디스플레이 (102) 의 투시도를 예시한다. 터치 스크린 디스플레이 (102) 는 디스플레이 엘리먼트 (104), 예컨대 LCD 디스플레이, LPD 디스플레이 또는 다른 적절한 디스플레이를 포함하고, 컴퓨팅 디바이스 (100) 의 경우 하우징 (108) 을 위한 프레임과 디스플레이 엘리먼트 (104) 사이의 예를 들면, 디스플레이 엘리먼트 (104) 의 둘레 주위에 위치된 적어도 하나의 힘 센서 (106), 몇몇 구체예들에서는, 복수의 힘 센서들 (106) 을 포함한다. 힘 센서들 (106) 은 하우징 (108) 및 디스플레이 엘리먼트 (104) 에 접착식으로 부착될 수도 있다. 따라서, 디스플레이 엘리먼트 (104) 는 힘 센서들 (106) 을 통해 하우징 (108) 에 연결된다. 도 2에 예시된 바와 같이, 4개의 힘 센서들 (106) 이 디스플레이 엘리먼트 (104) 의 좌우측에 위치되고 3개의 힘 센서들 (106) 이 디스플레이 엘리먼트 (104) 의 상하측을 따라 위치된다. 더 많은 또는 더 적은 힘 센서들 (106)과 그리고 도 2에 예시된 것과는 상이한 배치들이 필요에 따라 사용될 수도 있다. 예를 들면, 디스플레이 엘리먼트 (104) 의 각 코너에 하나씩 해서 4개의 힘 센서들 (106) 이 사용될 수도 있다. 필요하다면, 힘 센서들 (106) 은, 둘레 주위에 정렬되는 것과 반대로 또는 둘레 주위에 정렬되는 것에 추가하여 디스플레이 엘리먼트 (104) 의 중앙에 위치될 수도 있다. 힘 센서들 (106) 은 용량성 힘 센서들, 예컨대 PPS Touch Technology Inc., Stantum Inc., Peratech Ltd., 또는 Artificial Muscle, Inc.에 의해 제조된 용량성 힘 센서일 수도 있다. 다른 힘 센서들, 예컨대 Interlink Inc.에 의해 제조된 힘 센서와 같은 저항성 힘 센서들이 필요에 따라 사용될 수도 있다. 또한, 압전력 (piezoelectric force) 센서들, 예컨대 Measurement Specialties Inc.에 의해 제조된 폴리머 타입들 또는 Murata Inc에 의해 제조된 세라믹 타입들, 또는 임의의 다른 적절한 타입의 힘 센서가 필요에 따라 사용될 수도 있다.
힘 센서 (106) 는 센서에 가해진 힘 또는 힘의 양을 검출한다. 복수의 힘 센서들 (106) 이 디스플레이 엘리먼트 (104) 와 하우징 (108) 사이에 정렬된 상태에서, X축 및 Y축을 따른 힘의 중심 (centroid) 뿐만 아니라, Z축에서 디스플레이 엘리먼트 (104) 에 가해진 힘을 결정하기 위해 힘 센서들 (106) 은 함께 사용될 수 있다. 예를 들면, 디스플레이 엘리먼트 (104) 의 좌상 코너에 가해진 터치는 우하 코너 근처의 센서들 (106) 보다 좌상 코너 근처의 힘 센서들 (106) 에 의해 더 큰 힘으로 판독될 것이다.
힘이 가해질 때 디스플레이 엘리먼트 (104) 에서의 유리 또는 플라스틱의 가능한 변형을 보상하기 위해 캘리브레이션이 수행될 수도 있다. 디스플레이 엘리먼트 (104) 의 특정 영역들에 기지의 힘들을 인가하고 기지의 힘들과 힘들이 인가된 특정 영역들이 부합하도록 X축 및 Y축을 따른 힘의 중심뿐만 아니라 Z축을 따른 결과적인 힘 판독을 조정함으로써 수행될 수도 있다. 터치 스크린 디스플레이 (102) 는 디스플레이 엘리먼트 (104) 위에, 용량성, 저항성, 적외선 및 표면 탄성파 기술들일 수도 있는 종래의 터치 센서 (110) 를 더 포함할 수도 있다. 터치 센서 (110) 는, 힘 센서들 (106) 에 의해 결정된 힘의 중심이 터치 센서 (110) 에 의해 식별된 터치 위치와 밀접하게 정렬되는 것을 보장함으로써, 예를 들면 터치 센서 (110) 에 의해 식별된 터치 위치에 중심을 두는 것을 보장함으로써, 힘 센서들 (106) 의 캘리브레이션에서 사용될 수도 있다.
도 3은 3차원 유저 인터페이싱에 의해 야기되는 커맨드들을 지원할 수 있으며 컴퓨팅 디바이스 (100) 에 동작가능하게 커플링된 적어도 하나의 힘 센서들 (106) 을 구비하는 터치 스크린 디스플레이 (102) 의 블록도이다. 컴퓨팅 디바이스 (100) 는 터치 스크린 디스플레이와의 접촉에 응답하여 터치 스크린 디스플레이의 복수의 위치들로부터의 힘 측정치들을 수신하는 수단을 포함하는 시스템이며, 예를 들면, 힘 센서들 (106)뿐만 아니라 프로세서 (152) 와 관련 메모리 (154), 하드웨어 (156), 소프트웨어 (158), 및 펌웨어 (157) 를 포함할 수도 있는 제어 유닛 (150) 을 포함할 수도 있다.
컴퓨팅 디바이스 (100) 는 제어 유닛 (150) 과 통신하는 유저 인터페이스 (160) 를 포함하며, 예를 들면, 제어 유닛 (150) 은 데이터를 받아들이고 유저 인터페이스 (160) 를 제어한다. 몇몇 컴퓨팅 디바이스들, 예컨대 데스크탑 컴퓨터에 의하면, 터치 스크린 디스플레이 (102) 는 제어 유닛 (150) 과 물리적으로 분리되고 케이블들 또는 무선으로 제어 유닛 (150) 에 연결될 수도 있음을 이해해야만 한다. 유저 인터페이스 (160) 는 터치 스크린 디스플레이 (102) 를 포함하고, 터치 스크린 디스플레이 (102) 는 디스플레이 엘리먼트 (104) 를 포함한다. 터치 스크린 디스플레이 (102) 는 힘 센서들 (106) 을 더 포함하고 터치 센서들 (110) 을 포함할 수도 있다. 디스플레이 엘리먼트 (104), 힘 센서들 (106), 및 터치 센서들 (110) 은 각각 디스플레이 컨트롤러 (192), 힘 센서들 컨트롤러 (196), 및 터치 센서 컨트롤러 (194) 에 의한 제어 유닛 (150) 에 의해 제어된다.
유저 인터페이스 (160) 는 키패드 (162) 또는 유저가 컴퓨팅 디바이스 (100) 에 정보를 입력할 수 있는 다른 입력 디바이스를 더 포함할 수도 있다. 필요하다면, 가상 키패드를 터치 스크린 디스플레이 (102) 에 통합하는 것에 의해 키패드 (162) 는 제거될 수도 있다. 유저 인터페이스 (160) 는, 예를 들면, 컴퓨팅 디바이스 (100) 가 셀룰러 전화기인 경우, 예를 들면, 마이크 (164) 와 스피커 (166) 를 또한 포함할 수도 있다. 유저 인터페이스 (160) 는 햅틱 (haptic) 피드백을 제공하기 위해 진동기 (163) 를 또한 포함할 수도 있다.
컴퓨팅 디바이스 (100) 는 이미지들을 캡쳐하기 위한 카메라 (112) 를 더 포함할 수도 있는데, 이것은, 예를 들면, 증강 현실 타입의 어플리케이션들에서 사용될 수도 있다. 컴퓨팅 디바이스 (100) 는 (송신기와 수신기를 포함하는) 송수신기 (114), 예를 들면, 안테나 (172) 를 통해, 셀룰러 타워, 무선 액세스 포인트들 또는 다른 무선 디바이스들로 통신들을 전송하고 이들로부터 통신들을 수신할 수 있는 무선 네트워크 라디오 수신기/송신기 또는 셀룰러 모뎀을 더 포함할 수도 있다. 컴퓨팅 디바이스 (100) 는 모션 센서들 (180), 예컨대 3축 가속도계들 또는 자이로스코프들을 더 포함할 수도 있다. 모션 센서들 (180) 은, 예를 들면, 컴퓨팅 디바이스 (100) 의 이동의 형태로 제스쳐들을 검출하거나 또는 터치 스크린 디스플레이 (102) 에 의해 제스쳐들이 검출될 때의 컴퓨팅 디바이스 (100) 의 배향을 검출하기 위해, 유저 인터페이스 (160) 의 일부로서 사용될 수도 있다. 모션 센서들 (180) 및/또는 카메라 (112) 는 증강 현실 타입의 어플리케이션들에서 사용될 수도 있는 위치 결정을 위해 또한 사용될 수도 있다.
제어 유닛 (150) 은 프로세서 (152) 와 관련 메모리 (154), 하드웨어 (156), 소프트웨어 (158), 및 펌웨어 (157) 에 의해 제공될 수도 있다. 제어 유닛 (150) 은, 디스플레이 컨트롤러 (192), 터치 센서 컨트롤러 (194), 및 힘 센서 컨트롤러 (196) 로 각각 예시된, 디스플레이 엘리먼트 (104) 를 제어하는 수단, 터치 센서들 (110) 을 제어하는 수단 및 힘 센서들 (106) 을 제어하는 수단을 포함한다. 제어 유닛 (150) 은 증강 현실 타입의 어플리케이션들을 수행하는 증강 현실 (AR) 컨트롤러 (198) 를 또한 포함할 수도 있다. 디스플레이 컨트롤러 (192), 터치 센서 컨트롤러 (194), 힘 센서 컨트롤러 (196), 및 AR 컨트롤러 (198) 는 프로세서 (152), 하드웨어 (156), 펌웨어 (157), 또는 소프트웨어 (158), 즉, 메모리 (154) 에 저장되며 프로세서 (152) 에 의해 실행되는 컴퓨터 판독가능 매체, 또는 이들의 조합에서 구현될 수도 있다. 그럼에도 불구하고, 디스플레이 컨트롤러 (192), 터치 센서 컨트롤러 (194), 및 힘 센서 컨트롤러 (196), 및 AR 컨트롤러 (198) 는 명확화를 위해 별개로 예시되어 있다. 예를 들면, Cypress, Inc.에 의해 제조된 터치 스크린 컨트롤러들은 터치 센서 컨트롤러 (194) 로서 뿐만 아니라, 힘 센서 컨트롤러 (196) 로서 사용될 수도 있다. 또한, A/D 변환 또는 다른 임피던스 측정 회로들을 구비하는 분압기들이 저항성 힘 센서들 컨트롤러 (196) 와 함께 사용될 수도 있다.
프로세서 (152) 는 하나 이상의 마이크로프로세서들, 임베디드 프로세서들, 컨트롤러들, 주문형 반도체들 (ASICs), 디지털 신호 프로세서들 (DSPs) 등을 포함할 수 있지만, 반드시 포함할 필요는 없음이 본원에서 사용된 바와 같이 이해될 것이다. 용어 프로세서는 특정 하드웨어보다는 시스템에 의해 구현되는 기능들을 설명하도록 의도된다. 또한, 본원에서 사용된 바와 같이, 용어 "메모리"는, 장기간, 단기간, 또는 모바일 플랫폼과 관련된 다른 메모리를 포함하는, 임의의 타입의 컴퓨터 저장 매체를 지칭하며, 임의의 특정한 타입의 메모리 또는 임의의 특정한 수의 메모리들, 또는 메모리가 저장되는 매체의 타입에 제한되는 것은 아니다.
본원에서 설명된 방법론은 어플리케이션들에 따라 여러 수단에 의해 구현될 수도 있다. 예를 들면, 이들 방법론들은 하드웨어 (156), 펌웨어 (157), 소프트웨어 (158), 또는 이들의 임의의 조합에서 구현될 수도 있다. 하드웨어 구현을 위해, 처리 유닛들은 하나 이상의 주문형 반도체 (ASICs), 디지털 신호 처리기들 (DSPs), 디지털 신호 처리 디바이스들 (DSPDs), 프로그램 가능한 로직 디바이스들 (PLDs), 필드 프로그래머블 게이트 어레이들 (FPGAs), 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 전자 디바이스들, 본원에서 설명된 기능들을 수행하도록 디자인된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현을 위해, 상기 방법론들은 본원에서 설명된 기능들을 수행하는 모듈들 (예를 들면, 프로시져들, 기능들 등등) 로 구현될 수도 있다. 명령들을 유형적으로 구체화하는 임의의 머신 판독 가능한 매체가 본원에서 설명된 방법론들을 구현하는데 사용될 수도 있다. 예를 들면, 소프트웨어 코드들은 메모리 (154) 에 저장될 수도 있고 프로세서 (152) 에 의해 실행될 수도 있다. 메모리는 프로세서 유닛 내에서 구현될 수도 있고 또는 프로세서 유닛의 외부에서 구현될 수도 있다. 본원에서 사용된 용어 "메모리"는 임의의 타입의 장기간, 단기간, 휘발성, 불휘발성, 또는 다른 메모리를 지칭할 수도 있으며 임의의 특정한 타입의 메모리 또는 특정한 수의 메모리들, 또는 메모리가 보관되는 매체의 타입에 제한되는 것은 아니다.
컴퓨팅 디바이스 (100) 는 터치 스크린 디스플레이 (102) 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하는 수단을 포함할 수도 있으며, 이것은 디스플레이 컨트롤러 (192) 및 디스플레이 엘리먼트 (104) 를 포함할 수도 있다. 터치 스크린 디스플레이 (102) 에 가해진 힘의 크기 (때론 레벨 또는 힘 레벨로 칭해짐) 를 결정하는 수단은 힘 센서들 (106) 및 힘 센서 컨트롤러 (196) 를 포함한다. 접촉의 힘 레벨을 사용하여 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하는 수단 및 선택된 오브젝트에 기초하여 컴퓨팅 디바이스를 제어하는 수단은 프로세서 (152), 하드웨어 (156), 펌웨어 (157) 뿐만 아니라 관련 소프트웨어 (158) 도 포함할 수도 있다. 컴퓨팅 디바이스는 터치 스크린 디스플레이 상의 오브젝터와의 접촉을 검출하는 수단을 더 포함할 수도 있는데, 이것은 터치 센서들과 터치 센서 컨트롤러 (194) 를 포함할 수도 있다. 컴퓨팅 디바이스를 제어하기 위한 커맨드가 2차 확인을 필요로 하는 것을 결정하는 수단 및 커맨드를 개시하는 수단은 프로세서 (152), 하드웨어 (156), 펌웨어 (157) 뿐만 아니라 관련 소프트웨어 (158) 도 포함할 수도 있다. 컴퓨팅 디바이스 (100) 는 실세계 디바이스의 증강 현실 표현을 디스플레이하는 수단을 또한 포함할 수도 있고, 이것은 AR 컨트롤러 (198), 카메라 (112), 및 모션 센서 (180) 를 포함할 수도 있다. 접촉의 힘 레벨을 힘 임계치에 비교하는 수단은 프로세서 (152), 하드웨어 (156), 펌웨어 (157) 뿐만 아니라 관련 소프트웨어 (158) 도 포함할 수도 있다.
소프트웨어 (158) 는 메모리 (154) 와 같은 비일시적 컴퓨터 판독가능 매체에 저장되며 프로세서 (152) 에 의해 실행되는 프로그램 코드들을 포함할 수도 있고 본원에서 설명된 바와 같이 컴퓨팅 디바이스 (100) 의 동작을 제어하고 프로세서를 구동시키기 위해 사용될 수도 있다. 컴퓨터 판독가능 매체에 저장된 프로그램 코드는, 하기에 설명되는 바와 같이, 프로세서로 하여금 컴퓨팅 디바이스 (100) 의 임의의 동작을 제어하게 하기 위한 프로그램 코드를 추가로 포함할 수도 있다.
펌웨어 및/또는 소프트웨어로 구현되면, 상기 기능들은 컴퓨터 판독가능 매체 상에 코드 또는 하나 이상의 명령들로서 저장될 수도 있다. 실시형태들은 데이터 구조로 인코딩된 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 물리적인 컴퓨터 기억 매체를 포함한다. 기억 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 본원에서 사용된 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크 (disk) 는 통상 데이터를 자기적으로 재생하고 디스크 (disc) 는 통상 데이터를 레이저를 이용하여 광학적으로 재생한다. 상기의 조합들도 컴퓨터 판독가능 매체의 범위 내에 또한 포함되어야만 한다.
도 4는 검출된 힘을 사용하여 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하는 것에 의해 컴퓨팅 디바이스 (100) 의 동작을 제어하기 위해, 터치 스크린 디스플레이 (102) 상의 적어도 하나의 힘 센서 (106) 를 사용하는 일 구체예를 예시하는 순서도이다. 인터페이스 엘리먼트들을 선택하기 위한 힘 검출의 사용은, 예를 들면, 유저가 걷고 있고 미세한 모터 제어를 사용하여 오브젝트들을 선택하는 이점을 갖지 못하는 경우에 특히 유용할 수도 있다. 도 4에 예시된 바와 같이, 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들이, 컴퓨팅 디바이스 (100) 에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 디스플레이된다 (202). 선택가능한 오브젝트들은, 선택될 수도 있는 옵션들을 유저가 알 수 있도록 하기 위해 하부의 선택가능한 오브젝트들이 유저에게 보이도록 반투명일 수도 있다. 터치 스크린 디스플레이 (102) 와의 접촉의 힘 레벨은 터치 스크린 디스플레이 (102) 에 커플링된 적어도 하나의 힘 센서 (106) 를 사용하여 결정된다 (204). 필요하다면, 터치 스크린 디스플레이 (102) 상에서의 접촉의 위치는, 예를 들면, 터치 스크린 디스플레이에 커플링된 터치 센서 (110) 에 기초하여 또한 검출될 수도 있고, 중첩하는 선택가능한 오브젝트들의 여러 그룹들 중 어느 것이 선택되는지를 결정하기 위해 사용될 수도 있다. 접촉의 힘 레벨은 복수의 선택가능한 오브젝트들 중에서 오브젝트를 선택하기 위해 사용된다 (206). 예를 들면, 위에 놓인 오브젝트를 선택하는 데 필요한 힘보다 아래에 깔려 있는 오브젝트를 선택하는 데 더 큰 힘이 필요될 수도 있다. 힘 레벨에 기초한 오브젝트의 선택은, 선택가능한 오브젝트들 각각과 관련된 힘 임계치에 힘 레벨을 비교함으로써 수행될 수도 있는데, 예를 들면, 선택가능한 오브젝트와 관련된 힘 임계치를 초과하면 아래에 깔려 있는 오브젝트가 선택되게 된다. 그러면, 컴퓨팅 디바이스는, 예를 들면, 선택된 오브젝트와 관련된 커맨드를 개시하거나 또는 그 오브젝트가 선택되었음을 나타내기 위해 햅틱 피드백을 제공함으로써, 선택된 오브젝트에 기초하여 적절히 제어된다 (208). 햅틱 피드백은, 예를 들면, 컴퓨팅 디바이스 (100) 로 하여금, 예를 들면, 진동기 (163) 를 사용하여 진동하게 함으로써, 제공될 수도 있다. 햅틱 피드백은 Artificial Muscle, Inc.에 의해 제조된 것들과 같은 합성 탄성중합체 합성체들 (synthetic elastomeric activators) 에 의해 또한 제공될 수도 있다. 이들은 프레임으로 장착될 수도 있고, 원통형으로 말릴 수도 있고, 또는 적절한 햅틱 피드백을 제공하기 위한 다른 구성들로 장착될 수도 있다. 추가적으로, 햅틱 피드백은, Senseg, Inc.의 Tixel 전극들에 의해 제공되는 것과 같이, 인간 피부의 직접적인 전기 자극에 의해 제공될 수도 있다.
도 5는 복수의 중첩하는 인터페이스 엘리먼트들 중 하나를 선택하기 위해 컴퓨팅 디바이스 (100) 의 터치 스크린 디스플레이 (102) 를 힘을 가지고 접촉하는 유저 (101) 를 예시한다. 컴퓨팅 디바이스 (100) 는 스피커 (166) 및 마이크 (164) 를 포함하는 모바일 폰 또는 스마트 폰으로서 예시되지만, 컴퓨팅 디바이스 (100) 가 이것에 제한되지 않음을 이해해야만 한다. 도 5는, 예로서, 주소록에 선택가능한 엔트리들 (210A, 210B, 및 210C) 을 디스플레이하는 터치 스크린 디스플레이 (102) 를 예시하는데, 여기서 각각의 엔트리는 이름 (212), 전화 아이콘 (214) 및 문자 메시지 아이콘 (216) 형태의 중첩하는 인터페이스 엘리먼트들을 포함한다. 터치 스크린 디스플레이 (102) 와의 유저 (101) 의 접촉은 도 5에서 폭발하는 별 모양 (220) 으로 예시된다. 본원 전체에 걸쳐, 도시된 폭발하는 별 모양이 더 클수록 터치 스크린 디스플레이 (102) 에 가해지는 힘이 더 크다. 유저 (101) 에 의한 접촉이, (도 2에 도시된) 힘 센서들 (106) 에 의해 검출될 때 상대적으로 거의 힘을 생성하지 않고, 따라서 이름 (212) 이 선택될 것으로 결정되고, 이것은 컴퓨팅 디바이스 (100) 로 하여금, 예를 들면, 소망의 엔트리에 관한 정보를 디스플레이하도록 할 수도 있다. 필요하다면, 박스 (213) 에 의해 도시된 바와 같이, 터치 스크린 디스플레이 (102) 는 중첩하는 인터페이스 엘리먼트들 중 어느 것이 선택되는지의 표시를 힘의 크기에 기초하여 제공할 수도 있다. 추가적으로, 필요하다면, 인터페이스 엘리먼트의 선택의 수용은, 유저 (201) 가 터치 스크린 디스플레이 (102) 와의 접촉을 재빨리 떼는 것에 의해 야기될 수도 있다. 다시 말하면, 선택을 수용하기 위해 터치 스크린 디스플레이 (102) 와의 접촉의 종료가 검출되어 사용된다. 또한, 유저는 터치 스크린 디스플레이 (102) 와의 접촉을 유지할 수도 있지만, 인터페이스 엘리먼트들 중 다른 것을 선택하기 위해 터치 스크린 디스플레이 (102) 에 가해지는 힘 레벨에서의 변화의 검출이 사용될 수도 있다.
엔트리 210B 상의 폭발하는 별 모양 (222) 에 의해 예시된 바와 같이, 유저 (101) 가 더 큰 힘을 인가하면, 그 엔트리에 대한 전화 아이콘 (214) 이 선택될 것이다. 전화 아이콘 (214) 이 선택되면, 터치 스크린 디스플레이 (102) 는 아이콘의 디스플레이를, 다른 엔트리들보다 더 어두워진 전화 아이콘 (214) 에 의해 예시된 바와 같이, 반투명에서 불투명으로 변경하거나, 또는 전화 아이콘 (214) 둘레에 박스 (215) 를 생성하는 것에 의해 또는 임의의 다른 소망의 방식에 의해 아이콘의 디스플레이를 변경할 수도 있다. 전화 아이콘 (214) 이 선택되면, 컴퓨팅 디바이스 (100) 가 그 엔트리와 관련된 전화 번호로 전화를 걸 수도 있다.
폭발하는 별 모양 (224) 에 의해 예시된 더 큰 힘의 인가는, 문자 메시지 아이콘 (216) 의 선택으로 귀결될 수도 있고, 이것은 그 아이콘의 디스플레이를 반투명에서 불투명으로 변경하는 것에 의해, 문자 아이콘 (216) 둘레에 박스 (217) 를 생성하는 것에 의해, 또는 임의의 다른 소망의 방식으로 디스플레이될 수도 있다. 문자 아이콘 (216) 이 선택되면, 컴퓨팅 디바이스 (100) 는 그 엔트리와 관련된 번호로 문자 메시지를 시작할 수도 있다.
도 5에서 알 수 있는 바와 같이, 폭발하는 별 모양 (220, 222, 및 224) 에 의해 예시된 터치 스크린 디스플레이 (102) 와의 접촉은, 선택될 것으로 소망되는 특정 엘리먼트에 바로 직접적으로 닿을 필요는 없고, 대신 어떤 인터페이스 엘리먼트가 선택되는지를 결정하기 위해 접촉의 힘의 크기가 사용된다. 그러나, 중첩하는 인터페이스 엘리먼트들 중 어떤 그룹, 예를 들면 어떤 엔트리 (210A, 210B, 또는 210C) 가 선택되고 있는지를 결정하기 위해 터치 스크린 디스플레이 (102) 상에서의 접촉의 위치가 사용될 수도 있음을 주목해야만 한다.
도 6은 2차 확인을 필요로 하는 의심스러운 커맨드들, 예를 들면, 비일상적, 비가역적, 넌-디폴트, 또는 잠재적인 시스템 위험 액션들과 관련된 커맨드들의 의도치 않은 활성화를 방지하는 것에 의해 컴퓨팅 디바이스 (100) 의 동작을 제어하기 위해, 터치 스크린 디스플레이 (102) 상에 적어도 하나의 힘 센서 (106) 를 사용하는 일 구체예를 예시하는 순서도이다. 현재, 유저가 어떤 액션을 수행하기를 원하는 것을 확인하기 위해 시스템들은 가끔 2차 확인용 2차 다이얼로그 박스를 사용한다. 예를 들면, 파일을 삭제하는 경우, 일반적으로 2차 다이얼로그 박스가 유저에게 그 액션을 확인하거나 취소할 것을 요청한다. 그러나, 본 구체예에서는, 원치 않는 활성화를 방지하기 위해, 필요하다면, 2차 다이얼로그 박스들에 대한 필요성을 방지하기 위해, 2차 확인을 필요로 하는 의심스러운 커맨드들은, 의심스럽지 않은 커맨드들에 대해 필요한 것보다 훨씬 더 큰 힘으로 터치 스크린 디스플레이에 유저가 접촉하는 것에 의해 개시될 수도 있다.
도 6에 도시된 바와 같이, 터치 스크린 디스플레이 (102) 상의 선택가능한 오브젝트와의 접촉이 검출되는데, 여기서 선택가능한 오브젝트는 컴퓨팅 디바이스 (100) 를 제어하기 위한 커맨드와 관련된다 (252). 컴퓨팅 디바이스 (100) 를 제어하기 위한 커맨드가 2차 확인을 필요로 하는 것으로 결정된다 (254). 예를 들면, 커맨드를 수행하는 것이 의도치 않은 액션이 될 가능성이 있거나 및/또는 비일상적, 비가역적, 넌-디폴트, 또는 잠재적인 시스템 위험 액션들을 야기할 수도 있다면, 커맨드가 2차 확인을 필요로 하는 것으로 결정될 수도 있다. 2차 확인을 필요로 하는 의심스러운 커맨드들은 특수 용도이지만, 그 예들은 예를 들면, 파일을 삭제하는 것; 저장하지 않고 어플리케이션을 빠져 나오는 것; 아주 많은 수의 파일들을 삭제하는 것; 시스템 파일들 또는 큰 디렉토리들을 이동, 복사, 또는 조작하는 것; 넌-디폴트 어플리케이션에서 파일을 여는 것; 오타들을 포함하거나 또는 오타 또는 문법 수정을 하지 않은 전자 메일 (이메일) 을 전송하는 것; 및 유해한 컨텐츠, 욕설을 포함하는 이메일을 전송하거나, 또는 부주의로 모두에게 회신하는 것과 같이, 다수의 수신자들에게 이메일을 전송하는 것을 포함할 수도 있다. 터치 스크린 디스플레이 (102) 와의 접촉의 힘 레벨은 터치 스크린 디스플레이 (102) 에 커플링된 적어도 하나의 힘 센서 (106) 를 사용하여 결정된다 (256). 커맨드는 선택가능한 오브젝트와의 접촉 및 힘 레벨에 응답하여 개시될 수도 있다 (260). 예를 들면, 필요하다면, 힘 레벨은 임계값과 비교될 수도 있고 (258), 힘 레벨이 임계값을 초과하면 커맨드가 개시된다. 예를 들면, 의심스럽지 않은 커맨드들의 선택에 대해 제 1의 임계값이 사용될 수도 있고, 2차 확인을 필요로 하는 커맨드들의 선택에 대해 더 큰 크기의 제 2의 힘이 요구될 수도 있다.
도 7은, 예로서, 컴퓨팅 디바이스 (100) 의 터치 스크린 디스플레이 (102) 와 접촉하는 유저 (101) 를 예시하는데, 더 큰 힘 레벨을 갖는 접촉을 필요로 하는 것에 의해 2차 확인을 필요로 하는 의심스러운 커맨드들의 원치 않는 활성화를 방지한다. 본 실시형태에 있어서, 컴퓨팅 디바이스 (100) 는 이메일 메시지를 디스플레이하는 것으로서 예시되는데, 메시지 본문 (272) 에 오타를 포함한다. 추가적으로, 이메일 메시지는 "everyone@xyzco.com"을 수신인으로 하는데 (276), 이것은 많은 수의 사람들일 수도 있다. 결과적으로, 메시지 본문 (272) 의 오타와 주소에 많은 수의 사람들을 포함할 가능성으로 인해 이메일 메시지를 전송하는 것은 2차 확인을 필요로 하는 의심스러운 액션인 것으로 결정될 수도 있다. 따라서, 유저 (101) 는 액션이 의심스럽지 않은 경우보다 더 큰 힘으로 전송 가상 버튼 (274) 과 접촉할 것이 요구될 수도 있다. 다시 말하면, 유저 (101) 는 폭발하는 별 모양 (282) 에 의해 예시된 전송 가상 버튼 (274) 과의 유저 (101) 접촉이 전송 기능을 개시하기에 불충분할 수도 있고, 반면 폭발하는 별 모양 (284) 으로 예시된 더 큰 힘을 통한 접촉은 전송 기능을 개시하기에 충분할 것이다. 필요하다면, 일 구체예에서, 폭발하는 별 모양 (282) 에 의해 예시된 더 적은 힘을 통한 접촉은 2차 다이얼로그 박스가 나타나게 하여 전송 기능을 확인하거나 취소할 수도 있고, 한편으론 폭발하는 별 모양 (284) 에 의해 예시된 더 큰 힘을 통한 접촉은 2차 다이얼로그 박스 없이 전송 기능을 개시할 수도 있다. 위에서 논의된 바와 같이, 증가된 힘 레벨 요구사항은 이메일 어플리케이션들로 제한되지 않고, 2차 확인을 필요로 하는 다른 타입들의 의심스러운 커맨드들 및 다른 타입들의 어플리케이션들과 함께 사용될 수도 있다.
도 8은 증강 현실 (AR) 어플리케이션에서 실세계 오브젝트들의 힘 요구사항들을 흉내내도록 컴퓨팅 디바이스 (100) 의 동작을 제어하기 위해 터치 스크린 디스플레이 (102) 상의 적어도 하나의 힘 센서 (106) 를 이용하는 일 구체예를 예시하는 순서도이다. 도 8에 예시된 바와 같이, 실세계 디바이스의 AR 표현은 컴퓨팅 디바이스 (100) 의 터치 스크린 디스플레이 (102) 상에 디스플레이된다 (300). 실세계 디바이스의 AR 표현은, 선택을 위한 힘 요구사항을 갖는 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함한다. 예를 들면, 실세계의 선택가능한 오브젝트는 누르는 데 5N의 힘을 필요로 하는 스테레오의 파워 버튼일 수도 있다. 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉이 검출된다 (302). 터치 스크린 디스플레이 (102) 와의 접촉의 힘 레벨은 터치 스크린 디스플레이 (102) 에 커플링된 적어도 하나의 힘 센서 (106) 를 사용하여 결정된다 (304). 힘 레벨은 실세계의 선택가능한 오브젝트의 힘 요구사항과 관련된 힘 임계값에 비교된다 (306). 예를 들면, 힘 임계값은 실세계의 선택가능한 오브젝트의 힘 요구사항과 동일할 수도 있다. 대안적으로는, 실세계의 오브젝트가 복수의 선택가능한 오브젝트들, 예를 들면, 상이한 힘 요구사항들을 갖는 파워 버튼과 플레이 버튼을 포함하는 경우, 힘 임계값은 실세계의 선택가능한 오브젝트들의 힘 요구사항들의 비율에 기초할 수도 있다. 컴퓨팅 디바이스 (100) 는 힘 레벨이 힘 임계값보다 더 클 때 접촉에 응답하여, 예를 들면, 선택가능한 오브젝트와 관련된 커맨드를 개시함으로써, 제어된다 (308).
도 9는, 예로서, 실세계 오브젝트들의 힘 요구사항들을 흉내내는 AR 어플리케이션을 포함하는 컴퓨팅 디바이스 (100) 의 터치 스크린 디스플레이 (102) 를 접촉하는 유저 (101) 를 예시한다. 도 9는, 파워 버튼 (352) 형태의 실세계의 선택가능한 오브젝트를 포함하는 스테레오 (350) 형태의 실세계 오브젝트를 도시한다. 파워 버튼 (352) 은 선택에 대한 힘 요구사항을 가지며, 예를 들면, 파워 버튼 (352) 을 누르는 데 5N의 힘이 요구될 수도 있다. 스테레오 (350) 는, 버튼 (354) 에 의해 예시된 바와 같이, 다른 선택가능한 오브젝트들을 포함할 수도 있고, 이것은 상이한 힘 요구사항들을 가질 수도 있다. 컴퓨팅 디바이스 (100) 는 스테레오 (350) 의 AR 표현 (360) 을 터치 스크린 디스플레이 (102) 상에 디스플레이한다. AR 표현 (360) 은 카메라 (112) 에 의해 캡쳐된 이미지, 또는 일련의 이미지들이며, 스테레오 (350) 상의 파워 버튼 (352) 및 버튼 (354) 과 관련되며 중첩된 텍스트 또는 (가상 파워 버튼 (362) 및 버튼 (364) 상의 그림자로서 도시된) 그래픽들과 같이 증강된 데이터를 또한 포함할 수도 있는 가상 파워 버튼 (362) 및 가상 버튼 (364) 형태의 선택가능한 오브젝트를 포함한다. 실세계 오브젝트들의 AR 표현들을 생성하는 것은 종래 기술에서 널리 공지되어 있다. 가상 파워 버튼 (362) 은 실세계 파워 버튼 (352) 과 유사한 레벨의 힘에 응답한다. 다시 말하면, 폭발하는 별 모양 (372) 에 의해 예시된 바와 같이 유저 (101) 가 가상의 파워 버튼 (362) 과 접촉하면, 힘 센서들 (106) (도 2에 도시됨) 에 의해 검출된 접촉의 힘 레벨은 실세계 파워 버튼 (352) 의 힘 요구사항들과 관련된 힘 임계값에 비교된다. 예로서, 힘 임계값은 파워 버튼 (352) 의 힘 요구사항과 동일할 수도 있다. 대안적으로는, 힘 임계값은 스테레오 (350) 상의 실세계의 선택가능한 오브젝트들의 힘 요구사항들의 비율에 기초할 수도 있는데, 예를 들면, 가상의 파워 버튼 (362) 및 가상의 버튼 (364) 과 관련된 힘 임계값들은 파워 버튼 (352) 및 플레이 버튼 (354) 의 힘 요구사항들과 동일한 비율을 가질 수도 있다. 접촉 (372) 의 힘 레벨이 힘 임계값보다 더 크면, 가상의 파워 버튼 (362) 의 선택은, 예를 들면, 컴퓨팅 디바이스 (100) 상에 음악 어플리케이션을 불러오도록 컴퓨팅 디바이스 (100) 를 제어할 수도 있다. 필요하다면, 컴퓨팅 디바이스 (100) 는, 컴퓨팅 디바이스 (100) 상의 송수신기 (114) 와 스테레오 (350) 상의 수신기 (356) 사이의 화살표 (374) 로 예시된 바와 같이, 스테레오 (350) 와 무선 통신할 수도 있다. 무선 통신은 WiFi, 블루투스, 또는 임의의 다른 소망의 무선 프로토콜을 통해 달성될 수도 있다. 가상의 파워 버튼 (362) 이 선택되면 컴퓨팅 디바이스 (100) 는 스테레오 (350) 와 무선으로 통신하여 스테레오 (350) 를 제어한다, 예를 들면 스테레오 (350) 를 턴온 (또는 턴오프) 한다. 도 9가 스테레오를 포함하는 특정 구현예를 예시하지만, 본 구체예는 임의의 실세계 오브젝트와 증강된 실세계 표현을 통한 힘 모방의 사용을 고려한다.
본 발명이 교시적인 목적들을 위한 특정 구체예들과 연계하여 예시되었지만, 본 발명은 이들에 제한되는 것은 아니다. 본 발명의 범위를 벗어나지 않으면서 여러 적응예들 및 수정예들이 이루어질 수도 있다. 따라서, 첨부된 특허청구범위의 취지와 범위는 상기 설명에 제한되어선 안된다.

Claims (48)

  1. 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하는 단계;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 단계;
    상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하는 단계; 및
    선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하는 단계를 포함하는, 방법.
  2. 제 1항에 있어서,
    상기 터치 스크린 디스플레이 상에서의 상기 접촉의 위치를 검출하고 상기 위치와 상기 힘 레벨을 사용하여 상기 오브젝트를 선택하는 단계를 더 포함하는, 방법.
  3. 제 1항에 있어서,
    상기 복수의 선택가능한 오브젝트들은 적어도 하나의 반투명 오브젝트를 포함하는, 방법.
  4. 제 3항에 있어서,
    상기 적어도 하나의 반투명 오브젝트가 상기 선택된 오브젝트인 경우 상기 적어도 하나의 반투명 오브젝트는 불투명하게 디스플레이되는, 방법.
  5. 제 1항에 있어서,
    상기 컴퓨팅 디바이스를 제어하는 단계는, 상기 터치 스크린 디스플레이로 하여금 선택된 상기 오브젝트를 나타내게 하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 컴퓨팅 디바이스를 제어하는 단계는, 햅틱 피드백으로 하여금 상기 오브젝트가 선택되는 것을 나타내게 하는 단계를 포함하는, 방법.
  7. 제 1항에 있어서,
    상기 접촉의 상기 힘 레벨에서의 변화를 결정하고 상기 변화에 기초하여 상이한 오브젝트를 선택하는 단계를 더 포함하는, 방법.
  8. 제 1항에 있어서,
    상기 접촉의 종료를 검출하고 상기 접촉의 상기 종료를 사용하여 선택된 상기 오브젝트를 수락하는 단계를 더 포함하는, 방법.
  9. 하우징;
    디스플레이 및 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및
    상기 적어도 하나의 힘 센서로부터 데이터를 수신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는 상기 터치 스크린 디스플레이로 하여금 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하게 하고, 상기 적어도 하나의 힘 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하고, 상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하고, 선택된 상기 오브젝트와 관련된 커맨드를 개시하도록 구성되는, 장치.
  10. 제 9항에 있어서,
    상기 터치 스크린 디스플레이는 상기 디스플레이에 커플링된 터치 센서를 더 포함하고,
    상기 프로세서는 상기 터치 센서로부터 데이터를 수신하도록 커플링되고, 상기 프로세서는 상기 터치 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이 상에서의 상기 접촉의 위치를 검출하고 상기 위치와 상기 힘 레벨을 사용하여 상기 오브젝트를 선택하도록 더 구성되는, 장치.
  11. 제 9항에 있어서,
    상기 복수의 선택가능한 오브젝트들은 적어도 하나의 반투명 오브젝트를 포함하는, 장치.
  12. 제 11항에 있어서,
    상기 적어도 하나의 반투명 오브젝트가 상기 선택된 오브젝트인 경우 상기 프로세서는 상기 적어도 하나의 반투명 오브젝트로 하여금 불투명하게 디스플레이되게 하도록 구성되는, 장치.
  13. 제 9항에 있어서,
    상기 프로세서는 상기 터치 스크린 디스플레이로 하여금 선택된 상기 오브젝트를 나타내게 하도록 더 구성되는, 장치.
  14. 제 9항에 있어서,
    상기 프로세서는 햅틱 피드백으로 하여금 상기 오브젝트가 선택되는 것을 나타내게 하도록 더 구성되는, 장치.
  15. 제 9항에 있어서,
    상기 프로세서는 상기 적어도 하나의 힘 센서로부터의 상기 데이터에 기초하여 상기 접촉의 상기 힘 레벨에서의 변화를 결정하고 상기 변화에 기초하여 상이한 오브젝트를 선택하도록 더 구성되는, 장치.
  16. 제 9항에 있어서,
    상기 프로세서는 상기 접촉의 종료를 검출하고 상기 접촉의 상기 종료를 사용하여 선택된 상기 오브젝트를 수락하도록 더 구성되는, 장치.
  17. 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하는 수단;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단;
    상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하는 수단; 및
    선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하는 수단을 포함하는, 장치.
  18. 제 17항에 있어서,
    상기 터치 스크린 디스플레이 상에서의 상기 접촉의 위치를 검출하고 상기 위치와 상기 힘 레벨을 사용하여 상기 오브젝트를 선택하는 수단을 더 포함하는, 장치.
  19. 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체로서,
    컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 적어도 부분적으로 중첩하는 복수의 선택가능한 오브젝트들을 디스플레이하기 위한 프로그램 코드;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하기 위한 프로그램 코드;
    상기 접촉의 상기 힘 레벨을 사용하여 상기 복수의 선택가능한 오브젝트들로부터 오브젝트를 선택하기 위한 프로그램 코드; 및
    선택된 상기 오브젝트에 기초하여 상기 컴퓨팅 디바이스를 제어하기 위한 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제 19항에 있어서,
    상기 터치 스크린 디스플레이 상에서의 상기 접촉의 위치를 검출하고 상기 위치와 상기 힘 레벨을 사용하여 상기 오브젝트를 선택하기 위한 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  21. 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하는 단계로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하는 단계;
    상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하는 단계;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하는 단계; 및
    상기 선택가능한 오브젝트와의 상기 접촉 및 상기 힘 레벨에 응답하여 상기 커맨드를 개시하는 단계를 포함하는, 방법.
  22. 제 21항에 있어서,
    상기 힘 레벨을 임계값에 비교하는 단계를 더 포함하고,
    상기 힘 레벨이 상기 임계값보다 더 클 때 상기 커맨드가 개시되는, 방법.
  23. 제 21항에 있어서,
    상기 힘 레벨을 임계값에 비교하는 단계를 더 포함하고,
    상기 힘 레벨이 상기 임계값보다 더 작을 때 2차 다이얼로그 박스가 디스플레이되는, 방법.
  24. 제 21항에 있어서,
    상기 커맨드를 수행하는 것이 비일상적, 넌-디폴트 (non-default), 비가역적, 또는 잠재적인 시스템 위험 액션들을 야기할 수도 있을 때 상기 커맨드는 2차 확인을 필요로 하도록 결정되는, 방법.
  25. 제 21항에 있어서,
    상기 커맨드는 넌-디폴트 옵션, 시스템 파일들 또는 디렉토리들을 조작하기 위한 커맨드, 넌-디폴트 어플리케이션에서 컨텐츠를 여는 것, 및 오타들, 문법적 에러들, 유해한 컨텐츠, 및 복수의 수신자들을 갖는 이메일을 전송하는 것 중 적어도 하나인, 방법.
  26. 하우징;
    디스플레이, 상기 디스플레이에 커플링된 터치 센서, 및 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및
    상기 적어도 하나의 힘 센서와 상기 터치 센서로부터 데이터를 수신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는 상기 터치 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이 상의, 커맨드와 관련된 선택가능한 오브젝트와의 접촉을 검출하고, 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하고, 상기 적어도 하나의 힘 센서로부터의 데이터에 기초하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하고, 상기 힘 레벨 및 상기 선택가능한 오브젝트와의 상기 접촉에 응답하여 상기 커맨드를 개시하도록 구성되는, 장치.
  27. 제 26항에 있어서,
    상기 프로세서는 상기 힘 레벨을 임계값에 비교하도록 더 구성되고,
    상기 힘 레벨이 상기 임계값보다 더 클 때 상기 커맨드가 개시되는, 장치.
  28. 제 26항에 있어서,
    상기 프로세서는 상기 힘 레벨을 임계값에 비교하고, 상기 힘 레벨이 상기 임계값보다 더 작을 때 상기 디스플레이로 하여금 2차 다이얼로그 박스를 디스플레이하게 하도록 더 구성되는, 장치.
  29. 제 26항에 있어서,
    상기 커맨드를 수행하는 것이 비일상적, 비가역적, 넌-디폴트, 또는 잠재적인 시스템 위험 액션들을 야기할 수도 있을 때 상기 커맨드는 2차 확인을 필요로 하도록 결정되는, 장치.
  30. 제 26항에 있어서,
    상기 커맨드는 넌-디폴트 옵션, 시스템 파일들 또는 디렉토리들을 조작하기 위한 커맨드, 넌-디폴트 어플리케이션에서 컨텐츠를 여는 것, 및 오타들, 문법적 에러들, 유해한 컨텐츠, 및 복수의 수신자들을 갖는 이메일을 전송하는 것 중 적어도 하나인, 장치.
  31. 터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하는 수단으로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하는 수단;
    상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 한다는 것을 결정하는 수단;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단; 및
    상기 선택가능한 오브젝트와의 상기 접촉 및 상기 힘 레벨에 응답하여 상기 커맨드를 개시하는 수단을 포함하는, 장치.
  32. 제 31항에 있어서,
    상기 힘 레벨을 임계값에 비교하는 수단을 더 포함하고,
    상기 힘 레벨이 상기 임계값보다 더 클 때 상기 커맨드가 개시되는, 장치.
  33. 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체로서,
    터치 스크린 디스플레이 상의 선택가능한 오브젝트와의 접촉을 검출하기 위한 프로그램 코드로서, 상기 선택가능한 오브젝트는 컴퓨팅 디바이스를 제어하기 위한 커맨드와 관련되는, 상기 검출하기 위한 프로그램 코드;
    상기 컴퓨팅 디바이스를 제어하기 위한 상기 커맨드가 2차 확인을 필요로 하는 것을 결정하기 위한 프로그램 코드;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하기 위한 프로그램 코드; 및
    상기 힘 레벨 및 상기 선택가능한 오브젝트와의 상기 접촉에 응답하여 상기 커맨드를 개시하기 위한 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  34. 제 33항에 있어서,
    상기 힘 레벨을 임계값에 비교하기 위한 프로그램 코드를 더 포함하고,
    상기 힘 레벨이 상기 임계값보다 더 클 때 상기 커맨드가 개시되는, 비일시적 컴퓨터 판독가능 매체.
  35. 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하는 단계로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항 (force requirement) 을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하는 단계;
    상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하는 단계;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하는 단계;
    상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하는 단계; 및
    상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하는 단계를 포함하는, 방법.
  36. 제 35항에 있어서,
    상기 증강 현실 표현은 상기 실세계 디바이스의 이미지를 포함하는, 방법.
  37. 제 35항에 있어서,
    상기 컴퓨팅 디바이스를 제어하는 단계는 상기 실세계 디바이스의 상기 증강 현실 표현을 조작하는 단계를 포함하는, 방법.
  38. 제 35항에 있어서,
    상기 컴퓨팅 디바이스를 제어하는 단계는 상기 컴퓨팅 디바이스로 하여금 상기 실세계 디바이스를 제어하게 하는 단계를 포함하는, 방법.
  39. 제 35항에 있어서,
    상기 힘 임계값은 상기 힘 요구사항과 동일한, 방법.
  40. 제 35항에 있어서,
    상기 실세계 디바이스는 제 2의 힘 요구사항을 갖는 제 2의 실세계의 선택가능한 오브젝트를 포함하고, 상기 힘 임계값은 상기 힘 요구사항과 상기 제 2의 힘 요구사항의 비율에 기초하는, 방법.
  41. 하우징;
    선택을 위한 힘 요구사항을 갖는 실세계의 선택가능한 오브젝트를 갖는 실세계 디바이스의 이미지들을 캡쳐하기 위한 카메라;
    디스플레이, 상기 디스플레이에 커플링된 터치 센서, 및 상기 하우징과 상기 디스플레이 사이에 커플링된 적어도 하나의 힘 센서를 포함하는 터치 스크린 디스플레이; 및
    상기 카메라로부터의 이미지들과 상기 적어도 하나의 힘 센서와 상기 터치 센서로부터의 데이터를 수신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는 상기 디스플레이로 하여금 상기 실세계 디바이스의, 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하는 증강 현실 표현을, 상기 디스플레이 상에 디스플레이하게 하고, 상기 터치 센서로부터의 상기 데이터에 기초하여 상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하고, 상기 적어도 하나의 힘 센서로부터의 데이터에 기초하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하고, 상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하고, 상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 선택가능한 오브젝트와 관련된 커맨드를 개시하도록 구성되는, 장치.
  42. 제 41항에 있어서,
    상기 증강 현실 표현은 상기 실세계 디바이스의 이미지를 포함하는, 장치.
  43. 제 41항에 있어서,
    상기 선택가능한 오브젝트와 관련된 상기 커맨드는 상기 프로세서로 하여금 상기 실세계 디바이스의 상기 증강 현실 표현을 조작하게 하는, 장치.
  44. 제 41항에 있어서,
    상기 실세계 디바이스와 무선으로 통신할 수 있는 무선 송신기를 더 포함하고,
    상기 선택가능한 오브젝트와 관련된 상기 커맨드는 상기 프로세서로 하여금 상기 무선 송신기를 통해 상기 실세계 디바이스를 제어하게 하는, 장치.
  45. 제 41항에 있어서,
    상기 힘 임계값은 상기 힘 요구사항과 동일한, 장치.
  46. 제 41항에 있어서,
    상기 실세계 디바이스는 제 2의 힘 요구사항을 갖는 제 2의 실세계의 선택가능한 오브젝트를 포함하고, 상기 힘 임계값은 상기 힘 요구사항과 상기 제 2의 힘 요구사항의 비율에 기초하는, 장치.
  47. 컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하는 수단으로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하는 수단;
    상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하는 수단;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 접촉의 힘 레벨을 결정하는 수단;
    상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하는 수단; 및
    상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하는 수단을 포함하는, 장치.
  48. 프로그램 코드가 저장된 비일시적 컴퓨터 판독가능 매체로서,
    컴퓨팅 디바이스에 동작가능하게 커플링된 터치 스크린 디스플레이 상에 실세계 디바이스의 증강 현실 표현을 디스플레이하기 위한 프로그램 코드로서, 상기 증강 현실 표현은 상기 실세계 디바이스 상의 실세계의 선택가능한 오브젝트와 관련된 선택가능한 오브젝트를 포함하고, 상기 실세계의 선택가능한 오브젝트는 선택을 위한 힘 요구사항을 갖는, 상기 실세계 디바이스의 증강 현실 표현을 디스플레이하기 위한 프로그램 코드;
    상기 터치 스크린 디스플레이 상의 상기 선택가능한 오브젝트와의 접촉을 검출하기 위한 프로그램 코드;
    상기 터치 스크린 디스플레이에 커플링된 적어도 하나의 힘 센서를 사용하여 상기 터치 스크린 디스플레이와의 상기 접촉의 힘 레벨을 결정하기 위한 프로그램 코드;
    상기 힘 레벨을 상기 힘 요구사항과 관련된 힘 임계값에 비교하기 위한 프로그램 코드; 및
    상기 힘 레벨이 상기 힘 임계값보다 더 클 때 상기 접촉에 응답하여 상기 컴퓨팅 디바이스를 제어하기 위한 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020137030565A 2011-05-19 2012-05-01 힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들 KR101715992B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161488072P 2011-05-19 2011-05-19
US61/488,072 2011-05-19
US13/416,731 2012-03-09
US13/416,731 US8952987B2 (en) 2011-05-19 2012-03-09 User interface elements augmented with force detection
PCT/US2012/035992 WO2012158337A1 (en) 2011-05-19 2012-05-01 User interface elements augmented with force detection

Publications (2)

Publication Number Publication Date
KR20140009510A true KR20140009510A (ko) 2014-01-22
KR101715992B1 KR101715992B1 (ko) 2017-03-13

Family

ID=47174621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030565A KR101715992B1 (ko) 2011-05-19 2012-05-01 힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들

Country Status (5)

Country Link
US (1) US8952987B2 (ko)
EP (2) EP3425492A1 (ko)
JP (2) JP5944488B2 (ko)
KR (1) KR101715992B1 (ko)
WO (1) WO2012158337A1 (ko)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8624878B2 (en) * 2010-01-20 2014-01-07 Apple Inc. Piezo-based acoustic and capacitive detection
JP2012247825A (ja) * 2011-05-25 2012-12-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN109062488B (zh) 2012-05-09 2022-05-27 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
US8816989B2 (en) * 2012-05-22 2014-08-26 Lenovo (Singapore) Pte. Ltd. User interface navigation utilizing pressure-sensitive touch
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) * 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US20140189585A1 (en) * 2012-12-28 2014-07-03 Caterpillar Inc. Information Display System for a Machine
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
EP2939097B1 (en) * 2012-12-29 2018-12-26 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US20170371492A1 (en) * 2013-03-14 2017-12-28 Rich IP Technology Inc. Software-defined sensing system capable of responding to cpu commands
TWI496047B (zh) * 2013-03-19 2015-08-11 Compal Electronics Inc 觸控裝置及其操作方法
US20160217617A1 (en) * 2013-08-30 2016-07-28 Hewlett-Packard Development Company, L.P. Augmented reality device interfacing
EP3108345B1 (en) 2014-02-18 2019-12-25 Cambridge Touch Technologies Limited Dynamic switching of power modes for touch screens using force touch
KR101933201B1 (ko) 2014-06-24 2018-12-27 애플 인크. 입력 디바이스 및 사용자 인터페이스 상호작용
CN106415475A (zh) 2014-06-24 2017-02-15 苹果公司 用于在用户界面中导航的列界面
DE102014217615A1 (de) * 2014-09-03 2016-03-03 BSH Hausgeräte GmbH Verfahren und Vorrichtung zur zentralen Bedienung von vernetzten elektrischen Geräten in einem Haus
US10318038B2 (en) 2014-12-23 2019-06-11 Cambridge Touch Technologies Ltd. Pressure-sensitive touch panel
GB2533667B (en) 2014-12-23 2017-07-19 Cambridge Touch Tech Ltd Pressure-sensitive touch panel
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9606633B2 (en) * 2015-05-08 2017-03-28 John W. Downey Method and apparatus for input to electronic devices
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
GB2544307B (en) 2015-11-12 2018-02-07 Cambridge Touch Tech Ltd Processing signals from a touchscreen panel
US9881191B2 (en) 2015-12-14 2018-01-30 Leadot Innovation, Inc. Method of controlling operation of cataloged smart devices
GB2544353B (en) 2015-12-23 2018-02-21 Cambridge Touch Tech Ltd Pressure-sensitive touch panel
US10282046B2 (en) 2015-12-23 2019-05-07 Cambridge Touch Technologies Ltd. Pressure-sensitive touch panel
GB2547031B (en) 2016-02-05 2019-09-25 Cambridge Touch Tech Ltd Touchscreen panel signal processing
US20170242539A1 (en) * 2016-02-18 2017-08-24 Synaptics Incorporated Use based force auto-calibration
JP6711081B2 (ja) * 2016-03-31 2020-06-17 ブラザー工業株式会社 画像処理プログラム及び情報処理装置
US10372121B2 (en) 2016-04-26 2019-08-06 Ford Global Technologies, Llc Determination of continuous user interaction and intent through measurement of force variability
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
WO2018000382A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 一种查看应用程序的图形用户界面、方法及终端
US10437427B2 (en) * 2016-07-15 2019-10-08 Kabushiki Kaisha Toshiba System and method for touch/gesture based device control
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
KR20180080484A (ko) * 2017-01-04 2018-07-12 엘지전자 주식회사 이동 단말기
JP6667465B2 (ja) * 2017-02-28 2020-03-18 日本電信電話株式会社 情報管理装置
US10589960B2 (en) 2017-07-31 2020-03-17 Otis Elevator Company User device including secondary-touch elevator service request interface
GB2565305A (en) 2017-08-08 2019-02-13 Cambridge Touch Tech Ltd Device for processing signals from a pressure-sensing touch panel
US11093088B2 (en) 2017-08-08 2021-08-17 Cambridge Touch Technologies Ltd. Device for processing signals from a pressure-sensing touch panel
TW201927241A (zh) 2017-12-21 2019-07-16 瑞士商赫孚孟拉羅股份公司 用於肌肉失能之數位生物標記
JP7203865B2 (ja) 2018-05-07 2023-01-13 グーグル エルエルシー ユーザと、自動化されたアシスタントと、他のコンピューティングサービスとの間のマルチモーダル対話
US11347801B2 (en) * 2018-05-07 2022-05-31 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US11200893B2 (en) * 2018-05-07 2021-12-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
WO2020198238A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for a media browsing application
US11057682B2 (en) 2019-03-24 2021-07-06 Apple Inc. User interfaces including selectable representations of content items
US11467726B2 (en) 2019-03-24 2022-10-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
CN114173640A (zh) 2019-06-19 2022-03-11 豪夫迈·罗氏有限公司 数字生物标志物
CN112817512B (zh) * 2019-11-18 2024-05-28 荣耀终端有限公司 一种防误触方法、移动设备及计算机可读存储介质
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
KR102256042B1 (ko) * 2020-10-13 2021-05-25 삼성전자 주식회사 입력을 유도하는 전자 장치 및 방법.
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
JP2022129153A (ja) * 2021-02-24 2022-09-05 株式会社Subaru 車両の乗員監視装置
US11550445B1 (en) * 2021-07-06 2023-01-10 Raytheon Company Software safety-locked controls to prevent inadvertent selection of user interface elements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014095A (ko) * 2008-08-01 2010-02-10 삼성전자주식회사 사용자 인터페이스를 구현하는 전자장치 및 그 방법
JP2011053832A (ja) * 2009-08-31 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR20110049431A (ko) * 2009-11-05 2011-05-12 주식회사 팬택 관통입력을 제공하는 단말 및 그 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3345433B2 (ja) 1991-12-13 2002-11-18 富士通株式会社 画像編集装置
US7683889B2 (en) 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
WO2007030603A2 (en) * 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US20090140985A1 (en) 2007-11-30 2009-06-04 Eric Liu Computing device that determines and uses applied pressure from user interaction with an input interface
US20100039393A1 (en) 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels
KR101569176B1 (ko) * 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
JP4743268B2 (ja) 2008-12-15 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP4885938B2 (ja) * 2008-12-25 2012-02-29 京セラ株式会社 入力装置
JP4746086B2 (ja) 2008-12-25 2011-08-10 京セラ株式会社 入力装置
JP4746085B2 (ja) * 2008-12-25 2011-08-10 京セラ株式会社 入力装置
KR20110004203A (ko) 2009-07-07 2011-01-13 삼성전자주식회사 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법
WO2011011025A1 (en) 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP2011034216A (ja) 2009-07-30 2011-02-17 Canon Inc 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置
WO2011019154A2 (en) 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
JP5310389B2 (ja) * 2009-08-27 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8363020B2 (en) 2009-08-27 2013-01-29 Symbol Technologies, Inc. Methods and apparatus for pressure-based manipulation of content on a touch screen
US8390583B2 (en) * 2009-08-31 2013-03-05 Qualcomm Incorporated Pressure sensitive user interface for mobile devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014095A (ko) * 2008-08-01 2010-02-10 삼성전자주식회사 사용자 인터페이스를 구현하는 전자장치 및 그 방법
JP2011053832A (ja) * 2009-08-31 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR20110049431A (ko) * 2009-11-05 2011-05-12 주식회사 팬택 관통입력을 제공하는 단말 및 그 방법

Also Published As

Publication number Publication date
WO2012158337A1 (en) 2012-11-22
CN103502918A (zh) 2014-01-08
JP2014512630A (ja) 2014-05-22
JP5902284B2 (ja) 2016-04-13
KR101715992B1 (ko) 2017-03-13
US8952987B2 (en) 2015-02-10
EP2710454A1 (en) 2014-03-26
JP5944488B2 (ja) 2016-07-05
US20120293551A1 (en) 2012-11-22
JP2015046192A (ja) 2015-03-12
EP3425492A1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
KR101715992B1 (ko) 힘 검출을 통해 증강된 유저 인터페이스 엘리먼트들
AU2014221602B2 (en) Apparatus and method for providing haptic feedback to input unit
KR102104851B1 (ko) 배향 조정 가능 멀티-채널 햅틱 장치
US9262002B2 (en) Force sensing touch screen
KR101180218B1 (ko) 터치스크린과 디지털 촉각 픽셀들을 구비한 휴대용 장치
KR102262721B1 (ko) 폴더블 디스플레이 디바이스 및 그 제어 방법
EP4080346A1 (en) Method and apparatus for displaying application
US20180075655A1 (en) Digital Content Interaction and Navigation in Virtual and Augmented Reality
KR102087392B1 (ko) 동작 방법 및 그 전자 장치
US8669937B2 (en) Information processing apparatus and computer-readable medium
EP2637079A1 (en) Electronic device for measuring angle of face and rotating screen content thereof and method thereof
KR20140098384A (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
KR20150057863A (ko) 휴대 장치 및 휴대 장치의 화면 밝기 제어방법
US20120284671A1 (en) Systems and methods for interface mangement
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
KR20140008637A (ko) 펜 입력 장치를 이용하는 입력 방법 및 그 단말
US10564420B2 (en) Midair interaction with electronic pen projection computing system
US20140340336A1 (en) Portable terminal and method for controlling touch screen and system thereof
US11169769B2 (en) Electronic device and volume adjustment method of electronic device
TWI420365B (zh) 具有觸敏式顯示器之可攜式電子裝置及其控制方法
EP2660701A1 (en) Method for inputting touch and touch display apparatus
EP4057616A1 (en) Electronic device and focusing method
US20150035758A1 (en) Electronic device and method of detecting touches on a touch-sensitive display
CN103502918B (zh) 以力检测扩增的用户接口元件
KR20210121923A (ko) 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
X701 Decision to grant (after re-examination)
GRNT Written decision to grant