KR20140112418A - 사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스 - Google Patents

사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20140112418A
KR20140112418A KR1020140027625A KR20140027625A KR20140112418A KR 20140112418 A KR20140112418 A KR 20140112418A KR 1020140027625 A KR1020140027625 A KR 1020140027625A KR 20140027625 A KR20140027625 A KR 20140027625A KR 20140112418 A KR20140112418 A KR 20140112418A
Authority
KR
South Korea
Prior art keywords
handheld device
sensor
sensor signal
pressure
contact
Prior art date
Application number
KR1020140027625A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-헤르난데즈
알리 모다레스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140112418A publication Critical patent/KR20140112418A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

검출된 사용자 접촉에 기초하여 그래픽 사용자 인터페이스 구성을 표시하는 방법 및 디바이스가 개시된다. 개시된 일 방법은 핸드헬드 디바이스의 디스플레이 상에 그래픽 사용자 인터페이스(GUI)를 제1 GUI 구성에 따라 표시하는 단계, 핸드헬드 디바이스에 연결된 센서로부터, 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하는 단계, 센서 신호에 적어도 부분적으로 기초하여 파지 접촉을 결정하는 단계, 파지 접촉에 적어도 부분적으로 기초하여 제2 GUI 구성을 결정하는 단계, 및 제2 GUI 구성에 따라 디스플레이 상에 GUI를 표시하는 단계를 포함한다.

Description

사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스{METHOD AND DEVICES FOR DISPLAYING GRAPHICAL USER INTERFACES BASED ON USER CONTACT}
본 개시내용은 일반적으로 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스에 관한 것으로, 더욱 상세하게는, 사용자 접촉에 기초하여 그래픽 사용자 인터페이스 구성을 표시하는 방법 및 디바이스에 관한 것이다.
현재, 핸드헬드 디바이스는 전화 걸기와 문자 메시지 전송부터 비디오 녹화, 사진 촬영 및 인터넷 검색에 이르는 무수히 많은 작업을 수행하는데 이용된다. 핸드헬드 디바이스를 이용하는 경우, 특히, 터치 스크린을 포함하는 핸드헬드 디바이스를 이용하는 경우, 통상의 사용자는 종종 임의 개수의 요인(예를 들어, 수행 중인 작업, 손의 가용성, 편안함이나 선호도 등)에 의존하여 여러 상이한 방법으로 핸드헬드 디바이스를 잡거나(hold) 파지(grasp)한다. 예를 들어, 문자 메시지나 이메일을 작성하는 경우, 사용자는 종종 핸드헬드 디바이스를 수평 또는 가로 방향으로 돌리고, 핸드헬드 디바이스를 양손으로 잡아서 양쪽 엄지손가락을 이용하여 메시지를 작성한다. 그러나, 사용자가 단지 한손만 이용가능한 (예를 들어, 선 채로 한손으로 커피잔을 잡고 있는) 경우, 사용자는 종종 핸드헬드 디바이스를 수직 또는 세로 방향으로 잡고, 한쪽 엄지손가락으로 메시지를 작성하는 것을 선택한다. 이러한 동작을 수용하기 위하여, 현재의 핸드헬드 디바이스는 디스플레이를 회전하고, 몇몇 경우에는 핸드헬드 디바이스가 수직 또는 수평 위치에 있는지에 기초하여 사용자 인터페이스를 수정한다. 단지 수직 또는 수평 방향에만 기초하여 사용자 인터페이스를 조정하는 것은, 유용하긴 하지만, 사용자가 핸드헬드 디바이스를 한손으로 잡고 있는지 양손으로 잡고 있는지 또는 사용자가 사용하고 있는 한손 또는 양손 파지의 타입을 고려하지 않는 조잡한 도구이다. 따라서, 현재의 디바이스들은, 핸드헬드 디바이스가 수직으로 배향되는 동안 사용자가 사용할 수 있는 다양한 잡기나 파지 또는 핸드헬드 디바이스가 수평으로 배향되는 동안 사용자가 사용할 수 있는 다양한 잡기나 파지에 대한 사용자 인터페이스의 구성을 조정하지 않게 된다.
본 개시내용은 일반적으로 핸드헬드 디바이스의 디스플레이 상에 그래픽 사용자 인터페이스(GUI)를 제1 GUI 구성에 따라 표시하는 단계, 핸드헬드 디바이스에 연결된 센서로부터, 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하는 단계, 센서 신호에 적어도 부분적으로 기초하여 파지 접촉(grasping contact)을 결정하는 단계, 파지 접촉에 적어도 부분적으로 기초하여 제2 GUI 구성을 결정하는 단계, 및 제2 GUI 구성에 따라 디스플레이 상에 GUI를 표시하는 단계를 포함하는 방법에 관한 것이다. 다른 실시예는 그러한 방법을 실행하기 위한 프로세서 실행가능 소프트웨어 프로그램 코드로 인코딩된 컴퓨터 판독가능 매체를 포함한다.
본원에 개시된 예시적인 실시예는 본 발명을 한정하거나 정의하기 위한 것이 아니라, 그 이해를 돕기 위한 예를 제공하기 위한 것이다. 상세한 설명에서 예시적인 실시예가 논의되고, 본 발명의 추가 설명이 제공된다. 본 발명의 다양한 실시예에 의해 제공되는 이점은 본 명세서를 참조하여 더 잘 이해될 수 있다.
본 개시내용에 따른 상기 및 기타 특징, 양태 및 이점은 첨부된 도면을 참조하여 다음 상세한 설명을 읽음으로써 더 잘 이해될 수 있다.
도 1 내지 4는 실시예에 따른 핸드헬드 디바이스의 예시이다.
도 5는 일 실시예에 따른 핸드헬드 디바이스의 동작을 설명하는 흐름도이다.
도 6 내지 14는 실시예에 따른 핸드헬드 디바이스와의 예시적인 파지 접촉이다.
도 15a 내지 15g는 실시예에 따른 핸드헬드 디바이스 상에 표시되는 GUI 구성의 예시이다.
본 개시내용에 따른 실시예는 사용자 접촉에 기초하여 그래픽 GUI 구성을 표시하는 방법 및 핸드헬드 디바이스를 제공한다. 더욱 상세하게는, 다양한 그래픽 GUI 구성이 사용자가 핸드헬드 디바이스를 파지하거나 잡고 있는 방법에 기초하여 표시된다.
예시적인 실시예
일 예시적인 실시예에서, 터치스크린 휴대전화는 휴대전화의 측면에 가해지는 압력을 검출 및 측정하도록 구성된 2개의 압력 센서를 포함한다. 핸드헬드 디바이스는 그 압력 측정값을 처리하여 사용자가 휴대전화를 파지하거나 잡고 있는 방법을 결정한다.
일 특정 예에서, 휴대전화는 대화형 지도 애플리케이션을 표시하고 있고, 또한 사용자가 자신의 그립(grip)을 변경하여 휴대전화를 오른손에 수직 방향으로 잡고 있는 것을 결정한다. 이에 응답하여, 휴대전화는 인터페이스 컨트롤이 디스플레이의 오른쪽에 위치하도록 휴대전화 상에 표시되는 대화형 지도 애플리케이션의 GUI를 구성한다. 휴대전화를 사용자의 오른손에 수직으로 잡고 있는 경우, 사용자의 오른쪽 엄지손가락은 통상 자유롭게 이동가능하고, 대화형 지도 애플리케이션의 GUI와 상호작용하는 가장 편리한 손가락일 수 있다. 사용자의 오른쪽 엄지손가락 근방에 인터페이스 컨트롤을 배치하도록 대화형 지도 애플리케이션의 GUI를 구성함으로써, 휴대전화는 GUI의 유저빌리티(usability)를 최대로 한다.
사용자가 자신의 휴대전화의 파지를 계속해서 변경할 때마다, 휴대전화는 휴대전화에 적용되는 각각의 새로운 파지를 결정하고, 다양한 파지에 기초하여 GUI를 표시한다. 예를 들어, 사용자는 자신의 휴대전화 파지를 조절하여, 그의 왼손이 휴대전화의 왼쪽을 파지하고 있고, 그의 오른손이 휴대전화의 오른쪽을 파지하고 있는 상태로 수평 방향으로 휴대전화를 잡고 있을 수 있다. 이에 응답하여, 휴대전화는 인터페이스 컨트롤이 사용자의 엄지손가락에 가까운 디스플레이의 왼쪽 및 오른쪽에 위치하도록 대화형 지도 애플리케이션에 대한 GUI를 구성한다. 이러한 방식으로 휴대전화를 잡고 있는 경우, 도 11에 도시된 바와 같이, 사용자의 엄지손가락은 통상 방해받지 않는 상태이고, GUI와의 상호작용을 위한 가장 편리한 손가락으로 된다. 다시 한번, 사용자의 파지에 기초하여 GUI를 수정함으로써, 휴대전화는 휴대전화의 유저빌리티를 최대로 하도록 대화형 지도 애플리케이션의 GUI를 구성한다.
예시적인 디바이스
이하 도 1을 참조하면, 본 개시내용의 일 실시예에 따른 핸드헬드 디바이스를 도시한 블록도가 도시되어 있다. 핸드헬드 디바이스(10)는 프로세서(14)를 포함한다. 또한, 핸드헬드 디바이스(10)는 메모리(16), 디스플레이(12), 입력 디바이스(15) 및 센서(18)를 포함하고, 이들 모두는 프로세서(14)와 통신한다. 일 실시예에서, 핸드헬드 디바이스(10)는 휴대전화이다. 다른 실시예에서, 핸드헬드 디바이스(10)는 MP3 플레이어, 디지털 카메라, 핸드헬드 비디오 게임 디바이스, 태블릿 컴퓨터, 또는 디스플레이를 포함하는 임의의 다른 핸드헬드 디바이스일 수 있다.
몇몇 실시예에서, 핸드헬드 디바이스(10)는 디스플레이(12)와 입력 디바이스(15) 모두로서 기능을 하는 터치스크린을 포함한다. 다른 실시예에서, 입력 디바이스(15)는 하나 이상의 버튼, 트랙볼, 스크롤 휠, 터치패드 및/또는 당해 기술분야의 당업자에게 알려진 임의의 기타 입력 디바이스를 포함할 수 있다. 몇몇 실시예에서, 핸드헬드 디바이스(10)는 네트워크 및/또는 다른 디바이스와 통신하는 통신 구성요소를 더 포함한다. 예를 들어, 통신 구성요소는 셀룰러 네트워크와 통신하기 위한 무선 네트워킹 디바이스, 모듈 및 안테나, 또는 다른 디바이스와 직접 통신하기 위한 모듈 및 안테나일 수 있다. 또한, 핸드헬드 디바이스(10)는 프로세서(14)에 의해 실행가능한 소프트웨어 프로그램 코드를 저장하는 메모리(16)를 포함한다. 예를 들어, 메모리(16)는 운영 체제 및 사용자 애플리케이션을 위한 프로그램 코드를 저장하는 랜덤 액세스 메모리를 포함할 수 있다. 예를 들어, 메모리(16)는 지도 애플리케이션, 이메일 애플리케이션, 메시징 애플리케이션, 카메라 애플리케이션, 인터넷 브라우저 애플리케이션, 음악 애플리케이션, 일정 애플리케이션, 또는 임의의 기타 애플리케이션을 포함하는 사용자 애플리케이션을 포함할 수 있다.
도 1의 블록도에서 "센서(18)"로 표시된 2개의 박스의 존재는 본 개시내용에 따른 특정 실시예를 특정 개수의 센서에 한정하려는 것은 아니다. 오히려, 본 개시내용에 따른 다양한 실시예는 하나의 센서, 2개의 센서, 또는 임의 개수의 센서를 포함할 수 있다는 것을 나타내기 위한 것으로 의도된다. 예를 들어, 도 2는 2개의 센서(18)[핸드헬드 디바이스(10)의 양쪽에 하나씩 위치함]를 포함하는 본 개시내용에 따른 일 실시예에 따른 핸드헬드 디바이스(10)를 도시한다. 도 3은 2개의 센서(18)[핸드헬드 디바이스(10)의 양쪽에 하나씩 위치함] 및 추가 센서(18)[핸드헬드 디바이스(10)의 상부에 위치함]를 포함하는 본 개시내용에 따른 일 실시예에 따른 핸드헬드 디바이스(10)를 도시한다. 도 4에 도시된 또 다른 실시예에서, 핸드헬드 디바이스(10)는 9개의 센서(18)를 포함하는데, 핸드헬드 디바이스(10)의 양쪽에 4개씩 위치하고, 핸드헬드 디바이스(10)의 상부에 추가 센서 (18)가 위치한다. 추가 실시예는 하나 이상의 센서(18)를 포함할 수 있다. 또한, 다른 실시예는 핸드헬드 디바이스(10)의 뒷면, 하부 및/또는 전면에 위치한 하나 이상의 센서(18)를 포함할 수 있다. 또한, 다양한 실시예에서 하나 이상의 센서(18)는 가변의 크기 및 모양을 갖는 감지 영역을 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 핸드헬드 디바이스(10)의 상부에 위치한 센서(18)는 핸드헬드 디바이스(10)의 왼쪽과 오른쪽에 위치한 센서(18)의 원형 감지 영역보다 넓은 면적을 갖는 타원 모양의 감지 영역을 포함할 수 있다. 요약하면, 본 개시내용은 하나 이상의 센서(18)를 포함하는 복수의 실시예를 고려하는데, 하나 이상의 센서는 면적 및/또는 모양이 변할 수 있는 감지 영역을 갖고, 핸드헬드 디바이스(10)의 하나 이상의 외부면 각각에 위치한다.
실시예에 따른 센서(18)는 당해 기술분야의 당업자라면 핸드헬드 디바이스(10)에 적용되는 파지 접촉을 검출하는데 이용하는 것을 알고 있는 임의 타입의 센서일 수 있다. 일 실시예에서, 센서(18)는 압력 센서이다. 예를 들어, 센서(18)는 저항 압력 센서, 압전 압력 센서, 스트레인 게이지, 또는 당해 기술분야에서 알려진 임의의 다른 타입의 압력 센서일 수 있다. 다른 실시예에서, 센서(18)는 접촉의 면적 및/또는 치수를 결정할 수 있는 센서이다. 예를 들어, 센서(18)는 용량 센서 또는 접촉의 면적 및/또는 치수를 결정할 수 있는 당해 기술분야에서 알려진 임의의 다른 타입의 센서일 수 있다.
또한, 하나 이상의 센서(18)는 사용자에 의해 적용되는 파지 접촉의 검출을 허용하는 당해 기술분야의 당업자에게 알려진 임의의 방식으로 핸드헬드 디바이스(10)에 통합될 수 있다. 예를 들어, 압전 센서는 핸드헬드 디바이스(10)의 하우징에 내부에서 연결되어 핸드헬드 디바이스(10)에 적용되는 파지 접촉을 나타내는 하우징의 약간의 변형을 검출할 수 있게 된다. 다른 실시예에서, 하나 이상의 용량 센서는 핸드헬드 디바이스(10)의 하우징의 외부면에 연결될 수 있다. 다른 예시적인 실시예에서, 힘 감지 저항의 감지 패드는 핸드헬드 디바이스(10)의 하우징 표면에 통합되어 핸드헬드 디바이스(10)에 적용되는 파지력이 감지 패드에 직접 적용될 수 있도록 한다. 다른 실시예에서, 하나 이상의 압력 센서(18)는 핸드헬드 디바이스(10)의 하우징의 외부면에 연결된다.
일 실시예에서, 핸드헬드 디바이스(10)는 가속도계, 자이로스코프, 압전 센서, 또는 핸드헬드 디바이스(10)의 가속도, 움직임 및/또는 방향을 검출하는 기타 적절한 센서를 포함할 수 있다. 그러한 일 실시예에서, 검출된 방향은 검출된 압력과 함께 이용되어 핸드헬드 디바이스에 적용되는 파지 접촉을 결정할 수 있다. 예를 들어, 핸드헬드 디바이스(10)는 가속도계를 이용하여 수평 방향을 검출하고 하나 이상의 압력 센서(18)를 이용하여 (도 11에 도시된 바와 같이) 사용자가 전화기를 양쪽 끝에서 파지하고 있는 것을 나타내는 압력을 검출함으로써 수평 방향 양손 파지가 핸드헬드 디바이스(10)에 적용되고 있다는 것을 결정할 수 있다. 다른 실시예에서, 하나 이상의 압력 센서(18)에 의해 검출된 압력에 기초하여 방향이 결정된다.
예시적인 파지 접촉
도 6 내지 도 14는 본 개시내용의 실시예에 따른 핸드헬드 디바이스와의 파지 접촉(본원에서 파지로도 지칭됨)의 예시를 도시한다. 더욱 상세하게는, 도 6은 예시적인 수직 방향 왼손 파지를 도시한다. 도 7은 예시적인 수직 방향 오른손 파지를 도시한다. 도 8은 예시적인 수직 방향 양손 파지를 도시한다. 도 9는 예시적인 수평 방향 왼손 파지를 도시한다. 도 10은 예시적인 수평 방향 오른손 파지를 도시한다. 도 11은 예시적인 수평 방향 양손 파지를 도시한다. 도 12는 예시적인 오른손 카메라 파지를 도시한다. 도 13은 예시적인 왼손 카메라 파지를 도시한다. 도 14는 예시적인 양손 카메라 파지를 도시한다. 그러나, 도 6 내지 도 14에 도시된 예시적인 파지 접촉은 예들이고, 본 개시내용에 의해 고려되는 파지 접촉은 이들 예시적인 실시예에 한정되지 않는다. 핸드헬드 디바이스를 잡기 위하여 사용자가 이용할 수 있는 파지 접촉의 모든 변형은 본 개시내용에 의해 고려된다.
예시적인 핸드헬드 디바이스의 동작
도 5는 일 실시예에 따른 핸드헬드 디바이스의 동작을 설명하는 흐름도를 도시한다. 더욱 상세하게는, 도 5는 핸드헬드 디바이스의 사용자 파지에 기초하여 GUI 구성을 제공하도록 핸드헬드 디바이스에 의해 수행되는 단계를 도시한다. 그 단계 각각이 어떻게 수행될 수 있는지를 이해하는 것을 돕기 위하여, 도 1에 도시된 핸드헬드 디바이스의 예시적인 블록도의 문맥에서 다음 설명이 제공된다. 그러나, 본 개시내용에 따른 실시예는 다른 실시예에서 구현될 수 있다.
단계 51에서 시작하여, 핸드헬드 디바이스(10)는 제1 구성에 따른 GUI를 표시한다. 제1 GUI 구성은 핸드헬드 디바이스(10)에 의해 인식가능한 임의의 파지 접촉 또는 어떤 파지 접촉도 없는 것과 연관된 임의의 GUI 구성일 수 있다. 예를 들어, 핸드헬드 디바이스(10)는 핸드헬드 디바이스(10)의 수평 방향 오른손 파지와 연관된 GUI 구성을 핸드헬드 디바이스(10)가 도 5의 단계 52 내지 단계 56의 이전 반복에서 그와 같이 파지 접촉되었다는 것의 검출에 기초하여 표시하는 것일 수 있다. 다른 예에서, 핸드헬드 디바이스(10)는 파지 접촉이 없거나 알려지지 않은 파지 접촉과 연관된 디폴트 GUI 구성을 표시하는 것일 수 있다.
단계 52에서, 핸드헬드 디바이스의 프로세서(14)는 센서(18)에 의해 얻은 판독값(reading)을 나타내는 센서 신호를 수신한다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스(10)는 압력 센서(18)를 포함하고, 프로세서(14)에 의해 수신된 센서 신호는 센서(18)가 임계 크기를 초과하는 센서(18)에 가해진 압력을 검출하는지 여부를 나타낸다. 다른 실시예에서, 프로세서(14)에 의해 수신된 센서 신호는 센서(18)에 가해진 압력의 크기 값을 나타낸다. 이와 같은 실시예에서, 센서 신호는 센서에 압력이 가해지지 않고 있는 것을 센서가 검출하는 제로(0)의 크기 값을 나타낼 수 있다. 다른 실시예에서, 센서(18)는 압력이 검출되는 않는 경우 센서 신호를 제공하지 않는다. 또 다른 실시예에서, 핸드헬드 디바이스(10)는 용량 센서(18)를 포함하고, 프로세서(14)에 의해 수신된 센서 신호는 센서(18)에 가해지는 접촉의 면적 및/또는 치수를 나타낸다. 본 실시예에서, 핸드헬드 디바이스(10)는 또한 센서(18)에 가해지는 접촉의 면적 및/또는 치수에 기초하여 가해진 압력을 결정할 수 있다.
상술한 바와 같이, 핸드헬드 디바이스(10)는 복수의 센서(18)를 포함할 수 있다. 그러한 일 실시예에서, 프로세서(14)는 복수의 센서(18) 중 2개 이상에 의해 검출된 압력 또는 접촉 면적 및/또는 치수를 나타내는 신호를 수신한다. 다른 실시예에서, 복수의 센서(18) 각각에 의해 검출된 압력 또는 접촉 면적 및/또는 치수를 나타내는 센서 신호는 핸드헬드 디바이스(10)의 프로세서(14)에 의해 수신된다.
일 실시예에서, 프로세서(14)는 하나 이상의 센서(18)의 출력을 주기적으로 확인하여 센서 신호를 수신한다. 다른 실시예에서, 프로세서(14)는 센서(18)의 하나 이상의 센서 판독값의 변화를 나타내는 하드웨어 인터럽트 수신 시에 하나 이상의 센서(18)의 출력을 확인한다. 다른 실시예에서, 프로세서(14)는 센서(18)의 하나 이상의 센서 판독값의 변화를 나타내는 소프트웨어 인터럽트 수신 시에 하나 이상의 센서(18)의 출력을 확인한다.
단계 53에서, 핸드헬드 디바이스(10)는 하나 이상의 센서 신호를 처리하여, 특정 파지 접촉이 핸드헬드 디바이스(10)에 적용되거나 어떤 파지 접촉도 현재 적용되고 있지 않다는 것을 결정한다. 일 실시예에서, 프로세서(14)는 핸드헬드 디바이스(10)의 하나 이상의 센서(18) 각각에 대응하는 센서 신호를 수신한다. 본 실시예에서, 프로세서(14)에 의해 수신된 센서 신호 각각은 대응하는 센서(18)가 요구 임계값보다 큰 압력의 존재(예를 들어, 이진값 1) 또는 부재(예를 들어, 이진값 0), 또는 접촉을 검출한 것을 나타낸다. 클라이언트 디바이스(10)의 메모리(16)는 파지 접촉을 나타내는 센서(18)의 이진값의 가능한 순열에 대응하는 지도 세트를 포함할 수 있다. 예를 들어, 클라이언트 디바이스(10)가 4개의 센서(18)를 포함하면, 클라이언트 디바이스(10)의 메모리(16)는 다음 지도 세트를 포함할 수 있고, 0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 및 1111, 여기서 비트 각각은 특정 센서를 나타내고, 지도 각각은 특정 파지 접촉과 연관된다. 몇몇 실시예에서, 하나 보다 많은 지도는 특정 파지 접촉에 대응할 수 있다. 센서(18) 각각에 대응하는 센서 신호의 수신 시에, 프로세서(14)는 센서 신호 각각에 대응하는 이진값을 결정하고, 그 이진값을 지도 세트와 비교하여, 적절한 지도 및 대응하는 파지 접촉을 결정할 수 있다.
다른 실시예에서, 프로세서(14)는 클라이언트 디바이스(10)의 센서(18) 각각에 대응하는 센서 신호를 수신한다. 프로세서(14)에 의해 수신된 센서 신호 각각은 대응하는 센서(18)에서 검출된 압력의 측정값을 나타낸다. 다른 실시예에서, 프로세서(14)에 의해 수신된 센서 신호 각각은 대응하는 센서(18)에서 검출된 접촉 면적 및/또는 치수의 측정값을 나타내고, 프로세서(14)는 대응하는 압력 측정값을 계산한다. 가능한 압력 측정값의 범위는 대응하는 값을 갖는 하위 분류 단위 각각으로 세분될 수 있다. 클라이언트 디바이스(10)의 메모리(16)는 파지 접촉을 나타내는 센서(18) 각각에 대응하는 세분된 압력 측정값의 가능한 순열에 대응하는 지도 세트를 포함할 수 있다. 예를 들어, 클라이언트 디바이스(10)가 2개의 센서(18)를 포함하고, 센서마다의 압력 크기 범위가 4개의 하위 분류 단위로 세분되는 경우, 클라이언트 디바이스의 메모리(16)는 다음의 지도 세트를 포함할 수 있다: 0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 및 1111, 여기서, 처음 2개의 비트는 제1 센서(18)를 나타내고, 두번째 2개의 비트는 제2 센서(18)를 나타내며, 지도 각각은 특정 파지 접촉과 연관된다. 몇몇 실시예에서, 하나 보다 많은 지도는 특정 파지 접촉에 대응할 수 있다. 센서(18) 각각에 대응하는 센서 신호의 수신 시에, 프로세서(14)는 센서 신호 각각에 대응하는 하위 분류 단위 값을 결정하고, 그 값을 지도 세트와 비교하여, 적절한 지도 및 대응하는 파지 접촉을 결정할 수 있다.
다른 실시예에서, 프로세서(14)는 핸드헬드 디바이스(10)의 센서(18)의 서브세트에 대응하는 센서 신호를 수신한다. 예를 들어, 프로세서(14)는 압력 또는 접촉 면적 및/또는 치수의 존재를 검출하고 있는 핸드헬드 디바이스(10)의 하나 이상의 센서(18) 각각으로부터 센서 신호를 수신하지만, 어떤 압력이나 접촉도 가해지지 않거나 요구되는 임계값 미만의 압력이 가해지는 센서(18)로부터는 센서 신호를 수신하지 않는다. 일 실시예에서, 핸드헬드 디바이스(10)는 프로세서(14)가 센서 신호를 수신하지 않는 센서(18)에 대하여 디폴트 값(예를 들어, 압력이나 접촉이 없는 경우 이진값 0)을 취하고, 상술한 바와 같은 적절한 지도를 결정하여 파지 접촉을 결정한다.
다른 실시예에서는, 10진법, 16진법, 또는 임의의 다른 타입의 숫자들을 이용하는 지도를 이용할 수 있다. 또 다른 실시예에서는, 지도를 전혀 이용하지 않을 수 있다. 예를 들어, 일 실시예에서, 프로세서(14)는 핸드헬드 디바이스(10)의 센서(18)의 압력이나 접촉 면적 및/또는 치수의 측정값을 나타내는 센서 신호를 수신하고, 특정 센서(18)에 대한 측정값을 다른 센서(18)에 대한 측정값과 관련하여 평가함으로써 파지 접촉을 결정하는 알고리즘을 통하여 그 측정값을 처리한다. 예를 들어, 핸드헬드 디바이스(10)가 핸드헬드 디바이스(10)의 양쪽에 센서(18)를 포함하고, 왼쪽 센서(18)에 가해지는 압력 및 왼쪽 센서(18)에 가해지는 압력보다 높은 크기인 오른쪽 센서(18)에 가해지는 압력을 검출하면, 핸드헬드 디바이스는 사용자가 그 왼손에 핸드헬드 디바이스를 잡고 있다는 것을 결정한다. 다른 실시예에서, 본 발명의 알고리즘은 실제 측정값과 상대 측정값 모두를 이용하여 파지 접촉을 결정할 수 있다. 또 다른 실시예에서는, 시간에 따른 압력 측정값을 이용하여 파지 접촉을 결정한다. 또 다른 실시예에서는, 시간에 따른 압력 측정값을 이용하여 핸드헬드 디바이스(10)의 사용자의 감정/기분을 결정한다.
파지 접촉을 검출하는 것에 더하여, 핸드헬드 디바이스(10)는 파지 접촉이 없음을 검출할 수 있다. 일 실시예에서, 핸드헬드 디바이스(10)는 모든 센서(18)가 압력이 가해지지 않음을 감지한 것에 기초하여 파지 접촉이 없음을 결정한다. 다른 실시예에서, 핸드헬드 디바이스(10)는 핸드헬드 디바이스(10)가 테이블이나 유사한 표면에 놓여 있는 것을 결정함으로써(예를 들어, 핸드헬드 디바이스(10)의 뒷면에 위치한 센서(18)만이 압력이 검출함으로써) 파지 접촉이 없음을 결정한다.
일 실시예에서, 단계 52 및 단계 53에서 핸드헬드 디바이스(10)에 적용되는 파지 접촉 또는 파지 접촉의 없음을 결정하기 위하여 핸드헬드 디바이스(10)에 의해 수행되는 동작은, 메모리(16)에 저장되며 프로세서(14)에 의해 실행가능한 소프트웨어 프로그램 코드를 포함하는 운영 체제 소프트웨어 모듈 또는 이와 유사한 소프트웨어 패키지에 따라 수행된다. 단계 53에서 파지 접촉을 결정한 다음에, 운영 체제 소프트웨어 모듈은 핸드헬드 디바이스(10)의 운영 체제의 애플리케이션 계층에 파지 접촉 정보를 제공하여, 단계54에서, 애플리케이션 계층이 파지 접촉에 기초하여 GUI 구성을 결정하도록 할 수 있다. 다른 실시예에서, 파지 접촉 정보는 핸드헬드 디바이스(10) 상에서 실행되는 하나 이상의 애플리케이션에 제공되어, 하나 이상의 애플리케이션이 파지 접촉 또는 파지 접촉의 없음에 기초하여 GUI 구성을 결정하도록 할 수 있다. 파지 접촉 정보는 애플리케이션 프로그램 인터페이스, 글로벌 데이터 구조, 운영 체제 계층 간의 메시징을 이용하거나 당해 기술분야의 당업자가 알고 있는 임의의 기타 수단을 통하여 애플리케이션 게층 및/또는 하나 이상의 애플리케이션에 제공될 수 있다.
단계 54에서, 핸드헬드 디바이스(10)는 핸드헬드 디바이스(10)에 현재 적용되는 파지 접촉 또는 파지 접촉의 없음의 결정에 기초하여 GUI 구성을 결정한다. 일 실시예에서, 메모리(16)는 단계 52에서 검출된 파지 접촉에 따라 검색될 수 있는 GUI 구성의 데이터베이스를 포함한다. 다른 실시예에서, 메모리(16)는 파지 접촉이 검출될 때 표시되는 특정 화면과 특정 파지 접촉에 기초하여 검색될 수 있는 GUI 구성의 데이터베이스를 포함한다. 예를 들어, 핸드헬드 디바이스(10)는 수직 방향 왼손 파지가 핸드헬드 디바이스(10)에 적용되는 경우 홈 화면(home screen)을 표시하는 것일 수 있다. 핸드헬드 디바이스(10)는 수직 방향 왼손 파지의 적용 및 홈 화면의 활성 상태에 기초하여 데이터베이스로부터 GUI 구성을 검색한다. 다른 실시예에서, 핸드헬드 디바이스(10)의 메모리(16)는 핸드헬드 디바이스(10) 상에서 실행될 수 있는 애플리케이션을 위한 프로그램 코드를 포함하고, 애플리케이션 프로그램 코드는 GUI 구성 및 표시되고 있는 애플리케이션 화면에 기초하여 GUI 구성에 파지 접촉을 매핑하는 것을 포함한다. 예를 들어, 텍스팅 애플리케이션의 문자 메시지 작성 화면은 핸드헬드 디바이스(10)가 수평 방향 양손 파지의 적용을 검출할 때에 핸드헬드 디바이스(10) 상에 표시되는 것일 수 있다. 검출된 파지 접촉과 텍스트 메시지 작성 화면의 활성 상태에 기초하여, 텍스팅 애플리케이션은 GUI 구성에 대한 파지 접촉의 맵핑에 기초하여 GUI 구성을 결정하면서 텍스트 메시지 작성 화면을 표시한다. 다른 실시예에서, 핸드헬드 디바이스(10)는 애플리케이션 또는 특정 기능이 핸드헬드 디바이스(10)에 적용되는 파지 접촉의 검출에 기초하여 시작되는 것을 결정한다. 예를 들어, 핸드헬드 디바이스(10)는 특정 파지 접촉(예를 들어, 도 12 내지 도 14의 예시적인 카메라 파지 중 하나)에 기초하여 카메라 애플리케이션을 시작하도록 구성될 수 있다. 그 다음에, 카메라 애플리케이션은 핸드헬드 디바이스(10)에 현재 적용된 파지 접촉에 기초하여 특정 GUI 구성을 결정할 수 있다.
일 실시예에서, 핸드헬드 디바이스(10)는 핸드헬드 디바이스(10)에 적용되는 결정된 파지 접촉 및 핸드헬드 디바이스(10)의 검출된 움직임이나 가속도에 기초하여 GUI 구성을 결정한다. 예를 들어, 핸드헬드 디바이스(10)는 사용자가 움직이는 차량에 있는 동안 핸드헬드 디바이스(10)에 수직 방향 왼손 파지를 적용하고 있는 것으로 결정하고, 검출된 움직임과 파지 접촉에 기초하여 특정 GUI 구성을 결정할 수 있다. 일 실시예에서, 텍스트 메시징 애플리케이션 작성 화면은 수직 방향 왼손 파지의 검출 및 움직임의 미검출의 경우 특정 키보드 구성을 표시하지만, 핸드헬드 디바이스(10)가 수직 방향 왼손 파지가 핸드헬드 디바이스(10)에 적용되고 있는 것을 결정하고, 또한 핸드헬드 디바이스(10)가 움직이는 차량 안에 있는 것을 결정한 경우 키보드를 표시하지 않는다.
단계 55에서, 핸드헬드 디바이스(10)의 디스플레이(12)는 검출된 파지 접촉에 기초하여 단계 54에서 결정된 GUI 구성을 제시한다. 결정된 GUI 구성이 이미 표시되고 있으면, 핸드헬드 디바이스(10)는 단순히 현재 GUI 구성을 계속 표시한다. 검출된 파지 접촉에 기초하여 단계 54에서 결정된 GUI 구성이 현재 표시되고 있는 GUI 구성과 상이하면, 핸드헬드 디바이스(10)는 단계 54에서 결정된 GUI 구성에 따라 디스플레이를 업데이트한다. 다른 실시예에서, 핸드헬드 디바이스(10)는 검출된 파지 접촉에 기초하여 애플리케이션이나 특정 기능 및 단계 54에서 결정된 대응하는 GUI 구성을 시작하고, 결정된 GUI 구성에 기초하여 디스플레이(12)를 업데이트한다. 핸드헬드 디바이스(10)가 임의의 사용자 입력을 수신하기 전에 센서 신호를 수신하는 경우, 본 발명의 방법은 단계 52로 복귀한다. 핸드헬드 디바이스가 사용자 입력을 수신하면, 본 발명의 방법은 단계 56으로 진행한다.
본 개시내용에 있어서, 사용자 입력은, 예를 들어, (이하 본원에서 "제스처"로 일괄하여 지칭되는) 하나 이상의 접촉 지점의 특징을 누르거나, 끌거나 변경하는 것에 의한 터치스크린 또는 터치패드와의 정적 또는 동적 접촉을 통해 탭, 누르기, 길게 누르기, 살짝 밀기, 또는 임의의 다른 입력을 제공하도록 하나 이상의 손가락, 스타일러스 또는 이와 유사한 입력 메커니즘을 이용함으로써 화면 상에 표시되는 컨트롤 또는 개체의 조작 또는 물리적 컨트롤(예를 들어, 물리적 버튼, 스위치, 스크롤 휠, 또는 당해 기술분야의 당업자에게 알려진 임의의 다른 물리적 컨트롤)의 임의의 조작일 수 있다. 상술한 바와 같이, 몇몇 실시예에서, 사용자 입력은 파지 접촉 및 특정 파지 접촉에 의해 제공되는 압력 변화를 더 포함할 수 있다. 일 실시예에서, 사용자 입력은 오디오를 포함할 수 있다. 다른 실시예에서, 사용자 입력은 흔들기, 회전, 및/또는 사용자에 의해 수행되는 핸드헬드 디바이스(10)의 임의의 다른 물리적 이동을 비롯한 핸드헬드 디바이스(10)를 물리적으로 이동하는 것을 포함한다.
단계 56에서, 사용자는 핸드헬드 디바이스(10)의 표시된 GUI 구성과 상호작용한다. 예를 들어, 사용자는 수직 방향 오른손 파지를 이용한 상태로 자신의 핸드헬드 디바이스(10) 상에 그래픽 지도 애플리케이션을 이용하는 것일 수 있다. 매핑 애플리케이션은 지도를 수직 방향으로 표시하고, 디스플레이(12)의 오른쪽에 쉽게 액세스할 수 있는 사용자의 오른손 엄지손가락에 가장 가까운 핸드헬드 디바이스의 디스플레이(12)의 오른쪽에 지도를 보기 위한 줌 및 팬 컨트롤을 표시하는 GUI 구성을 이용하도록 구성될 수 있다. 표시된 GUI 구성은 핸드헬드 디바이스(10)의 사용자 파지에 기초하는 것이므로 사용자 파지에 기초하여 변하지 않거나 수직/수평 방향에 기초한 구성에 한정되는 정적 GUI보다 편리한 GUI를 제공하도록 구성될 수 있는 이점을 가진다.
단계 57에서, 핸드헬드 디바이스는 표시된 GUI 구성에 기초하여 사용자 입력을 해석한다. 예를 들어, 상술한 매핑 애플리케이션 예에서, 디스플레이(12)의 오른쪽 영역의 사용자의 탭은 수직 방향 오른손 파지에 대한 GUI 구성에 따라 줌 또는 팬 컨트롤의 조작으로서 해석될 것이다. 다른 실시예에서, 사용자 입력은 화면 전환을 일으킬 수 있다. 후속 화면은 현재 적용된 파지 접촉에 기초한 다수의 GUI 구성 중 하나일 수 있다. 예를 들어, 상술한 매핑 애플리케이션 예에서, 사용자가 버튼을 눌러 지도 검색 대화를 시작하는 경우, 표시된 GUI 구성은 수직 방향 오른손 파지에 기초하여 디스플레이(12)의 오른쪽을 따라 검색 대화 및 키패드를 포함할 수 있다.
도 5의 핸드헬드 디바이스의 동작을 도시한 흐름도에 의해 표현된 방법은 반복적 프로세스이고, 그 단계는 상이한 시퀀스로 수행될 수 있다. 예를 들어, 본 발명의 프로세스는 사용자가 핸드헬드 디바이스(10)의 자신의 파지를 적용하거나 변경하는 것의 결과로서 단계 55에서 GUI를 표시하는 것에서부터 단계 52에서 하나 이상의 센서 신호를 수신하는 것까지 진행할 수 있다. 이와 유사하게, 본 발명의 프로세스는 사용자가 핸드헬드 디바이스(10)의 자신의 파지를 적용하거나 변경하는 것의 결과로서 단계 57에서 표시된 GUI에 기초하여 사용자 입력을 해석하고, 그 다음에 단계 52에서 하나 이상의 센서 신호를 수신하는 것으로 진행할 수 있다. 또한, 상술한 바와 같이, 단계 57에서 표시된 GUI에 기초한 사용자 입력의 해석으로 인해 화면 전환이 일어날 수 있다. 따라서, 본 발명의 프로세스는 단계 57부터 단계 54까지 진행하여, 화면 전환 다음에 표시되는 화면에 대한 적절한 GUI 구성을 결정할 수 있다. 최종적으로, 본 발명의 프로세스는 단계 57에서 표시된 GUI에 기초하여 사용자 입력을 해석하고, 그 다음에 단계 56에서 추가 사용자 입력을 수신하도록 진행할 수 있다.
예시적인 GUI 구성
도 15a 내지 도 15g는 본 개시내용에 따른 여러 실시예에 따른 GUI 구성을 도시한다. 도 15a는 예를 들어, 도 11에 도시된 파지와 같이, 사용자가 핸드헬드 디바이스(1500)를 수평 방향 양손 파지로 잡고 있는 것을 핸드헬드 디바이스(1500)가 결정한 경우 문자 메시지 작성 화면을 위한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 수평 방향 양손 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는 터치스크린(1502)의 하부에 걸쳐있는(span) 키보드(1512) 및 수평 방향 문자 메시지 작성 영역(1510)을 포함하는 GUI 구성이 표시되어야 하는 것을 결정한다. 이러한 구성으로 인해, 사용자는 양쪽 엄지손가락을 이용하여 문자 메시지를 작성할 수 있게 된다. 수평 방향 양손 파지를 이용하여 문자 메시지를 작성하는 동안, 사용자는 파지를 변경할 수 있다. 예를 들어, 사용자는 핸드헬드 디바이스(1500)에서 자신의 왼손 파지를 해제하여 수평 방향 오른손 파지로 할 수 있다.
도 15b는 예를 들어 도 10에 도시된 파지와 같이, 사용자가 핸드헬드 디바이스(1500)를 수평 방향 오른손 파지로 잡고 있는 것을 핸드헬드 디바이스(1500)가 결정한 경우 문자 메시지 작성 화면을 위한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 수평 방향 오른속 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는 터치스크린(1502)의 오른쪽에 위치하는 키보드(1522) 및 수평 방향 문자 메시지 작성 영역(1520)을 포함하는 GUI 구성이 표시되어야 하는 것을 결정한다. 이러한 구성으로 인해, 사용자가 자신의 오른손 엄지손가락 - 단지 터치스크린 근방에 위치한 엄지손가락만 - 을 이용하여 문자 메시지를 작성할 수 있게 된다. 따라서, 핸드헬드 디바이스(1500)는 사용자의 파지에 기초하여 유저빌리티를 최적화도록 문자 메시지 작성 화면 GUI를 구성할 수 있게 된다. 수평 방향 오른손 파지를 이용하여 문자 메시지를 작성하는 동안, 사용자는 다시 파지를 변경할 수 있다. 예를 들어, 사용자는 핸드헬드 디바이스(1500)를 수직 위치로 회전시키고 자신의 오른손으로 잡아서 수직 방향 오른손 파지로 할 수 있다.
도 15c는 사용자가 핸드헬드 디바이스(1500)를 수직 방향 오른손 파지(예를 들어, 도 7 참조), 수직 방향 왼손 파지(예를 들어, 도 6 참조), 수직 방향 양손 파지(예를 들어, 도 8 참조)로 유지하고 있는 것을 핸드헬드 디바이스(1500)가 결정한 경우 문자 메시지 작성을 위한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 수직 방향 오른손 파지, 수직 방향 왼손 파지, 또는 수직 방향 양손 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는 터치스크린(1502)의 하부에 걸쳐있는 키보드(1532) 및 수직 방향 문자 메시지 작성 영역(1530)을 포함하는 GUI 구성이 표시되어야 하는 것을 결정한다. 본 실시예에서, 사용자의 엄지손가락은 수직 방향 오른손 파지 또는 왼손 파지를 이용하면서 디스플레이의 전체 폭에 쉽게 미칠 수 있다. 따라서, 단일의 GUI 구성은 수직 방향 오른손 파지, 수직 방향 왼손 파지, 또는 수직 방향 양손 파지에 대하여 이용될 수 있다. 다른 실시예에서, 문자 메시지 작성을 위한 상이한 GUI 구성은 수직 방향 파지 각각에 대하여 이용될 수 있다. 예를 들어, 핸드헬드 디바이스(1500)를 수직 위치에 잡은 상태로 핸드헬드 디바이스(1500)의 터치스크린(1502)이 보통의 사용자의 엄지손가락이 터치스크린(1502)의 전체 폭에 미칠 수 없게 되는 폭을 갖는 경우, 도 15b의 예시적인 실시예와 유사하게, 화면의 적절한 쪽에 키패드를 위치시키는 GUI 구성이 이용될 수 있다.
단계 54와 관련하여 상술한 바와 같이, 일 실시예에서, 핸드헬드 디바이스(1500)는 하나 이상의 특정 파지 접촉의 검출 시에 현재 표시되지 않는 상이한 애플리케이션 또는 기능을 시작하거나 그 애플리케이션 또는 기능으로 전환하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 사용자가 이벤트가 펼쳐지는 것을 보고, 그 이벤트의 비디오를 캡처하기를 원하는 것을 결정하고, 그 다음에 전화기를 오른손 카메라 파지(예를 들어, 도 12 참조), 왼손 카메라 파지(예를 들어, 도 13 참조), 또는 양손 카메라 파지(예를 들어, 도 14 참조)로 파지하여 카메라 애플리케이션을 시작하거나 카메라 기능으로 전환하는 경우, 사용자는 문자 메시지를 작성하는 중일 수 있다.
도 15d는 핸드헬드 디바이스(1500)가 사용자가 핸드헬드 디바이스(1500)를 오른손 카메라 파지(예를 들어, 도 12 참조)로 잡고 있는 것을 결정한 경우, 카메라 화면에 대한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 오른손 카메라 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는, GUI 구성이, 터치스크린(1502)의 왼쪽 에지부터 카메라 기능을 조작하기 위한 사용자 인터페이스 컨트롤을 표시하기 위한, 터치스크린(1502)의 오른쪽에 위치한 카메라 컨트롤 영역(1542)까지 걸쳐있는 수평 방향 뷰파인더 영역(1540)을 포함한다고 결정한다. 도 15d에 도시된 실시예에서, 사용자 인터페이스 컨트롤은 사진 모드 버튼(1544), 비디오 모드 버튼(1546), 및 셔터/녹화 버튼(1548)을 포함한다. 추가적인 또는 다른 컨트롤(예를 들어, 줌 컨트롤, 타이머 컨트롤, 조명 모드 컨트롤 등)은 다른 실시예에서 표시될 수 있다.
이와 유사하게, 도 15e는 핸드헬드 디바이스(1500)가 사용자가 핸드헬드 디바이스(1500)를 왼손 카메라 파지(예를 들어, 도 13 참조)로 유지하고 있는 것을 결정한 경우 카메라 화면에 대한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 왼손 카메라 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는, GUI 구성이, 터치스크린(1502)의 오른쪽 에지부터 카메라 기능을 조작하기 위한 사용자 인터페이스 컨트롤을 표시하기 위한, 터치스크린(1502)의 왼쪽에 위치한 카메라 컨트롤 영역(1552)까지 걸쳐있는 수평 방향 뷰파인더 영역(1550)을 포함한다고 결정한다. 도 15e에 도시된 실시예에서, 사용자 인터페이스 컨트롤은 사진 모드 버튼(1554), 비디오 모드 버튼(1556), 및 셔터/녹화 버튼(1558)을 포함한다. 추가적인 또는 다른 컨트롤(예를 들어, 줌 컨트롤, 타이머 컨트롤, 조명 모드 컨트롤 등)이 다른 실시예에서 표시될 수 있다.
각각 오른손 카메라 파지와 왼손 카메라 파지에 대한 도 15d 및 도 15e의 구성으로 인해, 사용자는 터치스크린(1502) 근방에 위치한 엄지손가락을 이용하여 카메라를 제어할 수 있게 된다. 따라서, 핸드헬드 디바이스(1500)는 사용자의 파지에 기초하여 유저빌리티를 최적화도록 카메라 화면 GUI를 구성할 수 있게 된다. 다른 실시예에서, 사용자는 양손 카메라 파지(예를 들어, 도 14 참조)를 핸드헬드 디바이스(1500)에 적용할 수 있다. 양손 카메라 파지의 경우에, 사용자의 양쪽 엄지손가락은 터치스크린(1502) 근방에 위치하게 된다. 일 실시예에서, 양손 카메라 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 왼손 카메라 파지에 이용되는 것과 동일한 카메라 화면 GUI 구성을 디폴트값으로 한다. 다른 실시예에서, 양손 카메라 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 오른손 카메라 파지에 이용되는 것과 동일한 카메라 파지 GUI 구성을 디폴트값으로 한다. 또 다른 실시예에서, 양손 카메라 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 터치스크린(1502)의 양쪽에서 동일한 사용자 인터페이스 컨트롤(예를 들어, 사진 모드 버튼(1554), 비디오 모드 버튼(1556), 및 셔터/녹화 버튼(1558))을 표시할 것이다. 또 다른 실시예에서, 양손 카메라 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 양손 카메라 파지에 대한 최적의 유저빌리티를 위해 설계된 카메라 화면 GUI 구성을 표시한다.
상술한 3개의 카메라 파지 중 임의의 하나를 적용함으로써, 핸드헬드 디바이스(1500)의 카메라 기능으로 전환한 다음에, 사용자는 핸드헬드 디바이스(1500)를 수직 방향으로 회전하여 사진 또는 비디오를 세로 방향 포맷으로 캡처하는 것을 결정할 수 있다. 예를 들어, 사용자는 핸드헬드 디바이스(1500)를 수직 위치로 회전하여 자신의 오른손에 잡아서 수직 방향 오른손 파지로 할 수 있다. 다른 방법으로, 사용자는 핸드헬드 디바이스를 자신의 왼손에 잡아서 수직 방향 왼손 파지로 할 수 있다.
도 15f는 핸드헬드 디바이스(1500)가 사용자가 핸드헬드 디바이스(1500)를 카메라 기능을 활성화하여 수직 방향 오른손 파지로 유지하고 있는 것을 결정한 경우 카메라 화면에 대한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 수직 방향 오른손 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는, GUI 구성이, 터치스크린(1502)의 상부 에지로부터 카메라 기능을 조작하기 위한 사용자 인터페이스 컨트롤을 표시하기 위한, 터치스크린(1502)의 하부에 위치한 카메라 컨트롤 영역(1562)까지 걸쳐있는 수직 방향 뷰파인더 영역(1560)을 포함한다고 결정한다. 도 15f에 도시된 실시예에서, 사용자 인터페이스 컨트롤은 사진 모드 버튼(1564), 비디오 모드 버튼(1566), 및 셔터/녹화 버튼(1568)을 포함한다. 셔터/녹화 버튼(1568)은 카메라 컨트롤 영역(1562)의 오른쪽을 향해 위치하여 사용자의 오른손 엄지손가락에 의한 편리한 조작을 허용한다. 추가적인 또는 다른 컨트롤(예를 들어, 줌 컨트롤, 타이머 컨트롤, 조명 모드 컨트롤 등)은 다른 실시예에서 표시될 수 있다.
도 15g는 핸드헬드 디바이스(1500)가 사용자가 핸드헬드 디바이스(1500)를 카메라 기능을 활성화하여 수직 방향 왼손 파지로 잡고 있는 것을 결정하는 경우, 카메라 화면에 대한 GUI 구성을 표시하는 핸드헬드 디바이스(1500)를 도시한다. 수직 방향 왼손 파지의 검출에 기초하여, 핸드헬드 디바이스(1500)는, GUI 구성이, 터치스크린(1502)의 상부 에지로부터 카메라 기능을 조작하기 위한 사용자 인터페이스 컨트롤을 표시하기 위한, 터치스크린(1502)의 하부에 위치한 카메라 컨트롤 영역(1572)까지 걸쳐있는 수직 방향 뷰파인더 영역(1570)을 포함한다고 결정한다. 도 15f에 도시된 실시예에서, 사용자 인터페이스 컨트롤은 사진 모드 버튼(1574), 비디오 모드 버튼(1576), 및 셔터/녹화 버튼(1578)을 포함한다. 셔터/녹화 버튼(1578)은 카메라 컨트롤 영역(1572)의 왼쪽을 향해 위치하여 사용자의 오른손 엄지손가락에 의한 편리한 조작을 허용한다. 추가적인 또는 다른 컨트롤(예를 들어, 줌 컨트롤, 타이머 컨트롤, 조명 모드 컨트롤 등)은 다른 실시예에서 표시될 수 있다.
또 다른 실시예에서, 사용자는 카메라 기능이 활성화된 핸드헬드 디바이스(1500)에 수직 방향 양손 파지를 적용할 수 있다. 수직 방향 양손 파지의 경우, 사용자의 양쪽 엄지손가락은 터치스크린(1502) 근방에 위치한다. 일 실시예에서, 카메라 기능이 활성화된 상태로 수직 방향 양손 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 카메라 기능이 활성화된 상태로 수직 방향 왼손 파지에 이용되는 것과 동일한 카메라 화면 GUI 구성을 디폴트값으로 한다. 다른 실시예에서, 수직 방향 양손 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 카메라 기능이 활성화된 상태로 수직 방향 오른손 파지에 이용되는 것과 동일한 카메라 화면 GUI 구성을 디폴트값으로 한다. 또 다른 실시예에서, 수직 방향 양손 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 터치스크린(1502)의 양쪽에서 동일한 사용자 인터페이스 컨트롤을 표시할 것이다. 추가적인 실시예에서, 수직 방향 양손 파지가 적용되는 경우, 핸드헬드 디바이스(1500)는 수직 방향 양손 파지에 있어서 최적의 유저빌리티를 위해 설계된 카메라 화면 GUI 구성을 표시한다.
사용자 입력으로서의 파지 접촉
핸드헬드 디바이스에 적용되는 파지 접촉에 기초하여 GUI 구성을 제공하는 것에 더하여, 본 개시내용은 또한 사용자 입력으로서 파지 접촉을 해석하는 핸드헬드 디바이스를 고려한다. 일 예시적인 실시예에서, 사용자는, 자신의 왼손과 오른손 집게손가락으로 핸드헬드 디바이스의 상부 코너를 누른 상태로 핸드헬드 디바이스에 양손 카메라 파지를 적용하고 있을 때, 왼손 또는 오른손 집게손가락을 핸드헬드 디바이스의 하우징의 상부를 따라 그 중앙을 향하여 밀어서 카메라 애플리케이션을 확대하고, 그 손가락을 원래 위치로 다시 밀어서 줌 선택을 실행 취소할 수 있다. 다른 예시적인 실시예에서, 사용자는, 자신의 왼손과 오른손 집게손가락을 핸드헬드 디바이스의 상부 코너를 누른 상태로 핸드헬드 디바이스에 양손 카메라 파지를 적용하고 있을 때, 어느 한쪽의 집게손가락에 가해지는 압력을 증가시켜 카메라 애플리케이션으로 하여금 사진을 스냅하고, 비디오 녹화를 시작하고, 볼륨을 변경하거나, 카메라 애플리케이션의 설계에 따라 임의의 다른 동작을 수행하게 할 수 있다. 다른 예시적인 실시예에 따르면, 특정 파지 접촉 및 관련 압력 정보를 이용하여 특정 사용자를 식별한다. 일 실시예에서, 이러한 기능은 핸드헬드 디바이스(10) 및/또는 핸드헬드 디바이스(10)에 포함되는 특정 기능/정보를 잠금 해제하는데 이용된다. 예를 들어, 핸드헬드 디바이스(10)는 전화 잠금 설정을 제공하여, 사용자가 특정 파지(예를 들어, 사용자의 엄지와 집게손가락 사이의 마주보는 코너에 있는 핸드헬드 디바이스(10) 앞면의 상부와 하부를 핀칭, 핸드헬드 디바이스(10)의 측면을 특정 위치에서 스퀴징, 또는 핸드헬드 디바이스(10)가 검출할 수 있는 임의의 다른 파지 접촉)를 입력하여 핸드헬드 디바이스를 잠금 해제할 수 있게 한다. 다른 실시예에서, 핸드헬드 디바이스(10)는 민감한 정보(예를 들어, 패스워드 저장 애플리케이션, 은행업무 애플리케이션, 연락처 애플리케이션, 노트패드 애플리케이션, 사업용 비밀 전략 정보를 포함한 파일, 또는 임의의 다른 애플리케이션이나 파일)를 포함하는 애플리케이션 또는 특정 파일을 잠그기 위한 또는 키패드 잠금을 위한 유사한 구성 및 기능을 허용할 수 있다.
본 개시내용은 또한 검출된 특정 파지 접촉, 핸드헬드 디바이스(10)에 가해진 압력의 크기, 또는 가해진 압력의 타이밍 중 하나 이상에 기초하여 사용자의 감정이나 기분을 검출하는 실시예를 고려한다. 핸드헬드 디바이스(10)는 감정, 기분, 또는 하나 이상의 센서에 의해 검출된 기타 생리적 데이터에 기초하여 특정 GUI 구성 및/또는 맞춤형 기능을 제공할 수 있다. 일 실시예에서, 핸드헬드 디바이스(10)에 의해 출력되는 햅틱 효과는 검출된 사용자의 감정/기분에 기초하여 변경(예를 들어, 세기의 감소/증가)될 수 있다.
다른 실시예에서, 일 핸드헬드 디바이스(10)의 사용자("사용자 A")는 핸드헬드 디바이스(10)에 파지 접촉 및 그 파지 접촉에 의해 가해지는 압력의 변화의 형태의 정보를 입력할 수 있고, 이는 또한 다른 핸드헬드 디바이스(10) 및 그 사용자("사용자 B")에 전달되어 사용자 A의 감정 단서나 기분 상태를 사용자 B에게 제공할 수 있다. 일 실시예에서, 사용자 A의 감정 및/또는 기분은 사용자 A의 핸드헬드 디바이스(10)로부터 수신된 감정 및/또는 기분 정보에 기초하여 햅틱 효과를 출력하는 사용자 B의 핸드헬드 디바이스(10)를 통해 사용자 B에게 제공된다. 다른 실시예에서, 오디오 및/또는 시각 효과가 이용될 수 있다. 일 특정 실시예에서, 사용자 A는 파지 접촉을 해석하는 가상 핸드셰이크 애플리케이션을 실행하고 있는 자신의 핸드헬드 디바이스(10)에 일정하거나 변하는 압력의 파지 접촉을 입력하고, 파지 접촉에 기초한 정보가 사용자 B의 핸드헬드 디바이스(10) 상에서 실행되는 가상 핸드셰이크 애플리케이션에 전송되도록 한다. 수신된 정보에 기초하여, 사용자 B의 핸드헬드 디바이스는 사용자 A의 파지 접촉을 표현하는 하나 이상의 햅틱 효과를 출력한다.
본 개시내용은 당해 기술분야의 당업자가 핸드헬드 디바이스를 위한 사용자 인터페이스를 설계하는 프로세스에서 유용한 것으로서 인식하게 되는 모든 변형예를 비롯한 임의 개수의 애플리케이션 또는 기능과 관련하여 사용자 입력으로서 파지 접촉을 해석하는 다양한 변형예를 고려한다.
햅틱
일 실시예에서, 핸드헬드 디바이스(10)는 햅틱 효과를 출력하는 하나 이상의 하드웨어 구성요소(예를 들어, 당해 기술분야의 당업자에게 알려진 여러 액추에이터)를 포함하고, 상술한 하나 이상의 방식으로 핸드헬드 디바이스(10)에 의해 검출된 파지 접촉에 기초하여 햅틱 효과를 출력한다. 예를 들어, 일 실시예에서, 핸드헬드 디바이스(10)의 메모리(16)는 여러 파지 접촉과 연관된 햅틱 효과의 세트 또는 라이브러리(예를 들어, 진동, 펄스, 팝, 졸트 및/또는 그 조합)를 포함하고, 단일 인스턴스로서 파지 접촉의 검출 시에 또는 검출된 파지 접촉의 지속 기간 동안 패턴 반복 시에 출력된다. 다른 실시예에서, 햅틱 효과는 파지 접촉에 의해 핸드헬드 디바이스(10)에 가해지고 핸드헬드 디바이스(10)에 의해 감지되는 압력 크기의 변화에 기초하여 강도 및/또는 빈도를 변경할 것이다. 예를 들어, 심장박동과 유사한 햅틱 효과는 수직 방향 오른손 파지의 검출 시에 출력될 수 있고, 사용자가 그 파지 접촉에 의해 가해진 압력을 증가시킴에 따라 강도 및/또는 빈도를 강화시킬 수 있고, 사용자가 그 파지 접촉에 의해 가해지는 압력을 감소시킴에 따라 강도 및/또는 빈도를 약화시킬 수 있다. 일 실시예에서, 핸드헬드 디바이스(10)에 의해 출력되는 햅틱 효과(예를 들어, 심장박동 햅틱 효과)는 단지 검출된 특정 파지 접촉에만 기초할 수 있다. 예를 들어, 핸드헬드 디바이스(10)는 아래위가 바뀐 수직 방향 오른손 파지의 검출 시에 졸트 햅틱 효과를 출력하여 핸드헬드 디바이스(10)가 아래위가 바뀐 것으로 사용자에게 통지할 수 있다.
다른 실시예에서, 핸드헬드 디바이스(10)는 검출된 파지 접촉, 현재 표시되고 있는 GUI 및/또는 핸드헬드 디바이스(10)의 사용자에 의해 수행되는 동작에 기초하여 햅틱 효과를 출력한다. 예를 들어, 사용자가 핸드헬드 디바이스(10)를 수직 방향 왼손 파지로 잡는 것은 터치스크린 상에 자신의 왼손 엄지손가락을 플링한 상태로 핸드헬드 디바이스(10)에 의해 표시되는 스크롤 목록을 활성화할 수 있고, 이와 동시에 핸드헬드 디바이스(10)에 적용되는 파지 접촉의 크기를 증가시키거나 감소시킴으로써 스크롤 속도를 조작할 수 있다. 스크롤 목록의 스크롤 동안, 핸드헬드 디바이스(10)는 파지 접촉에 의해 가해지는 압력의 크기에 기초하여 목록 스크롤 및/또는 그 목록 내의 항목과 연관된 햅틱 효과의 출력 강도를 변경한다.
상술한 햅틱에 관련된 실시예는 예시적인 것으로서, 본 개시내용의 범위를 제한하려는 것은 아니다. 본 개시내용은 당해 기술분야의 당업자라면 핸드헬드 디바이스에 대한 사용자 인터페이스를 설계하는 프로세스에서 유용한 것으로서 인식하는 모든 변형예를 비롯한 임의 개수의 애플리케이션 또는 기능과 관련하여 핸드헬드 디바이스에 적용되는 파지 접촉의 특징, 변형 및 강도에 기초하여 햅틱 효과를 결정하고 출력하는 것에 있어서 다수의 변형예를 고려한다.
일반
이상 본원의 방법 및 시스템을 여러 머신 상에서 실행되는 소프트웨어의 관점에서 설명하였지만, 본 발명의 방법 및 시스템은 또한 여러 방법을 특별히 실행하기 위한 FPGA(field-programmable gate array)와 같은 특별히 구성된 하드웨어로서 구현될 수 있다. 예를 들어, 실시예들은 디지털 전자회로에서 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서 또는 그 조합으로 구현될 수 있다. 일 실시예에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 RAM(random access memory)와 같은 컴퓨터 판독가능 매체를 포함한다. 프로세서는 이미지를 편집하기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다. 그러한 프로세서는 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGAs(field programmable gate arrays), 및 상태 머신을 포함할 수 있다. 그러한 프로세서는 PLCs, PICs(programmable interrupt controllers), PLDs(programmable logic devices), PROMs(programmable read-only memories), EPROM 또는 EEPROMs(electronically programmable read-only memories) 또는 기타 유사한 디바이스와 같은 프로그램가능 전자 디바이스를 더 포함할 수 있다.
그러한 프로세서는 프로세서에 의한 실행 시에 프로세서로 하여금 프로세서에 의해 실행되거나 지원되는 본원에 설명된 단계들을 수행하게 할 수 있는 명령어를 저장할 수 있는 매체(예를 들어, 컴퓨터 판독가능 매체)를 포함하거나, 그 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예는 웹 서버 내의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령어를 제공할 수 있는 전자, 광학, 자기, 또는 기타 저장 디바이스를 포함할 수 있지만, 이에 한정되는 것은 아니다. 매체의 기타 예로는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 기타 매체가 있지만, 이에 한정되는 것은 아니다. 설명된 프로세서와 처리는 하나 이상의 구조체 내에 있을 수 있고, 하나 이상의 구조체를 통해 분산될 수 있다. 프로세서는 본원에 설명된 하나 이상의 방법(또는 방법의 부분들)을 실행하기 위한 코드를 포함할 수 있다.
본 발명의 몇몇 실시예의 상기 설명은 단지 예시 및 설명을 위한 목적으로 제시되는 것으로서, 개시된 바로 그 형태로 본 발명을 한정하거나 전체를 망라하려는 것은 아니다. 당해 기술분야의 당업자라면 본 발명의 사상 및 범위로부터 일탈함이 없이 본 발명의 몇몇 실시예에 대한 다수의 수정 및 적응을 명확하게 알 수 있을 것이다.
본원에서 "하나의 실시예" 또는 "일 실시예"에 대한 참조는 그 실시예와 관련하여 설명된 특정 기능, 구조, 동작, 또는 기타 특징이 본 발명의 적어도 하나의 구현예에 포함될 수 있다는 것을 의미한다. 본 발명은 그와 같이 설명된 특정 실시예에 한정되지 않는다. 본 명세서의 여러 곳에서 "하나의 실시예에서" 또는 "일 실시예에서"라는 구의 기재는 반드시 동일 실시예를 지칭하는 것은 아니다. "일 실시예"와 관련하여 본 명세서에서 설명된 임의의 특정 기능, 구조, 동작 또는 기타 특징은 임의의 다른 실시예와 관련하여 설명된 기타 기능, 구조, 동작 또는 기타 특징과 조합될 수 있다.

Claims (32)

  1. 핸드헬드 디바이스의 디스플레이 상에 그래픽 사용자 인터페이스(GUI)를 제1 GUI 구성에 따라 표시하는 단계;
    상기 핸드헬드 디바이스에 연결된 센서로부터, 상기 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하는 단계;
    상기 센서 신호에 적어도 부분적으로 기초하여 파지(grasping) 접촉을 결정하는 단계;
    상기 파지 접촉에 적어도 부분적으로 기초하여 제2 GUI 구성을 결정하는 단계; 및
    상기 제2 GUI 구성에 따라 상기 디스플레이 상에 상기 GUI를 표시하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 센서 신호에 기초하여 압력을 결정하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 압력의 결정은 상기 센서 신호에 적어도 부분적으로 기초하여 상기 압력의 크기를 결정하는 것을 포함하는, 방법.
  4. 제3항에 있어서, 결정된 상기 압력의 크기에 기초하여 햅틱 효과를 출력하는 단계를 더 포함하는, 방법.
  5. 제3항에 있어서, 상기 파지 접촉의 결정은 상기 압력의 크기에 기초하는, 방법.
  6. 제2항에 있어서, 상기 핸드헬드 디바이스는 하우징을 포함하고, 상기 센서는 상기 핸드헬드 디바이스에 연결된 복수의 압력 센서를 포함하고, 상기 복수의 압력 센서 중 하나 이상의 압력 센서는 상기 하우징에 연결되는, 방법.
  7. 제1항에 있어서, 상기 센서는 복수의 센서 중 제1 센서이고, 상기 센서 신호는 상기 제1 센서로부터 수신된 제1 센서 신호이고, 상기 방법은 상기 복수의 센서 중 제2 센서로부터 제2 센서 신호를 수신하는 단계를 더 포함하고, 상기 파지 접촉을 결정하는 단계는 상기 제1 센서 신호와 상기 제2 센서 신호에 적어도 부분적으로 기초하는, 방법.
  8. 제1항에 있어서, 결정된 상기 파지 접촉은 수직 방향 왼손 파지, 수직 방향 오른손 파지, 수직 방향 양손 파지, 수평 방향 왼손 파지, 수평 방향 오른손 파지, 또는 수평 방향 양손 파지 중 하나인, 방법.
  9. 컴퓨터 판독가능 매체로서,
    핸드헬드 디바이스의 디스플레이 상에 그래픽 사용자 인터페이스(GUI)를 제1 GUI 구성에 따라 표시하고,
    상기 핸드헬드 디바이스에 연결된 센서로부터, 상기 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하고,
    상기 센서 신호에 적어도 부분적으로 기초하여 파지 접촉을 결정하고,
    상기 파지 접촉에 적어도 부분적으로 기초하여 제2 GUI 구성을 결정하고,
    상기 제2 GUI 구성에 따라 상기 디스플레이 상에 상기 GUI를 표시하도록
    프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  10. 제9항에 있어서, 상기 센서 신호에 기초하여 압력을 결정하도록 프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  11. 제10항에 있어서, 상기 압력의 결정은 상기 센서 신호에 적어도 부분적으로 기초하여 상기 압력의 크기를 결정하는 것을 포함하는, 컴퓨터 판독가능 매체.
  12. 제11항에 있어서, 상기 핸드헬드 디바이스의 액추에이터로 하여금, 결정된 상기 압력의 크기에 기초하여 햅틱 효과를 출력하도록 프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  13. 제11항에 있어서, 상기 파지 접촉의 결정은 상기 압력의 크기에 기초하는, 컴퓨터 판독가능 매체.
  14. 제10항에 있어서, 상기 핸드헬드 디바이스는 하우징을 포함하고, 상기 센서는 상기 핸드헬드 디바이스에 연결되는 복수의 압력 센서를 포함하고, 상기 복수의 압력 센서 중 하나 이상의 압력 센서는 상기 하우징에 연결되는, 컴퓨터 판독가능 매체.
  15. 제9항에 있어서,
    상기 센서는 복수의 센서 중 제1 센서이고, 상기 센서 신호는 상기 제1 센서로부터 수신된 제1 센서 신호이고,
    상기 컴퓨터 판독가능 매체는, 상기 복수의 센서 중 제2 센서로부터 제2 센서 신호를 수신하도록 프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 더 포함하고,
    상기 파지 접촉을 결정하는 것은 상기 제1 센서 신호와 상기 제2 센서 신호에 적어도 부분적으로 기초하는, 컴퓨터 판독가능 매체.
  16. 제9항에 있어서, 결정된 상기 파지 접촉은 수직 방향 왼손 파지, 수직 방향 오른손 파지, 수직 방향 양손 파지, 수평 방향 왼손 파지, 수평 방향 오른손 파지, 또는 수평 방향 양손 파지 중 하나인, 컴퓨터 판독가능 매체.
  17. 핸드헬드 디바이스로서,
    프로세서;
    디스플레이;
    상기 핸드헬드 디바이스에 연결되는 센서; 및
    상기 프로세서와 통신하는 메모리
    를 포함하고, 상기 메모리는,
    상기 디스플레이 상에 그래픽 사용자 인터페이스(GUI)를 제1 GUI 구성에 따라 표시하고,
    상기 센서로부터, 상기 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하고,
    상기 센서 신호에 적어도 부분적으로 기초하여 파지 접촉을 결정하고,
    상기 파지 접촉에 적어도 부분적으로 기초하여 제2 GUI 구성을 결정하고,
    상기 제2 GUI 구성에 따라 상기 디스플레이 상에 상기 GUI를 표시하도록
    상기 프로세서에 의해 실행가능한 컴퓨터 프로그램 코드를 포함하는, 핸드헬드 디바이스.
  18. 제17항에 있어서, 상기 메모리는, 상기 센서 신호에 기초하여 압력을 결정하도록 상기 프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 더 포함하는, 핸드헬드 디바이스.
  19. 제18항에 있어서, 상기 압력의 결정은 상기 센서 신호에 적어도 부분적으로 기초하여 상기 압력의 크기를 결정하는 것을 포함하는, 핸드헬드 디바이스.
  20. 제19항에 있어서, 상기 프로세서와 통신하는 액추에이터를 더 포함하고, 상기 메모리는 상기 액추에이터로 하여금, 결정된 상기 압력의 크기에 기초하여 햅틱 효과를 출력하게 하도록 상기 프로세서에 의해 실행가능한 컴퓨터 프로그램 코드를 더 포함하는, 핸드헬드 디바이스.
  21. 제19항에 있어서, 상기 파지 접촉의 결정은 상기 압력의 크기에 기초하는, 핸드헬드 디바이스.
  22. 제18항에 있어서, 하우징을 더 포함하고, 상기 센서는 상기 핸드헬드 디바이스에 연결된 복수의 압력 센서를 포함하고, 상기 복수의 압력 센서 중 하나 이상은 상기 하우징에 연결되는, 핸드헬드 디바이스.
  23. 제17항에 있어서,
    상기 센서는 복수의 센서 중 제1 센서이고, 상기 센서 신호는 상기 제1 센서로부터 수신된 제1 센서 신호이고,
    상기 메모리는, 상기 복수의 센서 중 제2 센서로부터 제2 센서 신호를 수신하도록 상기 프로세서에 의해 실행가능한 소프트웨어 프로그램 코드를 더 포함하고,
    상기 파지 접촉을 결정하는 것은 상기 제1 센서 신호와 제2 센서 신호에 적어도 부분적으로 기초하는, 핸드헬드 디바이스.
  24. 제17항에 있어서, 결정된 상기 파지 접촉은 수직 방향 왼손 파지, 수직 방향 오른손 파지, 수직 방향 양손 파지, 수평 방향 왼손 파지, 수평 방향 오른손 파지, 또는 수평 방향 양손 파지 중 하나인, 핸드헬드 디바이스.
  25. 핸드헬드 디바이스에 연결된 센서로부터, 상기 핸드헬드 디바이스와의 접촉을 나타내는 센서 신호를 수신하는 단계;
    상기 센서 신호에 적어도 부분적으로 기초하여 파지 접촉을 결정하는 단계; 및
    상기 파지 접촉에 기초하여 파지 접촉 정보를 제공하는 단계
    를 포함하는, 방법.
  26. 제25항에 있어서, 상기 센서 신호에 기초하여 압력을 결정하는 단계를 더 포함하는, 방법.
  27. 제26항에 있어서, 상기 압력의 결정은 상기 센서 신호에 적어도 부분적으로 기초하여 상기 압력의 크기를 결정하는 것을 포함하는, 방법.
  28. 제27항에 있어서, 상기 파지 접촉의 결정은 상기 압력의 크기에 기초하는, 방법.
  29. 제26항에 있어서, 상기 핸드헬드 디바이스는 하우징을 포함하고, 상기 센서는 상기 핸드헬드 디바이스에 연결된 복수의 압력 센서를 포함하고, 상기 복수의 압력 센서 중 하나 이상의 압력 센서는 상기 하우징에 연결되는, 방법.
  30. 제25항에 있어서,
    상기 센서는 복수의 센서 중 제1 센서이고, 상기 센서 신호는 상기 제1 센서로부터 수신된 제1 센서 신호이고,
    상기 방법은, 상기 복수의 센서 중 제2 센서로부터 제2 센서 신호를 수신하는 단계를 더 포함하고,
    상기 파지 접촉을 결정하는 단계는 상기 제1 센서 신호와 상기 제2 센서 신호에 적어도 부분적으로 기초하는, 방법.
  31. 제25항에 있어서, 결정된 상기 파지 접촉은 수직 방향 왼손 파지, 수직 방향 오른손 파지, 수직 방향 양손 파지, 수평 방향 왼손 파지, 수평 방향 오른손 파지, 또는 수평 방향 양손 파지 중 하나인, 방법.
  32. 제25항에 있어서, 파지 접촉 정보를 제공하는 단계는 상기 파지 접촉 정보를 검색하기 위한 애플리케이션 프로그래밍 인터페이스를 제공하는 단계를 포함하는, 방법.
KR1020140027625A 2013-03-13 2014-03-10 사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스 KR20140112418A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/800,264 2013-03-13
US13/800,264 US9904394B2 (en) 2013-03-13 2013-03-13 Method and devices for displaying graphical user interfaces based on user contact

Publications (1)

Publication Number Publication Date
KR20140112418A true KR20140112418A (ko) 2014-09-23

Family

ID=50287870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140027625A KR20140112418A (ko) 2013-03-13 2014-03-10 사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스

Country Status (5)

Country Link
US (2) US9904394B2 (ko)
EP (3) EP3557400A1 (ko)
JP (2) JP6479322B2 (ko)
KR (1) KR20140112418A (ko)
CN (2) CN104049734B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065727A (ko) * 2016-12-08 2018-06-18 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
CN103918247B (zh) 2011-09-23 2016-08-24 数字标记公司 基于背景环境的智能手机传感器逻辑
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9207764B2 (en) * 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
CN104601767A (zh) * 2013-10-31 2015-05-06 深圳富泰宏精密工业有限公司 手机拨号键盘管理方法及系统
KR102155091B1 (ko) * 2014-01-22 2020-09-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9836084B2 (en) * 2014-03-28 2017-12-05 Intel Corporation Inferred undocking for hybrid tablet computer
CN203930584U (zh) * 2014-04-22 2014-11-05 何衢 一种移动终端
US10304163B2 (en) * 2014-09-08 2019-05-28 Apple Inc. Landscape springboard
US10504323B2 (en) * 2014-09-26 2019-12-10 Video Gaming Technologies, Inc. Methods and systems for interacting with a player using a gaming machine
FR3030070B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
WO2016119827A1 (en) * 2015-01-28 2016-08-04 Huawei Technologies Co., Ltd. Hand or finger detection device and a method thereof
US9612680B2 (en) * 2015-01-28 2017-04-04 Qualcomm Incorporated Optimizing the use of sensors to improve pressure sensing
CN105988692A (zh) * 2015-02-02 2016-10-05 中兴通讯股份有限公司 手持电子设备和控制手持电子设备的方法及装置
CN106161913A (zh) * 2015-03-26 2016-11-23 阿里巴巴集团控股有限公司 一种移动设备的拍摄方法和装置
KR102247742B1 (ko) 2015-04-21 2021-05-04 삼성전자주식회사 애플리케이션 프로세서와 시스템 온 칩
WO2016169005A1 (zh) * 2015-04-22 2016-10-27 华为技术有限公司 一种终端天线调节方法及装置
CN104767890B (zh) * 2015-04-23 2017-11-07 广东欧珀移动通信有限公司 基于手持设备的闹钟控制方法及装置
US10372212B2 (en) * 2015-05-29 2019-08-06 Google Llc Techniques for simulated physical interaction between users via their mobile computing devices
KR20160144179A (ko) * 2015-06-08 2016-12-16 임재현 카메라를 포함하는 사용자 단말에서 사용자 인터페이스를 제공하는 방법
CN105245698A (zh) * 2015-09-23 2016-01-13 努比亚技术有限公司 一种控制铃声的方法及装置
CN106610746A (zh) * 2015-10-26 2017-05-03 青岛海信移动通信技术股份有限公司 一种移动终端及其控制方法
US9898130B2 (en) * 2016-03-31 2018-02-20 Synaptics Incorporated Grip management
US10462364B2 (en) * 2016-10-25 2019-10-29 Hewlett-Packard Development Company, L.P. Electronic devices having multiple position cameras
US10095342B2 (en) 2016-11-14 2018-10-09 Google Llc Apparatus for sensing user input
US10534435B2 (en) * 2016-11-18 2020-01-14 Immersion Corporation Handheld interface device having a plurality of electrostatic friction (ESF) electrodes
US10318144B2 (en) * 2017-02-22 2019-06-11 International Business Machines Corporation Providing force input to an application
US10001808B1 (en) 2017-03-29 2018-06-19 Google Llc Mobile device accessory equipped to communicate with mobile device
US10013081B1 (en) 2017-04-04 2018-07-03 Google Llc Electronic circuit and method to account for strain gauge variation
US10514797B2 (en) 2017-04-18 2019-12-24 Google Llc Force-sensitive user input interface for an electronic device
US10635255B2 (en) * 2017-04-18 2020-04-28 Google Llc Electronic device response to force-sensitive interface
US10537795B2 (en) 2017-04-26 2020-01-21 Facebook Technologies, Llc Hand-held controller using LED tracking ring
US11069328B2 (en) * 2017-07-20 2021-07-20 Sony Corporation Information processing apparatus, information processing method, and program
US20190026120A1 (en) 2017-07-21 2019-01-24 International Business Machines Corporation Customizing mobile device operation based on touch points
US10871851B2 (en) * 2017-08-22 2020-12-22 Blackberry Limited Electronic device and method for one-handed operation
CN107566632A (zh) * 2017-08-29 2018-01-09 广东欧珀移动通信有限公司 输入法界面显示方法、装置及终端
CN109597512A (zh) * 2017-09-30 2019-04-09 南昌欧菲生物识别技术有限公司 电子装置
CN109710115A (zh) * 2017-10-26 2019-05-03 南昌欧菲生物识别技术有限公司 电子装置
CN109710099A (zh) * 2017-10-26 2019-05-03 南昌欧菲生物识别技术有限公司 电子装置
US10912990B2 (en) * 2017-12-29 2021-02-09 Facebook Technologies, Llc Hand-held controller using sensors for hand disambiguation
US10399492B1 (en) * 2018-05-02 2019-09-03 GM Global Technology Operations LLC Automatic reconfiguration and calibration of haptic seats
KR102473627B1 (ko) * 2018-05-17 2022-12-02 삼성디스플레이 주식회사 압력 센서 및 이를 포함하는 표시 장치
KR102581974B1 (ko) * 2018-07-31 2023-09-22 삼성디스플레이 주식회사 압력 센서 및 이를 포함하는 표시 장치
KR102582316B1 (ko) 2018-08-20 2023-09-25 삼성디스플레이 주식회사 표시 장치
US10838541B2 (en) * 2018-09-03 2020-11-17 Htc Corporation Method for operating handheld device, handheld device and computer-readable recording medium thereof
US11226698B2 (en) * 2018-09-20 2022-01-18 Motorola Mobility Llc Inconspicuous sensing system across multiple surfaces
KR102644091B1 (ko) * 2018-12-20 2024-03-06 삼성디스플레이 주식회사 표시 장치
FR3091371B1 (fr) * 2018-12-27 2021-06-25 Forecomm Interface tactile d’affichage et de manipulation d’un document et procédé de mise en œuvre.
US11385784B2 (en) * 2019-01-31 2022-07-12 Citrix Systems, Inc. Systems and methods for configuring the user interface of a mobile device
CN110138933A (zh) * 2019-04-22 2019-08-16 珠海格力电器股份有限公司 基于折叠屏的拍照面板布局控制方法、系统及智能终端
US11320984B2 (en) * 2019-08-19 2022-05-03 Motorola Mobility Llc Pressure sensing device interface representation
NL2027963B1 (en) * 2021-04-14 2022-10-25 Microsoft Technology Licensing Llc Touch-sensitive input device

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3838397A (en) 1973-04-25 1974-09-24 Rockwell International Corp Fuel injection pulse width computer
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4127752A (en) 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4311980A (en) 1978-10-12 1982-01-19 Fabrica Italiana Magneti Marelli, S.P.A. Device for pressure measurement using a resistor strain gauge
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4362408A (en) 1980-12-01 1982-12-07 Ncr Corporation Means for avoiding accidental actuation of a critical function key
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
EP0085518B1 (en) 1982-01-22 1989-08-16 British Aerospace Public Limited Company Control apparatus
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
GB2142711A (en) 1983-07-04 1985-01-23 Philips Electronic Associated Manually operable x-y signal generator
JPS60159500U (ja) 1984-03-31 1985-10-23 星野楽器株式会社 電子ドラムのパツド
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
SE443057B (sv) 1984-08-09 1986-02-10 Tecator Ab Anordning och sett for registrering av en utmed en strecka gjord analog legesangivelse som en digital signal
US4791416A (en) 1985-02-05 1988-12-13 Zenith Electronics Corporation Touch control system for controllable apparatus
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
GB2180342B (en) 1985-08-14 1989-10-25 Alcom Limited Pressure sensitive device
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US4823106A (en) 1986-07-10 1989-04-18 Tapeswitch Corporation Of America Tape element and methods, for heating, pressure measurement and circuit fabrication
US4795296A (en) 1986-11-17 1989-01-03 California Institute Of Technology Hand-held robot end effector controller having movement and force control
US4821030A (en) 1986-12-19 1989-04-11 Tektronix, Inc. Touchscreen feedback system
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
GB2204131B (en) 1987-04-28 1991-04-17 Ibm Graphics input tablet
US4840634A (en) 1987-06-10 1989-06-20 Clayton Foundation For Research Calibration controller for controlling electrically operated machines
JPS643664A (en) 1987-06-26 1989-01-09 Hitachi Ltd Laser beam marking device
GB8801951D0 (en) 1988-01-29 1988-02-24 British Aerospace Control apparatus
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4885565A (en) 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
JP2926721B2 (ja) 1988-10-20 1999-07-28 スズキ株式会社 スタビライザ取付構造
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5116051A (en) 1989-01-12 1992-05-26 Atari Games Corporation Strain gauge pressure-sensitive video game control
JPH0721710B2 (ja) 1989-01-25 1995-03-08 ヤマハ株式会社 パッド付電子鍵盤楽器
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
US5390296A (en) 1989-08-30 1995-02-14 Comshare Incorporated Method and apparatus for calculation with display data
US5182557A (en) 1989-09-20 1993-01-26 Semborg Recrob, Corp. Motorized joystick
US4983786A (en) 1990-01-17 1991-01-08 The University Of British Columbia XY velocity controller
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US5241308A (en) 1990-02-22 1993-08-31 Paragon Systems, Inc. Force sensitive touch panel
GB9004690D0 (en) 1990-03-02 1990-04-25 Black & Decker Inc Flange mounting arrangement
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
JPH047371A (ja) 1990-04-25 1992-01-10 Canon Inc 画像記録用インク
US5022384A (en) 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5053585A (en) 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
JP3219761B2 (ja) 1990-11-19 2001-10-15 ソニー株式会社 リモートコマンダー
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
JPH06507734A (ja) 1991-03-21 1994-09-01 アタリ　ゲームズ　コーポレーション 交差ネットワーク型フィードバックを含む乗物シミュレータ
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US6597347B1 (en) 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
US5335557A (en) 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US5402680A (en) 1991-12-10 1995-04-04 Canon Kabushiki Kaisha Velocity sensor and semiconductor exposing apparatus using such a sensor
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
JP2812598B2 (ja) 1992-01-21 1998-10-22 株式会社日立ビルシステム 昇降路内機器揚重装置
US6344791B1 (en) 1998-07-24 2002-02-05 Brad A. Armstrong Variable sensor with tactile feedback
US5246316A (en) 1992-03-06 1993-09-21 Excellon Automation Work table orientation apparatus and method
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5402499A (en) 1992-08-07 1995-03-28 Lsi Logic Corporation Multimedia controller
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5451924A (en) 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5355148A (en) 1993-01-14 1994-10-11 Ast Research, Inc. Fingerpoint mouse
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5390128A (en) 1993-04-12 1995-02-14 Cargill Detroit Corporation Robotic processing and inspection system
US5436622A (en) 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
EP0660258B1 (en) 1993-12-20 2000-03-08 Seiko Epson Corporation Electronic pointing device
US5461711A (en) 1993-12-22 1995-10-24 Interval Research Corporation Method and system for spatial accessing of time-based information
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
US5514150A (en) 1994-03-03 1996-05-07 Lsi Logic Corporation Micromachined conveyor devices
US5521336A (en) 1994-05-23 1996-05-28 International Business Machines Corporation Simplified digital pad sensor
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
US5496174A (en) 1994-08-04 1996-03-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and device for producing a tactile display using an electrorheological fluid
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
JPH08221173A (ja) 1995-02-09 1996-08-30 Hitachi Ltd 入力装置
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US6473069B1 (en) 1995-11-13 2002-10-29 Cirque Corporation Apparatus and method for tactile feedback from input device
US6111577A (en) 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US5857986A (en) 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
FI962692A (fi) 1996-06-28 1997-12-29 Nokia Mobile Phones Ltd Kosketusherkkä näyttö ja päätelaite
US5791992A (en) 1996-07-31 1998-08-11 International Business Machines Corporation Video game system with internet cartridge
US5943044A (en) * 1996-08-05 1999-08-24 Interlink Electronics Force sensing semiconductive touchpad
US6154201A (en) 1996-11-26 2000-11-28 Immersion Corporation Control knob with multiple degrees of freedom and force feedback
JP3441607B2 (ja) 1996-12-11 2003-09-02 シャープ株式会社 入力装置
US6118435A (en) 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
JPH1124834A (ja) 1997-05-09 1999-01-29 Teruki Fujiyama 入力装置
US6097964A (en) 1997-09-04 2000-08-01 Nokia Mobile Phones Limited Navigation key for a handset
JP4567817B2 (ja) 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US5887995A (en) 1997-09-23 1999-03-30 Compaq Computer Corporation Touchpad overlay with tactile response
US5917906A (en) 1997-10-01 1999-06-29 Ericsson Inc. Touch pad with tactile feature
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6198206B1 (en) 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
US5945772A (en) 1998-05-29 1999-08-31 Motorla, Inc. Damped resonant piezoelectric alerting device
US6078126A (en) 1998-05-29 2000-06-20 Motorola, Inc. Resonant piezoelectric alerting device
US5977867A (en) 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
US6369803B2 (en) 1998-06-12 2002-04-09 Nortel Networks Limited Active edge user interface
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6292173B1 (en) 1998-09-11 2001-09-18 Stmicroelectronics S.R.L. Touchpad computer input system and method
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
DE19849460B4 (de) 1998-10-28 2009-11-05 Völckers, Oliver Numerische digitale Telefontastatur für ein Telefongerät mit einem Display und Verfahren zur schnellen Textauswahl aus einer Liste mittels der numerischen Telefontastatur
US6225976B1 (en) 1998-10-30 2001-05-01 Interlink Electronics, Inc. Remote computer input peripheral
US6218966B1 (en) 1998-11-05 2001-04-17 International Business Machines Corporation Tactile feedback keyboard
US6781569B1 (en) 1999-06-11 2004-08-24 Immersion Corporation Hand controller
JP2000299575A (ja) 1999-04-12 2000-10-24 Sony Corp 入力装置
KR20010028369A (ko) 1999-09-21 2001-04-06 심재붕 컴퓨터용 마우스
US6388655B1 (en) 1999-11-08 2002-05-14 Wing-Keung Leung Method of touch control of an input device and such a device
US6597384B1 (en) * 1999-12-22 2003-07-22 Intel Corporation Automatic reorienting of screen orientation using touch sensitive system
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2001222379A (ja) 2000-02-10 2001-08-17 Fujitsu Ltd ポインティングデバイス
JP2001265485A (ja) 2000-03-17 2001-09-28 Sharp Corp キースイッチ構造及びそれを用いた携帯用機器
JP2001290572A (ja) 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2001296950A (ja) 2000-04-14 2001-10-26 Fuji Xerox Co Ltd 触力覚呈示装置及び記録媒体
JP4420364B2 (ja) 2000-06-06 2010-02-24 Ｓｍｋ株式会社 タッチパネルの押圧感発生装置
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6751635B1 (en) 2000-08-18 2004-06-15 Network Appliance, Inc. File deletion and truncation using a zombie file space
DE10046099A1 (de) 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
WO2002031807A1 (en) 2000-10-10 2002-04-18 Motorola Inc., A Corporation Of The State Of Delaware Data entry device
US6543487B2 (en) 2001-02-08 2003-04-08 Air Logistics Corporation Method of securing a curing composite substrate wrap to a structure
JP2002259059A (ja) 2001-03-05 2002-09-13 Sony Corp 入力装置
US6844873B2 (en) 2001-03-09 2005-01-18 Peter W. Johnson Reverse cantilever assembly for input devices
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
US6801191B2 (en) 2001-04-27 2004-10-05 Matsushita Electric Industrial Co., Ltd. Input device and inputting method with input device
US7202851B2 (en) 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
US6657617B2 (en) 2001-06-25 2003-12-02 International Business Machines Corporation Method, apparatus and computer program product for three dimensional text creation
CN1582465B (zh) 2001-11-01 2013-07-24 伊梅森公司 输入设备以及包含该输入设备的移动电话
US6976562B1 (en) 2003-08-28 2005-12-20 Bte Technologies, Inc. Method of calibrating a brake system for stationary equipment and apparatus using the same
US20060066569A1 (en) 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7112737B2 (en) * 2003-12-31 2006-09-26 Immersion Corporation System and method for providing a haptic effect to a musical instrument
JP2007518096A (ja) 2004-01-15 2007-07-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ルックアップテーブルを介して達成されるイベントの位置決め
US20060038774A1 (en) * 2004-08-20 2006-02-23 Mese John C System and method for automatically establishing handedness settings of embedded input device
AU2006201734A1 (en) * 2005-04-27 2006-11-16 Aruze Corp. Gaming machine
KR100639066B1 (ko) 2005-07-22 2006-10-30 한국과학기술원 열전달이 가능한 컴퓨터용 마우스 시스템
US20070033522A1 (en) * 2005-08-02 2007-02-08 Lin Frank L System and method for dynamic resizing of web-based GUIs
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8988359B2 (en) * 2007-06-19 2015-03-24 Nokia Corporation Moving buttons
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
JP2009163278A (ja) 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器
JP2009169820A (ja) * 2008-01-18 2009-07-30 Panasonic Corp 携帯端末
US20090280860A1 (en) * 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
KR101486581B1 (ko) * 2008-07-01 2015-02-04 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
KR20100039194A (ko) 2008-10-06 2010-04-15 삼성전자주식회사 사용자 접촉 패턴에 따른 ＧＵＩ(Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ) 표시 방법 및 이를 구비하는 장치
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US8245143B2 (en) * 2008-10-08 2012-08-14 Research In Motion Limited Method and handheld electronic device having a graphical user interface which arranges icons dynamically
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
KR20100065640A (ko) 2008-12-08 2010-06-17 삼성전자주식회사 터치스크린의 햅틱 피드백 방법
JP4725818B2 (ja) * 2009-02-20 2011-07-13 ソニー株式会社 入力装置および方法、情報処理システム、並びにプログラム
JP2010286986A (ja) * 2009-06-10 2010-12-24 Funai Electric Co Ltd 携帯端末装置
US9323398B2 (en) 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
US8599152B1 (en) * 2010-06-25 2013-12-03 Sprint Communications Company L.P. Intelligent touch screen keyboard
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
KR101187980B1 (ko) * 2010-08-13 2012-10-05 삼성전기주식회사 햅틱 피드백 디바이스 및 이를 포함하는 전자 장치
US8977318B2 (en) * 2011-02-10 2015-03-10 Samsung Electronics Co., Ltd. Mobile terminal and method for controlling the same in consideration of communication environment
JP2012181625A (ja) * 2011-02-28 2012-09-20 Toshiba Corp 電子機器
EP2686941A4 (en) 2011-03-17 2014-12-03 Coactive Drive Corp ASYMMETRIC AND GENERAL VIBRATION WAVE SHAPES FROM MULTIPLE SYNCHRONIZED VIBRATION ACTUATORS
US20130002565A1 (en) 2011-06-28 2013-01-03 Microsoft Corporation Detecting portable device orientation and user posture via touch sensors
JP5588931B2 (ja) * 2011-06-29 2014-09-10 株式会社Ｎｔｔドコモ 移動情報端末、配置領域取得方法、プログラム
US20120223880A1 (en) * 2012-02-15 2012-09-06 Immersion Corporation Method and apparatus for producing a dynamic haptic effect
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US8928593B2 (en) * 2012-03-11 2015-01-06 Beijing Hefengxin Keji Co. Ltd. Selecting and updating location of virtual keyboard in a GUI layout in response to orientation change of a portable device
KR20140044237A (ko) 2012-10-04 2014-04-14 삼성전자주식회사 플렉서블 장치 및 그의 제어 방법
CN102937873B (zh) 2012-10-12 2015-09-16 天津三星通信技术研究有限公司 在便携式终端中进行键盘输入的方法和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065727A (ko) * 2016-12-08 2018-06-18 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
CN110275605A (zh) 2019-09-24
JP2019109909A (ja) 2019-07-04
CN104049734A (zh) 2014-09-17
EP3557400A1 (en) 2019-10-23
US20180136774A1 (en) 2018-05-17
JP2014179085A (ja) 2014-09-25
US20140282051A1 (en) 2014-09-18
JP6479322B2 (ja) 2019-03-06
EP3168713B1 (en) 2019-05-08
US9904394B2 (en) 2018-02-27
CN104049734B (zh) 2019-05-03
EP3168713A1 (en) 2017-05-17
EP2784630A1 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
KR20140112418A (ko) 사용자 접촉에 기초하여 그래픽 사용자 인터페이스를 표시하는 방법 및 디바이스
US10353570B1 (en) Thumb touch interface
JP4758464B2 (ja) 補助用コントロールおよび表示画面を有するコンピュータシステムおよび方法
EP2805220B1 (en) Skinnable touch device grip patterns
JP4138340B2 (ja) コンピュータシステムの補助用コントロールを検出してフィードバックを与える方法
US11656711B2 (en) Method and apparatus for configuring a plurality of virtual buttons on a device
EP1845432B1 (en) Portable electronic apparatus, user interface controlling method, and program
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
US9280265B2 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
KR20170086538A (ko) 터치 감지, 압력 감지 및 디스플레이 가능 측면을 갖는 전자 장치
JP2016515747A (ja) ハンドヘルドデバイスおよび方法での片手およびマルチモーダルの対話のためのグリップ力センサアレイ
US20130100051A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
KR101679379B1 (ko) 힘 감지 제스처 인식을 위한 방법 및 디바이스
US20130100050A1 (en) Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device
EP3528103B1 (en) Screen locking method, terminal and screen locking device
JP6034140B2 (ja) 表示装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application