KR20190017066A - 햅틱으로 인에이블된 사용자 인터페이스 - Google Patents

햅틱으로 인에이블된 사용자 인터페이스 Download PDF

Info

Publication number
KR20190017066A
KR20190017066A KR1020197003955A KR20197003955A KR20190017066A KR 20190017066 A KR20190017066 A KR 20190017066A KR 1020197003955 A KR1020197003955 A KR 1020197003955A KR 20197003955 A KR20197003955 A KR 20197003955A KR 20190017066 A KR20190017066 A KR 20190017066A
Authority
KR
South Korea
Prior art keywords
haptic effect
user
haptic
list
user interface
Prior art date
Application number
KR1020197003955A
Other languages
English (en)
Inventor
로버트 더블유. 휴벨
제이슨 디. 플레밍
에린 비. 램지
에이. 티모씨 베터
로버트 에이. 래크로익스
페드로 그레고리오
대니 에이. 그랜트
로리 올리 마티아스 임피바라
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190017066A publication Critical patent/KR20190017066A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

디바이스는 사용자 입력 또는 제스처에 응답하여 햅틱 효과를 생성하는 사용자 인터페이스를 갖는다. 일 실시예에서, 디바이스는 사용자가 구성요소들의 목록을 스크롤하고 있다는 지시 및 구성요소가 선택되었다는 지시를 수신한다. 디바이스는 스크롤 속도를 판단하고 그 스크롤 속도에 기초한 강도를 갖는 햅틱 효과를 생성한다.

Description

햅틱으로 인에이블된 사용자 인터페이스{HAPTICALLY ENABLED USER INTERFACE}
본 발명의 일 실시예는 햅틱(haptic) 효과들에 관한 것이다. 더욱 구체적으로, 본 발명의 일 실시예는 햅틱 효과들을 갖는 사용자 인터페이스에 관한 것이다.
전자 디바이스 제조업체들은 사용자들을 위해 풍부한 인터페이스를 제작하기 위해 노력한다. 통상적인 디바이스들은 사용자에게 피드백을 제공하기 위해 시각적 및 청각적 신호들을 사용한다. 일부 인터페이스 디바이스들에서는, "햅틱 피드백" 또는 "햅틱 효과들"로 총체적으로 더 일반적으로 알려진, (활동적 및 저항적 힘 피드백과 같은) 운동 지각적(kinesthetic) 피드백 및/또는 (진동, 텍스처, 및 열과 같은) 촉각 피드백이 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 개선하고 단순화시키는 신호들을 제공할 수 있다. 구체적으로, 진동 효과, 또는 진동 촉각(vibrotactile) 햅틱 효과들은, 사용자에게 특정 이벤트들을 알려주기 위해, 또는 시뮬레이트된 또는 가상의 환경 내에서 더욱더 큰 감각적 몰입을 생성하는 현실적인 피드백을 제공하기 위해, 전자 디바이스의 사용자들에게 신호들을 제공하는 데에 있어 유용할 수 있다.
햅틱 피드백은 또한 휴대 전화기, 개인용 디지털 보조기기(PDA), 휴대용 게임 디바이스, 및 그 외 다양한 휴대용 전자 디바이스들과 같은, 휴대용 전자 디바이스들에 점점 더 통합되어 왔다. 예를 들어, 일부 휴대용 게임 애플리케이션들은 햅틱 피드백을 제공하도록 구성된 넓은 범위의 게임 시스템들에서 사용되는 디바이스들(예를 들면, 조이스틱, 등)을 제어하는 것과 마찬가지의 방식으로 진동하는 것이 가능하다. 추가적으로, 휴대 전화기 및 PDA와 같은 디바이스들은 진동의 방법으로 사용자들에게 다양한 알림을 제공하는 것이 가능하다. 예를 들어, 휴대 전화기는 사용자에게 수신 전화 호출을 진동으로 알릴 수 있다. 마찬가지로, PDA는 사용자에게 계획된 일정 항목에 대해 알릴 수 있고 또는 "해야 할일" 리스트 항목 또는 일정 약속에 대한 리마인더를 사용자에게 제공할 수 있다.
더욱더, 휴대용 디바이스들은 터치스크린-단독 인터페이스들 때문에 물리적 버튼들이 사라지고 있다. 이러한 변화는 증가한 유연성, 감소한 부품 수, 및 실패하기 쉬운 기계적 버튼들에 대한 의존성의 감소를 허용하고 제품 설계에 있어서 확대되는 경향에 따른 것이다. 이러한 많은 터치스크린 디바이스들은 멀티-터치 제스처들을 포함한, 사용자 제스처들을 입력 커맨드들로 변환하는 복잡한 사용자 인터페이스들을 포함한다.
일 실시예는 사용자 입력들 또는 제스처들에 응답하여 햅틱 효과를 생성하는 사용자 인터페이스를 갖는 디바이스이다. 일 실시예에서, 디바이스는 사용자가 구성요소들의 목록을 스크롤하고 있다는 지시 및 구성요소가 선택되었다는 지시를 수신한다. 디바이스는 스크롤 속도를 판단하고 스크롤 속도에 기초한 강도를 갖는 햅틱 효과를 생성한다.
도 1은 일 실시예에 따른 휴대 전화기의 블록도이다.
도 2는 일 실시예에 따라 스크롤 바의 상호작용을 통해 스크롤될 수 있는 구성요소들의 목록을 포함하는 사용자 인터페이스의 블록도이다.
도 3은 사용자 인터페이스를 통해 구성요소들을 스크롤하는 것에 응답하는 일 실시예에 따라 도 1의 전화기에 의해 수행되는 기능의 흐름도이다.
도 4는 플릭되는(flicked) 객체에 응답하는 일 실시예에 따라 도 1의 전화기에 의해 수행되는 기능의 흐름도이다.
도 5는 볼륨을 제어하기 위해 가상 슬라이더를 제공하는 터치스크린에 대한 사용자 인터페이스이다.
도 6은 슬라이더의 움직임에 응답하는 일 실시예에 따라 도 1의 전화기에 의해 수행되는 기능의 흐름도이다.
일 실시예는 다양한 사용자 입력들 및 제스처들 또는 디바이스 동작에 응답하여 사용자에게 햅틱 확인을 제공하는 햅틱으로 인에이블된 사용자 인터페이스이다.
도 1은 일 실시예에 따른 휴대 전화기(10)의 블록도이다. 전화기(10)는 터치스크린(11)을 포함하고 기계적 키들/버튼들(13)을 포함할 수 있다. 전화기(10)의 내부는 전화기(10) 상에 진동을 생성하는 햅틱 피드백 시스템이다. 일 실시예에서, 진동은 전체 전화기(10) 상에서 생성된다. 그 외 실시예들에서, 전화기(10)의 특정한 부분이 전체 터치스크린(11) 또는 터치스크린(11)의 개별적 부분들을 포함하여, 햅틱 피드백 시스템에 의해 햅틱으로 인에이블될 수 있다.
햅틱 피드백 시스템은 프로세서(12)를 포함한다. 메모리(20) 및 액츄에이터 구동 회로(16)가 프로세스(12)에 연결되고, 액츄에이터 구동 회로(16)는 진동 액츄에이터(18)에 연결되어 있다. 프로세서(12)는 임의의 유형의 범용 프로세서일 수 있고, 또는 ASIC(application-specific integrated circuit)와 같은, 햅틱 효과들을 제공하도록 특별히 설계된 프로세서일 수 있다. 프로세서(12)는 전체 전화기(10)를 운용하는 동일한 프로세서일 수 있고, 또는 별도의 프로세서일 수 있다. 프로세서(12)는 어떠한 햅틱 효과가 재생될 것인지와 효과들이 재생되는 순서를 높은 레벨 파라미터들에 기초하여 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 높은 레벨 파라미터들은 강도, 빈도수 및 지속시간을 포함한다. 스트리밍 모터 커맨드와 같은 낮은 레벨 파라미터들은 또한 특정 햅틱 효과를 결정하는 데에 사용될 수 있다. 햅틱 효과가 생성될 때 햅틱 효과가 이들 파라미터들의 일부 변동 또는 사용자의 상호작용에 기초한 이들 파라미터들의 변동을 포함하면 햅틱 효과는 "동적"인 것으로 고려될 수 있다.
프로세서(12)는 바람직한 햅틱 효과를 유도하는 필요한 전류 및 전압으로 액츄에이터(18)를 구동시키는 데에 사용되는 전자 컴포넌트들 및 회로를 포함하는 구동 회로(16)로 제어 신호들을 출력한다. 액츄에이터(18)는 전화기(10)에 진동을 생성하는 햅틱 디바이스이다. 액츄에이터(18)는 전화기(10)의 사용자에게 (예를 들면, 전화기(10)의 하우징을 통해) 진동 촉각 힘을 가할 수 있는 하나 이상의 힘 인가 메커니즘들을 포함할 수 있다. 액츄에이터(18)는, 예를 들면, 전자기장 액츄에이터, 편중 추(eccentric mass)가 모터에 의해 움직이는 ERM(Eccentric Rotation Mass), 스프링에 부착된 추가 앞 뒤로 움직이는 LRA(Linear Resonant Actuator), 또는 압전(piezoelectric), 전기-활성 고분자(electro-active polymer) 또는 형상 기억 합금과 같은 "스마트 재료"일 수 있다. 메모리 디바이스(20)는 RAM(random access memory) 또는 ROM(read-only memory)과 같은, 임의의 유형의 저장 디바이스 또는 컴퓨터-판독가능한 매체일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어들을 저장한다. 메모리(20)는 또한 프로세서(12)의 내부에 위치할 수 있고 또는 내부 및 외부 메모리의 임의의 조합일 수 있다.
터치스크린(11)은 터치를 인식하고, 터치 감응식 표면 상에서 터치의 위치 및 강도를 또한 인식할 수 있다. 터치에 대응하는 데이터는 프로세서(12), 또는 전화기(10) 내의 또 다른 프로세서로 보내지고, 프로세서(12)는 터치를 분석하고 응답하여 햅틱 효과를 생성한다. 터치스크린(11)은 용량 감지, 저항 감지, 표면 음파 감지, 압력 감지, 광학 감지 등을 포함하는 임의의 감지 기술을 사용하여 터치를 감지할 수 있다. 터치스크린(11)은 멀티-터치 접촉을 감지할 수 있고 동시에 발생하는 멀티터치들을 구별할 수 있다. 터치스크린(11)은 사용자들이 상호작용하는 키들, 다이얼들, 등과 같은 이미지들을 더 표시할 수 있거나, 또는 최소의 이미지 또는 이미지가 없는 터치패드일 수 있다.
도 1의 일 실시예는 휴대 전화기(10)이지만, 다른 실시예들은 사용자 인터페이스를 제공하고 햅틱 효과를 생성할 수 있는 임의의 유형의 디바이스일 수 있다. 디바이스는 핸드헬드(handheld)일 수 있고 사용자 인터페이스를 생성하는 터치스크린을 포함할 수 있다. 그 외 실시예들에서, 터치스크린 상호작용을 위해 핸드헬드 디바이스 상에서 햅틱 효과를 생성하기보다는, 디바이스는 디스플레이 및 마우스, 터치패드, 미니-조이스틱, 등과 같은 커서 제어 디바이스를 포함하는 컴퓨터 시스템일 수 있다. 디스플레이는 사용자 인터페이스를 표시하고 마우스 또는 그 외 디바이스는 진동 액츄에이터(18)를 포함하여 사용자가 디바이스를 잡고 있을 때 디바이스 상에서 햅틱 효과가 생성되도록 한다.
도 2는 일 실시예에 따라 스크롤 바(204)의 상호작용을 통해 스크롤될 수 있는 구성요소들(202)의 목록을 포함하는 사용자 인터페이스("UI")(200)의 블록도이다. 사용자는 터치스크린과의 상호작용을 통해, 또는 버튼을 누르거나 마우스 또는 그외 인터페이스 디바이스를 사용함으로써 스크롤 바(204)를 슬라이드할 수 있다. 게다가, 화살표(206)는 구성요소들(202)의 목록을 스크롤하기 위해 알려진 방식으로 선택될 수 있다.
구성요소들(202)이 스크롤되고 있을 때, 구성요소들 중 하나는 어떠한 구성요소가 "선택된" 것인지 가리키기 위해 하이라이트된다. 일 실시예에서, 햅틱 효과는 구성요소들(202)의 각 구성요소가 선택될 때 생성된다. 햅틱 효과는 강도, 빈도 및 지속시간의 미리 결정된 조합을 통해 "범프(bump)", "팝(pop)", "클릭(click)", "틱(tick)" 등의 형식일 수 있다. 그러나, 스크롤 속도가 증가함에 따라, 일정한 강도의 햅틱 효과는 사용자에게 일정한 "윙윙거림(buzz)"처럼 느껴질 수 있으며 의미있는 정보를 제공하는 데에 실패할 수 있다. 그러므로, 일 실시예에서, 햅틱 효과 볼륨/강도는 스크롤 속도가 빨라질수록 감소하고, 그 반대도 마찬가지이다. 이것은 UI 상호작용의 전반적인 "햅틱 에너지"를 낮고 눈에 띄지 않은 레벨로 유지한다.
도 3은 사용자 인터페이스를 통해 구성요소들(202)의 스크롤링에 응답하는 일 실시예에 따라 도 1의 전화기(10)에 의해 수행되는 기능의 흐름도이다. 일 실시예에서, 도 3 및 후술되는 도 4 및 6의 기능은 메모리에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능은 하드웨어, 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
302에서, 사용자가 구성요소들(202)의 목록을 통해 스크롤하고 있고 구성요소들 중 하나가 하이라이트되거나 선택되었다는 지시가 수신된다. 일 실시예에서, 구성요소들(202)의 목록은 메뉴 목록 또는 도 2에서처럼 컨택트들의 목록과 같은 문자적(literal) 목록일 수 있거나, 또는 숫자들의 스크롤/플릭 회전(scroll/flick tumbling)에 의해 바뀔 수 있는 스크롤링 디지털 숫자들의 목록을 갖는 3D 실린더 시계와 같은 추상적 목록일 수도 있다. 스크롤링은 위/아래, 왼쪽/오른쪽, 대각의 또는 원형의 모션으로 버튼 프레스/홀드 이벤트들에 의해, 또는 임의의 그 외 방법에 의해, 터치스크린을 통해 스크린과 상호작용함으로써 달성될 수 있다.
304에서, 구성요소들(202)의 현재 스크롤 속도가 판단되고 이전 스크롤 속도와 비교될 수 있다. 현재 스크롤 속도가 빨라지고 있는지 느려지고 있는지가 판단된다.
306에서, 구성요소들 중 하나의 선택에 대응하는 햅틱 효과는 현재 스크롤 속도 및 그것이 빨라지고 있는지 느려지고 있는지의 여부에 기초하여 또는 스크롤 속도의 강도에 기초하여 생성된다. 일 실시예에서, 햅틱 효과는 짧은 지속시간을 갖고, 새로운 구성요소가 선택될 때마다 반복된다. 햅택 효과의 강도는 스크롤 속도가 빨라지면 이전 햅틱 효과에 비하여 감소한다. 마찬가지로, 햅틱 효과의 강도는 스크롤 속도가 줄어들면 이전 햅틱 효과에 비하여 증가한다. 또 다른 실시예에서, 햅틱 효과의 강도는 현재 스크롤 속도에 역으로 하는 강도에 기초하는 검색 테이블로부터 판단된다. 스크롤 속도가 빨라질수록, 강도는 작아지고, 스크롤 속도가 느려질수록 강도는 증가한다.
일 실시예에서, 사용자가 구성요소들(202)의 목록을 스크롤 할 때, 결국 사용자는 목록의 끝에 도달할 것이다. 그 포인트에서, 스크롤링은 중단될 수 있고 또는 목록의 시작으로 돌려 감을 수 있다. 일 실시예에서, 햅틱 효과는 목록의 마지막 항목이 선택되거나 또는 목록이 자동행갈이를 할 때 사용자가 비-시각적 지시를 수신하도록 발생할 것이다. 이러한 햅틱 효과는 전술된 바와 같이, 목록의 끝에 있지 않은 항목들 중 하나가 선택될 때 생성되는 햅틱 효과와는 다르다. 일 실시예에서, 목록의 끝(end-of-list) 햅틱 효과는 지속시간, 크기, 빈도, 등의 임의의 조합의 변화에 따라 달라진다.
또 다른 실시예에서, 항목들의 목록 또는 사진들, 볼(ball), 퍽(puck) 등과 같은 다른 오브젝트들이 제스처를 사용하여 "플릭"될 수 있어서 목록이 시각적으로 움직이게 된다. 움직임의 속도는 플릭(flick)의 속도에 의존한다. 목록의 끝, 벽 또는 그 외의 "하드 오브젝트"와 같은, 가상적 중단에 부딪혔을 때, 플릭된 오브젝트는 시각적으로 바운스(bounce)에 의해 반응한다. 일 실시예에서, 바운스는 대응하는 햅틱 효과 그리고 선택적으로는 청각적 출력을 야기시킨다. 일 실시예에서, 햅틱 효과는 초기에는 매우 강했다가(즉, 고 강도) 바운스되는 오브젝트가 안정되게 됨에 따라 강도가 급격히 감소하는 특징 파라미터들을 가질 것이다. 게다가, 플릭된 오브젝트가 움직임을 멈추고 안정되게 되었다는 것을 확인하는, 미세한 햅틱 클릭, 팝 또는 틱 효과와 같은 또 다른 햅틱 효과가 생성될 수 있다.
도 4는 플릭된 객체에 응답하여 일 실시예에 따라 도 1의 전화기(10)에 의해 수행되는 기능의 흐름도이다. 402에서, 프로세서(12)는 벽, 목록의 끝 등과 같은, 종료 지점에 플릭된 오브젝트가 도달하였다는 지시를 수신한다. 404에서, 종료 지점 지시에 응답하여, 햅틱 효과가 발생한다. 일 실시예에서, 햅틱 효과는 초기에는 고 강도를 가지다가, 플릭된 오브젝트가 안정되게 됨에 따라 강도가 급격히 감소한다는 점에서, 동적이다.
또 다른 실시예에서, 사용자 인터페이스는 슬라이더를 시뮬레이트한다. 전문적인 오디오 및 산업용 제어 장비에 다수의 물리적 제어 슬라이더들을 찾을 수 있다. 이 슬라이더들은 손가락끝으로 슬라이더를 드래그(drag)함으로써 일반적으로 제어된다. 많은 슬라이더 제어 기능이 터치스크린 UI들로 구축될 수 있다. 도 5는 볼륨을 제어하기 위한 가상 슬라이더(502)를 제공하는 터치스크린에 대한 UI(500)이다. UI(500)는 가상 슬라이더(502)의 위치 또는 상태에 대한 정보 및 그것이 제어하고 있는 파라미터를 제공한다. 슬라이더(502)는 손가락 또는 커서에 의해 조작될 수 있다. 그 외 UI들은 위/아래 방향으로 놓여 있는 슬라이더를 제공할 수 있거나 노브 또는 휠과 같이 회전적 일 수 있다.
UI(500)는 최소 및 최대 설정을 갖고, 일 실시예에서 볼륨이 증가함에 따라 증가하는 강도 및 볼륨이 감소함에 따라 감소하는 강도를 갖는 동적 햅틱 효과가 생성된다. 이러한 유형의 햅틱 효과는 스테레오 시스템으로부터의 청각적 볼륨이던지 또는 액상 볼륨을 관리하는 산업용 흐름 제어 시스템용과 같은 물리적 볼륨이던지간에, 증가되는/감소되는 파라미터의 상대적 볼륨을 통신하는 것을 돕는다. 또한, 제어되고 있는 엔드-유저 애플리케이션에 특정일 수 있는 슬라이더의 슬라이더 엔드-스톱, 중앙 위치, 또는 그 외 중요한 위치적 로케이션으로서 사용될 수 있는 범프들 또는 덴트들을 시뮬레이트하는 위치적 햅틱 효과들이 생성될 수 있다(예를 들면, 위치(504, 506)).
도 6은 슬라이더의 움직임에 응답하여 일 실시예에 따라 도 1의 전화기(10)에 의해 수행되는 기능의 흐름도이다. 602에서, 프로세서(12)는 슬라이더가 움직였다는 지시 및 파라미터(예를 들면, 볼륨)가 감소 또는 증가하고 있는지 여부에 대한 지시를 수신한다. 604에서, 증가 또는 감소하는 파라미터에 응답하여, 증가 또는 감소하는 강도 또는 그 외 파라미터를 갖는 동적 햅틱 효과가 생성된다.
또 다른 실시예에서, 슬라이더(502)는 온/오프 스위치와 같은, 오직 2개의 안정 위치 또는 제한된 수의 위치들을 갖는 토글 유형 슬라이더이다. 이 실시예에서, 햅틱 효과는 토글된 제어의 동작을 확인하기 위해 생성된다. 또한, 2개 이상의 뚜렷하게 상이한 햅틱 효과들은 온/오프, 느림/중간/빠름 등과 같은 슬라이더가 어느 상태에 놓여져 있는지를 사용자에게 전할 수 있다. 햅틱 효과에서 차이점은 강도, 빈도, 지속시간 또는 이들 3개 파라미터들의 임의의 조합에 따라 달라질 수 있다.
또 다른 실시예에서, 전화기(10)는 스크린 전환 동안 햅틱 효과를 생성한다. 일 실시예에서의 햅틱 효과는 스크린 상에서 발생하는 임의의 시각적 전환과 동기화한다. 햅틱 효과들을 생성할 수 있는 스크린 전환들의 예시들은 온 스크린(on-screen) 컨텐트가 회전하는 스크린 방향의 변화들, 컨텐트가 스크린 페이드(fade), 와이프(wipe), 디졸브(dissolve) 또는 그외 영상 전환 기술들을 통해 새로운 컨텐트로 교체되는 것, 웹페이지, 그림 및 문서 등과 같은 컨텐트의 줌 인 또는 아웃, 패닝과 같은 뷰잉(viewing) 사이즈의 변화들을 포함한다. 일 실시예에서, 햅틱 효2과는 스크린 전환 동안 생성될 것이고, 스크린 전환이 완료될 때 상이한 햅틱 효과가 생성될 수 있다.
또 다른 실시예에서, 햅틱 효과들은 사용자가 터치스크린에서 선택된 텍스트 또는 다른 항목들을 드래그할 때 생성된다. 햅틱 범프, 팝 또는 틱은 드래그하는 동안 생성될 수 있다. 이러한 햅틱 효과는 각 문자가 선택될 때마다 재생될 수 있고, 상이한, 아마도 더 강한 효과가 개별적 문자 및 전체 워드 선택 모두를 확인하기 위해 전체 워드가 선택될 때 재생될 수 있다. 또한, 햅틱 효과는 드래그하는 동안 각각의 개별적인 오브젝트가 선택되게 됨에 따라 생성될 수 있다. 게다가, 오브젝트를 드래그하는 동안 또는 다르게는 터치스크린에서 손가락을 이동하는 동안, 햅틱 효과는 스크린의 "표면"을 시뮬레이트하도록 생성될 수 있다. 예를 들어, 스크린이 울퉁불퉁한 길을 표시하고 있으면, 손가락이 울퉁불퉁한 길을 드래그하는 것처럼 느끼게 하도록 햅틱 효과가 생성될 수 있다.
또 다른 실시예에서, 범프, 팝 또는 틱과 같은 햅틱 효과는 워드들, 파일들, 디렉토리들, 그림들, 아이콘들, 등과 같은 다수의 오브젝트들을 사용자가 그의 손가락 또는 커서로 클릭-드래그함에 따라 발생할 수 있다. 일 실시예에서, 드래그 하는 동안 그룹화로부터 각각의 개별적 오브젝트가 선택되거나 선택 해제됨에 따라 햅틱 효과가 생성될 것이다. 이러한 선택 방법은 단일 및 멀티-터치 터치스크린 모두에 의해 수행될 수 있다.
또 다른 실시예에서, 범프, 팝 또는 틱과 같은 햅틱 효과는 사용자가 워드를 선택하기 위해 그의 손가락으로 더블-탭(double-tap) 하거나 커서로 더블-클릭(double-click)을 함에 따라 추가될 수 있다. 이러한 확인 방법은 전체 문장들 또는 문단들을 선택하기 위해 트리플-탭 또는 트리플-클릭을 행할 때에도 사용될 수 있다.
일부 실시예들에서, 사용자는 전화기(10)와 같은 디바이스가 초기화되고, 컨텐트를 다운로드하는 등의 동안에 대기하도록 강요된다. 이러한 시간 동안 UI는 일반적으로 상호작용할 수 없고 상호작용하기 위한 시도에 소요되는 임의의 시간이 낭비된다. 일 실시예에서, 디바이스가 사용자를 기다리게 하는 로딩/대기 상태에 진입했거나 또는 벗어났음을 사용자에게 알리도록 햅틱 효과가 생성된다.
일 실시예에서, UI가 반응이 없는 동안의 햅틱 효과는 UI가 상호작용들을 위해 다시 이용가능해질 때 간단히 종료하는, 불변 강도 또는 빈도를 갖는 미세하고 일정한 효과이다. 또 다른 실시예에서, 햅틱 효과는 태스크의 완료로 시스템이 진행함에 따라 강도 및/또는 빈도가 증가하는 동적 효과이다. 게다가, 일 실시예에서 UI가 다시 이용가능하게 될 때, 범프, 팝 또는 틱과 같은 별도의 완료 확인 햅틱 효과가 생성될 수 있다.
또 다른 실시예에서, 터치스크린(11)의 사용자로부터의 제스처는 디바이스(10)에 의해 이전에 잠겨진 컨텐트를 잠금해제하는데에 사용될 수 있다. 디바이스(10)는 미리 결정된 제스처가 사용자에 의해 입력될 때 잠금해제된다. 예를 들어, 제스처는 디바이스(10)의 메뉴 시스템을 잠금해제하는 패스워드 또는 패스 코드로서 기능할 수 있다. 미리 결정된 제스처의 예시들은 스월(swirl), 스와이프(swipe), 프레스/탭 패턴, 또는 이러한 제스처들의 임의의 조합을 포함한다.
일 실시예에서, 햅틱 효과는 사용자가 제스처를 확인하거나 제스처를 학습할 수 있도록 제스처에 대응하여 또는 대표하여 생성된다. 햅틱 효과는 동적일 수 있고 원형 모션과 같은 방향성 모션을 시뮬레이트 하기 위해 동시에 터치스크린(11)의 개별적 부분에 적용될 수 있다. 이것은 제스처가 패스 코드의 대체이고 사용자가 디바이스(10)에 액세스하기 위해 제스처를 암기할 필요가 있을 때 특별히 값을 갖는다. 햅틱 효과 없이, 스와이프, 스월, 또는 탭 패턴과 같은 제스처들은 시각적 및/또는 오디오의 제스처 표현들로 제스처를 다시재생함으로써 검토/확인될 수 있다. 그러나, 햅틱 효과는 제스처 패스 코드를 기억하는 데에 있어서 단지 시각적 및/또는 청각적 단서들을 사용하는 것보다, 특별히, 터치스크린(11)에 의해 생성된 손가락 압력 데이터 패턴들을 포함할 수 있는 제스처와 함께일 때 더 잘 사용자에게 도움이 될 수 있다. 햅틱 효과는 햅틱 효과의 크기 값을 변화시킴으로써 손가락 압력 데이터를 "시뮬레이트"할 수 있다. 햅틱 효과는 자신의 제스처 패스 코드를 잊을 수 있는 사용자를 위해 생성될 수 있다 - 햅틱 효과의 재생은 리마인더로서 기능할 것 임 -.
또 다른 실시예에서, 사용자 제스처는 원하는 메뉴 또는 기능에 도달하도록 많은 단계들을 건너뛰는 "핫 키(hot key)" 또는 매크로로서 사용된다. 예를 들어, 터치스크린(11) 상에 사용자의 손가락을 시계방향으로 두 번 빙빙돌리는 것은 사용자가 집으로 전화를 걸거나, 또는 SMS 모바일 메시지를 입력하기를 원하는 것을 나타낼 수 있다. 다른 경우에는 순서들을 거쳐가야할 필요가 있었을 디바이스(10)는, 표준 메뉴 선택들로 건너뛰어 단순히 태스크를 즉시 개시할 것이다. 전술된 바와 같이, 햅틱 효과는 사용자에게 제스처를 확인하거나 사용자가 제스처를 검토하도록 하기 위해 생성된다.
개시된 바와 같이, 사용자 인터페이스를 갖는 디바이스는 사용자 입력에 대한 피드백을 제공하거나 디바이스의 상태에 대한 정보를 제공하기 위해 다양한 햅틱 효과들을 생성한다. 햅틱 효과들은 디바이스의 사용성을 개선한다.
일부 실시예들이 본 명세서에서 특히 예시되고 및/또는 설명되었다. 그러나, 본 발명의 사상 및 의도된 범위로부터 벗어나지 않고 전술한 교시에 의해 그리고 첨부된 청구범위의 영역 내에서 치환 및 변형들이 커버된다는 것이 이해될 것이다.

Claims (1)

  1. 사용자 인터페이스를 동작시키는 방법.
KR1020197003955A 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스 KR20190017066A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/046,934 US9513704B2 (en) 2008-03-12 2008-03-12 Haptically enabled user interface
US12/046,934 2008-03-12
PCT/US2009/034231 WO2009114239A1 (en) 2008-03-12 2009-02-17 Haptically enabled user interface

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023235A Division KR101948668B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스

Publications (1)

Publication Number Publication Date
KR20190017066A true KR20190017066A (ko) 2019-02-19

Family

ID=40495496

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020177002395A KR101738842B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020177023235A KR101948668B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020107022816A KR101678693B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020157030145A KR101736652B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020167015485A KR20160075797A (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020197003955A KR20190017066A (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020177002395A KR101738842B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020177023235A KR101948668B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020107022816A KR101678693B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020157030145A KR101736652B1 (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스
KR1020167015485A KR20160075797A (ko) 2008-03-12 2009-02-17 햅틱으로 인에이블된 사용자 인터페이스

Country Status (6)

Country Link
US (3) US9513704B2 (ko)
EP (4) EP2595032A1 (ko)
JP (4) JP2011517810A (ko)
KR (6) KR101738842B1 (ko)
CN (1) CN102016758A (ko)
WO (1) WO2009114239A1 (ko)

Families Citing this family (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
GB0613674D0 (en) 2006-07-10 2006-08-16 Proskelia Sas Derivatives of urea and related diamines, methods for their manufacture, and uses therefor
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US8127254B2 (en) 2007-06-29 2012-02-28 Nokia Corporation Unlocking a touch screen device
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US8199033B2 (en) 2007-07-06 2012-06-12 Pacinian Corporation Haptic keyboard systems and methods
US20090166098A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
CN101587398A (zh) * 2008-05-23 2009-11-25 鸿富锦精密工业（深圳）有限公司 密码保护方法
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
KR101737829B1 (ko) * 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
KR101565768B1 (ko) 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8365091B2 (en) * 2009-01-06 2013-01-29 Microsoft Corporation Non-uniform scrolling
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US8095278B2 (en) * 2009-06-15 2012-01-10 Tesla Motors, Inc. Interface for vehicle function control via a touch screen
KR20110011002A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 웹 브라우징 방법 및 장치
EP2487622A4 (en) * 2009-10-09 2014-05-28 Nec Corp MOBILE DEVICE, AND SECURITY LOCK CONTROL METHOD AND PROGRAM ASSOCIATED WITH SAME
US8677283B2 (en) * 2009-10-21 2014-03-18 Microsoft Corporation Displaying lists as reacting against barriers
US9696809B2 (en) * 2009-11-05 2017-07-04 Will John Temple Scrolling and zooming of a portable device display with device motion
TW201122890A (en) * 2009-12-18 2011-07-01 Best Solution Technology Inc Touch-control lock operated according to gesture or figure.
JP5531612B2 (ja) * 2009-12-25 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
US8334840B2 (en) * 2010-01-19 2012-12-18 Visteon Global Technologies, Inc. System and method of screen manipulation using haptic enable controller
US20110187651A1 (en) * 2010-02-03 2011-08-04 Honeywell International Inc. Touch screen having adaptive input parameter
US9417787B2 (en) * 2010-02-12 2016-08-16 Microsoft Technology Licensing, Llc Distortion effects to indicate location in a movable data collection
US20110199318A1 (en) * 2010-02-12 2011-08-18 Microsoft Corporation Multi-layer user interface with flexible parallel movement
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
EP2378406B1 (en) * 2010-04-13 2018-08-22 LG Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal
US9678569B2 (en) 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
US8854318B2 (en) 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US8453186B2 (en) 2010-09-15 2013-05-28 At&T Intellectual Property I, L.P. Method and system for remote control
JP6306350B2 (ja) * 2010-09-30 2018-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーラルケア機器の振幅調整のシステム
KR101662726B1 (ko) * 2010-12-29 2016-10-14 삼성전자주식회사 전자 기기의 스크롤 방법 및 장치
KR101580022B1 (ko) 2011-03-04 2015-12-23 애플 인크. 국부적 및 전반적 햅틱 피드백을 제공하는 선형 진동기
CN102103465A (zh) * 2011-03-08 2011-06-22 深圳市同洲电子股份有限公司 触摸屏解锁方法、装置及移动终端
US8863039B2 (en) 2011-04-18 2014-10-14 Microsoft Corporation Multi-dimensional boundary effects
US9182897B2 (en) 2011-04-22 2015-11-10 Qualcomm Incorporated Method and apparatus for intuitive wrapping of lists in a user interface
CN102184078A (zh) * 2011-06-02 2011-09-14 宇龙计算机通信科技(深圳)有限公司 一种触控屏移动终端及其解屏方法
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9348498B2 (en) 2011-09-12 2016-05-24 Microsoft Technology Licensing, Llc Wrapped content interaction
KR101972443B1 (ko) * 2011-09-13 2019-04-25 주식회사 소니 인터랙티브 엔터테인먼트 정보처리장치, 표시제어방법, 프로그램 및 정보기억매체
US9830049B2 (en) 2011-12-12 2017-11-28 Nokia Technologies Oy Apparatus and method for providing a visual transition between screens
FR2986124B1 (fr) * 2012-01-25 2014-03-14 Ercom Engineering Reseaux Comm Procede d'authentification d'un dispositif comprenant un processeur et une carte a puce par generation d'un motif
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP6082458B2 (ja) * 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
US20130318437A1 (en) * 2012-05-22 2013-11-28 Samsung Electronics Co., Ltd. Method for providing ui and portable apparatus applying the same
US9063570B2 (en) 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US9030428B2 (en) 2012-07-11 2015-05-12 Immersion Corporation Generating haptic effects for dynamic events
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
CN104471525B (zh) * 2012-08-24 2020-05-19 英特尔公司 用于显示文件的方法、装置和系统
US9229632B2 (en) 2012-10-29 2016-01-05 Facebook, Inc. Animation sequence associated with image
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
GB2507783B (en) * 2012-11-09 2015-03-11 Ge Aviat Systems Ltd Aircraft haptic touch screen and method for operating same
US9547627B2 (en) 2012-11-14 2017-01-17 Facebook, Inc. Comment presentation
US9696898B2 (en) * 2012-11-14 2017-07-04 Facebook, Inc. Scrolling through a series of content items
US9606695B2 (en) 2012-11-14 2017-03-28 Facebook, Inc. Event notification
US9684935B2 (en) 2012-11-14 2017-06-20 Facebook, Inc. Content composer for third-party applications
US9235321B2 (en) 2012-11-14 2016-01-12 Facebook, Inc. Animation sequence associated with content item
US9607289B2 (en) 2012-11-14 2017-03-28 Facebook, Inc. Content type filter
US9218188B2 (en) 2012-11-14 2015-12-22 Facebook, Inc. Animation sequence associated with feedback user-interface element
US9507757B2 (en) 2012-11-14 2016-11-29 Facebook, Inc. Generating multiple versions of a content item for multiple platforms
US9507483B2 (en) 2012-11-14 2016-11-29 Facebook, Inc. Photographs with location or time information
US9081410B2 (en) 2012-11-14 2015-07-14 Facebook, Inc. Loading content on electronic device
US9547416B2 (en) 2012-11-14 2017-01-17 Facebook, Inc. Image presentation
US9245312B2 (en) 2012-11-14 2016-01-26 Facebook, Inc. Image panning and zooming effect
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10691230B2 (en) * 2012-12-29 2020-06-23 Apple Inc. Crown input for a wearable electronic device
JP2014182659A (ja) * 2013-03-19 2014-09-29 Fujitsu Ltd 操作ロック解除装置、操作ロック解除方法及び操作ロック解除プログラム
CN109144248A (zh) * 2013-06-07 2019-01-04 意美森公司 触觉效果信号交换解锁
KR20240065191A (ko) * 2013-06-11 2024-05-14 애플 인크. 웨어러블 전자 디바이스
EP3340025B1 (en) 2013-09-03 2019-06-12 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10503388B2 (en) * 2013-09-03 2019-12-10 Apple Inc. Crown input for a wearable electronic device
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
JP6393325B2 (ja) 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
JP6147656B2 (ja) * 2013-12-11 2017-06-14 株式会社東海理化電機製作所 入力装置
JPWO2015121958A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 電子機器、入力装置、及び電子機器の駆動制御方法
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
CN103971046B (zh) * 2014-03-31 2018-10-19 小米科技有限责任公司 一种解密的方法和装置
US9645731B2 (en) 2014-03-31 2017-05-09 Xiaomi Inc. Unlocking method and device using same
JP6300604B2 (ja) * 2014-04-01 2018-03-28 キヤノン株式会社 触感制御装置、触感制御方法及びプログラム
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
CN118192869A (zh) 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
TWI676127B (zh) 2014-09-02 2019-11-01 美商蘋果公司 關於電子郵件使用者介面之方法、系統、電子器件及電腦可讀儲存媒體
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
EP3018559A1 (en) * 2014-11-07 2016-05-11 Speech Processing Solutions GmbH Handheld device with a slide switch displayed on a touch screen
JP6473610B2 (ja) * 2014-12-08 2019-02-20 株式会社デンソーテン 操作装置、及び、操作システム
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
CN104598105A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种操作反馈方法
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US10251241B2 (en) * 2015-03-27 2019-04-02 Osram Sylvania Inc. Gesture-based control techniques for lighting systems
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
JP2017045251A (ja) * 2015-08-26 2017-03-02 富士通テン株式会社 入力装置、表示装置、入力装置の制御方法およびプログラム
US10268814B1 (en) * 2015-12-16 2019-04-23 Western Digital Technologies, Inc. Providing secure access to digital storage devices
US20180373339A1 (en) * 2015-12-31 2018-12-27 Thomson Licensing Vibrotactile interaction with touch-based user devices
WO2017149634A1 (ja) * 2016-03-01 2017-09-08 三菱電機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
JP6455476B2 (ja) * 2016-03-28 2019-01-23 京セラドキュメントソリューションズ株式会社 表示操作装置及び操作指示受付プログラム
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US10175941B2 (en) 2016-05-24 2019-01-08 Oracle International Corporation Audio feedback for continuous scrolled content
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
WO2017218409A1 (en) * 2016-06-12 2017-12-21 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
DE102017212990A1 (de) * 2017-07-27 2019-01-31 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Eingeben einer Information zur Bedienung eines Gerätes, Kraftfahrzeug sowie Computerprogramm
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
KR102462204B1 (ko) * 2017-11-21 2022-11-02 삼성전자주식회사 진동을 제공하기 위한 장치 및 방법
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN113535306B (zh) * 2018-05-07 2023-04-07 苹果公司 头像创建用户界面
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
KR102193292B1 (ko) * 2018-05-29 2020-12-22 주식회사 씨케이머티리얼즈랩 버튼형 액추에이터, 이를 포함하는 버튼형 액추에이터 피드백 시스템 및 그 제어 방법
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
JP2020166831A (ja) * 2019-03-26 2020-10-08 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
WO2020195409A1 (ja) * 2019-03-26 2020-10-01 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11455731B2 (en) 2020-09-10 2022-09-27 Adobe Inc. Video segmentation based on detected video features using a graphical model
US11450112B2 (en) 2020-09-10 2022-09-20 Adobe Inc. Segmentation and hierarchical clustering of video
US11995894B2 (en) 2020-09-10 2024-05-28 Adobe Inc. Interacting with hierarchical clusters of video segments using a metadata panel
US11810358B2 (en) 2020-09-10 2023-11-07 Adobe Inc. Video search segmentation
US11630562B2 (en) * 2020-09-10 2023-04-18 Adobe Inc. Interacting with hierarchical clusters of video segments using a video timeline
US11631434B2 (en) 2020-09-10 2023-04-18 Adobe Inc. Selecting and performing operations on hierarchical clusters of video segments
US11887629B2 (en) 2020-09-10 2024-01-30 Adobe Inc. Interacting with semantic video segments through interactive tiles
US11880408B2 (en) 2020-09-10 2024-01-23 Adobe Inc. Interacting with hierarchical clusters of video segments using a metadata search
US11887371B2 (en) 2020-09-10 2024-01-30 Adobe Inc. Thumbnail video segmentation identifying thumbnail locations for a video
US12033669B2 (en) 2020-09-10 2024-07-09 Adobe Inc. Snap point video segmentation identifying selection snap points for a video
US12080129B2 (en) 2020-11-19 2024-09-03 Adrenalineip Method, system, and apparatus for wager selection
WO2022201948A1 (ja) * 2021-03-26 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11822737B2 (en) * 2022-04-22 2023-11-21 Dell Products L.P. Information handling system mouse with haptic scroll
US11822738B2 (en) 2022-04-22 2023-11-21 Dell Products L.P. Information handling system mouse with push button scroll

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69607472T2 (de) * 1995-07-26 2000-08-24 Tegic Communications Inc System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
DE19646226A1 (de) * 1996-03-19 1998-05-14 Bayerische Motoren Werke Ag Bedienvorrichtung für menügesteuerte Funktionen eines Fahrzeugs
US6624824B1 (en) 1996-04-30 2003-09-23 Sun Microsystems, Inc. Tilt-scrolling on the sunpad
JPH11203045A (ja) 1998-01-14 1999-07-30 Matsushita Electric Ind Co Ltd タッチパネルつき携帯端末装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
TW462159B (en) * 1999-05-14 2001-11-01 Ntt Docomo Inc Mobile communication terminal
US6337678B1 (en) * 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US6771250B1 (en) * 1999-07-27 2004-08-03 Samsung Electronics Co., Ltd. Portable computer system having application program launcher for low power consumption and method of operating the same
JP2001084051A (ja) * 1999-09-13 2001-03-30 Toshiba Corp 触覚インタフェース装置及びその方法
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP3888099B2 (ja) * 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
US6907575B2 (en) * 2001-09-06 2005-06-14 Danger, Inc. Method of scrolling a display window
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP4149926B2 (ja) * 2001-11-01 2008-09-17 イマージョン コーポレーション 触知感覚を与える方法及び装置
US6954862B2 (en) * 2002-08-27 2005-10-11 Michael Lawrence Serpa System and method for user authentication with enhanced passwords
JP4510398B2 (ja) * 2003-04-02 2010-07-21 富士通コンポーネント株式会社 座標入力装置
JP2004362428A (ja) 2003-06-06 2004-12-24 Denso Corp タッチ操作入力装置、タッチ操作入力装置における振動発生方法
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP4345534B2 (ja) * 2004-03-17 2009-10-14 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
JP2007531113A (ja) 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
US20060061545A1 (en) * 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
US7766739B2 (en) * 2004-05-07 2010-08-03 Gamelogic, Inc. Method and apparatus for conducting a game of chance
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006065456A (ja) * 2004-08-25 2006-03-09 Alps Electric Co Ltd 入力装置
JP2006079238A (ja) 2004-09-08 2006-03-23 Alpine Electronics Inc タッチパネル装置
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
JP4860625B2 (ja) * 2004-10-08 2012-01-25 イマージョン コーポレーション タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
JP2006163206A (ja) 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
US7952564B2 (en) * 2005-02-17 2011-05-31 Hurst G Samuel Multiple-touch sensor
JP4684745B2 (ja) 2005-05-27 2011-05-18 三菱電機株式会社 ユーザインタフェース装置及びユーザインタフェース方法
KR100735663B1 (ko) * 2005-10-06 2007-07-04 삼성전자주식회사 이동통신 단말기에서 패널입력의 패턴인식을 이용한 명령일괄처리 방법
KR100726654B1 (ko) 2005-10-17 2007-06-13 엘지전자 주식회사 이동통신 단말기 및 정보 표시방법
US9182837B2 (en) * 2005-11-28 2015-11-10 Synaptics Incorporated Methods and systems for implementing modal changes in a device in response to proximity and force indications
US7958456B2 (en) * 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
US20070132789A1 (en) * 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
KR100873470B1 (ko) 2005-12-09 2008-12-15 한국전자통신연구원 멀티모달 인터페이스 시스템
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
KR100772909B1 (ko) * 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US20080106523A1 (en) * 2006-11-07 2008-05-08 Conrad Richard H Ergonomic lift-clicking method and apparatus for actuating home switches on computer input devices
US7844915B2 (en) * 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
TWI351638B (en) * 2007-04-27 2011-11-01 Htc Corp Touch-based tab navigation method and related devi
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US7788032B2 (en) * 2007-09-14 2010-08-31 Palm, Inc. Targeting location through haptic feedback signals
CN101605444A (zh) 2008-06-13 2009-12-16 富准精密工业(深圳)有限公司 散热装置

Also Published As

Publication number Publication date
KR101948668B1 (ko) 2019-02-18
KR101738842B1 (ko) 2017-05-22
JP2014199671A (ja) 2014-10-23
EP2573649A1 (en) 2013-03-27
US20190138176A1 (en) 2019-05-09
KR20160075797A (ko) 2016-06-29
KR20170098983A (ko) 2017-08-30
KR20150122810A (ko) 2015-11-02
EP3382509A1 (en) 2018-10-03
US20170046035A1 (en) 2017-02-16
JP2011517810A (ja) 2011-06-16
CN102016758A (zh) 2011-04-13
KR101678693B1 (ko) 2016-11-23
WO2009114239A1 (en) 2009-09-17
KR20100124324A (ko) 2010-11-26
KR101736652B1 (ko) 2017-05-16
US20090231271A1 (en) 2009-09-17
KR20170016991A (ko) 2017-02-14
JP2018163705A (ja) 2018-10-18
EP2595032A1 (en) 2013-05-22
US9513704B2 (en) 2016-12-06
JP2017021853A (ja) 2017-01-26
EP2266015A1 (en) 2010-12-29
US10338798B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
KR101678693B1 (ko) 햅틱으로 인에이블된 사용자 인터페이스
JP6546301B2 (ja) 動的な触覚効果を有するマルチタッチデバイス
JP2011517810A5 (ko)
JP5260506B2 (ja) タッチパッド上における挙動を認識してスクロール機能を制御し既定の場所でのタッチダウンによってスクロールを活性化する方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right