KR102027307B1 - 전기 진동 촉각 디스플레이 - Google Patents

전기 진동 촉각 디스플레이 Download PDF

Info

Publication number
KR102027307B1
KR102027307B1 KR1020137031069A KR20137031069A KR102027307B1 KR 102027307 B1 KR102027307 B1 KR 102027307B1 KR 1020137031069 A KR1020137031069 A KR 1020137031069A KR 20137031069 A KR20137031069 A KR 20137031069A KR 102027307 B1 KR102027307 B1 KR 102027307B1
Authority
KR
South Korea
Prior art keywords
haptic effect
haptic
interface device
type
change
Prior art date
Application number
KR1020137031069A
Other languages
English (en)
Other versions
KR20140040134A (ko
Inventor
후안 마누엘 크루즈-에르난데즈
대니 에이 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140040134A publication Critical patent/KR20140040134A/ko
Application granted granted Critical
Publication of KR102027307B1 publication Critical patent/KR102027307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

정전식 장치에 단독으로 또는 햅틱 효과를 발생시키도록 구성되는 액추에이터들 또는 다른 장치들과 결합하여, 햅틱 효과를 발생시키는 시스템이 개시된다. 시스템은 마찰 계수 또는 질감을 디스플레이 스크린 또는 터치패드와 같은 사용자 인터페이스의 표면 상에 시뮬레이션하는 햅틱 효과를 발생시킬 수 있다. 시뮬레이션된 마찰 계수를 조정하여 사용자 인터페이스 표면 상의 다른 특성들을 전달할 수 있다. 시스템은 시뮬레이션된 마찰 계수 및 표면에서의 임피던스를 측정하는 센서들을 포함할 수도 있다.

Description

전기 진동 촉각 디스플레이{ELECTRO-VIBROTACTILE DISPLAY}
관련 출원들에 대한 상호 참조
본 출원은 2011년 4월 22일자로 출원된 미국 특허 출원 일련 번호 제13/092,269호에 대한 우선권을 주장하며, 그의 전체 내용은 본 명세서에 참고로서 원용된다.
본 발명은 전기 진동 촉각 디스플레이에 관한 것이다.
시각적 및/또는 오디오 콘텐츠와 관련한 햅틱 효과들을 사용자들에게 제공하는 시스템들이 공지되어 있다. 일반적으로 햅틱 효과는 콘텐츠와 연관되는 사용자들의 경험의 하나 이상의 양상들을 증대시킬 수 있다라고 생각된다. 종래의 햅틱 시스템들은 일반적으로 자극을 기계 진동의 형태로만 제공하며, 기계 진동은 사용자와 시스템의 상호작용을 제한할 수 있다.
본 발명의 일 양상에 따르면, 전체적인 햅틱 효과를 제공하는 인터페이스 장치가 제공된다. 인터페이스 장치는 전체적인 햅틱 효과를 출력하도록 구성되는 표면을 포함한다. 인터페이스 장치는 표면과 결합되고 표면에서 제1 햅틱 효과를 생성하도록 구성되는 정전식 장치를 더 포함한다. 인터페이스 장치는 표면에서 제2 햅틱 효과를 생성하도록 구성되는 액추에이터를 더 포함한다. 전체적인 햅틱 효과는 제1 햅틱 효과 및 제2 햅틱 효과를 포함한다.
본 발명의 일 양상에 따르면, 전체적인 햅틱 효과를 제공하는 방법이 제공된다. 방법은 제1 햅틱 효과를 정전식 장치에 의해 인터페이스 장치의 표면에서 발생시키는 단계 및 제2 햅틱 효과를 액추에이터에 의해 표면에서 발생시키는 단계를 포함한다. 전체적인 햅틱 효과는 제1 햅틱 효과 및 제2 햅틱 효과를 포함한다.
본 발명의 일 양상에 따르면, 햅틱 효과를 정전식 디스플레이를 통해 제공하도록 구성되는 시스템이 제공된다. 정전식 디스플레이는 표면이 매끄럽더라도, 마찰 또는 질감의 레벨을 디스플레이의 표면 상에 시뮬레이션할 수 있는 햅틱 효과를 출력하도록 구성된다. 정전식 디스플레이는 디스플레이 상에 도시되는 토포그래피를 전달하기 위해 다른 마찰 계수들 또는 질감을 시뮬레이션하기 위한 상이한 햅틱 효과들을 출력할 수 있다. 일 실시예에서, 햅틱 효과는 재료의 지형을 전달하는 마찰 계수 또는 질감을 시뮬레이션할 수 있다. 일 실시예에서, 햅틱 효과는 디스플레이의 위치의 높이 또는 깊이를 전달하는 마찰 계수 또는 질감을 시뮬레이션할 수 있다. 일 실시예에서, 햅틱 효과는 디스플레이 상의 어떤 위치에서의 데이터의 성질을 전달할 수 있다. 센서는 시뮬레이션된 마찰 계수를 측정할 수 있고 측정된 계수에 기초하여 햅틱 효과를 조정할 수 있다.
본 발명의 일 양상에 따르면, 정전식 디스플레이의 표면에서 측정되는 임피던스에 기초하여 햅틱 효과를 변경하는 시스템이 제공된다. 일 실시예에서, 시스템은 사용자들의 피부 두께들, 손가락 크기들, 또는 그의 손가락들 상의 수분 레벨들의 차로 인해 사용자들의 손가락들의 임피턴스의 차를 측정한다. 시스템은 이 차이들에 대한 햅틱 효과를 조정하여 시스템이 둘 이상의 사용자들에 의해 지속적으로 경험되는 것으로 예상할 수 있는 자극들을 생성한다.
본 발명의 일 양상에 따르면, 액추에이터들, 열 장치와 같은 정지(non-moving) 효과 발생기, 또는 둘 다를 포함하는 정전식 디스플레이가 제공된다.
본 발명의 일 양상은 햅틱 효과를 정전식 디스플레이의 디스플레이 스크린 이외의 표면들 상에 발생시키는 것에 관한 것이다. 일 실시예에서, 햅틱 효과는 디스플레이 장치의 측면 또는 배면 상에 발생될 수 있으며, 이곳에 슬라이드 바와 같은 컨트롤들이 위치될 수 있다. 다른 표면들은 예를 들어 스티어링 휠, 대시보드, 조이스틱, 터치패드(또는 트랙패드), 및 리모트 컨트롤의 것들을 포함한다. 일 실시예에서, 햅틱 효과는 디스플레이 상에 도시되는 특징들을 전달하기 위해 디스플레이 상의 위치들에 대응하는 터치패드 상의 위치들에서 발생될 수 있다.
본 발명의 이들 및 다른 양상들, 특징들, 및 특성들뿐 아니라, 구조 관련 요소들의 동작 방법들 및 기능들, 및 부품의 조합 및 제조의 경제성은 본 명세서의 일부를 형성하는 첨부 도면들을 참조하여 이하의 설명 및 첨부된 청구항들을 고려하면 보다 분명해질 것이며, 동일한 참조 부호들은 다양한 도면들에서 대응하는 부분들을 나타낸다. 그러나, 도면들은 예시 및 설명만을 위한 것이고 본 발명을 제한하는 규정으로서 의도되지 않는다는 점이 명확히 이해되어야 한다. 본 명세서 및 청구항들에 사용되는 바와 같이, "하나의("a", "an")", 및 "상기(the)"라는 단수 형태는 문맥에 달리 명확히 지시되어 있지 않으면 복수의 지시 대상들을 포함한다.
도 1a는 본 발명의 하나 이상의 실시예에 따른, 햅틱 효과를 액추에이터들 및 정전식 장치에 의해 발생시키도록 구성되는 시스템을 예시한다.
도 1b는 도 1a의 시스템의 다른 도면을 예시한다.
도 2는 본 발명의 하나 이상의 실시예에 따른, 질감을 시뮬레이션하는 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 3은 본 발명의 하나 이상의 실시예에 따른, 하나 이상의 데이터 요소들에 대응하는 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 4는 본 발명의 하나 이상의 실시예에 따른, 하나 이상의 데이터 요소들에 대응하는 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 5는 본 발명의 하나 이상의 실시예에 따른, 하나 이상의 데이터 요소들에 대응하는 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 6은 본 발명의 하나 이상의 실시예에 따른, 맵 위치들에 대응하는 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 7은 본 발명의 하나 이상의 실시예에 따른, 높이가 햅틱 효과에 의해 어떻게 시뮬레이션될 수 있는지의 도면을 예시한다.
도 8a 및 도 8b는 본 발명의 하나 이상의 실시예에 따른, 사용자 제스처에 기초하여 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 9는 본 발명의 하나 이상의 실시예에 따른, 비디오 또는 오디오 트리거에 기초하여 햅틱 효과를 발생시키도록 구성되는 시스템을 예시한다.
도 10은 본 발명의 하나 이상의 실시예에 따른, 햅틱 효과를 비디스플레이(non-display) 표면 상에 발생시키도록 구성되는 시스템을 예시하며, 이 햅틱 효과는 질감을 전달한다.
도 11은 본 발명의 하나 이상의 실시예에 따른, 햅틱 효과를 비디스플레이 표면 상에 발생시키도록 구성되는 시스템을 예시한다.
도 12는 본 발명의 하나 이상의 실시예에 따른, 질감을 시뮬레이션하는 햅틱 효과를 비디스플레이 표면 상에 발생시키도록 구성되는 시스템을 예시한다.
도 13은 본 발명의 하나 이상의 실시예에 따른, 햅틱 효과를 비디스플레이 표면 상에 발생시키도록 구성되는 시스템을 예시한다.
도 14는 본 발명의 하나 이상의 실시예에 따른, 햅틱 효과를 발생시키도록 구성되는 시스템 및 그 회로들의 블록도를 예시한다.
도 1은 사용자 인터페이스에서 마찰 계수를 시뮬레이션하는 햅틱 효과를 제공하는 시스템(100)의 일 실시예를 예시한다. 햅틱 효과는 진동, 인력(attractive force) 또는 반발력, 전압 또는 전류, 일부 다른 기계력 또는 전자기력, 가열 또는 냉각, 또는 일부 다른 자극을 포함하지만 이들에 제한되지 않는 자극 또는 힘을 지칭한다. 햅틱 효과는 본 명세서에 설명되는 힘들 또는 자극들 중 하나 또는 결합을 포함할 수 있다. 복수의 햅틱 효과들이 결합되어 종합적인 햅틱 효과를 형성할 수 있다. 햅틱 효과는 사용자 인터페이스에 출력되어 그 인터페이스와 상호작용하는 사용자 또는 객체(object)에 피드백을 제공할 수 있다. 그것은, 예를 들어 고상 물체의 진동들, 유체들의 진동들, 또는 핀들 또는 로드들(rods)과 같은 작용체(actuating object)를 통해 사용자를 터치하는 등의, 기계적 움직임을 통해 피드백을 제공할 수 있다. 핀들 또는 로드들은 표면 양각 또는 윤곽을 변경함으로써 표면을 변형시킬 수 있다. 전체적인 햅틱 효과는 또한 정전기 상호작용들을 통해 피드백을 제공하여, 사용자 인터페이스에서의 손가락과 같이 힘을 객체 상에 발생시키거나, 전기 신호를 손가락의 신경 또는 스타일러스 내의 센서와 같이 전기 신호를 인지할 수 있는 객체에 송신할 수 있다.
시스템은 예를 들어 뮤직 플레이어, 비디오 플레이어, 그래픽 디스플레이, 전자책 리더, 장치들의 임의 결합의 일부일 수 있거나, 사용자 인터페이스를 갖는 일부 다른 일반적 장치일 수 있다. 시스템(100)은 이 실시예에서 디스플레이 스크린(110)을 터치하고 있는 객체를 감지하도록 구성되는 디스플레이 스크린(110)을 통해 사용자와 인터페이스한다. 객체는 사용자의 손가락(140), 사용자의 손바닥, 또는 햅틱 효과를 감지할 수 있는 사용자의 신체의 임의의 다른 부위일 수 있다. 객체는 그 존재가 스크린(110) 상에서 감지될 수 있는 스타일러스 또는 일부 다른 장치일 수도 있다. 스크린은 용량성, 저항성, 또는 유도성 결합을 통해 객체의 존재를 감지할 수 있지만, 이들 기술에만 제한되지는 않는다.
시스템(100)은 햅틱 효과를 디스플레이 스크린(110)의 표면에서 하나 이상의 액추에이터들(112, 114, 116), 정전식 장치(120), 또는 그들의 결합들을 통해 제공할 수 있다. 액추에이터들(112, 114, 및 116)은 스크린(110)의 표면에서 진동들로 변환될 수 있는 기계적 운동을 발생시키도록 구성된다. 액추에이터들은 압전 액추에이터들, 보이스 코일들, 솔레노이드들과 같은 자기 액추에이터들, 공압 액추에이터들, 초음파 에너지 액추에이터들, 편심 질량 액추에이터, 전기 활성 폴리머 액추에이터, 형상 기억 합금, 또는 일부 다른 타입의 액추에이터로 구현될 수 있다. 액추에이터들은 토크를 진동들로 변환하는 모터들, 유체 압력, 재료의 형상 변화들, 또는 운동을 발생시키는 다른 힘들에 의존할 수 있다. 예를 들어, 액추에이터들은 하기 논의될 전도층(120) 및 절연층(122)과 같은 2개의 객체들 사이에서, 또는 정전기 표면 액추에이터 내의 층들 사이에서 정전기 인력을 이용하여 운동을 발생시킬 수 있다. 게다가, 액추에이터들은 진동들을 발생시키는 것에 제한되는 것이 아니라, 대신에 수평 운동, 상하 운동, 회전 운동, 또는 이들의 일부 결합, 또는 일부 다른 운동을 발생시킬 수 있다. 도 1a의 실시예의 경우, 액추에이터(116)는 진동을 발생시켜 햅틱 효과를 발생시키는 압전 또는 보이스 코일 액추에이터일 수 있고, 액추에이터(112)는 상하 운동을 발생시켜 햅틱 효과를 발생시키는 솔레노이드일 수 있으며, 액추에이터(114)는 수평 운동을 발생시켜 햅틱 효과를 발생시키는 공압 액추에이터일 수 있다. 액추에이터들은 햅틱 효과가 요구될 때 모두 활성화될 수 있거나, 전력을 보존하거나 상이한 햅틱 효과들을 발생시키기 위해 하나만이 활성화될 수 있다. 게다가, 특정 액추에이터는 햅틱 효과를 전체 시스템(100)에 대해, 사용자와 인터페이스하는 디스플레이 스크린(110)에 대해서만, 디스플레이 스크린의 일부에 대해서만, 또는 시스템(100)의 일부 다른 부분 상에 발생시키도록 위치되고 구성될 수 있다. 예를 들어, 액추에이터(116)는 코너의 외측의 진동 진폭이 임계 진폭 미만이도록 진동들의 레벨을 충분히 낮게 유지함으로써 진동들을 디스플레이 스크린(110)의 코너에 대해서만 발생시키도록 구성될 수 있다.
시스템(100)은 또한 정전식 장치를 통해 햅틱 효과를 제공한다. 정전식 장치는 기계적 운동 대신에 전압들 및 전류들을 인가하여 햅틱 효과를 발생시키는 전기 진동 촉각 디스플레이 또는 임의의 다른 장치일 수 있다. 정전식 장치는 이 실시예에서 적어도 전도층(120) 및 절연층(122)을 갖는다. 전도층(120)은 임의의 반도체 또는 구리, 알루미늄, 금, 또는 은과 같은 다른 전도성 재료일 수 있다. 절연층(122)은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연성 재료일 수 있다. 시스템(100)은 전기 신호를 전도층(120)에 인가함으로써 정전식 장치를 동작시킬 수 있다. 전기 신호는 이 실시예에서, 전도층을 디스플레이 스크린(110) 근방의 또는 디스플레이 스크린에 접촉하는 객체와 용량적으로 결합시키는 AC 신호일 수 있다. AC 신호는 고전압 증폭기에 의해 발생될 수 있다. 시스템(100)은 햅틱 효과를 발생시키기 위해 용량성 결합 이외의 다른 원리들에 의존할 수도 있다. 용량성 결합은 마찰 계수 또는 질감을 디스플레이 스크린(110)의 표면 상에 시뮬레이션할 수 있다. 마찰 계수는 디스플레이 스크린(110)이 매끄러울 수 있을지라도, 용량성 결합이 스크린(100) 근방의 객체와 전도층(120) 사이에서 인력을 발생할 수 있다는 점에서 시뮬레이션된 것이다. 인력은 표면에서의 재료의 구조가 변경되지 않았을 때에도 표면 상에서의 마찰을 증가시킨다. 객체와 전도층 사이에서 인력의 수준들을 변화시키는 것은 디스플레이 스크린(110)을 가로질러 이동하는 객체의 마찰을 변화시킬 수 있다. 마찰력을 변화시키면 마찰 계수의 변경이 시뮬레이션된다. 시뮬레이션된 마찰 계수는 액추에이터들에 의해서도 변경될 수 있다. 예를 들어, 액추에이터들은 진동들을 발생시키거나, 디스플레이 스크린(110)의 표면 양각을 변경하여 실제 마찰 계수를 변경함으로써 마찰력을 증가시킬 수 있다.
용량성 결합은 이 결합에 대응할 수 있는 사용자의 손가락(140)의 피부 내의 혈구들 또는 스타일러스 내의 구성요소들과 같은, 디스플레이 스크린(110) 근방의 또는 디스플레이 스크린에 접촉하는 객체의 부분들을 자극함으로써 햅틱 효과를 발생시킬 수도 있다. 피부 내의 혈구들은 예를 들어 자극을 받아 용량성 결합을 진동 또는 조금 더 특정한 감각으로 감지할 수 있다. 예를 들어, 전도층(120)에는 사용자의 손가락(140)의 전도 부분들과 결합하는 AC 전압 신호가 인가될 수 있다. 사용자가 디스플레이 스크린(110)을 터치하여 그의 또는 그녀의 손가락(140)을 스크린 상에서 이동시킬 때, 사용자는 까끌까끌함(prickliness), 오돌토돌함(graininess), 울퉁불퉁함(bumpiness), 거칠음(roughness), 끈적거림(stickiness)의 질감, 또는 임의 다른 질감을 감지할 수 있다. 사용자의 피부 혈구들은 손가락(140)이 스크린(110)을 가로질러 이동할 때 일반적인 감각을 갖도록 자극받을 수도 있다. 그러므로, 용량성 결합은 스크린 근방의 또는 스크린에 접촉하는 객체와 결합하는 신호를 발생시킴으로써 마찰 계수 또는 질감을 자극하기 위해 사용될 수 있다.
많은 상이한 객체들 또는 사람들에 걸쳐 동일한 인력을 제공하거나 동일한 레벨의 자극들을 제공하기 위해, 시스템(100)은 디스플레이 스크린(100)의 표면에서의 임피던스를 측정할 수 있는 센서를 포함할 수도 있다. 센서는 표면을 가로질러 펄스를 인가하여 표면 전압을 측정하거나 용량성 결합의 강도를 측정함으로써, 임피던스를 측정할 수 있다. 센서는 임피던스를 측정하는 다른 공지된 기술들을 사용할 수 있고, 공기 내의 수분 또는 온도와 같은 변화하는 주위 조건들을 보상할 수 있다. 햅틱 효과는 사람의 임피던스에 기초하여 조정될 수 있다. 예를 들어, 더 높은 임피던스를 갖는 객체에는 더 강력한 햅틱 효과가 적용되고 더 낮은 임피던스를 갖는 객체에는 덜 강력한 효과가 적용될 수 있다.
일 실시예에서, 사용자 인터페이스는 절연층을 갖지 않아서, 객체는 전도층을 직접 터치할 수 있다. 햅틱 효과는 전도층으로부터 객체로 전류를 흐르게 함으로써 발생될 수 있다. 이 실시예는 또는, 절연층을 사용하지만, 객체들이 절연층을 가로질러 이동할 때 전극을 터치하여 객체들에 전류가 흐를 수 있게 해주는, 절연층 내 하나 이상의 전극들을 포함할 수 있다.
일 실시예에서, 햅틱 효과 시스템은 액추에이터들 및 정전식 장치와 결합될 수 있는 열 장치(118)를 포함할 수 있다. 열 장치(118)는 시스템과 상호작용하는 객체를 직접 또는 간접적으로 가열 또는 냉각함으로써 햅틱 효과를 발생시킬 수 있다.
햅틱 효과들은 액추에이터들 및 정전식 장치에 의해 차례로 발생될 수 있거나, 결합될 수 있다. 예를 들어, 스크린(110)을 터치하는 손가락(140)의 피부를 끌어당기고 피부 내의 혈구들을 자극하는데 충분히 높은 레벨의 전압이 전도층(120)에 인가될 수 있다. 이 전기 진동 촉각 햅틱 효과와 동시에, 정전기력들이 전도층(120) 및 절연층(122) 상에 발생되어 기계적 운동을 그 층들에서 생성할 수 있다. 햅틱 효과들은 액추에이터들(112, 114, 및 116) 중 하나 또는 결합에 의해 발생되는 운동들과 결합될 수 있다. 장치들은 마찰 계수 또는 질감을 스크린의 표면 상에 시뮬레이션하기 위해 함께 동작할 수 있다. 액추에이터들은 예를 들어 표면 마찰 또는 질감의 변경들을 또한 시뮬레이션하는 진동들을 발생시킬 수 있다.
장치들은 사용자의 손가락(140)과 같은 객체가 스크린(110)의 표면을 가로질러 이동할 때 시뮬레이션된 상이한 질감들 또는 마찰 계수들을 발생시킬 수 있다. 도 1a는 제1 햅틱 영역(130), 제2 햅틱 영역(132), 및 제3 햅틱 영역(134)을 도시하지만, 다른 실시예들은 1개, 2개, 또는 3개보다 많은 햅틱 영역들을 가질 수 있다. 사용자의 손가락이 제1 영역(130) 위를 이동할 때, 액추에이터들 및 정전식 장치는 제1 질감 또는 마찰 계수를 시뮬레이션할 수 있다. 사용자의 손가락이 제2 및 제3 영역들(132, 134) 위로 이동할 때, 액추에이터들 및 정전식 장치들은 제1 질감 또는 마찰 계수와 상이할 수 있는 제2 및 제3 질감들 또는 마찰 계수들 각각을 시뮬레이션할 수 있다.
시스템은 시뮬레이션된 마찰 계수를 측정하는 센서를 가질 수도 있다. 이것은 임피던스를 측정하는 상술한 센서와 동일한 센서일 수 있거나, 상이한 센서일 수 있다. 센서는 스크린을 터치하는 객체로부터와 같이, 스크린(110)의 표면이 받고 있는 측정된 압력에 기초하여, 그리고 표면에서의 객체의 움직임에 기초하여 시뮬레이션된 계수를 측정할 수 있다. 객체의 움직임은 표면에서의 압력이 시간에 따라 및 표면 상의 위치들에 따라 어떻게 변화되는지에 기초하여 측정될 수 있다. 예를 들어, 센서는 스크린(110) 상의 사용자의 손가락의 가속도에 기초하여 그리고 표면이 사용자의 손가락으로부터 받고있는 압력에 기초하여 시뮬레이션된 마찰 계수를 나타내는 값을 계산할 수 있다.
햅틱 효과들 및 센서들은 컨트롤러에 의해 제어될 수 있다. 컨트롤러는 임피던스, 시뮬레이션된 마찰 계수, 표면 압력, 표면에서 측정되는 움직임 속도, 및 기타 요인들을 분석하여 햅틱 효과에 대한 트리거링 조건이 있었는지 또는 햅틱 효과가 얼마나 강력해야 하는지를 판단할 수 있다. 컨트롤러의 상세들은 아래에 논의된다.
도 1a의 햅틱 효과 시스템의 정면도는 도 1b에 예시되며, 도 1b는 시뮬레이션된 마찰 계수 또는 질감을 갖는 햅틱 영역(130)을 도시한다. 사용자가 손가락(140)을 영역 위를 이동시킬 때, 액추에이터들 및 정전식 장치는 시뮬레이션된 마찰 계수에 대응하는 마찰력을 시뮬레이션하는 햅틱 효과를 발생시킬 수 있다. 햅틱 영역의 면적은 도 1a 및 도 1b에 도시된 것보다 훨씬 더 작거나 또는 훨씬 더 클 수 있고, 그의 연관된 마찰 계수 또는 질감은 변경될 수 있다.
도 2는 햅틱 효과 시스템(200)의 일 실시예를 도시한다. 시스템(200)은 사용자 인터페이스를 디스플레이 스크린(210)을 통해 제공하도록 구성된다. 디스플레이 스크린(210)은 햅틱 영역(230)을 갖고, 사용자의 손가락(140)이 그 영역을 가로질러 이동할 때 벽돌의 거친(coarse) 질감을 시뮬레이션할 수 있다. 디스플레이 스크린(210)은 또한 다른 햅틱 영역(232)을 갖고, 사용자의 손가락(140)이 그 영역을 가로질러 이동할 때 바위들의 울퉁불퉁한(bumpy) 질감을 시뮬레이션할 수 있다. 시스템은 끈적거림, 거칠음, 또는 닳음과 같은 다른 질감들을 시뮬레이션하는 햅틱 효과들을 발생시킬 수 있다. 햅틱 효과들은 열 장치로부터의 가열 또는 냉각을 통합하여 질감 및 온도 둘 다를 시뮬레이션할 수 있다.
도 3은 햅틱 효과 시스템(200)이 제공할 수 있는 다른 형태의 상호작용을 도시한다. 시스템(200)은 파일 폴더들과 같은 데이터 요소들을 표현하기 위해 햅틱 효과들을 발생시킬 수 있다. 스크린(210)은 상이한 타입들의 폴더들에 대한 상이한 질감들 또는 마찰 계수들을 시뮬레이션할 수 있는 3개의 햅틱 영역들(330, 332, 및 334)을 가질 수 있다. 예를 들어, 시스템(200)은 사용자의 손가락(140)이 영역(330)을 가로질러 이동할 때는 덜 강력한 햅틱 효과를 제공하거나 어떤 햅틱 효과도 제공하지 않을 수 있으며, 이 영역은 시각적 데이터를 표현하는 폴더들에 대응한다. 시스템(200)은 사용자의 손가락(140)이 영역(332)을 가로질러 이동할 때는 더 강력한 햅틱 효과를 제공할 수 있으며, 이 영역은 오디오 데이터를 표현하는 폴더에 대응하며, 최종적으로 사용자의 손가락이 영역(334)을 가로질러 이동할 때는 훨씬 더 강력한 햅틱 효과를 제공할 수 있으며, 이 영역은 보호된 데이터를 표현하는 폴더에 대응한다. 햅틱 영역들은 버튼들, 체크 박스들, 드롭다운 박스들, 다른 형태 요소들, 아이콘들, 커서들, 및 윈도우들과 같은 많은 상이한 타입들의 데이터 요소들에 대응할 수 있다. 시스템(200)은 시간에 기초하여 영역의 질감 또는 마찰 계수를 변경할 수 있다. 예를 들어, 햅틱 영역이 버튼에 대응하면, 시스템(200)은 사용자의 손가락(140)이 햅틱 영역을 가로질러 이동하는 제1 시간과 제2 시간 사이에서 햅틱 영역의 질감 또는 마찰 계수를 변경할 수 있다. 이 변경은 예를 들어 버튼이 눌려진 것을 반영할 수 있다.
데이터 요소의 다른 예는 도 4에 도시된다. 여기서, 햅틱 영역(430)은 슬라이드 바(또는 스크롤 바)에 대응한다. 사용자의 손가락(140)이 이 영역을 가로질러 이동할 때, 시스템(200)은 손가락(140)이 여전히 그 영역에 있기만 하면 질감 또는 마찰 계수를 시뮬레이션하는 햅틱 효과를 발생시킬 수 있다. 시스템(200)은 햅틱 효과를 손가락이 위치되는 슬라이드 바 상의 영역에 국한시킬 수 있다. 예를 들어, 시스템(200)은 복수의 액추에이터들을 스크린(210) 아래의 상이한 위치들에 가질 수 있고, 손가락(140)에 가장 가까운 액추에이터만을 활성화시킬 수 있다.
시스템(200)은 햅틱 효과를 조정하여 시뮬레이션된 질감 또는 마찰 계수를 조정하도록 구성될 수도 있다. 즉, 사용자는 스크린을 슬라이드 바에 의해 스크롤 다운하면서 더 많은 제어를 달성하기 위해 높은 시뮬레이션 마찰 계수를 갖도록 시스템(200)을 구성할 수 있다. 시스템은 예를 들어 손가락(140)의 운동에 기초하여 햅틱 효과를 자동으로 조정할 수도 있다. 예를 들어, 사용자의 손가락이 신속히 스크롤하려고 시도하고 있다면, 시스템(200)은 스크린 상에서의 고속 운동을 감지하고 덜 강력한 햅틱 효과를 발생시켜 더 낮은 마찰 계수를 시뮬레이션함으로써 사용자의 편의를 도모할 수 있다.
도 5는 햅틱 영역을 텍스트의 특성(property)에 대응시키는 일 예를 도시한다. 특정 실시예는 텍스트의 강조부에 대응하는 햅틱 영역(530)을 도시한다. 대신에 햅틱 영역은 밑줄, 이탤릭체, 볼드체 텍스트에 대응하거나, 특정 폰트의 텍스트에 대응하거나, 텍스트에 부여될 수 있는 임의의 다른 특성에 대응할 수 있다. 게다가, 햅틱 영역은 특성이 텍스트에 적용될 때 할당되거나 수정될 수 있다. 예를 들어, 시스템은 사용자가 강조된 텍스트의 처리 중에 있을 때 햅틱 효과를 발생시킬 수 있다.
햅틱 영역은 단지 텍스트의 시각적 특성에만 대응하는 것이 아니라, 메타데이터와 같은 비시각적 성질들에 대응할 수 있다. 예를 들어, 시스템(200)은 햅틱 영역을 하이퍼링크인 텍스트에 할당할 수 있다. 다른 예에서, 시스템(200)은 XML 파일에 액세스하여 특정 부분에 속하는 특정 텍스트를 식별하고 햅틱 영역을 그 부분에 할당할 수 있다. 초기에 논의된 바와 같이, 영역의 마찰 계수는 시간 또는 스크린 상의 움직임에 기초하여 변경될 수 있다. 이 경우에, 사용자의 손가락(140)이 텍스트를 스크린(210) 상의 다른 위치로 스크롤할 때, 시스템(200)은 새로운 위치에서 새로이 시뮬레이션된 마찰 계수를 설정함으로써, 예를 들어 이전 위치에서 시뮬레이션된 마찰 계수를 제로 또는 어떤 디폴트 값으로 설정함으로써 햅틱 영역을 텍스트의 새로운 위치로 효과적으로 이동시키도록 구성된다.
도 6은 햅틱 영역을 위치에 대응시키는 다른 예를 도시한다. 실시예에서, 햅틱 영역들(632)은 사용자와 특별한 관련은 없고 제로 또는 임의 디폴트 시뮬레이션된 마찰 계수를 갖는 위치들에 대응할 수 있다. 햅틱 영역들(630 및 634)은 2개의 상이한 위치들을 구별하는 상이한 시뮬레이션된 질감들 또는 마찰 계수들을 가질 수 있다. 마찰 계수들은 위치에 대한 식별자의 역할을 할 수 있다. 시스템(200)은 어떤 위치에서의 지형을 시뮬레이션하는 질감 또는 마찰력을 생성하는 햅틱 효과를 발생시킬 수도 있다. 예를 들어, 햅틱 영역(630)에서의 햅틱 효과는 모래 부지의 질감을 시뮬레이션할 수 있는 한편, 햅틱 영역(634)에서의 햅틱 효과는 자갈 길의 질감을 시뮬레이션할 수 있다. 햅틱 효과는 지형의 질감을 시뮬레이션하는 것에 제한되지 않는다. 예를 들어, 스크린(210)은 의복들, 직물들, 식품들, 및 다른 재료들 및 제품들을 디스플레이할 수 있다. 시스템(200)은 디스플레이되는 재료 또는 제품들에 대응하는 햅틱 효과를 할당하고 그 재료 또는 제품을 시뮬레이션하는 질감 또는 마찰력을 생성하는 햅틱 효과를 발생시킬 수 있다.
햅틱 효과는 대개 묘화 시의 질감들을 시뮬레이션하도록 발생될 수 있다. 예를 들어, 사용자의 손가락(140)이 디스플레이 스크린(210)에 렌더링되는 묘화 프로그램 상에서 묘화하고 있었다면, 시스템은 예를 들어 사용자의 손가락(140)이 크로스해치들을 스크린 상에 묘화하고 있을 때는 크로스해치들의 질감을 또는 사용자의 손가락(140)이 스프레이 페인트를 스크린 상에 묘화하고 있을 때는 더 오돌토돌한 질감을 시뮬레이션하는 질감을 생성하는 햅틱 효과를 발생시킬 수 있다.
도 7은 표면 특징, 구체적으로 상승 에지의 시뮬레이션을 도시한다. 실시예에서, 시뮬레이션된 상승 에지(731)는 버튼들, 텍스트박스들, 아이콘들, 또는 다른 사용자 입력 객체들과 같은 스크린 상에 도시되는 영역들의 3차원 양상들을 표현할 수 있다. 예를 들어, 버튼의 시뮬레이션된 상승 에지를 인지하는 사용자들은 스크린을 볼 필요없이 그들의 손가락이 버튼의 상단 위를 이동했다는 것을 알 수 있다. 시뮬레이션된 표면 특징들은 보다 일반적으로 사용자 인터페이스에서의 높이 또는 깊이를 전달할 수 있다.
상승 에지(731)는 사용자의 손가락(140)이 햅틱 영역(732) 위에 있을 때는 더 강한 햅틱 효과를 적용하고, 사용자의 손가락(140)이 햅틱 영역(730) 위에 있을 때는 덜 강한 햅틱 효과를 적용하며, 사용자의 손가락(140)이 햅틱 영역(734) 위에 있을 때는 어떤 햅틱 효과도 적용하지 않는 시간 도메인 프로파일에 의해 정의될 수 있다. 예를 들어, 햅틱 효과 시스템은 사용자의 손가락(140)이 영역(732) 위를 이동할 때는 상승 에지(731)의 상승 경사를 표현하기 위해 높은 마찰 계수를 시뮬레이션할 수 있다. 햅틱 시스템은 사용자의 손가락(140)이 영역(730) 위를 이동할 때는 객체의 평평한 상단을 표현하기 위해 제2의 낮은 마찰 계수를 시뮬레이션할 수 있다. 햅틱 시스템은 손가락(140)이 영역(734) 위를 이동할 때는 다운 경사를 표현하기 위해 훨씬 더 낮은 마찰 계수(예를 들어, 제로)를 시뮬레이션할 수 있다. 사용자의 손가락이 영역(730)을 향해 이동하고 있는지(이는 상승 에지에 대응함), 또는 사용자의 손가락이 떠나고 있는지(이는 하강 에지에 대응함)를 검출함으로써, 시스템은 상승에 대해서는 더 높은 계수 및 하강에 대해서는 더 낮은 계수를 시뮬레이션하기 위해 햅틱 효과를 변화시킬 수 있다. 실시예는 햅틱 효과를 시간에 따라 변화시키는 시간 도메인 프로파일을 설명하지만, 시간은 독립적인 변수가 아니다. 오히려, 햅틱 효과의 타이밍은 손가락(140)의 위치에 의존한다. 그러므로, 시간 도메인 프로파일 내의 햅틱 효과들은 항상 고정 시간들에 적용되는 것이 아니라, 사용자의 손가락이 햅틱 영역들(730, 732, 및 734)에 얼마나 빨리 접근하고 있는지에 의존할 수 있다.
보다 일반적으로 사용자 인터페이스에서의 높이 또는 깊이를 전달하기 위해, 햅틱 영역들 및 마찰 계수들을 사용자 인터페이스 상의 위치들에 할당하기 위해 토포그래피 지도가 사용될 수 있다. 햅틱 영역들은 2개의 시뮬레이션된 마찰 계수들에 제한되는 것이 아니라, 더 많거나 더 적은 계수들을 가질 수 있다. 사용자의 손가락이 이동하고 있는 방향에 기초하여 시뮬레이션된 마찰을 조정하기 위해 더 많은 계수들이 사용될 수 있다. 예를 들어, 사용자의 손가락이 북쪽에 대응하는 방향으로부터 영역(730)에 접근하고 있으면, 시스템은 하나의 마찰 계수를 적용할 수 있는 반면, 사용자의 손가락이 서쪽에 대응하는 방향으로부터 접근하고 있으면 시스템은 다른 마찰 계수를 적용할 수 있다. 다수의 계수들을 갖는 것은 영역(732)을 상이한 경사들에 대응하는 개별 부분영역들로 효과적으로 세분화할 수 있다. 시스템은 토포그래피 지도 내의 2개의 레벨들 사이의 높이 차를 2개의 레벨들 사이의 수평 거리로 나눔으로써 예를 들어 토포그래피 지도에 기초하여 경사를 계산하도록 구성될 수도 있다. 스크린 상에 디스플레이되는 이미지들에 대해, 시스템은 예를 들어 조명 차이들, 음영들의 위치, 및 이미지 내의 높이 차를 측정하기 위해 사용될 수 있는 다른 시각적 요인들에 기초하여 이미지 내의 높이 차를 계산하도록 구성될 수도 있다. 시스템은 객체, 지형, 또는 사용자 인터페이스 상에 도시된 일부 다른 타입의 이미지의 토포그래피 및 질감 둘 다를 시뮬레이션하는 햅틱 효과를 발생시키기 위해 높이 및 지형 정보를 통합할 수 있다.
높이 또는 깊이의 지각을 변경하기 위해 액추에이터들이 사용될 수도 있다. 예를 들어, 액추에이터는 경사를 표현하는 영역으로부터 고원(plateau)을 표현하는 영역으로의 변경을 시그널링하는 진동들을 발생시킬 수 있다. 또는, 액추에이터들은 예를 들어 로드들 또는 핀들을 사용하여 표면 양각을 변경함으로써 높이 또는 깊이를 실제로 생성할 수 있다.
햅틱 효과들은 측정된 표면 압력 및 표면에서의 객체로부터의 움직임 속도에 기초할 뿐만 아니라, 더 구체적으로 인식된 제스처들에 기초하여 발생될 수 있다. 도 8a 및 도 8b는 페이지를 젖히는(flipping) 제스처에 대응하여 햅틱 효과가 발생되는 것을 도시한다. 햅틱 효과 시스템(800)은 스크린 상의 페이지들의 스택(820)을 도시하는 디스플레이 스크린(810)을 갖는다. 햅틱 영역을 스크린(810) 상의 위치에 할당하는 것보다는 오히려, 시스템(800)이 사용자의 손가락(140)이 스택(820) 내의 페이지를 젖히고 있는 것을 인식할 때 시스템(800)은 햅틱 효과를 발생시킬 수 있다. 예를 들어, 시스템은 사용자의 손가락이 스크린(810)의 하부 좌측 코너에서 시작하는지 및 그것이 좌측으로 이동하는지를 검출할 수 있다. 시스템(800)이 맨 위 페이지가 젖혀지는 것을 묘사하면, 시스템(800)은 사용자의 손가락(140)이 페이지의 코너를 따라가는지를 검출할 수 있다. 그럴 경우, 시스템(800)은 이를 페이지를 젖히는 제스처로서 인식하여 햅틱 효과를 발생시킬 수 있다. 시스템은 스크롤링 제스처, 주밍(zooming) 제스처, 또는 인식될 수 있는 임의의 다른 손가락 움직임과 같은 다른 제스처들을 인식하도록 구성될 수 있다. 주밍 제스처의 경우, 시스템(800)은 하나보다 많은 손가락의 움직임을 스크린(810) 상에서 인식하도록 구성될 수 있다. 시스템(800)은 핀칭 제스처 또는 회전 제스처와 같은, 2개, 3개, 4개, 또는 더 많은 손가락들에 기초한 다른 제스처들을 인식할 수도 있다. 시스템은 2명 이상의 사용자로부터의 손가락 움직임에 순응할 수도 있다.
햅틱 효과는 사용자 인터페이스에서 제시되는 비디오, 그래픽, 또는 오디오 콘텐츠에 기초하여 개시될 수 있다. 도 9는 착신 전화 호출의 시각적 및 오디오 표시를 수반하는 햅틱 효과를 발생시키는 햅틱 효과 시스템(900)을 도시한다. 시스템(900)은 예를 들어 전화 호출의 시각적 표시를 디스플레이하면서 스크린(910) 상에 마찰 계수 또는 질감을 시뮬레이션하는 햅틱 효과를 발생시키도록 구성될 수 있다.
게다가, 햅틱 효과들은 디스플레이 스크린들 이외의 사용자 인터페이스 표면 상에 발생될 수 있다. 장치를 위한 컨트롤들이 디스플레이 스크린 이외의 표면들 상에 위치되기 때문에, 스크린은 사용자 입력을 수신해야만 할 필요는 없다. 그 대신에, 스크린은 도 9 내의 시스템의 비디스플레이 표면 상의 슬라이드 바(930)가 예를 들어 사용자 입력을 수신할지도 모르는 동안 시각적 및 오디오 콘텐츠 및 햅틱 효과들을 그저 출력만 할 수 있을 뿐이다. 슬라이드 바는 착신 호출에 응답하는 컨트롤일 수 있다. 시스템은 트리거링 이벤트 없이 햅틱 효과를 발생시킬 수 있다. 예를 들어, 정전식 장치는 사용자 또는 트리거링 이벤트의 존재에 관계없이 정전압을 슬라이드 바 아래에 인가할 수 있다. 또는, 정전식 장치는 착신 호출과 같은 트리거링 이벤트에 따라서만 햅틱 효과를 발생시킬 수 있다.
도 10은 다른 비디스플레이 표면(1020)을 도시한다. 일 예에서, 표면은 컴퓨터 디스플레이 스크린(1010)에 입력을 제공하는 트랙패드 또는 터치패드에 속할 수 있다. 컴퓨터 시스템(1000)은 스크린(1010) 상의 영역들을 터치패드(1020) 상의 햅틱 영역들에 대응시킬 수 있다. 사용자의 손가락(140)이 예를 들어 영역(1030)을 가로질러 이동할 때, 터치패드는 컴퓨팅 시스템의 디스플레이(1010)에 의해 수신되고 커서 또는 포인터가 영역(1040)을 가로질러 이동하는 것으로서 반영되는 출력 신호를 발생시킬 수 있다. 터치패드(1020)는 컴퓨팅 시스템(1000)으로부터 햅틱 효과가 햅틱 영역(1030)에서 발생되도록 하는 입력 신호를 수신할 수도 있다. 사용자의 손가락이 영역들(1032 및 1034) 위로 이동할 때, 터치패드는 움직임을 검출하고 커서 또는 포인터를 보여주어 디스플레이 스크린(1010) 상의 대응하는 영역들(1042 및 1044)을 가로질러 이동하게 하는 신호를 시스템(1000)에 출력할 수 있다. 동시에, 시스템은 사용자의 손가락(140)이 영역(1032)을 가로질러 이동하고 있을 때는 제1 햅틱 효과 및 사용자의 손가락(140)이 영역(1034)을 가로질러 이동하고 있을 때는 제2 햅틱 효과를 발생시키게 할 수 있는 신호를 터치패드(1020)에 송신할 수 있다.
도 11은 햅틱 영역이 경계 영역의 형태일 수 있는 다른 예를 도시한다. 실시예는 하나의 파일(1144)을 포함하는 파일 영역(1140) 및 어떤 문서들도 포함하지 않는 파일 영역(1142)을 도시한다. 파일 영역들은 디스플레이 스크린(1010) 상에 도시되는 윈도우들 또는 파일 폴더들일 수 있다. 시스템(1000)은 파일 영역(1140)의 경계에 대응하는 햅틱 영역(1130)을 할당할 수 있고, 파일 영역(1142)의 경계에 대응하는 햅틱 영역(1132)을 할당할 수 있다. 파일 영역들은 파일이 한 영역으로부터 전송될 수 없거나 다른 영역에 기록될 수 없도록 잠겨질 수 있다(locked). 도 11의 햅틱 영역들은 사용자의 손가락(140)이 예를 들어 파일을 영역(1140)으로부터 또는 영역(1142)으로 이동시키고 있는 것을 검출할 때 햅틱 효과를 제공할 수 있다. 즉, 시스템은 사용자의 손가락이 영역들(1130 또는 1132)의 에지들을 터치하거나 에지들에 접근하여, 사용자에게 금지된 동작이 시도되고 있음을 표시할 때 햅틱 효과를 발생시킬 수 있다. 시스템(1000)은 사용자가 파일을 드래그하려고 시도하고 있는 경우에만 햅틱 효과를 개시할 수 있다. 예를 들어, 시스템(1000)은 사용자의 손가락이 영역(1134)에서 운동을 시작했는지의 여부를 검출하기 위해 터치패드(1020)에서 운동을 감시할 수 있다. 사용자의 손가락이 터치패드(1020)의 일부 다른 부분에서 움직임을 시작했으면, 시스템(1000)은 햅틱 효과를 발생시키지 않기로 결정할 수 있다.
도 12는 터치패드(1020)가 스크린(1010) 상의 지형에 대응하는 위치들의 마찰 또는 질감을 시뮬레이션할 수 있는 또 다른 예를 도시한다. 도 6에 도시된 실시예와 다르게, 이 실시예에서 햅틱 효과는 질감을 터치패드(1020)와 같은 비디스플레이 표면 상에 시뮬레이션한다. 여기서, 시스템(1000)은 위치(1240)에 있는 클레이 테니스 코드 및 위치(1242)에 있는 하드 코트를 갖는 지도를 도시할 수 있다. 시스템은 클레이 코트(1240)의 스크린 묘사와 부합하는 햅틱 영역(1230), 및 마찬가지로 묘사된 하드 코트(1242)를 위한 햅틱 영역(1232)을 할당할 수 있다. 시스템은 표면 움직임을 감시하고, 사용자의 손가락이 영역(1230)을 가로질러 이동할 때는 클레이 코트와 유사한 마찰력 또는 질감, 손가락이 영역(1232)을 가로질러 이동할 때는 하드 코트와 유사한 마찰력 또는 질감을 생성하는 햅틱 효과를 발생시킬 수 있다. 햅틱 효과는 디스플레이 스크린(1010) 상에 디스플레이되지 않는 특징들에 대해서도 발생될 수 있다. 예를 들어, 시스템(1000)은 디스플레이 스크린(1010) 상에 디스플레이되지 않거나 사용자에게 보여지지 않는 지하 터널에 대응할 수 있는 햅틱 영역(1234)을 할당할 수 있다.
햅틱 영역들은 예시적 목적들을 위해 도 12에 도시되고, 실제로 보여지지 않을 수 있다. 시스템(1000)은 커서, 포인터, 아이콘, 또는 아바타를 스크린 상에 디스플레이하여 사용자가, 터치 패드 상에서의 그의 움직임이 스크린 상의 움직임에 어떻게 대응하는지를 알게 할 수 있다.
도 13은 햅틱 효과를 출력할 수 있는, 이번에는 게임 리모트 컨트롤(1320) 상의 또 다른 비디스플레이 표면을 도시한다. 게임 리모트 컨트롤(1320)은 액추에이터들, 정전식 장치들, 열 장치들, 또는 그의 일부 결합을 사용하여 컨트롤의 표면에서 햅틱 효과를 발생시킬 수 있다. 햅틱 효과는 디스플레이 스크린(1310) 상에 도시되는 이벤트, 또는 리모트 컨트롤의 가속도 또는 속도, 스크린(1310)에 대한 컨트롤(1320)의 위치 또는 배향에 의해, 사운드, 광 레벨, 또는 일부 다른 트리거에 따라 트리거될 수 있다.
다른 트리거들은 논의된 실시예 중 어느 하나에 사용될 수 있다. 트리거의 다른 예들은 온도, 습도, 조명, 다른 주위 조건들, 및 예를 들어 다른 객체와의 표면 접촉 면적을 포함한다. 이 요인들은 트리거들의 역할을 할뿐만 아니라, 햅틱 효과가 얼마나 강력한지에 대하여 결정 요인들의 역할을 할 수 있다. 예를 들어, 센서가 어둡거나 약한 조명 상태를 검출하면, 그 상태에서의 좋지 않은 가시성을 보상하기 위해 더 강력한 햅틱 효과가 발생될 수 있다.
게다가, 다른 비디스플레이 표면들이 사용될 수 있다. 예를 들어, 햅틱 효과는 스위치, 노브, 일부 다른 제어 기구, 대시보드, 일부 다른 보드의 표면, 또는 햅틱 효과를 출력할 수 있는 임의의 다른 표면 상에 출력될 수 있다. 게다가, 본 발명의 실시예들은 육안적 변형들에 적응되는 표면들과 같은 변형가능 표면들에 사용될 수 있다.
도 14는 햅틱 효과를 발생시키는 모듈(1400)의 일 실시예를 예시한다. 모듈(1400)은 본 명세서에 설명되는 햅틱 효과 시스템들의 실시예들 중 어느 하나에 포함될 수 있다. 모듈(1400)은 하나 이상의 햅틱 효과들을 발생시키는 햅틱 장치(1430)를 포함할 수 있고, 센서(1440)에 의해 측정되는 임피던스 또는 시뮬레이션된 마찰 계수에 기초하여 햅틱 효과를 조정할 수 있다. 센서 데이터는 컨트롤러(1450)에 의해 분석되어 메모리(1420)에 저장될 수 있다. 컨트롤러(1450)는 프로세서(1410)의 일부로서 포함될 수 있거나, 컨트롤러가 독립된 로직 회로일 수 있다.
본 발명은 가장 실제적이고 바람직한 실시예로서 현재 고려되는 것에 기초하여 예시의 목적으로 상세히 설명되었을지라도, 그러한 상세는 예시 목적만을 위한 것이고 본 발명이 개시된 실시예들에 제한되지 않지만, 첨부된 청구항들의 사상 및 범위 내에 있는 수정들 및 등가 배열들을 커버하도록 의도된다는 점이 이해되어야 한다. 예를 들어, 본 발명은 가능한 정도까지, 임의의 실시예의 하나 이상의 특징들이 임의의 다른 실시예의 하나 이상의 특징들과 결합될 수 있는 것을 고려할 수 있다는 점을 이해하여야 한다.

Claims (49)

  1. 햅틱 효과를 제공하는 인터페이스 장치로서,
    인터페이스 장치와 상호작용하는 객체에 의한 접촉을 감지하고 상기 접촉과 관련된 신호를 송신하도록 구성되는 표면;
    상기 표면에 접촉하는 객체의 임피던스를 감지하고 상기 객체의 임피던스와 관련된 센서 신호를 송신하도록 구성되는 센서;
    상기 표면에 결합되고 정전식 장치의 전극층과 상기 객체 사이의 정전기력을 발생시켜 제1 유형의 자극을 사용하여 제1 유형의 햅틱 효과를 상기 표면에서 생성하도록 구성되는 정전식 장치;
    상기 제1 유형의 자극과 상이한 제2 유형의 자극을 사용하여 제2 유형의 햅틱 효과를 상기 표면에서 생성하도록 구성되고 상기 정전식 장치와 별도인 액추에이터; 및
    상기 표면, 상기 센서, 상기 정전식 장치, 및 상기 액추에이터와 통신하는 프로세서를 포함하고, 상기 프로세서는:
    상기 센서로부터 센서 신호를 수신하고;
    상기 센서 신호에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과 중 적어도 하나의 특징을 결정하고;
    상기 정전식 장치가 상기 제1 햅틱 효과를 생성하도록 구성되는 제1 햅틱 신호를 상기 정전식 장치에 송신하고; 그리고
    상기 액추에이터가 상기 제2 햅틱 효과를 상기 제1 유형의 햅틱 효과와 동시에 생성하도록 구성되는 제2 햅틱 신호를 상기 액추에이터에 송신하도록 구성되고,
    상기 햅틱 효과는 상기 제1 유형의 자극을 사용하여 발생되는 상기 제1 햅틱 효과 및 상기 제2 유형의 자극을 사용하여 발생되는 상기 제2 햅틱 효과를 포함하는,
    인터페이스 장치.
  2. 제1항에 있어서, 상기 햅틱 효과는 시뮬레이션된 마찰 계수의 변경, 진동, 상기 표면에서의 표면 양각(relief)의 변경, 질감, 또는 이들의 임의 결합을 포함하는, 인터페이스 장치.
  3. 제1항에 있어서, 상기 제1 햅틱 효과는 시뮬레이션된 마찰 계수 또는 질감을 포함하는, 인터페이스 장치.
  4. 제3항에 있어서, 상기 질감은 거칠음(roughness), 울퉁불퉁함(bumpiness), 끈적거림(stickiness), 촘촘함(fineness), 조악함(coarseness), 매끄러움(smoothness), 또는 이들의 임의 결합인, 인터페이스 장치.
  5. 제3항에 있어서, 상기 액추에이터는 상기 제2 햅틱 효과를 진동 또는 상기 표면에서의 표면 양각의 변경으로서 발생시킴으로써 상기 햅틱 효과를 변경하도록 구성되는, 인터페이스 장치.
  6. 제5항에 있어서, 상기 센서는 제1 센서이고, 상기 표면에서의 접촉을 감지하고 신호를 송신하도록 구성되는 제2 센서를 더 포함하는, 인터페이스 장치.
  7. 제6항에 있어서, 상기 접촉은 상기 표면 상의 위치와 시간에 따른 표면 압력의 변화를 포함하는, 인터페이스 장치.
  8. 제1항에 있어서, 상기 제1 햅틱 효과는 상기 표면에서의 높이 또는 깊이를 시뮬레이션하도록 구성되는 시뮬레이션된 마찰 계수를 포함하는, 인터페이스 장치.
  9. 제8항에 있어서, 상기 액추에이터는 상기 제2 햅틱 효과를 발생시켜 상기 표면에서의 표면 양각을 변경함으로써 상기 표면에서의 상기 시뮬레이션된 높이 또는 깊이를 변경하도록 구성되는, 인터페이스 장치.
  10. 제1항에 있어서, 상기 제2 햅틱 효과는 에지 크로싱(edge crossing)에 대응하는 진동인, 인터페이스 장치.
  11. 제1항에 있어서, 상기 프로세서는 상기 표면에서의 접촉의 위치에 기초하여 상기 제1 햅틱 효과를 변경하도록 구성되는, 인터페이스 장치.
  12. 제11항에 있어서, 상기 프로세서는 시간에 기초하여 상기 제1 햅틱 효과를 변경하도록 구성되는, 인터페이스 장치.
  13. 제11항에 있어서, 상기 프로세서는 상기 표면에서의 상기 접촉의 위치의 변경에 기초하여 상기 제1 햅틱 효과를 변경하도록 구성되는, 인터페이스 장치.
  14. 제13항에 있어서, 상기 프로세서는 상기 표면에서의 상기 접촉의 위치의 변경에 기초하여 제스처 입력을 인식하도록 구성되는, 인터페이스 장치.
  15. 제1항에 있어서, 상기 프로세서는 습도, 온도, 또는 주변 광의 양에 기초하여 상기 제1 햅틱 효과를 변경하도록 구성되는, 인터페이스 장치.
  16. 제1항에 있어서, 상기 프로세서는 상기 인터페이스 장치의 속도 또는 상기 인터페이스 장치의 가속도에 기초하여 상기 제1 햅틱 효과를 생성하도록 구성되는, 인터페이스 장치.
  17. 제1항에 있어서, 상기 프로세서는,
    상기 센서 신호에 기초하여 객체의 임피던스를 결정하고; 그리고
    상기 표면에서의 상기 객체의 임피던스에 기초하여 상기 제1 햅틱 효과를 변경하도록 구성되는,
    인터페이스 장치.
  18. 제1항에 있어서, 상기 센서는 펄스를 상기 표면에 인가하고 상기 펄스와 관련된 전압을 결정함으로써 상기 객체의 임피던스를 측정하도록 구성되는, 인터페이스 장치.
  19. 제1항에 있어서, 상기 표면의 적어도 일부는 비디스플레이(non-display) 표면이고, 상기 정전식 장치는 상기 제1 햅틱 효과를 상기 비디스플레이 표면에서 출력하도록 구성되며 상기 액추에이터는 상기 제2 햅틱 효과를 상기 비디스플레이 표면에서 출력하도록 구성되는, 인터페이스 장치.
  20. 제19항에 있어서, 상기 비디스플레이 표면은 스위치, 노브, 트랙패드, 리모트 컨트롤, 또는 대시보드의 일부인, 인터페이스 장치.
  21. 제19항에 있어서, 상기 비디스플레이 표면 상의 슬라이드 바를 더 포함하는, 인터페이스 장치.
  22. 제19항에 있어서, 디스플레이 표면으로 구성되는 제2 표면을 더 포함하며, 상기 인터페이스 장치는 상기 제2 표면에서 출력되도록 구성되는 시각적 또는 오디오 콘텐츠에 기초하여 상기 제1 유형의 햅틱 효과를 상기 비디스플레이 표면에서 출력하도록 구성되는, 인터페이스 장치.
  23. 제1항에 있어서, 상기 제1 유형의 자극 및 제2 유형의 자극과 상이한 제3 유형의 자극을 사용하여 제3 유형의 햅틱 효과를 상기 표면에서 제공하도록 구성되는 열 장치를 더 포함하고,
    상기 햅틱 효과는 상기 제1 햅틱 효과, 상기 제2 햅틱 효과, 및 상기 열 장치를 사용하여 발생되는 제3 햅틱 효과를 포함하는, 인터페이스 장치.
  24. 제1항에 있어서, 디스플레이 스크린을 더 포함하고, 상기 표면은 상기 디스플레이 스크린에 의해 적어도 일부가 형성되는, 인터페이스 장치.
  25. 제1항에 있어서, 상기 정전식 장치는 전극층을 포함하고, 상기 전극층은 상기 표면과 평행하게 배치된, 인터페이스 장치.
  26. 제25항에 있어서, 상기 정전식 장치는 상기 전극층과 상기 표면 사이에 결합된 절연층을 포함하는, 인터페이스 장치.
  27. 햅틱 효과를 제공하는 방법으로서,
    인터페이스 장치의 표면으로부터 신호를 수신하는 단계 - 상기 표면은 상기 인터페이스 장치와 상호작용하는 객체에 의한 접촉을 감지하고 상기 신호를 송신하도록 구성됨-;
    상기 표면에 접촉하는 객체의 임피던스를 감지하고 센서 신호를 송신하도록 구성되는 센서로부터 상기 센서 신호를 수신하는 단계;
    상기 센서 신호에 적어도 부분적으로 기초하여 제1 햅틱 효과 또는 제2 햅틱 효과 중 적어도 하나의 특징을 결정하는 단계;
    제1 햅틱 신호를 정전식 장치에 송신하는 단계 - 상기 제1 햅틱 신호는 상기 정전식 장치의 전극층과 상기 객체 사이의 정전기력을 통해 발생되는 제1 유형의 자극을 사용하여 상기 정전식 장치가 상기 제1 햅틱 효과를 상기 표면에서 생성하도록 구성됨-; 및
    제2 햅틱 신호를 상기 정전식 장치와 별도로 액추에이터에 송신하는 단계를 포함하고, 상기 제2 햅틱 신호는 상기 액추에이터가 상기 제1 유형의 자극과 상이한 제2 유형의 자극을 사용하여 제2 햅틱 효과를 상기 제1 햅틱 효과와 동시에 상기 표면에서 생성하도록 구성되고;
    상기 햅틱 효과는 상기 제1 유형의 자극을 사용하여 발생되는 상기 제1 햅틱 효과 및 상기 제2 유형의 자극을 사용하여 발생되는 상기 제2 햅틱 효과를 포함하는,
    방법.
  28. 제27항에 있어서, 상기 햅틱 효과는 시뮬레이션된 마찰 계수의 변경, 진동, 상기 표면에서의 표면 양각의 변경, 질감, 또는 이들의 임의 결합을 포함하는, 방법.
  29. 제27항에 있어서, 상기 제1 햅틱 효과는 마찰 계수 또는 질감을 상기 표면에서 시뮬레이션하는, 방법.
  30. 제29항에 있어서, 상기 질감은 거칠음, 울퉁불퉁함, 끈적거림, 촘촘함, 조악함, 매끄러움, 또는 이들의 임의 결합인, 방법.
  31. 제29항에 있어서, 상기 제2 햅틱 효과는 진동 또는 상기 표면에서의 표면 양각의 변경인, 방법.
  32. 제29항에 있어서, 상기 제1 햅틱 효과를 상기 정전식 장치에 의해 변경하거나 상기 제2 햅틱 효과를 상기 액추에이터에 의해 변경함으로써 상기 시뮬레이션된 마찰 계수를 변경하는 단계를 더 포함하는, 방법.
  33. 제27항에 있어서, 상기 센서는 펄스를 인가하고 상기 펄스와 관련된 전압을 결정함으로써 상기 임피던스를 감지하는, 방법.
  34. 제27항에 있어서, 상기 제1 햅틱 효과 또는 상기 제2 햅틱 효과를 상기 표면에서 상기 객체의 임피던스에 기초하여 변경하는 단계를 더 포함하는, 방법.
  35. 제27항에 있어서, 상기 제1 햅틱 효과는 습도, 온도, 또는 주변 광의 양에 기초하는, 방법.
  36. 제32항에 있어서, 상기 제1 햅틱 효과를 상기 정전식 장치에 의해 변경하는 단계는 상기 표면에서 감지되는 접촉의 위치 또는 상기 표면에서의 접촉의 위치의 변경에 기초하는, 방법.
  37. 제31항에 있어서, 상기 표면에서 감지되는 접촉의 위치에 기초하여 높이 또는 깊이를 상기 정전식 장치에 의해 시뮬레이션하는 단계를 더 포함하는, 방법.
  38. 제37항에 있어서, 상기 높이 또는 깊이를 시뮬레이션하는 단계는 토포그래피 프로파일(topographical profile)에 기초하는, 방법.
  39. 제37항에 있어서, 상기 제2 햅틱 효과를 발생시켜 상기 표면에서의 표면 양각을 변경함으로써 상기 시뮬레이션된 높이 또는 깊이를 상기 액추에이터를 사용하여 변경하는 단계를 더 포함하는, 방법.
  40. 제37항에 있어서, 상기 제2 햅틱 효과는 에지 크로싱에 대응하는 진동인, 방법.
  41. 제40항에 있어서, 상기 제2 햅틱 효과는 적어도 부분적으로 에지 크로싱(edge crossing)을 시뮬레이션하도록 구성되고, 상기 시뮬레이션된 에지 크로싱을 일정 기간에 거쳐 변경하는 단계를 더 포함하는, 방법.
  42. 제32항에 있어서, 상기 제1 햅틱 효과를 상기 정전식 장치에 의해 변경하는 단계는 상기 표면에서 디스플레이되는 시각적 콘텐츠에 기초하는, 방법.
  43. 제32항에 있어서, 상기 제1 햅틱 효과를 상기 정전식 장치에 의해 변경하는 단계는 상기 표면 상의 압력 및, 시간에 따르고 상기 표면 상의 위치 상에서의 상기 표면 상의 압력의 변화에 기초하는, 방법.
  44. 제27항에 있어서, 상기 제1 유형의 자극 및 제2 유형의 자극과 상이한 제3 유형의 자극을 사용하여 열 장치에 의해 제3 햅틱 효과를 상기 표면에서 발생시키는 단계를 더 포함하고, 상기 햅틱 효과는 상기 제1 햅틱 효과, 상기 제2 햅틱 효과, 및 제3 햅틱 효과를 포함하는, 방법.
  45. 제27항에 있어서, 상기 표면은 비디스플레이 표면인, 방법.
  46. 제45항에 있어서, 상기 표면은 제1 표면이고, 상기 제1 햅틱 효과는 제2 표면에서 디스플레이되는 시각적 또는 오디오 콘텐츠에 기초하는, 방법.
  47. 제46항에 있어서, 상기 제1 햅틱 효과는 상기 표면에서의 접촉의 위치에 대응하는 상기 제2 표면 상의 위치에서 디스플레이되는 시각적 콘텐츠에 기초하는, 방법.
  48. 제45항에 있어서, 상기 비디스플레이 표면은 스위치, 노브, 트랙패드, 리모트 컨트롤, 또는 대시보드의 일부인, 방법.
  49. 제45항에 있어서, 상기 제1 햅틱 효과는 상기 비디스플레이 표면 상의 슬라이드 바 상에 출력되는, 방법.
KR1020137031069A 2011-04-22 2012-04-16 전기 진동 촉각 디스플레이 KR102027307B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/092,269 2011-04-22
US13/092,269 US9448713B2 (en) 2011-04-22 2011-04-22 Electro-vibrotactile display
PCT/US2012/033743 WO2012145264A1 (en) 2011-04-22 2012-04-16 Electro-vibrotactile display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028083A Division KR20190112192A (ko) 2011-04-22 2012-04-16 전기 진동 촉각 디스플레이

Publications (2)

Publication Number Publication Date
KR20140040134A KR20140040134A (ko) 2014-04-02
KR102027307B1 true KR102027307B1 (ko) 2019-11-04

Family

ID=47020937

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197028083A KR20190112192A (ko) 2011-04-22 2012-04-16 전기 진동 촉각 디스플레이
KR1020137031069A KR102027307B1 (ko) 2011-04-22 2012-04-16 전기 진동 촉각 디스플레이

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197028083A KR20190112192A (ko) 2011-04-22 2012-04-16 전기 진동 촉각 디스플레이

Country Status (6)

Country Link
US (1) US9448713B2 (ko)
EP (2) EP2702468B1 (ko)
JP (3) JP6234364B2 (ko)
KR (2) KR20190112192A (ko)
CN (2) CN103562827B (ko)
WO (1) WO2012145264A1 (ko)

Families Citing this family (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US9122325B2 (en) 2011-05-10 2015-09-01 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US8681130B2 (en) 2011-05-20 2014-03-25 Sony Corporation Stylus based haptic peripheral for touch screen and tablet devices
US8773403B2 (en) 2011-05-20 2014-07-08 Sony Corporation Haptic device for position detection
US8749533B2 (en) * 2011-05-20 2014-06-10 Sony Corporation Haptic device for carving and molding objects
US8956230B2 (en) 2011-05-20 2015-02-17 Sony Corporation Haptic device for 3-D gaming
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
WO2013036614A1 (en) 2011-09-06 2013-03-14 Immersion Corporation Haptic output device and method of generating a haptic effect in a haptic output device
US9411423B2 (en) * 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
JP2013228936A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
US9075460B2 (en) * 2012-08-10 2015-07-07 Blackberry Limited Method of momentum based zoom of content on an electronic device
US9116546B2 (en) 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US10078384B2 (en) * 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
CN103970310A (zh) * 2013-01-24 2014-08-06 宏碁股份有限公司 触控装置及触控方法
WO2014125857A1 (ja) * 2013-02-13 2014-08-21 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 入力装置とその制御方法、および、プログラム
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9405369B2 (en) 2013-04-26 2016-08-02 Immersion Corporation, Inc. Simulation of tangible user interface interactions and gestures using array of haptic cells
US20140340316A1 (en) * 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US10359857B2 (en) 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
WO2015020663A1 (en) 2013-08-08 2015-02-12 Honessa Development Laboratories Llc Sculpted waveforms with no or reduced unforced response
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
CN105579928A (zh) 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US9921649B2 (en) 2013-10-07 2018-03-20 Immersion Corporation Electrostatic haptic based user input elements
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US20150123913A1 (en) * 2013-11-06 2015-05-07 Andrew Kerdemelidis Apparatus and method for producing lateral force on a touchscreen
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
WO2015088491A1 (en) 2013-12-10 2015-06-18 Bodhi Technology Ventures Llc Band attachment mechanism with haptic response
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
EP3108344A4 (en) 2014-02-21 2017-11-22 Northwestern University Haptic display with simultaneous sensing and actuation
CN103793062B (zh) * 2014-03-05 2016-09-28 吉林大学 应用阻抗检测的自适应多点静电力触觉再现装置及方法
JP6381240B2 (ja) * 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
US9606624B2 (en) * 2014-07-02 2017-03-28 Immersion Corporation Systems and methods for surface elements that provide electrostatic haptic effects
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
JP6639771B2 (ja) * 2014-07-09 2020-02-05 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ 触知イメージング・システム
US9710063B2 (en) 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
JP6283280B2 (ja) * 2014-08-05 2018-02-21 株式会社Ｎｔｔドコモ 電子書籍閲覧装置及び電子書籍閲覧方法
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
WO2016036671A2 (en) 2014-09-02 2016-03-10 Apple Inc. Haptic notifications
WO2016038677A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
JP6498403B2 (ja) * 2014-09-10 2019-04-10 三菱電機株式会社 触感制御システム
US9927786B2 (en) 2014-10-02 2018-03-27 Anne Dewitte Expandable and collapsible shape element for a programmable shape surface
US10146308B2 (en) * 2014-10-14 2018-12-04 Immersion Corporation Systems and methods for impedance coupling for haptic devices
KR102357599B1 (ko) * 2014-11-24 2022-02-03 엘지디스플레이 주식회사 휴대용 전자 기기
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
WO2016123351A1 (en) 2015-01-30 2016-08-04 Immersion Corporation Electrostatic haptic actuator and user interface with an electrostatic haptic actuator
KR101554256B1 (ko) * 2015-02-16 2015-09-18 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US9750322B2 (en) 2015-03-08 2017-09-05 Apple Inc. Co-molded ceramic and polymer structure
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10703680B2 (en) 2015-05-25 2020-07-07 Apple Inc. Fiber-reinforced ceramic matrix composite for electronic devices
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
KR101630430B1 (ko) * 2015-06-29 2016-06-13 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
MA42907A (fr) * 2015-07-07 2018-05-16 Mankiewicz Gebr & Co Gmbh & Co Kg Revêtements à surfaces microstructurées et leur utilisation dans des tableaux de bord, des consoles de commutation et des tableaux de commande
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
KR101650099B1 (ko) * 2015-07-23 2016-08-23 린츠 주식회사 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
JP6618734B2 (ja) * 2015-08-28 2019-12-11 株式会社デンソーテン 入力装置および表示装置
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
US10013060B2 (en) 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US11104616B2 (en) 2015-09-30 2021-08-31 Apple Inc. Ceramic having a residual compressive stress for use in electronic devices
US10664053B2 (en) * 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
KR102422461B1 (ko) * 2015-11-06 2022-07-19 삼성전자 주식회사 햅틱 제공 방법 및 이를 지원하는 전자 장치
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US9895607B2 (en) 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
WO2017100901A1 (en) * 2015-12-15 2017-06-22 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US10976819B2 (en) * 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
CN105700795A (zh) * 2015-12-30 2016-06-22 宇龙计算机通信科技(深圳)有限公司 移动终端振动强度设置方法、装置和移动终端
WO2017119107A1 (ja) 2016-01-07 2017-07-13 富士通株式会社 電子機器、及び、電子機器の駆動制御方法
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US9898903B2 (en) 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN105892664B (zh) * 2016-03-31 2021-05-18 联想(北京)有限公司 一种信息处理方法及电子设备
US11604514B2 (en) 2016-04-14 2023-03-14 Apple Inc. Substrate having a visually imperceptible texture for providing variable coefficients of friction between objects
JP2019514139A (ja) * 2016-04-21 2019-05-30 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 電子デバイス用触知ユーザインターフェース
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US10444838B2 (en) * 2016-05-17 2019-10-15 Immersion Corporation Thermally activated haptic output device
US9983675B2 (en) * 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
JP2019519856A (ja) 2016-07-08 2019-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マルチモーダルハプティック効果
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10416771B2 (en) 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US10264690B2 (en) 2016-09-01 2019-04-16 Apple Inc. Ceramic sintering for uniform color for a housing of an electronic device
US11088718B2 (en) 2016-09-06 2021-08-10 Apple Inc. Multi-colored ceramic housings for an electronic device
EP3674871A1 (en) * 2016-09-06 2020-07-01 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10420226B2 (en) 2016-09-21 2019-09-17 Apple Inc. Yttria-sensitized zirconia
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
JP6794763B2 (ja) * 2016-10-17 2020-12-02 コニカミノルタ株式会社 表示システム
US11678445B2 (en) 2017-01-25 2023-06-13 Apple Inc. Spatial composites
JP2018132929A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 制御装置および制御方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
WO2018164321A1 (ko) * 2017-03-09 2018-09-13 한양대학교 산학협력단 초음파를 이용하는 촉감 제공 장치 및 촉감 디스플레이 장치
CN115657850A (zh) 2017-03-29 2023-01-31 苹果公司 具有集成接口系统的设备
FR3065548B1 (fr) * 2017-04-24 2022-02-04 Commissariat Energie Atomique Interface de stimulation tactile par retournement temporel offrant des sensations enrichies
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10627906B2 (en) 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
ES2863276T3 (es) * 2017-06-28 2021-10-11 Ericsson Telefon Ab L M Dispositivo flexible de comunicación y método para cambiar la forma del dispositivo
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
KR102494625B1 (ko) * 2017-08-28 2023-02-01 삼성디스플레이 주식회사 표시 장치
CN107688416A (zh) * 2017-08-30 2018-02-13 京东方科技集团股份有限公司 触控基板、触摸屏、电子设备及触摸控制方法
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US10416772B2 (en) * 2017-09-06 2019-09-17 Apple Inc. Electrical haptic output array
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10694014B2 (en) 2017-09-22 2020-06-23 Apple Inc. Haptic locomotion using wide-band actuator
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10775890B2 (en) 2017-09-27 2020-09-15 Apple Inc. Electronic device having a piezoelectric body for friction haptics
US10585482B2 (en) 2017-09-27 2020-03-10 Apple Inc. Electronic device having a hybrid conductive coating for electrostatic haptics
US10248211B1 (en) 2017-09-28 2019-04-02 Apple Inc. Ground-shifted touch input sensor for capacitively driving an electrostatic plate
KR102413568B1 (ko) 2017-09-29 2022-06-27 애플 인크. 다중 부분 디바이스 인클로저
US10440848B2 (en) 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
CN108536280B (zh) * 2018-01-30 2021-01-01 吉林大学 一种应用指垫的静电力和振动融合触觉再现装置及方法
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
US11402669B2 (en) 2018-04-27 2022-08-02 Apple Inc. Housing surface with tactile friction features
WO2019226191A1 (en) * 2018-05-25 2019-11-28 Apple Inc. Portable computer with dynamic display interface
US10620705B2 (en) * 2018-06-01 2020-04-14 Google Llc Vibrating the surface of an electronic device to raise the perceived height at a depression in the surface
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US11112827B2 (en) 2018-07-20 2021-09-07 Apple Inc. Electronic device with glass housing member
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
GB2577079B (en) 2018-09-12 2021-05-12 Sony Interactive Entertainment Inc Portable device and system
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
KR20210074344A (ko) * 2018-10-12 2021-06-21 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 내비게이션 장치 및 내비게이션 장치를 동작시키기 위한 방법
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11691912B2 (en) 2018-12-18 2023-07-04 Apple Inc. Chemically strengthened and textured glass housing member
US11199929B2 (en) 2019-03-21 2021-12-14 Apple Inc. Antireflective treatment for textured enclosure components
DE102019108971B4 (de) 2019-04-05 2024-09-26 Technische Universität Dresden Displaysystem, Touchscreen mit Displaysystem sowie Verfahren zum Betrieb eines Displaysystems und Computerprogrammprodukt
CN114399014A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
US11372137B2 (en) 2019-05-29 2022-06-28 Apple Inc. Textured cover assemblies for display applications
US10827635B1 (en) * 2019-06-05 2020-11-03 Apple Inc. Electronic device enclosure having a textured glass component
US11192823B2 (en) 2019-06-05 2021-12-07 Apple Inc. Electronic devices including laser-textured glass cover members
US11109500B2 (en) 2019-06-05 2021-08-31 Apple Inc. Textured glass component for an electronic device enclosure
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US12013982B2 (en) * 2019-09-26 2024-06-18 Mitsubishi Electric Corporation Tactile sensation presentation panel, tactile sensation presentation touch panel, and tactile sensation presentation touch display
US12009576B2 (en) 2019-12-03 2024-06-11 Apple Inc. Handheld electronic device
CN111158474B (zh) * 2019-12-19 2021-10-22 维沃移动通信有限公司 交互方法和电子设备
CN114902160A (zh) * 2020-01-07 2022-08-12 三菱电机株式会社 触觉呈现面板、触觉呈现触摸面板、触觉呈现触摸显示器
DE102020110153A1 (de) 2020-04-14 2021-10-14 Bayerische Motoren Werke Aktiengesellschaft Bedienvorrichtung mit Aktiv- und Passivhaptik und Lenkvorrichtung mit einer solchen Bedienvorrichtung
US11281881B2 (en) * 2020-05-05 2022-03-22 Qualcomm Incorporated Device including an ultrasonic fingerprint sensor and a coulomb force apparatus
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
DE102020004365A1 (de) 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
US11897809B2 (en) 2020-09-02 2024-02-13 Apple Inc. Electronic devices with textured glass and glass ceramic components
CN112333329B (zh) * 2020-10-28 2022-04-26 维沃移动通信有限公司 未读信息提醒方法、装置及电子设备
CN112596612A (zh) 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US20240272718A1 (en) * 2021-05-31 2024-08-15 Beijing Boe Technology Development Co., Ltd. Display device
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
EP4202606A1 (en) * 2021-12-21 2023-06-28 Nokia Technologies Oy User-device interaction
WO2023118958A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. Haptic device
WO2023126645A1 (en) * 2021-12-27 2023-07-06 Bosch Car Multimedia Portugal S.A Interface and alert device with haptic and thermal feedback for autonomous vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231539A1 (en) 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Interfaces Featuring Surface-Based Haptic Effects

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4680429A (en) * 1986-01-15 1987-07-14 Tektronix, Inc. Touch panel
US5149918A (en) * 1990-10-29 1992-09-22 International Business Machines Corporation Touch sensitive overlay
WO1997020305A1 (en) * 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
JPH11203020A (ja) 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
EP1717679B1 (en) * 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2003216294A (ja) * 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP3937982B2 (ja) 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
JP2004319255A (ja) * 2003-04-16 2004-11-11 Equos Research Co Ltd 擬似触覚呈示装置
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US7522152B2 (en) * 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
WO2005121939A2 (en) * 2004-06-10 2005-12-22 Koninklijke Philips Electronics N.V. Generating control signals using the impedance of parts of a living body for controlling a controllable device
JP2006048302A (ja) 2004-08-03 2006-02-16 Sony Corp 圧電複合装置、その製造方法、その取扱方法、その制御方法、入出力装置及び電子機器
KR100682901B1 (ko) * 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
US7542816B2 (en) 2005-01-27 2009-06-02 Outland Research, Llc System, method and computer program product for automatically selecting, suggesting and playing music media files
JP4360497B2 (ja) * 2005-03-09 2009-11-11 国立大学法人 東京大学 電気触覚提示装置及び電気触覚提示方法
JP4626376B2 (ja) 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP4736605B2 (ja) * 2005-08-01 2011-07-27 ソニー株式会社 表示装置、情報処理装置、及びその制御方法
US20070118043A1 (en) 2005-11-23 2007-05-24 Microsoft Corporation Algorithms for computing heart rate and movement speed of a user from sensor data
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007188597A (ja) 2006-01-13 2007-07-26 Sony Corp コンテンツ再生装置およびコンテンツ再生方法並びにプログラム
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) * 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
US10152124B2 (en) * 2006-04-06 2018-12-11 Immersion Corporation Systems and methods for enhanced haptic effects
JP2007287005A (ja) 2006-04-19 2007-11-01 Sony Corp 情報入出力装置、および情報処理方法、並びにコンピュータ・プログラム
JP4305671B2 (ja) 2006-08-22 2009-07-29 ソニー株式会社 健康運動支援システム、携帯型音楽再生装置、サービス情報提供装置、情報処理装置、健康運動支援方法
US20080068334A1 (en) 2006-09-14 2008-03-20 Immersion Corporation Localized Haptic Feedback
US20100315345A1 (en) * 2006-09-27 2010-12-16 Nokia Corporation Tactile Touch Screen
US20080097633A1 (en) 2006-09-29 2008-04-24 Texas Instruments Incorporated Beat matching systems
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
JP4346652B2 (ja) * 2007-01-26 2009-10-21 株式会社エヌ・ティ・ティ・ドコモ 情報端末及びその入力方法
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
FI20085475A0 (fi) 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
EP2203797B1 (en) * 2007-09-18 2014-07-09 Senseg OY Method and apparatus for sensory stimulation
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US9733704B2 (en) * 2008-06-12 2017-08-15 Immersion Corporation User interface impact actuator
US10019061B2 (en) * 2008-07-15 2018-07-10 Immersion Corporation Systems and methods for haptic message transmission
KR101625360B1 (ko) * 2008-08-12 2016-05-30 코닌클리케 필립스 엔.브이. 모션 검출 시스템
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
JP2010086471A (ja) * 2008-10-02 2010-04-15 Sony Corp 操作感提供装置、および操作感フィードバック方法、並びにプログラム
KR20100039024A (ko) * 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8823542B2 (en) 2008-11-26 2014-09-02 Nokia Corporation Apparatus and methods relevant to electronic devices
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
EP3467624A1 (en) * 2009-03-12 2019-04-10 Immersion Corporation System and method for interfaces featuring surface-based haptic effects
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9927873B2 (en) * 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
JP5779508B2 (ja) * 2009-03-12 2015-09-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ テクスチャエンジン用のシステム及び方法
US8570291B2 (en) * 2009-05-21 2013-10-29 Panasonic Corporation Tactile processing device
US8378797B2 (en) * 2009-07-17 2013-02-19 Apple Inc. Method and apparatus for localization of haptic feedback
US8441465B2 (en) * 2009-08-17 2013-05-14 Nokia Corporation Apparatus comprising an optically transparent sheet and related methods
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231539A1 (en) 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Interfaces Featuring Surface-Based Haptic Effects

Also Published As

Publication number Publication date
CN103562827B (zh) 2017-04-26
WO2012145264A1 (en) 2012-10-26
EP2702468A4 (en) 2015-02-25
KR20190112192A (ko) 2019-10-02
US9448713B2 (en) 2016-09-20
JP2017033586A (ja) 2017-02-09
JP2014512619A (ja) 2014-05-22
CN106940622A (zh) 2017-07-11
CN103562827A (zh) 2014-02-05
KR20140040134A (ko) 2014-04-02
US20120268412A1 (en) 2012-10-25
EP2702468B1 (en) 2019-06-12
JP2018195335A (ja) 2018-12-06
EP2702468A1 (en) 2014-03-05
JP6234364B2 (ja) 2017-11-22
EP3531251A1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
KR102027307B1 (ko) 전기 진동 촉각 디스플레이
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
US10175761B2 (en) Haptic output device and method of generating a haptic effect in a haptic output device
CN104571685B (zh) 触觉提示装置、电子设备和触觉提示方法
US20190064996A1 (en) Method and apparatus for generating a haptic effect in response to flex gesturing
CN103838421B (zh) 用于提供用于引导的触觉提示并与静电摩擦校准的方法和设备
JP5833601B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
KR102214929B1 (ko) 촉각 제공 장치 및 방법
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
KR20160003031A (ko) 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
Radivojevic et al. 31.1: Invited paper: Programmable electrostatic surface for tactile perceptions
KR101202734B1 (ko) 터치 스크린 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant