KR20150060575A - 마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법 - Google Patents

마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20150060575A
KR20150060575A KR1020140165098A KR20140165098A KR20150060575A KR 20150060575 A KR20150060575 A KR 20150060575A KR 1020140165098 A KR1020140165098 A KR 1020140165098A KR 20140165098 A KR20140165098 A KR 20140165098A KR 20150060575 A KR20150060575 A KR 20150060575A
Authority
KR
South Korea
Prior art keywords
haptic effect
image
haptic
user
generated
Prior art date
Application number
KR1020140165098A
Other languages
English (en)
Inventor
빈센트 레베스크
알리 모다레스
후안 마누엘 크루즈-헤르난데즈
아마야 벡바 웨들
데이비드 엠 번바움
데니 에이 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150060575A publication Critical patent/KR20150060575A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시스템은 표면에서 사용자로부터 수신된 입력을 감지하도록 구성된 센서; 사용자로부터 수신된 입력에 기초하여 표면에서 제1 햅틱 효과를 생성하도록 구성된 제1 햅틱 출력 디바이스 ― 제1 햅틱 효과는 표면에서의 마찰 효과를 포함함 ― ; 제2 햅틱 효과를 생성하도록 구성된 제2 햅틱 출력 디바이스 ― 제2 햅틱 효과는 진동촉각 피드백을 포함함 ― ; 및 센서로부터 입력 신호를 수신하고, 제1 햅틱 효과를 생성하기 위해 제1 햅틱 출력 디바이스에 제1 구동 신호를 출력하고 제2 햅틱 효과를 생성하기 위해 제2 햅틱 출력 디바이스에 제2 구동 신호를 출력하도록 구성된 프로세서를 포함한다.

Description

마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR GENERATING FRICTION AND VIBROTACTILE EFFECTS}
본 발명은 마찰 및 진동촉각 효과들을 생성하기 위한 시스템들 및 방법들에 관한 것이다.
사용자는 동작이 성공적으로 실행되었다는 확인을 위해 또는 동작이 발생했다는 통지를 위해 사용자에게 진동촉각 피드백의 형태로 햅틱 효과를 제공하도록 구성될 수 있다. 예를 들어, 진동촉각 피드백은 터치 스크린에 의해 디스플레이된 버튼이 성공적으로 눌러졌다는 확인으로서, 또는 텍스트 메시지 또는 이메일이 사용자 인터페이스에 의해 수신되었을 때 제공될 수 있다. 햅틱 디스플레이들을 포함하는 사용자 인터페이스들은 손가락 또는 스타일러스가 햅틱 디스플레이의 표면에 대해 슬라이딩할 때 마찰 효과의 형태로 햅틱 효과를 제공하도록 구성될 수 있다. 마찰 효과들을 생성하도록 구성된 햅틱 디스플레이들은 통지를 위한 피드백을 제공하지 않는다. 추가적인 타입들의 햅틱 효과들이 사용자에게 제공될 수 있도록 두가지 타입의 햅틱 디스플레이들 모두를 사용하는 사용자 인터페이스를 가지는 것이 바람직하며, 이는 더욱 흥미로운 사용자 경험을 초래할 수 있다.
발명의 양상에 따르면, 표면에서 사용자로부터 수신된 입력을 감지하도록 구성된 센서, 및 사용자로부터 수신된 입력에 기초하여 표면에서 제1 햅틱 효과를 생성하도록 구성된 제1 햅틱 출력 디바이스를 포함하는 시스템이 제공된다. 제1 햅틱 효과는 표면에서의 마찰 효과를 포함한다. 시스템은 또한 제2 햅틱 효과를 생성하도록 구성된 제2 햅틱 출력 디바이스를 포함한다. 제2 햅틱 효과는 진동촉각 피드백을 포함한다. 시스템은 또한 센서로부터 입력 신호를 수신하고, 제1 햅틱 효과를 생성하기 위해 제1 햅틱 출력 디바이스에 제1 구동 신호를 출력하고 제2 햅틱 효과를 생성하기 위해 제2 햅틱 출력 디바이스에 제2 구동 신호를 출력하도록 구성된 프로세서를 포함한다.
실시예에서, 제1 햅틱 출력 디바이스는 정전기 디바이스를 포함한다. 실시예에서, 제1 햅틱 출력 디바이스는 초음파 진동 디바이스를 포함한다.
실시예에서, 제2 햅틱 출력 디바이스는 액츄에이터를 포함한다. 실시예에서, 액츄에이터는 압전 액츄에이터, 음성 코일, 자기 액츄에이터, 공기압 액츄에이터, 초음파 에너지 액츄에이터, 편심 질량 액츄에이터, 전기활성 고분자(EAP) 액츄에이터, 또는 형상 기억 합금을 포함한다.
실시예에서, 시스템은 표면을 포함하는 터치 스크린을 더 포함한다. 실시예에서, 터치 스크린은 이미지를 디스플레이하도록 구성된 디스플레이를 포함한다.
실시예에서, 시스템은 입력 디바이스를 더 포함하고, 제1 햅틱 효과는 입력 디바이스의 사용을 위한 배향 신호들을 제공하도록 구성되고, 제2 햅틱 효과는 디스플레이에 의해 디스플레이되고 있는 이미지와 연관된다.
발명의 양상에 따르면, 사용자에 의해 사용자 인터페이스의 터치 표면에서 입력을 감지하는 단계, 및 감지된 입력에 응답하여 터치 표면에서 제1 햅틱 효과를 생성하는 단계를 포함하는 방법이 제공된다. 제1 햅틱 효과는 마찰 효과를 포함한다. 방법은 또한 사용자 인터페이스에서 제2 햅틱 효과를 생성하는 단계를 포함한다. 제2 햅틱 효과는 진동촉각 피드백을 포함한다.
실시예에서, 방법은 또한 터치 표면을 통해 이미지를 디스플레이하는 단계를 포함한다. 실시예에서, 방법은 또한 이미지가 디스플레이되는 것과 동시에 제2 이미지를 디스플레이하는 단계를 포함한다. 제2 햅틱 효과는 디스플레이되고 있는 이미지와 디스플레이되고 있는 제2 이미지의 상호작용과 연관된다.
실시예에서, 제1 햅틱 효과는 디스플레이에 의해 디스플레이되고 있는 이미지와 연관되고, 제2 햅틱 효과는 디스플레이에 의해 디스플레이되고 있는 이미지와 연관되지 않은 이벤트와 연관된다. 실시예에서, 이벤트는 통지이다.
실시예에서, 제1 햅틱 효과는 사용자에 의한 이미지의 움직임과 연관된다.
실시예에서, 제2 햅틱 효과는 디스플레이에 의해 디스플레이되는 이미지의 디스플레이의 에지와의 상호작용과 연관된다. 실시예에서, 제2 햅틱 효과는 사용자에 의한 상호작용 없이 이미지의 움직임과 연관된다. 실시예에서, 제2 햅틱 효과는 디스플레이에 의해 디스플레이되는 이미지의 디스플레이에 의해 디스플레이되는 제2 이미지와의 상호작용과 연관된다.
실시예에서, 제1 햅틱 효과는 사용자에 의한 제1 구성에서 제2 구성으로의 이미지의 변경과 연관되고, 제2 햅틱 효과는 이미지가 제2 구성에서 유지되는 것과 연관된다.
실시예에서, 제1 햅틱 효과는 사용자가 이미지의 위치에서의 표면에 걸쳐 슬라이딩함으로써 이미지와 상호작용할 때 생성되고, 제2 햅틱 효과는 사용자가 이미지의 위치의 표면을 누름으로써 이미지와 상호작용할 때 생성된다.
실시예에서, 제1 햅틱 효과 및 제2 햅틱 효과는 실질적으로 동시에 생성된다. 실시예에서, 제1 햅틱 효과 및 제2 햅틱 효과는 시간 경과에 따라 교번한다. 실시예에서, 제1 햅틱 효과는 제1 미리 결정된 시간량 동안 생성되고, 이후 제2 햅틱 효과가 제2 미리 결정된 시간량 동안 생성된다.
실시예에서, 제2 햅틱 효과는 사용자가 표면 위에서 호버링할 때 생성된다.
실시예에서, 제1 햅틱 효과는 제1 주파수 범위 내에서 생성되고, 제2 햅틱 효과는 제2 주파수 범위 내에서 생성된다. 제1 주파수 범위의 하한은 제2 주파수 범위의 하한보다 더 낮고, 제1 주파수 범위의 상한은 제2 주파수 범위의 상한보다 더 낮다. 실시예에서, 제1 주파수 범위는 제2 주파수 범위와 오버랩한다.
본 발명의 이들 및 다른 양상들, 특징들 및 특성들, 뿐만 아니라 관련된 구조 엘리먼트들의 동작 방법들 및 기능들, 및 제조의 부품들과 비용의 결합은, 그 모두가 이 명세서의 일부분을 형성하는, 첨부 도면들에 대한 후속하는 기재 및 첨부된 청구항들의 고려 시에 더욱 명백해질 것이다. 그러나, 도면들이 오직 예시와 기재의 목적을 위한 것이며, 발명의 제한의 정의로서 의도되지 않는다는 점이 명백하게 이해될 것이다. 명세서와 청구항에서 사용되는 바와 같이, "a", "an" 및 "the"의 단수 형태는, 문맥이 다른 방식으로 명백하게 지시하지 않는 한, 복수의 지시대상들을 포함한다.
후속하는 도면들의 컴포넌트들은 본 개시내용의 일반적인 원리들을 강조하도록 예시되며, 반드시 축척에 맞게 그려져 있지는 않다. 대응하는 컴포넌트들을 지정하는 참조 문자들은 일관성 및 명료성의 목적으로 도면들 전반에 걸쳐 필요한 경우 반복된다.
도 1은 발명의 실시예에 따른 시스템의 개략적 예시이다.
도 2는 도 1의 시스템의 프로세서의 개략적 예시이다.
도 3은 발명의 실시예들에 따른 사용자 인터페이스의 개략적 예시이다.
도 4는 발명의 실시예에 따른 도 1의 시스템의 구현을 개략적으로 예시한다.
도 5a 및 5b는 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 6a 및 6b는 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 7a 및 7b는 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 8a, 8b 및 8c는 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 9는 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 10은 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 11은 발명의 실시예에 따른, 도 1의 시스템의 구현들을 개략적으로 예시한다.
도 1은 발명의 실시예에 따른 시스템(100)의 개략적 예시이다. 시스템(100)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 전자 워크북, 전자 핸드헬드 디바이스(예를 들어, 모바일 폰, 스마트 폰, 게임 디바이스, 개인용 디지털 보조 단말(PDA), 휴대용 이-메일 디바이스, 휴대용 인터넷 액세스 디바이스, 계산기 등), 키오스크(예를 들어, 현금 자동 입출금기, 티켓 구매기 등), 프린터, 판매(point-of-sale) 디바이스, 게임 제어기, 웨어러블 디바이스와 같은 임의의 전자 디바이스, 또는 다른 전자 디바이스일 수 있다. 예시된 바와 같이, 시스템(100)은, 버스(140)를 통해 상호접속된, 프로세서(110), 메모리 디바이스(120), 및 입력/출력 디바이스들(130)을 포함한다. 실시예에서, 입력/출력 디바이스들(130)은 터치 스크린 디바이스(150), 햅틱 출력 디바이스(160) 및/또는 시스템(100)의 사용자로부터 입력을 수신하는 다른 입력 디바이스들 및 시스템(100)의 사용자에게 정보를 출력하는 출력 디바이스들을 포함할 수 있다. 실시예에서, 시스템(100)은 단일 집적 디바이스에 도 1에 예시된 컴포넌트들 모두를 포함하는 사용자 인터페이스일 수 있다.
터치 스크린 디바이스(150) 및 햅틱 출력 디바이스(160)에 더하여, 입력/출력 디바이스들(130)은 또한 특정 입력 메커니즘 및 출력 메커니즘을 포함할 수 있다. 예를 들어, 입력 메커니즘은 키보드들, 키패드들, 커서 제어 디바이스들(예를 들어, 컴퓨터 마우스), 다른 데이터 입력 디바이스들, 또는 마이크로폰과 같은 오디오 수신기와 같은 디바이스들을 포함할 수 있다. 출력 메커니즘들은 컴퓨터 모니터, 가상 현실 디스플레이 디바이스, 스피커와 같은 오디오 출력 디바이스, 프린터, 또는 다른 주변 디바이스들을 포함할 수 있다. 입력/출력 디바이스들(130)은 사용자로부터 입력을 수신할 뿐만 아니라, 사용자에게 피드백을 제공하도록 설계된, 터치 스크린 디바이스들의 많은 예들과 같은 메커니즘을 포함할 수 있다.
터치 스크린 디바이스(150)는 임의의 적절한 사용자 인터페이스 또는 터치/접촉면 어셈블리로서 구성될 수 있다. 터치 스크린 디바이스(150)는 임의의 터치 스크린, 터치 패드, 터치 감지 구조, 컴퓨터 모니터, 랩톱 디스플레이 디바이스, 워크북 디스플레이 디바이스, 키오스크 스크린, 휴대용 전자 디바이스 스크린, 또는 다른 적절한 터치 감지 디바이스일 수 있다. 터치 스크린 디바이스(150)는 스타일러스, 손가락 등과 같은, 사용자-제어 디바이스와의 물리적 상호작용을 위해 구성될 수 있다. 일부 실시예들에서, 터치 스크린 디바이스(150)는 적어도 하나의 출력 디바이스 및 적어도 하나의 입력 디바이스를 포함할 수 있다. 예를 들어, 터치 스크린 디바이스(150)는 예를 들어, 이미지들을 디스플레이하도록 구성된 시각적 디스플레이(152) 및 사용자에 의해 제어되는 사용자의 손가락 또는 스타일러스로부터 입력들을 수신하기 위해 그 위에 겹쳐진 적어도 하나의 센서(154)를 포함하는 터치 감지 스크린을 포함할 수 있다. 시각적 디스플레이(152)는 고해상도 디스플레이 스크린을 포함할 수 있다.
다양한 실시예들에서, 햅틱 출력 디바이스(160)는 사용자가 시스템(100)의 적어도 일부분과 접촉하는 동안 시스템(100)의 사용자에게 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(160)는 사용자가 터치 스크린 디바이스(150)와 그리고/또는 적어도 입력/출력 디바이스들(130)을 포함하는 하우징과 같은 시스템(100)의 또 다른 부분에 접촉할 때, 햅틱 효과를 부과하기 위해 터치 스크린 디바이스(150) 그 자체에 햅틱 피드백을 제공할 수 있다. 하기에 더 상세하게 논의되어 있는 바와 같이, 햅틱 효과들은 시스템(100)과 상호작용할 때 사용자 경험을 향상시키기 위해 사용될 수 있다.
햅틱 출력 디바이스(160)에 의해 제공되는 햅틱 피드백은 진동, 변형, 운동감각 느낌, 정전기 또는 초음파 마찰 등과 같은 햅틱 효과들을 생성하는 방법들 중 임의의 것을 이용하여 생성될 수 있다. 실시예에서, 햅틱 출력 디바이스(160)는 액츄에이터, 예를 들어, 편심 질량이 모터에 의해 이동되는 편심 회전 질량("ERM"), 스프링에 부가된 질량이 앞뒤로 구동되는 선형 공진 액츄에이터("LRA")와 같은 전자기 액츄에이터, 또는 압전 물질, 전자-활성 고분자 또는 형상 기억 합금과 같은 "스마트 물질", 매크로-복합 섬유 액츄에이터, 정전기 액츄에이터, 전자-촉각 액츄에이터, 및/또는 진동촉각 피드백과 같은 물리적 피드백을 제공하는 또 다른 타입의 액츄에이터를 포함할 수 있다. 햅틱 출력 디바이스(160)는 정전기 마찰(ESF), 초음파 표면 마찰(USF)을 사용하는 비-기계식 또는 비-진동식 디바이스들, 또는 초음파 햅틱 트랜스듀서를 이용하여 음향 복사 압력을 유도하는 디바이스들, 또는 햅틱 기판 및 유연한 또는 변형가능한 표면을 사용하는 디바이스들, 또는 열 효과를 제공하는 디바이스들, 또는 에어 제트를 사용하여 공기 내뿜음과 같은 예상된 햅틱 출력을 제공하는 디바이스들 등을 포함할 수 있다. 하기에 더 상세하게 논의되어 있는 바와 같이, 다수의 햅틱 출력 디바이스들(160)은 상이한 햅틱 효과들을 제공하기 위해 사용될 수 있다.
프로세서(110)는 시스템(100)의 동작들 및 기능들을 관리하거나 제어하기 위한 범용 또는 특수 목적 프로세서 또는 마이크로컨트롤러일 수 있다. 예를 들어, 프로세서(110)는 구체적으로 햅틱 효과들을 제공하기 위해 햅틱 출력 디바이스(160)에 대한 출력 신호들을 제어하기 위해 주문형 집적 회로("ASIC")로서 설계될 수 있다. 프로세서(110)는 미리 정의된 인자들에 기초하여, 어떤 햅틱 효과들이 프로세서(110)에 의해 수신되거나 결정된 햅틱 신호에 기초하여 생성될 것인지, 햅틱 효과들이 생성되는 순서, 및 햅틱 효과들의 크기, 주파수, 지속기간 및/또는 다른 파라미터들을 결정하도록 구성될 수 있다. 프로세서(110)는 또한 특정 햅틱 효과를 제공하기 위한 햅틱 출력 디바이스(160)를 구동하기 위해 사용될 수 있는 스트리밍 코맨드들을 제공하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(110)는 실제로 각각이 시스템(100) 내의 특정 기능들을 수행하도록 구성된 복수의 프로세서들을 포함할 수 있다. 프로세서(110)는 하기에 더 상세하게 기술되어 있다.
메모리 디바이스(120)는 하나 이상의 내부적으로 고정된 저장 유닛들, 제거가능한 저장 유닛들, 및/또는 원격으로 액세스가능한 저장 유닛들을 포함할 수 있다. 다양한 저장 유닛들은 휘발성 메모리와 비휘발성 메모리의 임의의 결합을 포함할 수 있다. 저장 유닛들은 정보, 데이터, 명령들, 소프트웨어 코드 등의 임의의 결합을 저장하도록 구성될 수 있다. 더 구체적으로, 저장 유닛들은 햅틱 효과 프로파일들, 햅틱 출력 디바이스(160)가 구동될 방법에 대한 명령들, 또는 햅틱 효과들을 생성하기 위한 다른 정보를 포함할 수 있다.
도 2는 프로세서(110)의 실시예를 더 상세하게 예시하고 있다. 프로세서(110)는 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램 모듈들은 센서 모듈(112), 콘텐츠 제공 모듈(114), 결정 모듈(116), 햅틱 출력 디바이스 제어 모듈(118) 및/또는 다른 모듈들 중 하나 이상을 포함할 수 있다. 프로세서(110)는 또한 메모리 디바이스(120)와 동일한 또는 메모리 디바이스(120)에 더하여, 전자 스토리지(119)를 포함할 수 있다. 프로세서(110)는 모듈들(112, 114, 116 및/또는 118)을 소프트웨어, 하드웨어, 펌웨어, 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 결합, 및/또는 프로세서(110) 상에서 프로세싱 능력들을 구성하기 위한 다른 메커니즘을 실행하도록 구성될 수 있다.
모듈들(112, 114, 116 및 118)이 단일 프로세싱 유닛 내에 공동-위치된 것으로서 도 2에 예시되어 있지만, 프로세서(110)가 다수의 프로세싱 유닛들을 포함하는 실시예들에서, 모듈들(112, 114, 116 및/또는 118) 중 하나 이상이 다른 모듈들로부터 원격에 위치될 수 있다는 점이 이해되어야 한다. 하기에 기술되어 있는 상이한 모듈들(112, 114, 116 및/또는 118)에 의해 제공되는 기능성의 기재는 예시의 목적을 위한 것이며, 모듈들(112, 114, 116 및/또는 118) 중 임의의 것이 기술된 것보다 더 많거나 더 적은 기능성을 제공할 수 있음에 따라, 제한적인 것으로서 의도되지 않는다. 예를 들어, 모듈들(112, 114, 116 및/또는 118) 중 하나 이상이 제거될 수 있으며, 그 기능성의 일부 또는 전부가 모듈들(112, 114, 116 및/또는 118) 중 다른 것들에 의해 제공될 수 있다. 또 다른 예로서, 프로세서(110)는 모듈들(112, 114, 116 및/또는 118) 중 하나에 대해 아래에 기인한 기능성의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가적인 모듈들을 실행하도록 구성될 수 있다.
센서 모듈(112)은 센서(154)가 시스템(100)의 사용자로부터의 입력을 검출할 때 생성되는 센서(154)로부터 입력 신호를 수신하도록 구성된다. 다수의 센서들이 존재하는 실시예들에서, 센서 모듈(112)은 다수의 센서들로부터 입력 신호들을 수신하고 프로세싱하도록 구성된다. 센서 모듈(112)은 입력 신호의 강도를 의도적인 입력에 대응하는 미리 결정된 임계 강도와 비교함으로써 감지된 입력이 터치 스크린 디바이스(150)에 대해 의도적인 입력인지 또는 단순히 우연한 터치인지를 결정하도록 구성될 수 있다. 센서 모듈(112)은 또한 추가적인 프로세싱을 위해 결정 모듈(116)에 신호를 송신하도록 구성된다.
콘텐츠 제공 모듈(114)은 터치 스크린 디바이스(150)를 통해 시스템(100)의 사용자에 대한 콘텐츠의 제공을 제어하도록 구성된다. 콘텐츠가 컴퓨터 생성 이미지들을 포함하는 미디어 파일을 (예를 들어, 비디오 게임, 가상 세계, 증강 현실 가상 세계, 시뮬레이션 등에서) 포함하는 경우, 콘텐츠 제공 모듈(114)은 터치 스크린 디바이스(150)의 디스플레이(152)를 통해 사용자에게 디스플레이하기 위한 이미지들 및/또는 뷰들을 생성하도록 구성된다. 콘텐츠가 비디오 및/또는 정지 이미지들 또는 픽쳐들을 포함하는 미디어 파일들을 포함하는 경우, 콘텐츠 제공 모듈(114)은 비디오 및/또는 정지 이미지들 또는 픽쳐들을 액세스하고, 터치 스크린 디바이스(150)의 디스플레이(152)를 통해 디스플레이하기 위한 비디오 및/또는 정지 이미지들 또는 픽쳐들의 뷰들을 생성하도록 구성된다. 사용자에게 출력될 콘텐츠가 그래픽 이미지들을 포함하는 경우, 콘텐츠 제공 모듈(114)은 터치 스크린 디바이스(150)의 디스플레이(152)를 통해 이미지들을 생성하도록 구성된다. 콘텐츠, 또는 콘텐츠를 유도하는 미디어 파일들은 전자 스토리지(119) 및/또는 메모리 디바이스(120)로부터 콘텐츠 제공 모듈(114)에 의해 획득될 수 있다.
결정 모듈(116)은 센서(154)에 입력을 제공할 때 사용자에 의해 무엇이 의도되었는지를 결정하도록 구성된다. 예를 들어, 사용자는 터치 스크린(150)의 특정 위치를 터치하거나, 또는 특정 기능이 시스템(100)에 의해 수행될 것임을 나타내는 특정 제스쳐를 터치 스크린 디바이스(150)에 제공할 수 있다. 결정 모듈(116)은 사용자가 터치 스크린 디바이스(150)의 특정 위치를 터치하거나 터치 스크린 디바이스(150)에 제스쳐를 제공할 때, 결정 모듈(116)이 대응하는 출력을 결정할 수 있도록, 터치 스크린 디바이스(150) 상의 미리 결정된 제스쳐들 및 터치 위치들의 라이브러리를 이용하여 프로그래밍될 수 있다. 예를 들어, 시스템(100)이 스마트 폰인 실시예에서, 사용자는 자신의 손가락으로 터치 스크린 디바이스(150) 상에서 심볼을 그릴 수 있고, 결정 모듈(116)은 사용자가 스마트폰과 자유롭게 상호작용할 수 있도록, 그려진 심볼이 스마트 폰의 잠금해제와 같은 특정 코맨드에 대응함을 결정할 수 있다. 추가로, 결정 모듈(116)은 또한 입력이 검출되고 그리고/또는 수용되었음을 검증하는 햅틱 효과가 사용자에게 제공될 수 있도록 햅틱 출력 디바이스 제어 모듈(118)에 신호를 출력할 수 있다.
햅칙 출력 디바이스 제어 모듈(118)은 결정 모듈(116)로부터 출력 신호를 수신하고, 결정 모듈(116)에 의해 생성된 신호에 기초하여, 햅틱 출력 디바이스(160)에 의해 생성될 햅틱 효과를 결정하도록 구성된다. 하기에 더 상세하게 논의되어 있는 바와 같이, 햅틱 효과의 결정은 콘텐츠에 의해 사용자에게 제공된 경험의 하나 이상의 양상들을 향상시킬 햅틱 효과의 타입 및 햅틱 효과의 크기, 주파수, 지속기간 등과 같은, 햅틱 효과의 하나 이상의 파라미터들을 결정하는 것을 포함할 수 있다. 실시예에서, 하기에 더 상세하게 기술되어 있는 바와 같이, 터치 스크린 디바이스(150)는 디스플레이 이미지에 대응하는 디스플레이에 걸쳐 손가락 또는 스타일러스를 실행할 때, 사용자에게 표면 완곡의 느낌(예를 들어, 언덕과 골짜기)을 제공하기 위해, 햅틱 출력 디바이스(160)에 의해 생성된, 정전기 마찰 및 초음파 표면 진동을 포함하지만 이에 제한되지 않는, 표면의 마찰 특징들을 변조하도록 구성되며 딱딱할 수 있는, 디스플레이 표면을 포함할 수 있다.
도 3은 터치 스크린(310) 및 터치 스크린(310)을 지지하도록 구성된 하우징(320)을 포함하는 사용자 인터페이스(300)의 형태로 도 1의 시스템(100)의 실시예를 예시한다. 사용자 인터페이스(300)는 터치 스크린(310)의 표면(312)에서 마찰 효과를 제공하는 제1 햅틱 효과(301), 및 사용자 인터페이스(300)의 터치 스크린(310) 및/또는 하우징(320)을 통해 사용자 인터페이스(300)의 사용자에게 진동촉각 피드백을 제공하는 제2 햅틱 효과(302)를 제공하도록 구성된다. 햅틱 효과는, 진동, 인력 또는 척력, 전압 또는 전류, 일부 다른 기계력 또는 전자기력, 가열 또는 냉각, 또는 일부 다른 자극을 포함하지만 이에 제한되지 않는 자극 또는 힘을 지칭한다. 햅틱 효과는 본원에 기술된 힘들 또는 자극들 중 하나 또는 이들의 결합을 포함할 수 있다. 복수의 햅틱 효과들은 전체 햅틱 효과를 형성하기 위해 결합될 수 있다. 햅틱 효과는 사용자 인터페이스(300)와 상호작용하는 사용자 또는 오브젝트에 피드백을 제공하도록 출력될 수 있다. 햅틱 효과는 고체 오브젝트의 진동, 유체의 진동, 또는 사용자를 터치하기 위한 핀 또는 막대기와 같은 액츄에이팅 오브젝트들을 통해서와 같이, 기계적 움직임을 통해 피드백을 제공할 수 있다. 핀 또는 막대기들은 표면 완곡 또는 경계를 변경시킴으로써 표면을 변형시킬 수 있다. 전체 햅틱 효과는 또한 터치 스크린(310)의 표면(312)에서 손가락 F와 같은 오브젝트에 대한 힘을 생성하거나, 또는 손가락의 신경 또는 사용자가 쥐고 있는 스타일러스 내의 센서와 같은, 신호를 인지할 수 있는 오브젝트에 전기 신호를 송신하기 위해, 정전기 상호작용들을 통해 피드백을 제공할 수 있다.
이 실시예에서의 사용자 인터페이스(300)는 터치 스크린(310)의 표면(312)을 터치하는 오브젝트를 감지하도록 구성된 터치 스크린(310)을 통해 사용자와 인터페이싱한다. 오브젝트는 사용자의 손가락 F, 사용자 손의 손바닥, 또는 햅틱 효과를 감지할 수 있는 사용자의 신체의 임의의 다른 부분일 수 있다. 오브젝트는 또한 그 존재가 터치 스크린(310)에 의해 감지될 수 있는 스타일러스 또는 일부 다른 디바이스일 수 있다. 터치 스크린(310)은 예를 들어, 용량성, 저항성 또는 유도성 커플링을 통해 오브젝트의 존재를 감지할 수 있다.
사용자 인터페이스(300)는 터치 스크린(310)의 표면(312)에서 그리고/또는 액츄에이터들(330, 332, 334), 정전기 디바이스(340)의 형태인 하나 이상의 햅틱 출력 디바이스들(160)을 통한 사용자 인터페이스(300)의 하우징(320)을 통해, 또는 이들의 결합들을 통해 햅틱 효과들을 제공할 수 있다. 액츄에이터들(330, 332 및 334)은 스크린(310)의 표면에서 그리고/또는 사용자 인터페이스(300)의 하우징(320)을 통해 제2 햅틱 효과(302)로 변환될 수 있는 기계적 모션을 생성하도록 구성된다. 액츄에이터들(330, 332, 334)은 압전 액츄에이터들, 음성 코일들, 솔레노이드와 같은 자기 액츄에이터들, 공기압 액츄에이터들, 초음파 에너지 액츄에이터들, 편심 질량 액츄에이터, 전기활성 고분자 액츄에이터, 형상 기억 합금, 또는 일부 다른 타입의 액츄에이터로서 구현될 수 있다. 액츄에이터들(330, 332, 334)은 토크를 진동들로 변환하는 모터들에, 유체 압력에, 물질의 형상의 변경들에, 또는 모션을 생성하는 다른 힘들에 의존할 수 있다. 또한, 액츄에이터들(330, 332, 334)은 진동들의 생성에 제한되는 것이 아니라, 대신, 측면 모션, 위아래 모션, 회전 모션, 또는 이들의 일부 결합들, 또는 일부 다른 모션을 생성할 수 있다.
실시예에서, 액츄에이터(330)는 제2 햅틱 효과(302)를 생성하기 위해 진동들을 생성하는 압전 또는 음성 코일 액츄에이터일 수 있고, 액츄에이터(332)는 제2 햅틱 효과(302)를 생성하기 위해 위아래 모션을 생성하는 솔레노이드일 수 있고, 액츄에이터(334)는 제2 햅틱 효과(302)를 생성하기 위해 측면 모션을 생성하는 공기압 액츄에이터일 수 있다. 액츄에이터들(330, 332, 334)은 제2 햅틱 효과(302)가 요구될 때 모두 활성화될 수 있거나, 또는 전력을 보존하거나 상이한 햅틱 효과들을 생성하기 위해 오직 하나만 활성화될 수 있다. 특정 액츄에이터가 위치되어, 전체 사용자 인터페이스(300)에 대해, 사용자와 인터페이싱하는 디스플레이 스크린(310)에 대해서만, 디스플레이 스크린의 일부분에 대해서만, 또는 하우징(320)과 같은 사용자 인터페이스(300)의 일부 다른 부분 상에서 제2 햅틱 효과(302)를 생성하도록 구성될 수 있다. 예를 들어, 액츄에이터(334)는 터치 스크린의 코너 밖의 진동 크기가 임계 크기보다 더 작도록 충분히 낮게 진동들의 레벨을 유지함으로써 오직 터치 스크린(310)의 코너에 대한 진동들을 생성하도록 구성될 수 있다.
사용자 인터페이스(300)는 또한 정전기 디바이스(340)를 통해 제1 햅틱 효과(301)를 제공하도록 구성된다. 정전기 디바이스(340)는 전자진동촉각 디스플레이 또는 햅틱 효과를 생성하기 위한 기계적 모션 대신, 전압들 또는 전류들을 인가하는 임의의 다른 디바이스일 수 있다. 이 실시예에서 정전기 디바이스(340)는 적어도 도전층(342) 및 절연층(344)을 가진다. 도전층(342)은 임의의 반도체 또는 구리, 알루미늄, 금 또는 은과 같은 다른 도전성 물질일 수 있다. 절연층(344)은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 물질일 수 있다. 실시예에서, 정전기 디바이스(340)는 절연층을 가지지 않을 수 있고, 따라서, 오브젝트는 도전층(342)을 직접 터치할 수 있다. 햅틱 효과는 도전층(342)으로부터 오브젝트로 전기 전류를 전달함으로써 생성될 수 있다. 실시예에서, 절연층(344)은 오브젝트들이 절연층(344)에 걸쳐 움직임에 따라 전극들을 터치하는 오브젝트들에 전류를 전달할 수 있는 하나 이상의 전극들을 포함할 수 있다.
사용자 인터페이스(300)는 도전층(342)에 전기 신호를 인가함으로써 정전기 디바이스(340)를 동작시킬 수 있다. 전기 신호는 터치 스크린(310) 근처의 또는 터치 스크린(310)을 터치하는 오브젝트와 도전층(342)을 용량적으로 커플링시키는 AC 신호일 수 있다. AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 사용자 인터페이스(300)는 또한 제1 햅틱 효과(301)를 생성하기 위해 용량성 커플링이 아닌 원리들에 의존할 수 있다. 예를 들어, 실시예에서, 초음파 진동 디바이스(336)가 터치 표면(312)에서 사용자의 손가락에 의해 느껴질 수 있는 초음파 마찰 효과들을 생성하기 위해 사용될 수 있다.
용량성 커플링은 제1 햅틱 효과(301)를 제공하기 위해 터치 스크린(310)의 표면(312) 상에서 마찰의 레벨을 제어하고 마찰 또는 질감의 계수를 시뮬레이팅할 수 있다. 마찰의 계수는 터치 스크린(310)이 매끄러울 수 있는 동안 용량성 커플링이 터치 스크린(310) 근처의 오브젝트와 도전층(342) 사이에 인력을 생성할 수 있는, 시뮬레이팅된 계수이다. 인력의 증가는 표면에서의 물질의 구조가 변경하지 않을 때라도 표면에서의 마찰의 레벨을 증가시킬 수 있다. 오브젝트와 도전층(342) 사이의 당김의 레벨들의 변경은 터치 스크린(310)에 걸쳐 이동하는 오브젝트에 대한 마찰을 변경시킬 수 있다. 마찰력의 변경은 마찰의 계수에서의 변경을 시뮬레이팅한다. 햅틱 효과를 통한 마찰의 제어는 "Electro-vibrotactile Display"라는 명칭으로 2011년 4월 22일에 출원되었으며, 2012년 10월 25일에 미국 특허 출원 공보 제2012/0268412호로서 공개된 미국 특허 출원 일련 번호 제13/092,269호에 더 상세하게 논의되어 있으며, 그 전체 내용은 본원에 인용에 의해 포함된다. 시뮬레이팅된 마찰 계수는 또한 액츄에이터들(330, 332, 334)에 의해 변경될 수 있다. 예를 들어, 액츄에이터들은 진동들을 생성함으로써, 또는 터치 스크린(310)의 표면 완곡을 변경시켜 실제 마찰 계수를 변경시킴으로써 마찰력을 증가시킬 수 있다.
용량성 커플링은 또한 커플링에 응답할 수 있는 사용자의 손가락 F의 피부 내의 기계자극수용기들 또는 스타일러스 내의 컴포넌트들과 같은, 터치 스크린(310) 근처의 또는 터치 스크린(310)을 터치하는 오브젝트의 일부를 자극함으로써 제1 햅틱 효과(301)를 생성할 수 있다. 피부 내의 기계자극수용기들은, 예를 들어, 자극되어 진동 또는 일부 더 특정한 감각과 같은 용량성 커플링을 감지할 수 있다. 예를 들어, 도전층(342)에는 사용자의 손가락 F의 도전성 부분들과 커플링하는 AC 전압 신호가 인가될 수 있다. 사용자가 터치 스크린(310)의 표면(312) 상에서 자신의 손가락 F를 움직임에 따라, 사용자는 따끔함, 입자성, 울퉁불퉁함, 거칠음, 끈적임의 질감, 또는 일부 다른 질감을 감지할 수 있다.
실시예에서, 제1 햅틱 효과(301)는 표면 피쳐와 같은 피쳐를 시뮬레이팅하도록 생성될 수 있다. 예를 들어, 시뮬레이팅된 표면 피쳐는 표면(312)에서, 공간적 패턴, 에지 또는 경계, 또는 자연적이거나 인공적인 임의의 다른 촉각적 느낌일 수 있다. 공간적 패턴은 직선들의 그리드, 동심원들의 그리드, 포인트들의 그리드, 타일들의 그리드, 이들의 임의의 결합, 또는 임의의 다른 공간적 패턴을 포함할 수 있다. 오브젝트와 도전층(342) 사이의 당김의 레벨들의 변경은 표면(312)에 걸쳐 움직이는 오브젝트에 대한 마찰을 변경시킬 수 있다. 주변 영역들과는 상이한 마찰 레벨을 가지는 영역은 공간적 패턴 컴포넌트, 텍스쳐, 또는 임의의 다른 표면 피쳐를 나타낼 수 있다. 표면 피쳐들의 시뮬레이팅은 2012년 10월 31일에 "Method and Apparatus for Simulating Surface Features on a User Interface with Haptic Effects"라는 명칭으로 출원된 미국 특허 출원 일련 번호 제13/665,526호에 더 상세하게 논의되어 있으며, 그 전체 내용은 본원에 인용에 의해 포함된다.
많은 상이한 오브젝트들 또는 사람들에 걸쳐 동일한 인력을 제공하기 위해 또는 동일한 레벨의 자극들을 제공하기 위해, 전자 디바이스(300)는 또한 터치 스크린(310)의 표면에서의 임피던스를 측정할 수 있는 센서를 포함할 수 있다. 센서는 표면에 걸쳐 펄스를 인가하고 표면 전압을 측정함으로써 또는 용량성 커플링의 강도를 측정함으로써 임피던스를 측정할 수 있다. 센서는 임피던스를 측정하기 위한 다른 공지된 기법들을 사용할 수 있고, 공기 내의 습도 또는 온도와 같은 주변 조건들의 변경을 보상할 수 있다. 햅틱 효과는 사람의 임피던스에 기초하여 조정될 수 있다. 예를 들어, 더 강력한 햅틱 효과가 더 높은 임피던스를 가진 오브젝트에 인가될 수 있고, 덜 강력한 효과가 더 낮은 임피던스를 가진 오브젝트에 대해 인가될 수 있다.
사용자 인터페이스(300)는 또한 시뮬레이팅된 자극 계수를 측정하는 센서를 포함할 수 있다. 이것은 임피던스를 측정하는 전술된 센서와 동일한 센서일 수 있거나, 또는 그것은 상이한 센서일 수 있다. 센서는 터치 스크린(310)의 표면(312)이 예를 들어, 터치 스크린(310)에 터치하는 오브젝트로부터 수신하는 측정된 압력에 기초하고, 그리고 표면(312)에서 오브젝트의 움직임에 기초하여 시뮬레이팅된 계수를 측정할 수 있다. 오브젝트의 움직임은 표면(312)에서의 압력이 시간 경과에 따라 그리고 표면(312) 상의 위치들에 걸쳐 변경하는 방법에 기초하여 측정될 수 있다. 예를 들어, 센서는 터치 스크린(310) 상의 사용자의 손가락 F의 가속 및 표면(312)이 사용자의 손가락 F로부터 수신하는 압력에 기초하여 시뮬레이팅된 마찰 계수를 나타내는 값을 계산할 수 있다.
햅틱 효과들은 액츄에이터들(330, 332, 334), 정전기 디바이스(340), 및/또는 초음파 진동 디바이스(336)에 의해 한번에 하나씩 생성될 수 있거나, 결합될 수 있다. 예를 들어, 전압은 스크린(310)을 터치하는 손가락 F의 피부를 당기고 피부 내의 혈구를 자극할만큼 충분히 높은 레벨로 도전층(342)에 인가될 수 있다. 이러한 전자-진동촉각 햅틱 효과와 동시에, 정전기력이 도전층(342)과 절연층(344) 상에 생성되어 상기 계층들에서 기계적 모션을 생성할 수 있다. 햅틱 효과들은 액츄에이터들(330, 332 및 334) 중 하나 또는 이들의 결합에 의해 생성된 모션들과 결합될 수 있다. 디바이스들은 함께 작용하여 스크린의 표면 상에 마찰 또는 질감의 계수를 시뮬레이팅할 수 있다. 액츄에이터들은 예를 들어, 또한 표면 마찰 또는 질감의 변경들을 시뮬레이팅하기 위한 진동들을 생성할 수 있다.
햅틱 효과들 및 센서들은 전술된 프로세서(110)에 의해 제어될 수 있다. 프로세서(110)는 임피던스, 시뮬레이팅된 마찰 계수, 표면 압력, 표면에서 측정된 움직임의 속도, 및 햅틱 효과에 대한 트리거링 조건이 존재하는지의 여부 또는 햅틱 효과가 얼마나 강력해야 하는지를 결정하기 위한 다른 인자들을 분석할 수 있다.
발명의 실시예에서, 정전기 디바이스 또는 초음파 진동 디바이스에 의해 생성된 마찰 효과를 포함하는 제1 햅틱 효과(301), 및 액츄에이터에 의해 생성된 진동과 같은 진동촉각 효과를 포함하는 제2 햅틱 효과(302)는 서로 용이하게 구별될 수 있는 다른 통신 채널들 상에 제공될 수 있고, 따라서, 디바이스의 사용자들에게 인식상의 과부하 또는 혼동 없이 더 많은 정보를 전달할 수 있다. 제1 햅틱 효과(301)는 제1 통신 채널을 통해 제공될 수 있고, 제2 햅틱 효과(302)는 제1 통신 채널과는 상이한 제2 통신 채널 상에서 제공될 수 있다. 제1 햅틱 효과(301)와 제2 햅틱 효과(302)를 상이한 통신 채널들을 통해 제공함으로써, 사용자 인터페이스(300)의 사용자는 햅틱 효과들(301, 302)의 두 타입 모두를 인지하고, 햅틱 효과들(301, 302)을 상이한 소스로부터 오는 것으로서 쉽게 식별할 수 있다.
도 4는 터치 스크린(410) 및 터치 스크린(410)을 지지하는 하우징(420)을 포함하는 스마트 폰의 형태인 사용자 인터페이스(400)의 실시예를 예시한다. 사용자 인터페이스(400)는 사용자의 손가락 F 또는 스타일러스가 도 3에 예시된 실시예에 관해 전술된 바와 같이, 터치 스크린(410)의 표면(412)의 일부분에 걸쳐 움직일 때 터치 스크린(410) 상에서 마찰 효과의 형태로 제1 햅틱 효과(401)를 생성하도록 구성된다. 사용자 인터페이스(400)는 또한, 역시 전술된 바와 같이 사용자 인터페이스(400)의 하우징(420)을 통해 진동촉각 피드백의 형태로 제2 햅틱 효과(402)를 생성하도록 구성된다. 터치 스크린(410) 상에 디스플레이되거나 터치 스크린(410)과의 상호작용의 결과로서 발생하는 이벤트들은 제1 햅틱 효과(401)와 연관될 수 있고, 이메일, 텍스트 메시지 또는 호출이 스마트 폰에 의해 수신될 때의 통지와 같은, 하우징(420) 내에서 발생하는 이벤트들은 제2 햅틱 효과(402)와 연관될 수 있다.
도 5a는 터치 스크린(510), 터치 스크린(510)을 지지하는 하우징(520), 및 터치 스크린(510) 상에 디스플레이될 수 있거나 하우징(520)에 의해 지지되는 물리적 엘리먼트일 수 있는, D-패드(530), 버튼(532) 또는 조이스틱(534)과 같은 입력 디바이스를 포함하는 사용자 인터페이스(500)의 실시예를 예시한다. 사용자 인터페이스(500)는 마찰 효과의 형태인 제1 햅틱 효과(501)가 사용자가 입력 디바이스(530, 532, 534)를 조작하기 위한 배향 신호들을 제공하기 위해 생성되고, 진동촉각 피드백 형태인 제2 햅틱 효과(502)가 예를 들어, 폭발(540)이 터치 스크린(510)에 의해 디스플레이될 때 게임 효과들을 만들어 내기 위해 생성되도록 구성된다. 2가지 상이한 타입들의 효과들(501, 502)은 다른 것으로서 느껴질 수 있고, 배향 신호들 및 게임 효과들을 위해 동일한 햅틱 효과가 사용되는 실시예에 비해 효과들(501, 502)은 더 많은 정보를 사용자에게 제공할 수 있도록 서로 간섭하지 않는다. 도 5b는 제1 햅틱 효과(501)가 예를 들어, 사용자의 손가락이 아이콘(550)의 경계(552) 위에서 슬라이딩할 때 사용중인 애플리케이션에 관련된 효과들을 만들어 내기 위해 사용되고 제2 햅틱 효과(502)가 통지들과 같은 외부 이벤트들에 관한 피드백을 제공하기 위해 사용되는 실시예를 예시한다.
발명의 실시예들에서, 마찰 효과들 및 진동촉각 피드백의 결합은 더 넓은 범위의 상징(metaphor)들을 지원하기 위해 사용될 수 있다. 예를 들어, 개념상 하우징 내에서 그리고 사용자 인터페이스의 터치 스크린 상에서 발생하는 이벤트들은 각자 진동촉각 및 마찰 피드백에 의해 지원될 수 있다. 온몸 진동들이 사용자 인터페이스의 하우징을 통해 느껴질 수 있는 반면, 마찰 효과들은 터치 스크린을 통해 느껴질 수 있다. 이러한 다른 햅틱 효과들은 상이한 상호작용 상징들을 지원하기 위해 사용될 수 있다. 예를 들어, 마찰 효과들은 손가락과 온-스크린 오브젝트들 사이의 상호작용, 또는 터치 스크린에 의해 디스플레이되고 있는 배경 이미지를 슬라이딩하는 것과 같은, 온-스크린 오브젝트를 통해 느껴지는 내부 상호작용들을 나타내기 위해 사용될 수 있다. 반면, 진동촉각 피드백은, 공이 스크린의 측면들을 치는 것 또는 메커니즘이 하우징 내에서 활성화되는 것과 같은 하우징 내부의 내부 이벤트들을 나타낼 수 있다.
예를 들어, 도 6a는 터치 스크린(610) 및 터치 스크린(610)을 지원하도록 구성된 하우징(620)을 포함하는 사용자 인터페이스(600)의 구현을 예시한다. 예시된 바와 같이, 공(630)은 터치 스크린(610)에 의해 디스플레이되고, 터치 스크린(610)에 걸쳐 손가락 F를 슬라이딩함으로써 사용자의 손가락 F에 의해 "타격"된다. 공(630)에 대한 손가락 F의 충격이 스크린 상에 발생하고, 따라서 마찰 효과(601)와 함께 생성될 수 있다. 공(630)은 그것이 터치 스크린(610)과 하우징(620) 사이의 인터페이스에 위치된 벽(640)에 충격을 줄 때까지 터치 스크린(610)에 걸쳐 움직인다. 벽(640)에 대한 공(630)의 충격은 진동촉각 피드백(602)을 사용하여 하우징(620)을 통해 느껴질 수 있다. 도 6b는 로터리식 전화의 휠(650)의 이미지가 터치 스크린(610)의 디스플레이에 의해 디스플레이되고 전화 번호를 구성하기 위해 사용자의 손가락 F에 의해 원형 모션으로 드래그되는 구현예를 예시한다. 마찰 효과(601)는 휠(650)이 사용자의 손가락 F에 의해 드래그되고 휠(650)의 움직임이 손가락 F에 의해 직접 느껴질 수 있음에 따라 사용될 수 있다. 진동촉각 피드백(602)은 손가락이 로터리식 전화의 중지(660)에 도달할 때 그리고 또한 휠(650)이 해제될 때 사용될 수 있다. 진동촉각 피드백(602)은 전화기의 뒤를 잡고 있는 것처럼 느껴질 수 있다.
발명의 실시예들에서, 마찰 효과와 진동촉각 효과의 동기화 및/또는 결합은 어느 한 효과 단독보다 더 풍부하고 더 강한 햅틱 효과들을 생성할 수 있다. 충격은, 예를 들어, 두가지 타입 효과들 모두와 함께 생성되는 경우 더욱 두드러질 수 있다. 마찰 및 진동촉각 피드백은 또한 고유한 효과들을 생성하기 위해 결합될 수 있다.
예를 들어, 도 7a는 터치 스크린(710)에 의해 디스플레이되고 있는 오브젝트(730)가 충격을 생성하기 위해 터치 스크린(710)에 의해 디스플레이되고 있는 또 다른 오브젝트(740)에 대해 드래그되는 터치 스크린(710)을 가지는 사용자 인터페이스(700)의 구현예를 예시한다. 사용자의 손가락 F로서 생성되는 마찰 효과(701)는 터치 스크린(710)에 걸쳐 움직이며, 진동촉각 피드백(702)은 어느 한 효과가 단독으로 생성할 수 있는 것보다 더 강한 충격 효과를 생성하기 위해 결합될 수 있다. 도 7b는 디바이스의 햅틱 출력이 사용자에 대한 고유한 감각을 생성하기 위해 진동촉각 피드백(702)과 마찰 효과(701) 사이에서 교번하는 구현예를 예시한다.
발명의 실시예들에서, 마찰 효과와 진동촉각 효과는 서로의 한계들을 보상하기 위해 사용될 수 있다. 진동촉각 효과는, 예를 들어, 마찰 효과들을 느끼기 위해 요구되는, 햅틱 디스플레이의 표면에 걸친 오브젝트의 슬라이딩의 부재시에 피드백을 제공하기 위해 사용될 수 있다. 진동촉각 피드백은, 예를 들어, 탭, 탭-및-유지 및 비-접촉 이벤트들에 대한 피드백을 생성하기 위해 사용될 수 있다. 반면, 마찰 효과들은 상호작용동안 연속적인 피드백을 생성할 수 있다.
예를 들어, 도 8a는 스프링(810)이 눌러지고 이후 사용자의 손가락 F에 의해 그 자리에 고정됨에 따라 터치 스크린에 의해 디스플레이되고 있는 스프링(810)을 시뮬레이팅하는 구현예를 예시한다. 마찰 효과(801)는 터치 스크린에 걸쳐 움직임이 존재하기 때문에 스프링(810)을 압축하는 동안 사용될 수 있다. 움직임이 중단되면, 햅틱 효과 및 진동촉각 피드백(802)이 장력 효과를 생성하기 위해 대신 사용될 수 있음에 따라 마찰은 더 이상 사용될 수 없다. 도 8b는, 좌측에 예시된 바와 같이, 사용자의 손가락이 터치 스크린에 의해 디스플레이되고 있는 버튼(820)을 슬라이딩할 때 마찰 효과(801)가 질감을 생성하기 위해 사용되는 구현예를 예시한다. 반면, 진동촉각 피드백(802)은, 우측에 예시된 바와 같이, 사용자의 손가락이 버튼(820)을 칠 때(tap) 클릭 효과를 생성하기 위해 사용될 수 있다. 도 8c는 사용자의 손가락 F가 터치 스크린의 표면(830) 위를 호버링하는 동안 진동촉각 피드백(802)이 제공되고, 터치 스크린의 표면(830) 상에서 손가락을 터치하고 슬라이딩하는 동안 마찰 효과(801)가 제공되는 구현예를 예시한다.
발명의 실시예에서, 마찰 효과들 및 진동촉각 피드백은 예를 들어, 저주파수들에 대해 마찰 효과들을, 그리고 고주파수들에 대해 진동촉각 피드백을 사용하여 생성될 수 있는 효과들의 대역폭을 끊김없이 확장하기 위해 결합될 수 있다. 예를 들어, 도 9는 주파수들의 범위가 마찰 효과들과 진동촉각 효과들을 결합시킴으로써 확장될 수 있는 구현예를 예시한다. 예시된 바와 같이, 마찰 효과들은 하한(911) 및 상한(912)을 가지는 주파수들의 범위(910) 내에 있고, 진동촉각 효과들은 하한(921) 및 상한(922)을 가지는 주파수들의 범위(920) 내에 있다. 마찰 효과들의 주파수들(910)의 범위의 하한(911)은 진동촉각 효과들의 주파수들의 범위(920)의 하한(921)보다 더 낮고, 마찰 효과들의 주파수들의 범위(910)의 상한(912)은 진동촉각 효과들의 주파수들의 범위(920)의 상한(922)보다 더 낮다. 도 9에서 930으로 표현된 범위들의 결합은 사용자에게 제공될 수 있는 햅틱 효과들의 가능한 주파수들의 더 큰 범위를 제공한다. 예시된 실시예에서, 마찰 효과들의 주파수들의 범위(910)는 진동촉각 효과들의 주파수들(920)의 범위에 오버랩한다. 예시된 실시예는 어떤 방식으로든 제한적인 것으로서 의도되지 않으며, 주파수들의 범위들(910, 920)은 오버랩하지 않을 수 있다.
발명의 실시예들에서, 마찰 피드백은 소위 "저해상도" 또는 "표준 해상도"("SD") 액츄에이터들, 즉, 비교적 느린 응답 시간을 가지는 액츄에이터들에 의해 생성된 효과들의 인지된 품질을 개선할 수 있고, 따라서, 효과들은 사용자에 의해 더욱 산뜻한 것으로 인지되는 고해상도("HD") 품질에 도달한다. 예를 들어, LRA 및 ERM 타입 액츄에이터들과 같은 SD 액츄에이터들은 일반적으로 햅틱 효과들을 생성할 때 제한된 주파수 범위를 가진다. 예를 들어, 압전, 전기활성 고분자 및 정전기 기반 액츄에이터들과 같은 HD 액츄에이터는, SD 액츄에이터들에 의해 생성된 효과들("SD 효과들")보다 더 풍부하고 더 실제같은 효과들("HD 효과들")을 허용하는, 더 빠른 램프-업 시간 및 더 큰 동적 범위를 가지는 더 높은 주파수 콘텐츠를 출력할 수 있다.
진동들의 형태인 진동촉각 피드백과 마찰 효과들의 결합은 HD 액츄에이터들에 의해, 아마 더 낮은 비용으로 생성되는 HD 효과들을 닮은 햅틱 효과들을 생성할 수 있다. 예를 들어, 도 10은 터치 스크린에 의해 디스플레이되고 있는 선(1010)이 사용자의 손가락 F에 의해 교차됨에 따라 햅틱 효과가 생성되는 구현예를 예시한다. 좌측에서, 햅틱 효과는 사용자 인터페이스의 사용자에 의해 어렴풋한 윙윙거림으로써 느껴지는 SD 진동들(1002)과 함께 생성된다. 우측에서, 햅틱 효과는 동일한 SD 진동들(1002) 뿐만 아니라 더 복잡한 마찰 효과(1001)와 함께 생성된다. 결과적인 햅틱 효과는 여전히 진동으로서 느껴지지만, 감각은 더 풍부해지고 HD 진동에 대한 품질에 더 가까워질 수 있는데, 왜냐하면 마찰 효과(1001)가 SD 진동들(1002)을 생성하는 덜 응답적인 SD 액츄에이터들을 채울 수 있기 때문이다.
터치의 느낌이 시간 경과에 따라 특정 자극들을 조정할 수 있으며, 덜 민감해진다는 점이 발견되었다. 실시예에서, 사용자에게 제공되는 햅틱 효과들은 조정을 방지(combat)하는 것을 보조하기 위해 마찰 효과들과 진동촉각 효과들 사이에서 교번할 수 있다. 마찰 효과와 진동촉각 사이의 교번은 시간 경과에 따라 촉각 자극들에 대해 민감성의 약화를 제공할 수 있다. 예를 들어, 진동촉각 피드백에 의해 제공되는 햅틱 효과는 조정을 회피하기 위해 미리 결정된 시간량 이후 마찰 효과로 스위칭될 수 있다. 도 11은 햅틱 출력 디바이스(160)의 출력이 1110으로 표현된 촉각 조정의 모델에 기초하여 진동촉각 효과(1102)와 마찰 효과(1101) 사이에서 스위칭하는 구현예를 예시한다. 촉각 조정의 모델(1110)은 전술된 결정 모듈(116) 또는 햅틱 출력 디바이스 제어 모듈(118)에 저장될 수 있다. 사용자의 손가락이 햅틱 효과의 현재 타입에 대해 무감각한 것으로 간주될 때마다, 햅틱 출력 디바이스(160)는, 이상적으로는 매우 유사한 감각을 생성하는 방식으로, 다른 타입의 햅틱 효과를 생성할 수 있다. 천이는 2가지 상이한 타입들의 햅틱 효과들 간의 스위칭이 사용자에게 더 매끄럽게 느껴지도록 만들기 위해 점진적일 수 있다.
발명의 실시예는 마찰 기술과 진동촉각 기술의 결합을 사용하는데, 이는 결합이 어느 한 기술 단독보다는 더욱 끌리도록 한다. 전술된 햅틱 출력 디바이스들은 완전히 독립적일 수 있거나, 또는 마이크로컨트롤러들 및 구동 회로와 같은 일부 컴포넌트들을 공유할 수 있다. 햅틱 디스플레이들은 또한 독립적으로, 또는 스마트 제어기에 의한 결합으로서 제어될 수 있다. 발명의 실시예들은 개발자들이 의도된 효과(예를 들어, 특정 주파수에서의 진동)를 특정하게 하고 제어기가 마찰을 생성하는 햅틱 출력 디바이스 또는 진동촉각 피드백을 생성하는 햅틱 출력 디바이스가 활성화되어야 하는지를 결정하게 할 수 있다.
본원에 기술된 실시예들은 다수의 가능한 구현예들 및 예시들을 나타내며, 본 개시내용을 임의의 특정 실시예들에 반드시 제한하도록 의도되지는 않는다. 대신, 당업자에 의해 이해될 바와 같이, 다양한 수정들이 이들 실시예들에 대해 이루어질 수 있다. 임의의 이러한 수정들은 본 개시내용의 사상 및 범위 내에 포함되고 후속하는 청구항들에 의해 보호되도록 의도된다.

Claims (39)

  1. 표면에서 사용자로부터 수신된 입력을 감지하도록 구성된 센서;
    상기 사용자로부터 수신된 입력에 기초하여 상기 표면에서 제1 햅틱 효과를 생성하도록 구성된 제1 햅틱 출력 디바이스 ― 상기 제1 햅틱 효과는 상기 표면에서의 마찰 효과를 포함함 ― ;
    제2 햅틱 효과를 생성하도록 구성된 제2 햅틱 출력 디바이스 ― 상기 제2 햅틱 효과는 진동촉각(vibrotactile) 피드백을 포함함 ― ; 및
    상기 센서로부터 입력 신호를 수신하고, 상기 제1 햅틱 효과를 생성하기 위해 제1 구동 신호를 상기 제1 햅틱 출력 디바이스에 출력하고 상기 제2 햅틱 효과를 생성하기 위해 제2 구동 신호를 상기 제2 햅틱 출력 디바이스에 출력하도록 구성된 프로세서
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 제1 햅틱 출력 디바이스는 정전기 디바이스를 포함하는, 시스템.
  3. 제1항에 있어서,
    상기 제1 햅틱 출력 디바이스는 초음파 진동 디바이스를 포함하는, 시스템.
  4. 제1항에 있어서,
    상기 제2 햅틱 출력 디바이스는 액츄에이터를 포함하는, 시스템.
  5. 제4항에 있어서,
    상기 액츄에이터는 압전 액츄에이터, 음성 코일, 자기 액츄에이터, 공기압 액츄에이터, 초음파 에너지 액츄에이터, 편심 질량 액츄에이터, 전기활성 고분자(EAP) 액츄에이터, 또는 형상 기억 합금을 포함하는, 시스템.
  6. 제1항에 있어서,
    상기 표면을 포함하는 터치 스크린을 더 포함하는, 시스템.
  7. 제6항에 있어서,
    상기 터치 스크린은 이미지를 디스플레이하도록 구성된 디스플레이를 포함하는, 시스템.
  8. 제7항에 있어서,
    입력 디바이스를 더 포함하고,
    상기 제1 햅틱 효과는 상기 입력 디바이스의 사용을 위한 배향 신호들(orientation cues)을 제공하도록 구성되고, 제2 햅틱 효과는 상기 디스플레이에 의해 디스플레이되고 있는 이미지와 연관되는, 시스템.
  9. 제7항에 있어서,
    상기 제1 햅틱 효과는 상기 디스플레이에 의해 디스플레이되고 있는 이미지와 연관되고, 상기 제2 햅틱 효과는 상기 디스플레이에 의해 디스플레이되고 있는 이미지와 연관되지 않은 이벤트와 연관되는, 시스템.
  10. 제9항에 있어서,
    상기 이벤트는 통지인, 시스템.
  11. 제7항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자에 의한 이미지의 움직임과 연관되는, 시스템.
  12. 제11항에 있어서,
    상기 제2 햅틱 효과는 상기 디스플레이에 의해 디스플레이되는 이미지와 상기 디스플레이의 에지의 상호작용과 연관되는, 시스템.
  13. 제11항에 있어서,
    상기 제2 햅틱 효과는 상기 사용자에 의한 상호작용 없이 상기 이미지의 움직임과 연관되는, 시스템.
  14. 제11항에 있어서,
    상기 제2 햅틱 효과는 상기 디스플레이에 의해 디스플레이된 이미지와 상기 디스플레이에 의해 디스플레이된 제2 이미지의 상호작용과 연관되는, 시스템.
  15. 제7항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자에 의해 제1 구성에서 제2 구성으로의 상기 이미지의 변경과 연관되고, 상기 제2 햅틱 효과는 상기 제2 구성에서 유지되는 이미지와 연관되는, 시스템.
  16. 제7항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자가 상기 이미지의 위치에서 상기 표면에 걸쳐 슬라이딩함으로써 상기 이미지와 상호작용할 때 생성되고, 상기 제2 햅틱 효과는 상기 사용자가 상기 이미지의 위치에서 상기 표면을 누름으로써 상기 이미지와 상호작용할 때 생성되는, 시스템.
  17. 제1항에 있어서,
    상기 제1 햅틱 효과 및 상기 제2 햅틱 효과는 실질적으로 동시에 생성되는, 시스템.
  18. 제1항에 있어서,
    상기 제1 햅틱 효과 및 상기 제2 햅틱 효과는 시간 경과에 따라 교번하는, 시스템.
  19. 제18항에 있어서,
    상기 제1 햅틱 효과는 미리 결정된 제1 시간 동안 생성되고 이후 상기 제2 햅틱 효과가 미리 결정된 제2 시간 동안 생성되는, 시스템.
  20. 제1항에 있어서,
    상기 제2 햅틱 효과는 상기 사용자가 상기 표면 위를 호버링(hover)할 때 생성되는, 시스템.
  21. 제1항에 있어서,
    상기 제1 햅틱 효과는 제1 주파수 범위 내에서 생성되고, 상기 제2 햅틱 효과는 제2 주파수 범위 내에서 생성되며, 상기 제1 주파수 범위의 하한은 상기 제2 주파수 범위의 하한보다 더 낮고, 상기 제1 주파수 범위의 상한은 상기 제2 주파수 범위의 상한보다 더 낮은, 시스템.
  22. 제21항에 있어서,
    상기 제1 주파수 범위는 상기 제2 주파수 범위와 오버랩하는, 시스템.
  23. 사용자에 의한 사용자 인터페이스의 터치 표면에서의 입력을 감지하는 단계;
    상기 감지된 입력에 응답하여 상기 터치 표면에서 제1 햅틱 효과를 생성하는 단계 ― 상기 제1 햅틱 효과는 마찰 효과를 포함함 ― ; 및
    상기 사용자 인터페이스에서 제2 햅틱 효과를 생성하는 단계 ― 상기 제2 햅틱 효과는 진동촉각 피드백을 포함함 ― 를 포함하는, 방법.
  24. 제23항에 있어서,
    상기 터치 표면을 통해 이미지를 디스플레이하는 단계를 더 포함하는, 방법.
  25. 제24항에 있어서,
    상기 제1 햅틱 효과는 입력 디바이스의 사용을 위한 배향 신호들을 제공하도록 구성되고, 상기 제2 햅틱 효과는 디스플레이되고 있는 이미지와 연관되는, 방법.
  26. 제24항에 있어서,
    상기 제1 햅틱 효과는 디스플레이되고 있는 이미지와 연관되고, 상기 제2 햅틱 효과는 디스플레이되고 있는 이미지와 연관되지 않은 이벤트와 연관되는, 방법.
  27. 제26항에 있어서,
    상기 이벤트는 통지인, 방법.
  28. 제24항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자에 의해 디스플레이되고 있는 이미지의 움직임과 연관되는, 방법.
  29. 제28항에 있어서,
    상기 제2 햅틱 효과는 상기 디스플레이에 의해 디스플레이되는 이미지와 상기 디스플레이의 에지의 상호작용과 연관되는, 방법.
  30. 제28항에 있어서,
    상기 제2 햅틱 효과는 상기 사용자에 의한 상호작용 없이 상기 이미지의 움직임과 연관되는, 방법.
  31. 제28항에 있어서,
    상기 이미지가 디스플레이되고 있는 시간과 동시에 제2 이미지를 디스플레이하는 단계를 더 포함하고, 상기 제2 햅틱 효과는 상기 디스플레이되고 있는 이미지와 상기 디스플레이되고 있는 제2 이미지의 상호작용과 연관되는, 방법.
  32. 제24항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자에 의한 제1 구성에서 제2 구성으로의 상기 이미지의 변경과 연관되고, 상기 제2 햅틱 효과는 상기 제2 구성에서 유지되는 이미지와 연관되는, 방법.
  33. 제24항에 있어서,
    상기 제1 햅틱 효과는 상기 사용자가 상기 이미지의 위치에서 상기 터치 표면에 걸쳐 슬라이딩함으로써 상기 이미지와 상호작용할 때 생성되고, 상기 제2 햅틱 효과는 상기 사용자가 상기 이미지의 위치에서 상기 터치 표면을 누름으로써 상기 이미지와 상호작용할 때 생성되는, 방법.
  34. 제23항에 있어서,
    상기 제1 햅틱 효과 및 상기 제2 햅틱 효과는 실질적으로 동시에 생성되는, 방법.
  35. 제23항에 있어서,
    상기 제1 햅틱 효과 및 상기 제2 햅틱 효과는 시간 경과에 따라 교번하는, 방법.
  36. 제35항에 있어서,
    상기 제1 햅틱 효과는 미리 결정된 제1 시간 동안 생성되고 이후 상기 제2 햅틱 효과가 미리 결정된 제2 시간 동안 생성되는, 방법.
  37. 제23항에 있어서,
    상기 제2 햅틱 효과는 상기 사용자가 상기 터치 표면 위를 호버링(hover)할 때 생성되는, 방법.
  38. 제23항에 있어서,
    상기 제1 햅틱 효과는 제1 주파수 범위 내에서 생성되고, 상기 제2 햅틱 효과는 제2 주파수 범위 내에서 생성되며, 상기 제1 주파수 범위의 하한은 상기 제2 주파수 범위의 하한보다 더 낮고, 상기 제1 주파수 범위의 상한은 상기 제2 주파수 범위의 상한보다 더 낮은, 방법.
  39. 제38항에 있어서,
    상기 제1 주파수 범위는 상기 제2 주파수 범위와 오버랩하는, 방법.
KR1020140165098A 2013-11-26 2014-11-25 마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법 KR20150060575A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/090,922 US9639158B2 (en) 2013-11-26 2013-11-26 Systems and methods for generating friction and vibrotactile effects
US14/090,922 2013-11-26

Publications (1)

Publication Number Publication Date
KR20150060575A true KR20150060575A (ko) 2015-06-03

Family

ID=52015859

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140165098A KR20150060575A (ko) 2013-11-26 2014-11-25 마찰 및 진동촉각 효과들을 생성하기 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US9639158B2 (ko)
EP (1) EP2876528B1 (ko)
JP (2) JP6820652B2 (ko)
KR (1) KR20150060575A (ko)
CN (1) CN104679233B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018658A (ko) * 2015-08-10 2017-02-20 연세대학교 산학협력단 다양한 필기감을 가지는 햅틱 스타일러스 펜
US10152133B2 (en) 2016-03-11 2018-12-11 Electronics And Telecommunications Research Institute Apparatus and method for providing image
KR20190136572A (ko) * 2018-05-31 2019-12-10 한국교통대학교산학협력단 비접촉식 공중 촉각 피드백을 위한 트랜스듀서 및 그 작동방법

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8928621B2 (en) 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US9552065B2 (en) 2008-01-04 2017-01-24 Tactus Technology, Inc. Dynamic tactile interface
US9588683B2 (en) 2008-01-04 2017-03-07 Tactus Technology, Inc. Dynamic tactile interface
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US20160187981A1 (en) 2008-01-04 2016-06-30 Tactus Technology, Inc. Manual fluid actuator
US9720501B2 (en) 2008-01-04 2017-08-01 Tactus Technology, Inc. Dynamic tactile interface
US20150205417A1 (en) * 2008-01-04 2015-07-23 Tactus Technology, Inc. Dynamic tactile interface
US9612659B2 (en) 2008-01-04 2017-04-04 Tactus Technology, Inc. User interface system
US9588684B2 (en) 2009-01-05 2017-03-07 Tactus Technology, Inc. Tactile interface for a computing device
WO2011133605A1 (en) 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
KR20130136905A (ko) 2010-04-19 2013-12-13 택투스 테크놀로지, 아이엔씨. 사용자 인터페이스 시스템
US9122325B2 (en) * 2011-05-10 2015-09-01 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
US9335823B2 (en) * 2013-04-26 2016-05-10 Immersion Corporation Systems and methods for haptically-enabled conformed and multifaceted displays
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9557813B2 (en) 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
EP3382512A1 (en) 2014-02-21 2018-10-03 Northwestern University Haptic display with simultaneous sensing and actuation
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
CN106575230A (zh) 2014-09-02 2017-04-19 苹果公司 用于可变触觉输出的语义框架
US20170115734A1 (en) * 2014-09-09 2017-04-27 Mitsubishi Electric Corporation Tactile sensation control system and tactile sensation control method
US10146308B2 (en) 2014-10-14 2018-12-04 Immersion Corporation Systems and methods for impedance coupling for haptic devices
US9483134B2 (en) * 2014-10-17 2016-11-01 Elwha Llc Systems and methods for actively resisting touch-induced motion
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
US9672689B2 (en) * 2014-12-17 2017-06-06 Igt Canada Solutions Ulc Gaming system with movable ultrasonic transducer
US10403084B2 (en) * 2014-12-17 2019-09-03 Igt Canada Solutions Ulc Contactless tactile feedback on gaming terminal with 3D display
US10427034B2 (en) * 2014-12-17 2019-10-01 Igt Canada Solutions Ulc Contactless tactile feedback on gaming terminal with 3D display
CA2875033C (en) * 2014-12-17 2022-07-26 Fayez Idris Contactless tactile feedback on gaming terminal with 3d display
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
US11163362B2 (en) 2015-06-26 2021-11-02 Microsoft Technology Licensing, Llc Passive haptics as reference for active haptics
US9535501B1 (en) * 2015-06-29 2017-01-03 Apple Inc. Input with haptic feedback
US9921652B2 (en) 2015-06-29 2018-03-20 Apple Inc. Input with haptic feedback
JP6590597B2 (ja) * 2015-08-31 2019-10-16 株式会社デンソーテン 入力装置、表示装置、入力装置の制御方法およびプログラム
JP6625372B2 (ja) * 2015-08-27 2019-12-25 株式会社デンソーテン 入力装置および車載装置
USD786914S1 (en) * 2015-09-07 2017-05-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
DE102015012178A1 (de) * 2015-09-16 2017-03-16 e.solutions GmbH Berührungsempfindliche Vorrichtung mit haptischer Rückmeldung
US10013060B2 (en) * 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US9971407B2 (en) 2015-09-30 2018-05-15 Apple Inc. Haptic feedback for rotary inputs
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
WO2017095956A1 (en) * 2015-11-30 2017-06-08 Nike Innovate C.V. Shin guard with remote haptic feedback
US9990078B2 (en) * 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US9895607B2 (en) * 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
KR102462941B1 (ko) * 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
WO2017152139A1 (en) 2016-03-04 2017-09-08 Apple Inc. Input with haptic feedback
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US10444838B2 (en) * 2016-05-17 2019-10-15 Immersion Corporation Thermally activated haptic output device
JP6326194B2 (ja) * 2016-05-25 2018-05-16 レノボ・シンガポール・プライベート・リミテッド 形状記憶合金を利用したアクチュエータの駆動システム、駆動方法および電子機器
JP6326193B2 (ja) * 2016-05-25 2018-05-16 レノボ・シンガポール・プライベート・リミテッド 形状記憶合金を利用したアクチュエータの駆動システム、電子機器、パルス幅の決定方法および触覚フィードバックの調整方法
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10416771B2 (en) * 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US10049538B2 (en) * 2016-08-31 2018-08-14 Apple Inc. Electronic device including haptic actuator driven based upon audio noise and motion and related methods
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10049536B2 (en) * 2016-10-04 2018-08-14 Immersion Corporation Haptic actuator incorporating electropermanent magnet
US10261586B2 (en) * 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
JP6809868B2 (ja) * 2016-10-25 2021-01-06 株式会社デンソーテン 移動誘導装置、パネル装置、制御装置及び移動誘導方法
US10534435B2 (en) * 2016-11-18 2020-01-14 Immersion Corporation Handheld interface device having a plurality of electrostatic friction (ESF) electrodes
KR20180062851A (ko) * 2016-12-01 2018-06-11 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US11175738B2 (en) * 2016-12-13 2021-11-16 Immersion Corporation Systems and methods for proximity-based haptic feedback
KR20180068410A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 압전 소자 기반의 피드백 출력 방법 및 이를 지원하는 전자 장치
US20190354222A1 (en) * 2017-01-06 2019-11-21 Sabic Global Technologies B.V. Triboelectric sensor with haptic feedback
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
DE102017116012A1 (de) * 2017-07-17 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
CN107203273B (zh) * 2017-07-20 2020-07-03 京东方科技集团股份有限公司 触控基板及驱动方法、显示面板及驱动方法
US10768747B2 (en) * 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
KR20190027553A (ko) * 2017-09-07 2019-03-15 주식회사 하이딥 측면에 터치 압력 감지부를 구비한 휴대용 단말기
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
EP3477430A1 (en) * 2017-10-30 2019-05-01 Vestel Elektronik Sanayi ve Ticaret A.S. An electronic device and method for generating haptic effects at a screen
JP2019185164A (ja) * 2018-04-03 2019-10-24 富士通コンポーネント株式会社 触感提示装置
KR102045891B1 (ko) * 2018-04-05 2019-11-18 포항공과대학교 산학협력단 재질감 제공 장치 및 방법
US11069206B2 (en) * 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11036391B2 (en) * 2018-05-16 2021-06-15 Universal Studios LLC Haptic feedback systems and methods for an amusement park ride
US10599221B2 (en) * 2018-06-15 2020-03-24 Immersion Corporation Systems, devices, and methods for providing limited duration haptic effects
US10395489B1 (en) * 2018-06-15 2019-08-27 Immersion Corporation Generation and braking of vibrations
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11188151B2 (en) * 2018-09-25 2021-11-30 Apple Inc. Vibration driven housing component for audio reproduction, haptic feedback, and force sensing
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
KR102618969B1 (ko) * 2018-10-02 2023-12-28 삼성디스플레이 주식회사 표시장치
US11086431B2 (en) 2019-01-30 2021-08-10 Samsung Display Co., Ltd. Display device and method for providing haptic feedback by display device
US11397497B2 (en) * 2019-04-04 2022-07-26 Knowles Electonics, Llc System and method for detecting tactile interaction based on surface variations of a tactile interface
JPWO2021048998A1 (ko) * 2019-09-13 2021-03-18
US11402925B2 (en) * 2019-09-25 2022-08-02 Apple Inc. Crown input and feedback for head-mountable devices
FR3106912A1 (fr) * 2020-01-30 2021-08-06 Hap2U Dispositif pour la création de sensations haptiques sur une surface à l’aide de vibrations elliptiques ultrasonores
CN111536417A (zh) * 2020-04-29 2020-08-14 云南云成印务有限公司 中央供气集中控制系统
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
CN112346561B (zh) * 2020-10-15 2022-10-25 瑞声新能源发展(常州)有限公司科教城分公司 一种振动驱动方法和系统、振动设备以及存储介质
US11392207B1 (en) 2021-08-25 2022-07-19 a.u. Vista Inc. Touch device and display device for providing haptic feedback
DE102021212739A1 (de) 2021-11-12 2023-05-17 Robert Bosch Gesellschaft mit beschränkter Haftung Touch-Display
WO2023118956A1 (en) 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal S.A Device and method for providing meditation-inducing stimuli for a user in an automotive setting
WO2024135623A1 (ja) * 2022-12-21 2024-06-27 京セラ株式会社 制御装置及び制御システム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5149918A (en) 1990-10-29 1992-09-22 International Business Machines Corporation Touch sensitive overlay
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
JPH11203020A (ja) 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
EP2256605B1 (en) 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP3937982B2 (ja) 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7522152B2 (en) 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
JP2006048302A (ja) 2004-08-03 2006-02-16 Sony Corp 圧電複合装置、その製造方法、その取扱方法、その制御方法、入出力装置及び電子機器
KR100682901B1 (ko) 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
US7542816B2 (en) 2005-01-27 2009-06-02 Outland Research, Llc System, method and computer program product for automatically selecting, suggesting and playing music media files
JP4626376B2 (ja) 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
KR100703701B1 (ko) * 2005-06-14 2007-04-06 삼성전자주식회사 촉각 정보를 효율적으로 제공하기 위한 방법 및 장치
US20070118043A1 (en) 2005-11-23 2007-05-24 Microsoft Corporation Algorithms for computing heart rate and movement speed of a user from sensor data
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007188597A (ja) 2006-01-13 2007-07-26 Sony Corp コンテンツ再生装置およびコンテンツ再生方法並びにプログラム
US8780053B2 (en) 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
WO2007111909A2 (en) 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
JP2007287005A (ja) 2006-04-19 2007-11-01 Sony Corp 情報入出力装置、および情報処理方法、並びにコンピュータ・プログラム
JP4305671B2 (ja) 2006-08-22 2009-07-29 ソニー株式会社 健康運動支援システム、携帯型音楽再生装置、サービス情報提供装置、情報処理装置、健康運動支援方法
US20080097633A1 (en) 2006-09-29 2008-04-24 Texas Instruments Incorporated Beat matching systems
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
KR101580227B1 (ko) 2007-09-18 2015-12-24 센세그 오와이 감지 자극에 대한 장치 및 방법
FI20085475A0 (fi) 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
GB0721475D0 (en) 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US9733704B2 (en) 2008-06-12 2017-08-15 Immersion Corporation User interface impact actuator
JP5554025B2 (ja) 2008-07-10 2014-07-23 富士フイルム株式会社 インクジェット記録方法
CN106990811A (zh) 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
JP2010086471A (ja) 2008-10-02 2010-04-15 Sony Corp 操作感提供装置、および操作感フィードバック方法、並びにプログラム
KR20100039024A (ko) 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8823542B2 (en) 2008-11-26 2014-09-02 Nokia Corporation Apparatus and methods relevant to electronic devices
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP5694205B2 (ja) * 2009-03-12 2015-04-01 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
EP2457141B1 (en) * 2009-07-22 2020-05-06 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures
JP2011054079A (ja) * 2009-09-04 2011-03-17 Sca:Kk 情報伝達方法及び情報伝達装置
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US8954115B2 (en) * 2011-04-28 2015-02-10 Fujitsu Limited Method and apparatus for informing a user through haptic signals
JP5957739B2 (ja) * 2011-11-11 2016-07-27 パナソニックＩｐマネジメント株式会社 電子機器
US9746945B2 (en) * 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
EP2821892A4 (en) * 2012-03-02 2015-10-28 Nec Corp DISPLAY DEVICE AND METHOD OF OPERATION
CN104737096B (zh) * 2012-05-31 2018-01-02 诺基亚技术有限公司 显示装置
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018658A (ko) * 2015-08-10 2017-02-20 연세대학교 산학협력단 다양한 필기감을 가지는 햅틱 스타일러스 펜
US10152133B2 (en) 2016-03-11 2018-12-11 Electronics And Telecommunications Research Institute Apparatus and method for providing image
KR20190136572A (ko) * 2018-05-31 2019-12-10 한국교통대학교산학협력단 비접촉식 공중 촉각 피드백을 위한 트랜스듀서 및 그 작동방법

Also Published As

Publication number Publication date
US9639158B2 (en) 2017-05-02
EP2876528A1 (en) 2015-05-27
US20150145657A1 (en) 2015-05-28
JP6820652B2 (ja) 2021-01-27
JP2015111416A (ja) 2015-06-18
CN104679233B (zh) 2019-09-17
CN104679233A (zh) 2015-06-03
JP2020038685A (ja) 2020-03-12
EP2876528B1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
CN107209569B (zh) 用于触觉反馈组件的间隙传感器
US10013063B2 (en) Systems and methods for determining haptic effects for multi-touch input
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US9619033B2 (en) Interactivity model for shared feedback on mobile devices
US20190064996A1 (en) Method and apparatus for generating a haptic effect in response to flex gesturing
JP6392747B2 (ja) ディスプレイ装置
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
CN104881175B (zh) 具有动态触觉效应的多触摸装置
KR20150079472A (ko) 마찰 증강된 제어 및 터치 제어 패널의 버튼을 마찰 증강된 제어로 변환하는 방법
JP2016081524A (ja) リジッド部品を有し、触覚を利用可能で変形可能な装置
JP2008516348A (ja) タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
US20200012348A1 (en) Haptically enabled overlay for a pressure sensitive surface
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법

Legal Events

Date Code Title Description
WITB Written withdrawal of application