KR20140029259A - 센서 입력을 햅틱적으로 표현하는 시스템 - Google Patents

센서 입력을 햅틱적으로 표현하는 시스템 Download PDF

Info

Publication number
KR20140029259A
KR20140029259A KR20130102239A KR20130102239A KR20140029259A KR 20140029259 A KR20140029259 A KR 20140029259A KR 20130102239 A KR20130102239 A KR 20130102239A KR 20130102239 A KR20130102239 A KR 20130102239A KR 20140029259 A KR20140029259 A KR 20140029259A
Authority
KR
South Korea
Prior art keywords
haptic
actuator
sensor
input
haptic effect
Prior art date
Application number
KR20130102239A
Other languages
English (en)
Inventor
데이비드 번바움
크리스토퍼 제이 울리히
대니 그랜트
알리 모다레스
후안 마누엘 크루즈-에르난데스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48900764&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140029259(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140029259A publication Critical patent/KR20140029259A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

센서 입력에 응답하여 햅틱 효과를 발생시키는 햅틱 표현 시스템이 제공된다. 센서 입력은 햅틱 신호에 매핑된다. 햅틱 신호는 햅틱 신호를 수신하도록 구성되어 있는 액추에이터로 송신된다. 액추에이터는 햅틱 효과를 발생시키기 위해 햅틱 신호를 이용한다.

Description

센서 입력을 햅틱적으로 표현하는 시스템{SYSTEM FOR HAPTICALLY REPRESENTING SENSOR INPUT}
일 실시예는 일반적으로 디바이스에 관한 것이며, 보다 상세하게는, 햅틱 효과를 생성하는 디바이스에 관한 것이다.
햅틱은 힘, 진동 및 변형 등의 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 가함으로써 사용자의 촉감(sense of touch)을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 터치스크린 디바이스 및 개인용 컴퓨터 등의 디바이스는 보다 몰입적 체험을 사용자에게 제공하기 위해 햅틱 효과를 발생시키도록 구성되어 있을 수 있다. 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 어떤 다른 컨트롤을 사용하여 디바이스와 상호작용할 때, 햅틱 신호가 발생될 수 있고, 여기서 햅틱 신호는 디바이스로 하여금 적절한 햅틱 효과를 생성하게 한다. 사용자는 햅틱 효과를 경험할 수 있고, 사용자와 디바이스 간의 상호작용이 향상될 수 있다.
일 실시예는 햅틱 효과를 발생시키는 햅틱 표현 시스템이다. 본 시스템은 센서로부터 입력을 수신한다. 본 시스템은 수신된 입력을 햅틱 신호에 매핑한다. 본 시스템은 또한 햅틱 효과를 발생시키기 위해 햅틱 신호를 액추에이터(actuator)로 송신한다.
추가의 실시예, 상세, 장점 및 수정이, 첨부 도면과 관련하여 기술되어 있는 바람직한 실시예의 이하의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른, 햅틱 표현 시스템의 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른, 센서 입력 및 햅틱 출력을 갖는 디바이스의 일례를 나타낸다.
도 3은 본 발명의 일 실시예에 따른, 진동촉각 효과 및/또는 운동감각 효과를 제공할 수 있는 디바이스의 블록도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른, 출력 디바이스에서 재생될 때, 출력 효과를 생성하는 출력 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸다.
도 5는 본 발명의 일 실시예에 따른, 햅틱 표현 모듈의 기능의 흐름도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른, 감각 인지를 보강하기 위해 햅틱 효과를 생성할 수 있는 디바이스의 블록도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른, 디스플레이 화면 내에 디스플레이되는 시각적 정보를 보강하기 위해 햅틱 효과를 생성할 수 있는 디바이스의 블록도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 힘 햅틱 효과를 생성하는 힘 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸다.
도 9는 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 변형 햅틱 효과를 생성하는 변형 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸다.
도 10은 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 임피던스 햅틱 효과를 생성하는 임피던스 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸다.
도 11은 본 발명의 다른 실시예에 따른, 햅틱 표현 모듈의 기능의 흐름도를 나타낸다.
일 실시예는 센서에 의해 발생되고 햅틱 표현 시스템에 의해 수신되는 입력을 표현하는 햅틱 효과를 생성할 수 있는 햅틱 표현 시스템이다. 특정의 실시예에서, 수신된 입력은 초감각적 정보를 포함하고, 여기서 초감각적 정보는 전자계, 적외선 광, 자외선 광, 방사선, 또는 미묘한 온도 변화 등의 인간에 의해 보통 인지될 수 없는 정보이다. 일부 실시예에서, 햅틱 효과는 변형 액추에이터에 의해 생성되는 변형 햅틱 효과이고, 여기서 변형 햅틱 효과는 변형 액추에이터에 동작적으로 결합되는 구성요소의 형상 및/또는 크기의 변경을 포함한다. 특정의 실시예에서, 변형 액추에이터에 의해 생성되는 변형 햅틱 효과는 센서에 의해 발생되는 수신된 입력에 포함되어 있는 초감각적 정보에 기초하여 발생된다.
이하에서 더 상세히 기술되는 바와 같이, "진동 효과" 또는 "진동 햅틱 효과"는 진동을 생성하는 효과이다. "진동 액추에이터"는 진동 햅틱 효과를 생성하도록 구성되어 있는 액추에이터이다. "힘 효과" 또는 "힘 햅틱 효과"는 힘을 생성하는 효과이다. "힘 액추에이터"는 힘 햅틱 효과를 생성하도록 구성되어 있는 액추에이터이다. "변형 효과" 또는 "변형 햅틱 효과"는 구조 또는 형상을 변형시키는 효과이다. "변형 액추에이터"는 변형 햅틱 효과를 생성하도록 구성되어 있는 액추에이터이다. "임피던스 효과" 또는 "임피던스 햅틱 효과"는 인가된 힘에 대한 저항 또는 반발을 생성하는 효과이다. "임피던스 액추에이터"는 임피던스 햅틱 효과를 생성하도록 구성되어 있는 액추에이터이다.
도 1은 본 발명의 일 실시예에 따른 햅틱 표현 시스템(10)의 블록도를 나타낸 것이다. 일 실시예에서, 시스템(10)은 디바이스(도 2에 예시된 디바이스(200) 등 - 디바이스(200)에 대해서는 이하에서 보다 상세히 기술함 -)의 일부이고, 시스템(10)은 디바이스에 햅틱 표현 기능을 제공한다. 단일 시스템으로서 도시된 바와 같이, 시스템(10)의 기능이 분산 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하는 버스(12) 또는 다른 통신 메커니즘, 및 버스(12)에 결합되어 있는, 정보를 처리하는 프로세서(22)를 포함하고 있다. 프로세서(22)는 임의의 유형의 범용 또는 전용 프로세서일 수 있다. 시스템(10)은 정보 및 프로세서(22)에 의해 실행될 명령어를 저장하는 메모리(14)를 더 포함하고 있다. 메모리(14)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 자기 또는 광 디스크 등의 정적 저장소, 또는 임의의 다른 유형의 컴퓨터 판독가능 매체의 임의의 조합으로 이루어져 있을 수 있다.
컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 반송파 또는 기타 전송 메커니즘 등의 변조된 데이터 신호 내의 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 포함할 수 있고, 기술 분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM(compact disk read-only memory), 또는 기술 분야에 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 이 모듈은, 일 실시예에서, 시스템(10)은 물론 디바이스의 나머지에 대한 운영 체제 기능을 제공하는 운영 체제(15)를 포함하고 있다. 이 모듈은, 이하에서 더 상세히 개시되는 바와 같이, 수신된 신호를 표현하는 햅틱 효과를 발생시키는 햅틱 표현 모듈(16)을 더 포함하고 있다. 특정의 실시예에서, 햅틱 표현 모듈(16)은 복수의 모듈을 포함할 수 있고, 여기서 각각의 개별 모듈은 수신된 입력을 표현하는 햅틱 효과를 발생시키는 특정의 개별 기능을 제공한다. 시스템(10)은 통상적으로 Immersion Corporation의 Integrator® Haptic Development Platform 등의 부가의 기능을 포함시키기 위해 하나 이상의 부가의 애플리케이션 모듈(18)을 포함할 것이다.
시스템(10)은, 원격 소스로/로부터 데이터를 전송 및/또는 수신하는 실시예에서, 적외선, 무선, Wi-Fi, 또는 셀룰러 네트워크 통신 등의 모바일 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드 등의 통신 디바이스(20)를 더 포함한다. 다른 실시예에서, 통신 디바이스(20)는 이더넷 연결 또는 모뎀 등의 유선 네트워크 연결을 제공한다.
프로세서(22)는 또한, 버스(12)를 통해, 그래픽 표현 또는 사용자 인터페이스를 사용자에게 디스플레이하는 LCD(Liquid Crystal Display) 등이 디스플레이(24)에 결합되어 있다. 디스플레이(24)는 프로세서(22)로/로부터 신호를 송신 및 수신하도록 구성되어 있는 터치스크린 등의 터치 감응 입력 디바이스일 수 있고, 멀티 터치 터치스크린일 수 있다.
일 실시예에서, 시스템(10)은 액추에이터(26)를 더 포함하고 있다. 프로세서(22)는 발생된 햅틱 효과와 연관되어 있는 햅틱 신호를 액추에이터(26)로 전송할 수 있고, 액추에이터(26)는 차례로 진동촉각 햅틱 효과 및 변형 햅틱 효과 등의 햅틱 효과를 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함하고 있다. 액추에이터(26)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액추에이터, 고대역폭 액추에이터, EAP(electro-active polymer) 액추에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 대안의 실시예에서, 시스템(10)은, 액추에이터(26)에 부가하여, 하나 이상의 부가의 액추에이터(도 1에 예시되지 않음)를 포함할 수 있다. 다른 실시예에서, 시스템(10)으로부터 분리된 디바이스는 햅틱 효과를 발생시키는 액추에이터를 포함하고 있으며, 시스템(10)은 발생된 햅틱 효과 신호를 통신 디바이스(20)를 통해 그 디바이스로 송신한다.
일 실시예에서, 시스템(10)은 센서(28)를 더 포함하고 있다. 센서(28)는 가속도, 바이오 신호, 거리, 흐름, 힘/압력/변형/굴곡, 습도, 선형 위치, 방향/기울기, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 세기(이들로 제한되지 않음) 등의 한 형태의 에너지 또는 기타 물리적 특성을 검출하도록 구성되어 있을 수 있다. 센서(28)는 또한 검출된 에너지 또는 기타 물리적 특성을 가상 센서 정보를 표현하는 전기 신호 또는 임의의 신호로 변환하도록 구성되어 있을 수 있다. 센서(28)는 가속도계, 심전도계, 뇌파도계, 근전계, 전기안구도계, 전기구개도계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘 감응 저항기, 로드 셀, LuSense CPS2 155, 소형 압력 변환기, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 RFID(radio frequency identification tag)), 회전식 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(온도계, 열전쌍, 저항 온도 검출기, 써미스터, 또는 온도 변환 집적 회로 등), 마이크, 광도계, 고도계, 온도계, 바이오 모니터, 또는 광 의존 저항기 등의 임의의 디바이스일 수 있지만 이들로 제한되지 않는다.
도 2는 본 발명의 일 실시예에 따른, 센서 입력 및 햅틱 출력을 갖는 디바이스(200)의 일례를 나타낸 것이다. 앞서 기술된 바와 같이, 일 실시예에서, 디바이스(200)는 센서 입력을 햅틱 출력으로서 표현할 수 있는 햅틱 표현 시스템(도 1에 예시된 햅틱 표현 시스템(10) 등)을 포함할 수 있다. 이 실시예에 따르면, 디바이스(200)는 사용자의 손 내에 휴대할 수 있는 모바일 디바이스이다. 디바이스(200)는 센서(도 1의 센서(28) 등) - 여기서 센서는 도 2에 예시되어 있지 않음 -, 연장부(210 및 220), 및 디스플레이(230)를 포함할 수 있다. 센서는 감각적 정보 및 초감각적 정보를 검출하도록 구성되어 있을 수 있고, 여기서 감각적 정보는 인간에 의해 보통 인지될 수 있는 정보이고, 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 센서는 또한 검출된 정보에 기초하여 센서 입력을 생성하도록 구성되어 있을 수 있다. 연장부(210 및 220) 각각은 액추에이터(도 2에 예시되지 않음)에 결합되어 있을 수 있다. 액추에이터는 진동 액추에이터 또는 변형 액추에이터일 수 있다. 진동 액추에이터는 센서에 의해 생성된 센서 입력에 기초하여 연장부(210 및 220)를 진동시킬 수 있다. 변형 액추에이터는 센서에 의해 생성된 센서 입력에 기초하여 연장부(210 및 220)를 변형시킬 수 있다. 진동 액추에이터 및 변형 액추에이터의 구체적인 사항에 대해서는 더 상세히 추가로 기술한다. 디스플레이(230)는 센서에 의해 생성된 센서 입력에 기초하여 시각적 정보를 디스플레이할 수 있다.
도 3은 본 발명의 일 실시예에 따른, 진동촉각 효과("진동 햅틱 효과"라고도 함) 및/또는 운동감각 효과("변형 햅틱 효과"라고도 함)를 제공할 수 있는 디바이스(300)의 블록도를 나타낸 것이다. 디바이스(300)는 하우징(302), 디스플레이(304), 키패드(306), 및 연장부(308-0 및 308-1)를 포함한다. 다른 실시예에서, 키패드(306)는 터치스크린 디스플레이(304)의 일부이다. 디바이스(300)는, 일 실시예에서, 무선 오디오/비디오 통신, 이동 데이터 통신, 원격 게임 콘솔 등을 제공할 수 있는 무선 휴대용 시스템이다. 예를 들어, 디바이스(300)는 정보를 처리하는 것은 물론 햅틱 피드백도 제공할 수 있는 휴대폰, PDA, 스마트폰, 랩톱 컴퓨터, 게임 콘솔, 및/또는 핸드헬드 전자 디바이스일 수 있다.
동작 모드에 따라 사용자의 손에 햅틱 피드백을 제공하기 위해, 디바이스(300)는 애플리케이션의 성질에 따라 (연장부(308)를 포함하는) 그의 외측 인클로저 또는 하우징(302)을 거시적으로 변경할 수 있다. 애플리케이션에 따라, 연장부(308)는 (도 3에서 화살표로 나타낸 바와 같이) 팽창하거나 수축할 수 있고, 그로써 하우징(302)의 형상 및/또는 크기를 거시적으로 변경할 수 있다. 일 실시예에서, 변화가, 예를 들어, 시각 또는 촉감을 통해 사용자에 의해 검출될 수 있을 정도로 형상이 변하는 경우, 형상은 "거시적으로" 변경된다. 예를 들어, 그의 외측 인클로저 형상을 변경할 수 있는 셀폰 또는 스마트폰 디바이스("형상 변경 디바이스")는 2명의 사용자 사이의 악수를 에뮬레이트하는 데 사용될 수 있다. 악수를 전달하기 위해, 예를 들어, 제1 사용자는 그의 제1 형상 변경 디바이스를 쥐는 것에 의해, 제2 사용자의 제2 형상 변경 디바이스의 맥동 또는 쥐기(squeeze)를 야기할 수 있고, 여기서 제1 및 제2 사용자는 제1 형상 변경 디바이스 및 제1 형상 변경 디바이스에 연결되어 있는 제2 형상 변경 디바이스를 통해 전화 통화 등의 통신에 관여되어 있다. 환언하면, 제2 디바이스가 그의 형상을 변경하여 악수를 에뮬레이트하기 위해 그의 햅틱 메커니즘을 활성화시켜야만 한다는 것을 나타내는 형상 입력 또는 형상 신호가 제1 형상 변경 디바이스로부터 제2 형상 입력 디바이스로 송신된다. 다른 실시예에서, 디스플레이(304) 또는 키패드(306) 등의 입력 요소와 같은 하우징(302) 이외의 디바이스(300)의 부가 부분이 또한 형상을 변경할 수 있다.
디바이스(300) 등의 시스템은 형상 변경 효과를 에뮬레이트하기 위해 진동촉각 효과(진동 햅틱 효과라고도 함) 및/또는 운동감각 효과(변형 햅틱 효과라고도 함)를 이용할 수 있다. 예를 들어, 진동촉각 효과는 핸드헬드 디바이스를 통해 사용자에게 햅틱 피드백을 포함시키기 위해 사용될 수 있다. 이러한 햅틱 피드백 효과는 비교적 높은 주파수(예컨대, 약 160 내지 220 Hz) 및 비교적 작은 변위(예컨대, 약 50 내지 500 마이크로미터) 진동을 특징으로 할 수 있다. 게다가, 버튼 클릭의 확인 및 경고 등의 상이한 유형의 햅틱 정보가 또한 전달될 수 있다. 한편, 운동감각 효과는 비교적 큰 변위(예컨대, 약 1 내지 10 mm) 및 비교적 낮은 주파수(예컨대, 약 0 내지 40 Hz) 움직임을 특징으로 할 수 있다. 애플리케이션 또는 활성화된 특징에 따라 표면 특성을 거시적으로 변경하는 등의, 운동감각 효과의 효과적인 에뮬레이션을 위해 변형가능한 또는 유연한 표면이 사용될 수 있다.
변형가능한 햅틱 표면을 사용하여 운동감각 효과가 효과적으로 에뮬레이트될 수 있다. 예를 들어, 운동감각 효과는 핸드헬드 디바이스가 방향 탐색 도구로서 사용될 수 있게 해줄 수 있다. 이 예에서, 핸드헬드 디바이스의 상이한 위치에서의 변형가능한 표면의 활성화가 방향 정보의 햅틱 디스플레이로서 사용될 수 있다. 다른 예에서, 운동감각 효과는 특정의 효과(예컨대, 맥박, 심장 박동 등)의 수행을 가능하게 해주고, 이는 가상 텔레프레즌스(virtual tele-presence) 및/또는 소셜 네트워킹 애플리케이션에서 중요할 수 있다. 일 예에서, 전화 통화를 통해 연결되어 있는 다른 인간의 휴대폰의 측면 상에 있는 변형가능한 패드를 팽창 및 수축시킴으로써 한 인간의 심장 박동이 에뮬레이트될 수 있다. 다른 예에서, 통화의 한쪽에 있는 휴대폰을 쥐는 것은 통화의 다른쪽에 있는 다른 휴대폰에서 악수 느낌으로서 에뮬레이트될 수 있다.
힘 햅틱 효과 또는 "힘 효과"는 ERM(이들로 제한되지 않음) 등의 햅틱 액추에이터를 구동하기 위해 다양한 유형의 입력 신호를 사용하여 에뮬레이트될 수 있다. 보다 일정한 힘 효과(예컨대, 밀거나 당기는 힘 효과)와 반대로, 다양한 충격 힘 효과 또는 "홱 움직이는 느낌(jerk sensation)"을 제공하기 위해 특정 유형의 입력 신호가 사용될 수 있다. 일 예에서, 이러한 충격 힘 효과는 손가락으로 찌르는 것을 시뮬레이트할 수 있다. 일 예에서, 이러한 충격 힘 효과는, 예를 들어, 골프 클럽으로 골프 공을 치는 것을 시뮬레이트할 수 있다. 일 예에서, 이러한 충격 힘 효과는 라켓으로 테니스 공을 치는 것을 시뮬레이트할 수 있다. 충격 힘 효과는 다른 게임 환경을 시뮬레이트하는 데 사용될 수 있다.
일 실시예에서, 디바이스(300)는, 단순히 사용자에 의해 조작되는 것과 달리, 동작 모드(예컨대, 애플리케이션, 활성화된 특징 등)에 기초하여 형상을 변경할 수 있다. 디바이스(300)의 유연한 표면에 다양한 형상을 야기하기 위해 다양한 햅틱 물질 및/또는 액추에이터가 햅틱 메커니즘에서 사용될 수 있다. 예를 들어, 제어 신호의 활성화에 기초한 형상 변경을 위한 햅틱 메커니즘에 하나 이상의 액추에이터를 형성하기 위해 EAP가 사용될 수 있다. 다른 실시예에서, 압전 요소, 프로그램가능 겔, 또는 형상 기억 합금("SMA")의 섬유가 액추에이터로서 사용될 수 있다.
일 실시예에서, 활성화된 특징 및 애플리케이션 등의 디바이스 동작 모드의 표시는 햅틱 메커니즘의 소정의 패턴을 활성화시킬 수 있다. 이러한 패턴은 이어서 변형 메커니즘을 사용하여 디바이스(300)의 유연한 표면에 적용될 수 있다. 패턴을 실시 또는 형성하기 위해 복수의 액추에이터를 포함하는 햅틱 기판이 표면에 적용될 수 있다. 햅틱 메커니즘에 의해 수신되는 활성화 신호가 유연한 표면 형상을 전달할 수 있도록 햅틱 메커니즘에 하나 이상의 액추에이터를 형성하기 위해, 예를 들어, EAP가 이용될 수 있다. MEMS(micro-electro-mechanical system) 요소, 열 유체 포켓(thermal fluid pocket), MEMS 펌프, 공진 디바이스, 가변 다공성 막(variable porosity membrane), 층류 변조(laminar flow modulation) 등으로부터 햅틱 기판이 형성될 수 있다.
변위는 물론 임의의 맥박 또는 다른 적당한 효과 및/또는 패턴에 대해 연장부(308)가 제어가능할 수 있다. 예를 들어, 한 사용자는 제1 디바이스를 쥘 수 있고, 통화를 통해 제1 디바이스에 연결된 제2 디바이스는 물리적 악수를 전달하기 위해 제2 사용자의 손에 맥동을 가하거나 손을 쥘 수 있다. 이와 같이, 제2 디바이스가 악수(예컨대, 손을 쥐는 것과 같은 낮은 주파수의 힘 또는 압력)를 에뮬레이트하기 위해 형상을 변경해야만 한다는 것을 나타내기 위해 신호가 제1 디바이스로부터 제2 디바이스로 송신될 수 있다. 이러한 방식으로, 기초를 이루는 햅틱 메커니즘, 기판, 및/또는 액추에이터 제어에 의해 지원가능한 임의의 소정의 형상 변경 특성 또는 패턴이 이용될 수 있다.
형상 변경 또는 변형 햅틱 효과를 생성할 수 있는 디바이스에 대한 추가의 상세는 미국 특허 출원 제12/776,121호(2010년 5월 7일자로 출원되고, 참조 문헌으로서 본 명세서에 포함됨)에 기술되어 있다.
도 4는 본 발명의 일 실시예에 따른, 출력 디바이스에서 재생될 때, 출력 효과를 생성하는 출력 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸 것이다. 보다 구체적으로는, 도 4는 센서(400)를 나타낸 것이다. 센서(400)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(400)는 정보를 검출하도록 구성되어 있는 센서일 수 있다. 특정의 실시예에서, 센서(400)는 초감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 예를 들어, 일 실시예에서, 센서(400)는 전자계를 검출하도록 구성되어 있는 자력계일 수 있다. 다른 실시예에서, 센서(400)는 적외선 광 주파수 등의 인간의 눈의 범위 밖에 있는 광 주파수를 검출하도록 구성되어 있는 광 센서일 수 있다. 다른 실시예에서, 센서(400)는, 온도 변화가 인간에 의해 보통 검출될 수 없을 때에도, 온도의 변화를 검출하도록 구성되어 있는 온도 센서일 수 있다. 검출된 초감각적 정보에 기초하여, 센서는 센서 입력을 발생시킬 수 있고, 여기서 센서 입력은 검출된 초감각적 정보를 나타낸다. 다른 실시예에서, 센서(400)는 감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 감각적 정보는 인간에 의해 보통 인지될 수 있는 정보이다.
도 4는 또한 표현 모듈(410)도 나타내고 있다. 프로세서(도 4에 예시되지 않음)에 의해 실행될 때, 표현 모듈(410)은 센서(400)로부터 센서 입력을 수신하고, 센서 입력을 출력 신호에 매핑하며, 출력 신호를 출력 디바이스(420)로 송신할 수 있다. 이 실시예에 따르면, 표현 모듈(410)은 센서 입력을 출력 신호에 매핑하는 알고리즘을 포함할 수 있고, 여기서 출력 신호는 출력 디바이스(420)에서 재생될 때 출력 효과를 생성하도록 구성되어 있다. 이와 같이, 특정의 실시예에서, 표현 모듈(410)은 센서(400)에 의해 검출된(인간에 의해 보통 인지될 수 없는) 초감각적 정보를, 출력 디바이스(420)에서 재생될 수 있는(따라서 인간에 의해 인지될 수 있는) 출력 효과로서 표현할 수 있다. 이러한 방식으로, 표현 모듈(410)은 인간이 센서(400)에 의해 검출된, 보통 인지될 수 없는 초감각적 정보를 인지할 수 있게 해줄 수 있다. 다른 실시예에서, 표현 모듈(410)은 또한 센서(400)에 의해 검출된 감각적 정보를, 출력 디바이스(420)에서 재생될 수 있는 출력 효과로서 표현할 수 있다. 이러한 방식으로, 표현 모듈(410)은 센서(400)에 의해 검출된 감각적 정보에 대한 인간의 보통의 인지를 보강할 수 있다.
특정의 실시예에서, 표현 모듈(410)은 도 1의 햅틱 표현 모듈(16) 등의 햅틱 표현 모듈일 수 있다. 이들 실시예에서, 프로세서에 의해 실행될 때, 표현 모듈(410)은 센서(400)로부터 센서 입력을 수신하고, 센서 입력을 햅틱 신호에 매핑하며, 햅틱 신호를 출력 디바이스(420)로 송신할 수 있고, 여기서 출력 디바이스(420)는 도 1의 액추에이터(26) 등의 액추에이터이다. 이 실시예에 따르면, 표현 모듈(410)은 센서 입력을 햅틱 신호에 매핑하는 알고리즘을 포함할 수 있고, 여기서 햅틱 신호는 출력 디바이스(420)에서 재생될 때 햅틱 효과를 생성하도록 구성되어 있다. 이와 같이, 표현 모듈(410)은 센서(400)에 의해 검출된(인간에 의해 보통 인지될 수 없는) 초감각적 정보를, 출력 디바이스(420)에서 재생될 수 있는(따라서 인간에 의해 인지될 수 있는) 햅틱 효과로서 표현할 수 있다.
예를 들어, 센서(400)가 자력계인 실시예에서, 표현 모듈(410)은 자력계로부터의 입력을 액추에이터에 대한 변형 햅틱 신호 또는 진동 햅틱 신호에 매핑할 수 있다. 변형 햅틱 효과를 발생시키기 위해 변형 햅틱 신호가 액추에이터에서 재생될 수 있다. 진동 햅틱 효과를 발생시키기 위해 진동 햅틱 신호가 액추에이터에서 재생될 수 있다. 다른 예로서, 센서(400)가 광 센서인 실시예에서, 표현 모듈(410)은 광 센서로부터의 입력을 디스플레이 화면 상에 디스플레이될 수 있는 비디오 신호 또는 스피커에서 재생될 수 있는 오디오 신호에 매핑할 수 있다. 또 다른 예로서, 센서(400)가 방사선 센서인 실시예에서, 표현 모듈(410)은 방사선 센서로부터의 입력을 액추에이터에 대한 변형 햅틱 신호 또는 진동 햅틱 신호에 매핑할 수 있다.
특정의 실시예에서, 센서(400)는 표현 모듈(410)에 로컬일 수 있다(즉, 센서(400) 및 표현 모듈(410)이 단일 디바이스 내에 위치해 있을 수 있다). 다른 실시예에서, 센서(400)는 표현 모듈(410)과 별도의 디바이스 상에 위치해 있고, 센서 입력이 네트워크를 통해 표현 모듈(410)로 송신된다.
특정의 실시예에서, 표현 모듈(410)에서 수행되는 매핑은 수신된 센서 입력이 지정된 임계값(즉, "지정된 값")을 초과하는지를 판정하는 것을 포함한다. 수신된 센서 입력이 지정된 값을 초과하는 경우, 대응하는 출력 신호(햅틱 신호 등)가 발생되고, 수신된 센서 입력이 발생된 출력 신호에 매핑된다. 수신된 센서 입력이 지정된 값을 초과하지 않는 경우에는, 출력 신호가 발생되지 않는다.
대안의 실시예에서, 표현 모듈(410)에서 수행되는 매핑은 수신된 센서 입력을 대응하는 출력 신호(햅틱 신호 등)로 수학적으로 변환하는 것을 포함한다. 이것은 센서 입력이 수신됨에 따라 연속적으로 행해질 수 있고, 이에 따라, 대응하는 출력 신호가 연속적으로 변조될 수 있다. 출력 신호가 연속적으로 변조될 때, 발생되는 대응하는 출력 효과(햅틱 효과 등)도 역시 연속적으로 변조될 수 있다.
도 4는 또한 출력 디바이스(420)도 나타내고 있다. 출력 디바이스(420)는 표현 모듈(410)에 의해 송신된 출력 신호를 수신할 수 있고, 출력 신호에 기초하여 출력 효과를 발생시킬 수 있다. 특정의 실시예에서, 출력 디바이스(420)는 도 1의 액추에이터(26) 등의 액추에이터일 수 있다. 이들 실시예들 중 일부 실시예에서, 출력 디바이스(420)는 진동 햅틱 효과를 생성하도록 구성되어 있는 진동 액추에이터일 수 있다. 다른 실시예에서, 출력 디바이스(420)는 변형 햅틱 효과를 생성하도록 구성되어 있는 변형 액추에이터일 수 있다. 이들 실시예에서, 출력 디바이스(420)는 표현 모듈(410)에 의해 송신된 햅틱 신호를 수신할 수 있고, 출력 신호에 기초하여 햅틱 효과를 발생시킬 수 있다. 햅틱 신호가 진동 햅틱 신호인 실시예에서, 출력 디바이스(420)는 진동 햅틱 효과를 생성할 수 있다. 햅틱 신호가 변형 햅틱 신호인 실시예에서, 출력 디바이스(420)는 변형 햅틱 효과를 생성할 수 있다. 다른 실시예에서, 출력 디바이스(420)는 디스플레이 화면 등의 비디오 효과를 생성하도록 구성되어 있는 출력 디바이스, 또는 스피커 등의 오디오 효과를 생성하도록 구성되어 있는 출력 디바이스일 수 있다.
예를 들어, 센서(400)가 자력계이고 출력 디바이스(420)가 액추에이터(진동 액추에이터 또는 변형 액추에이터 등)인 실시예에서, 출력 디바이스(420)는 전자계의 존재, 전자계의 강도, 또는 전자계의 다른 속성에 따라 변형 및/또는 진동할 수 있다. 보다 구체적으로는, 센서(400)는 전자계를 검출하고, 전자계의 하나 이상의 속성에 기초하여 센서 입력을 생성할 수 있다. 표현 모듈(410)은 센서(400)에 의해 생성된 센서 입력을 진동 햅틱 신호, 변형 햅틱 신호 또는 이들의 조합에 매핑할 수 있다. 진동 햅틱 신호, 변형 햅틱 신호 또는 이들의 조합에 기초하여, 출력 디바이스(420)는 (진동에 의해) 진동 햅틱 효과, (변형에 의해) 변형 햅틱 효과, 또는 이들의 조합을 생성할 수 있다.
다른 예로서, 센서(400)가 광 센서이고 출력 디바이스(420)가 디스플레이 화면인 실시예에서, 출력 디바이스(420)는 적외선 광(또는 자외선 광)의 검출에 기초하여 시각적 표현을 디스플레이할 수 있다. 보다 구체적으로는, 센서(400)는 적외선 광(또는 자외선 광)을 검출하고, 적외선 광(또는 자외선 광)의 하나 이상의 속성에 기초하여 센서 입력을 생성할 수 있다. 표현 모듈(410)은 센서(400)에 의해 생성된 센서 입력을 비디오 신호에 매핑할 수 있다. 비디오 신호에 기초하여, 출력 디바이스(420)는 비디오 효과(예컨대, 검출된 광의 시각적 표현)를 생성할 수 있다. 대안의 실시예에서, 출력 디바이스(420)는 디스플레이 화면보다는 액추에이터일 수 있다. 이 실시예에서, 표현 모듈(410)은 센서(400)에 의해 생성된 센서 입력을 진동 햅틱 신호 또는 변형 햅틱 신호에 매핑할 수 있다. 진동 햅틱 신호 또는 변형 햅틱 신호에 기초하여, 출력 디바이스는 검출된 광을 표현하는 진동 햅틱 효과 또는 변형 햅틱 효과를 생성할 수 있다. 예를 들어, 센서(400)가 상당량의 적외선 광을 검출하는 경우, 출력 디바이스(420)는 검출된 적외선 광의 양을 반영하는 양만큼 변형될 수 있다.
이와 같이, 특정의 실시예에 따르면, 사용자의 감각이 보강될 수 있는데, 그 이유는 사용자가 보통 인지하기 어렵거나 불가능한 환경의 속성을 인지할 수 있기 때문이다.
도 5는 본 발명의 일 실시예에 따른, 햅틱 표현 모듈(도 1의 햅틱 표현 모듈(16) 등)의 기능의 흐름도를 나타낸 것이다. 일 실시예에서, 이하에서 더 상세히 기술되어 있는, 도 5의 기능은 물론 도 11의 기능이, 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장되어 있고 프로세서에 의해 실행되는 소프트웨어에 의해, 구현된다. 다른 실시예에서, 기능이 하드웨어에 의해(예컨대, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 사용을 통해) 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 게다가, 대안의 실시예에서, 기능이 아날로그 구성요소를 사용하는 하드웨어에 의해 수행될 수 있다.
흐름이 시작되고 단계 510으로 진행된다. 단계 510에서, 입력이 센서로부터 수신된다. 입력은 초감각적 정보를 포함할 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 특정의 실시예에서, 입력은 하나 이상의 상호작용 파라미터를 포함할 수 있고, 여기서 각각의 상호작용 파라미터는 값을 포함할 수 있다. 특정의 실시예에서, 센서는 자력계가 검출하는 전자계에 기초하여 입력을 발생시키도록 구성되어 있는 자력계일 수 있다. 다른 실시예에서, 센서는 광 센서가 검출하는 에너지에 기초하여 입력을 발생시키도록 구성되어 있는 광 센서일 수 있다. 에너지는 자외선 광을 포함할 수 있다. 다른 대안으로서, 에너지는 적외선 광을 포함할 수 있다. 다른 실시예에서, 센서는 방사선 센서가 검출하는 방사선에 기초하여 입력을 발생시키도록 구성되어 있는 방사선 센서일 수 있다. 흐름이 단계 520으로 진행된다.
단계 520에서, 수신된 입력이 햅틱 신호에 매핑된다. 특정의 실시예에서, 수신된 입력을 햅틱 신호에 매핑하는 것은 적어도 하나의 상호작용 파라미터의 값이 지정된 값을 초과할 때 햅틱 신호를 발생시키는 것을 포함한다. 다른 실시예에서, 수신된 입력을 햅틱 신호에 매핑하는 것은 적어도 하나의 상호작용 파라미터의 값의 연속적인 갱신에 기초하여 햅틱 신호를 연속적으로 변조하는 것을 포함한다. 흐름이 단계 530으로 진행된다.
단계 530에서, 햅틱 효과를 발생시키기 위해 햅틱 신호가 액추에이터로 송신된다. 특정의 실시예에서, 액추에이터가 진동 액추에이터이고, 진동 액추에이터에 의해 발생된 햅틱 효과가 진동 햅틱 효과이다. 다른 실시예에서, 액추에이터가 변형 액추에이터이고, 변형 액추에이터에 의해 발생된 햅틱 효과가 변형 햅틱 효과이다. 이어서, 흐름이 종료된다.
특정의 실시예에서, 햅틱 디바이스는 센서 입력에 기초하여 다양한 유형의 정보를 출력할 수 있다. 예는 자력계로부터의 입력에 기초하여 햅틱 효과를 출력하는 것; 디바이스의 디스플레이 상에 변형 햅틱 효과를 출력하여 "지오펜스(geofence)"를 생성하는 것; 변형 햅틱 효과를 출력함으로써 감각 인지를 보강하는 것; 변형 햅틱 효과를 출력함으로써 보통의 감각 인지를 향상시키는 것; 및 사용자의 기분, 주변 인식(ambient awareness), 또는 바이오 피드백에 기초하여 햅틱 효과를 출력하는 것을 포함한다.
게다가, 특정의 실시예에서, 햅틱 디바이스의 변형 액추에이터는 복수의 상호작용 모드 중 하나를 사용하여 변형 햅틱 효과를 출력할 수 있다. 상호작용 모드의 예는 사용자의 신체에 압력을 가하는 것; 형상을 변경하는 것(형상 변경은 햅틱 디바이스의 거시적 형상(macro-shape)의 변화 또는 햅틱 디바이스의 질감의 변화를 포함할 수 있음); 및 임피던스 햅틱 효과를 출력하는 것(햅틱 디바이스가 사용자 입력을 평가하고 사용자 입력에 기초하여 하나 이상의 햅틱 효과를 출력함)을 포함한다.
도 6은 본 발명의 일 실시예에 따른, 감각 인지를 보강하기 위해 햅틱 효과를 생성할 수 있는 디바이스(600)의 블록도를 나타낸 것이다. 디바이스(600)는 센서(610)를 포함할 수 있다. 센서(610)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(610)는 정보를 검출하도록 구성되어 있는 센서일 수 있다. 검출된 정보에 기초하여, 센서는 센서 입력을 발생시킬 수 있고, 여기서 센서 입력은 검출된 정보를 나타낸다. 특정의 실시예에서, 센서(610)는 초감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다.
디바이스(600)는 하우징(620)을 더 포함할 수 있다. 하우징(620)(디바이스(600)의 외측 인클로저라고도 함)은 액추에이터(630)에 동작적으로 결합될 수 있다. 하우징(620)은 또한 하우징(620)의 적어도 일부분을 덮고 있는 햅틱 표면을 포함할 수 있다. 특정의 실시예에서, 햅틱 표면은 액추에이터(630)에 의해 생성된 힘 햅틱 효과에 응답하여 힘을 가하도록 구성되어 있을 수 있다. 이들 실시예에서, 액추에이터(630)는 힘 햅틱 효과를 생성하도록 구성되어 있을 수 있는 힘 액추에이터일 수 있다. 다른 특정의 실시예에서, 햅틱 표면은 액추에이터(630)에 의해 생성된 변형 햅틱 효과에 응답하여 그의 물리적 형상을 거시적으로 변경하도록 구성되어 있을 수 있다. 이들 실시예에서, 액추에이터(630)는 변형 햅틱 효과를 생성하도록 구성되어 있을 수 있는 변형 액추에이터일 수 있다. 다른 특정의 실시예에서, 햅틱 표면은 액추에이터(630)에 의해 생성된 임피던스 햅틱 효과에 응답하여 기계적 임피던스(mechanical impedance)를 생성하도록 구성되어 있을 수 있다. 이들 실시예에서, 액추에이터(630)는 임피던스 햅틱 효과를 생성하도록 구성되어 있을 수 있는 임피던스 액추에이터일 수 있다. 이와 같이, 특정의 실시예에서, 액추에이터(630)는 디바이스(600)의 하우징(620)으로 하여금, 센서(610)에 의해 검출된 초감각적 정보를 포함하는, 센서(610)에 의해 검출된 정보를 반영하게 할 수 있다.
일 실시예에서, 센서(610)는 기압을 검출하도록 구성되어 있는 센서일 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 검출된 기압에 기초하여 힘을 가하거나, 변형되거나, 기계적 임피던스를 생성하게 할 수 있다. 이와 같이, 이 실시예에서, 디바이스(600)는 검출된 기압의 증가 또는 감소로 인해 가능한 임박한 날씨 패턴의 변화를 나타낼 수 있다. 다른 실시예에서, 센서(610)는 전자계를 검출하도록 구성되어 있는 자력계일 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 검출된 전자계의 하나 이상의 특성(전자계의 존재, 전자계의 강도, 또는 전자계의 주기성 등)에 기초하여 힘을 가하거나, 변형되거나 기계적 임피던스를 생성하게 할 수 있다. 예를 들어, 사용자는, 디바이스(600)의 하우징(620)이 전기 코드의 주변에 교번하는 전자계의 존재 시에 힘을 가하거나, 변형을 가하거나, 기계적 임피던스를 생성하는 것에 응답하여, 전기 코드가 전원에 연결되어 있는지를 판정하기 위해 전기 코드 근방에 디바이스(600)를 유지할 수 있다.
다른 실시예에서, 센서(610)가 방사선을 검출하도록 구성되어 있는 방사선 센서일 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 검출된 방사선에 기초하여 힘을 가하거나, 변형되거나, 기계적 임피던스를 생성하게 할 수 있다. 예를 들어, 디바이스(600)는 센서(610)를 사용하여 어떤 환경 내에서의 주변 방사선의 레벨을 검출할 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 검출된 주변 방사선의 레벨에 기초하여 힘을 가하거나, 변형되거나, 기계적 임피던스를 생성하게 할 수 있다. 다른 실시예에서, 센서(610)는 GPS(global positioning system)에 의해 송신된 신호를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 신호는 디바이스(600)의 위치를 나타낼 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 검출된 신호(즉, 디바이스(600)의 검출된 위치)에 기초하여 힘을 가하거나, 변형되거나, 기계적 임피던스를 생성하게 할 수 있다. 이와 같이, 디바이스(600)는 지오펜스(즉, 실세계 지리적 영역에 대한 가상 경계)를 생성할 수 있다.
다른 실시예에서, 센서(610)는 사용자의 피부의 전기 컨덕턴스를 검출하도록 구성되어 있는 전기 피부 반응 센서일 수 있고, 액추에이터(630)는 하우징(620)으로 하여금 사용자의 피부의 검출된 전기 컨덕턴스로부터 식별되는 사용자의 특성(기분, 주변 인식, 및 바이오 피드백 등)에 기초하여 힘을 가하거나 변형되거나 기계적 임피던스를 생성하게 할 수 있다. 이와 같이, 디바이스(600)는 사용자의 식별된 상태를 미러링하기 위해 힘을 가하거나, 변형되거나, 기계적 임피던스를 생성할 수 있다
도 7은 본 발명의 일 실시예에 따른, 디스플레이 화면 내에 디스플레이되는 시각적 정보를 보강하기 위해 햅틱 효과를 생성할 수 있는 디바이스(700)의 블록도를 나타낸 것이다. 디바이스(700)는 센서(710)를 포함할 수 있다. 센서(710)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(710)는 정보를 검출하도록 구성되어 있는 센서일 수 있다. 검출된 정보에 기초하여, 센서는 센서 입력을 발생시킬 수 있고, 여기서 센서 입력은 검출된 정보를 나타낸다. 특정의 실시예에서, 센서(710)는 초감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 디바이스(700)는 디스플레이(720)를 더 포함할 수 있다. 디스플레이(720)는 시각적 영상을 디스플레이하도록 구성되어 있을 수 있다. 디스플레이(720)는 액추에이터(730)에 동작적으로 결합될 수 있다. 디스플레이(720)는 액추에이터(720)에 의해 생성된 변형 햅틱 출력 효과에 응답하여 그의 물리적 형상을 거시적으로 변경하도록 구성되어 있을 수 있다. 특정의 실시예에서, 액추에이터(730)는 변형 햅틱 효과를 생성하도록 구성되어 있을 수 있는 변형 액추에이터일 수 있다. 이와 같이, 이들 실시예에서, 디바이스(700)는 디스플레이(720)의 화면의 적어도 일부분이 변형된 디스플레이(720) 내에 디스플레이되는 시각적 영상을 오버레이하도록 구성되어 있을 수 있고, 여기서 변형은 센서(710)에 의해 검출된 정보에 기초하여 액추에이터(730)에 의해 생성된다. 예를 들어, 디스플레이(720)는 장면을 디스플레이할 수 있고, 장면의 비가시적 특징을 디스플레이(720) 내에 화면 표면 특징/변형으로서 추가로 디스플레이할 수 있다. 이와 같이, 디스플레이(720) 내에 디스플레이되는 시각적 장면은 일반적으로, 실제로 보이는 것에서 변경되지는 않는다.
일 실시예에서, 센서(710)는 인간의 눈의 범위 내에 있는 광 주파수를 포함하고 또한 인간의 눈의 범위 밖에 있는 광 주파수도 포함하는 광 주파수를 검출하도록 구성되어 있는 광 센서일 수 있고, 센서(710)는 장면의 전체 스펙트럼(full-spectrum) 사진을 포착하도록 구성되어 있을 수 있다. 이 실시예에 따르면, 인간의 눈의 범위 내에 있는 광 주파수를 표현하는 시각적 영상이 디스플레이(720) 내에 디스플레이될 수 있고, 인간의 눈의 범위 밖에 있는 광 주파수를 표현하는 디스플레이(720)의 화면의 적어도 일부분의 변형이 생성될 수 있으며, 여기서 변형은 센서(710)에 의해 검출된 정보에 기초하여 액추에이터(730)에 의해 생성된다. 이와 같이, 디스플레이(720) 내에 디스플레이되는 시각적 영상은 보존되지만, 센서(710)에 의해 검출된 인간의 눈의 범위 밖에 있는 광 주파수가 사용자에 의해 인지될 수 있다.
도 8은 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 힘 햅틱 효과를 생성하는 힘 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸 것이다. 보다 구체적으로는, 도 8은 센서(800)를 나타내고 있다. 센서(800)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(800)는 정보를 검출하도록 구성되어 있는 센서일 수 있다. 특정의 실시예에서, 센서(800)는 초감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 다른 실시예에서, 센서(800)는 감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 감각적 정보는 인간에 의해 보통 인지될 수 있는 정보이다.
도 8은 또한 햅틱 표현 모듈(810)도 나타내고 있다. 프로세서(도 8에 예시되지 않음)에 의해 실행될 때, 햅틱 표현 모듈(810)은 센서(800)로부터 센서 입력을 수신하고, 센서 입력을 힘 햅틱 신호에 매핑하며, 힘 햅틱 신호를 액추에이터(820)로 송신할 수 있다. 이 실시예에 따르면, 햅틱 표현 모듈(810)은 센서 입력을 힘 햅틱 신호에 매핑하는 알고리즘을 포함할 수 있고, 여기서 힘 햅틱 신호는 액추에이터(820)에서 재생될 때 힘 햅틱 효과를 생성하도록 구성되어 있다. 이와 같이, 특정의 실시예에서, 햅틱 표현 모듈(810)은 센서(800)에 의해 검출된 (감각적 정보 또는 초감각적 정보를 포함할 수 있는) 정보를, 액추에이터(820)에서 재생될 수 있는 힘 햅틱 효과로서 표현할 수 있다.
특정의 실시예에서, 센서(800)는 햅틱 표현 모듈(810)에 로컬일 수 있(즉, 센서(800) 및 햅틱 표현 모듈(810)이 단일 디바이스 내에 위치해 있을 수 있다). 다른 실시예에서, 센서(800)는 햅틱 표현 모듈(810)과 별도의 디바이스 상에 위치해 있고, 센서 입력이 네트워크를 통해 햅틱 표현 모듈(810)로 송신된다.
특정의 실시예에서, 햅틱 표현 모듈(810)에서 수행되는 매핑은 수신된 센서 입력이 지정된 임계값(즉, "지정된 값")을 초과하는지를 판정하는 것을 포함한다. 수신된 센서 입력이 지정된 값을 초과하는 경우, 대응하는 힘 햅틱 신호가 발생되고, 수신된 센서 입력이 발생된 힘 햅틱 신호에 매핑된다. 수신된 센서 입력이 지정된 값을 초과하지 않는 경우, 힘 햅틱 신호가 발생되지 않는다.
대안의 실시예에서, 햅틱 표현 모듈(810)에서 수행되는 매핑은 수신된 센서 입력을 대응하는 힘 햅틱 신호로 수학적으로 변환하는 것을 포함한다. 이것은 센서 입력이 수신됨에 따라 연속적으로 행해질 수 있고, 이에 따라, 대응하는 힘 햅틱 신호가 연속적으로 변조될 수 있다. 힘 햅틱 신호가 연속적으로 변조될 때, 발생되는 대응하는 힘 햅틱 효과도 역시 연속적으로 변조될 수 있다.
도 8은 또한 액추에이터(820)도 나타내고 있다. 액추에이터(820)는 도 1의 액추에이터(26)와 동일한 것일 수 있다. 액추에이터(820)는 햅틱 표현 모듈(810)에 의해 송신된 힘 햅틱 신호를 수신할 수 있고, 힘 햅틱 신호에 기초하여 힘 햅틱 효과를 발생시킬 수 있다. 일부 실시예에서, 액추에이터(820)는 힘 햅틱 효과를 생성하도록 구성되어 있는 힘 액추에이터일 수 있다.
이와 같이, 특정의 실시예에서, 액추에이터(820)는 디바이스로 하여금 디바이스의 사용자에게 정적 힘(압력 등)을 가하게 할 수 있다. 예를 들어, 디바이스는 사용자가 디바이스를 잡을 때 사용자에게 정적 힘을 가할 수 있다. 다른 예로서, 디바이스가 사용자의 주머니에 있는 동안, 디바이스는 사용자에게 정적 힘을 가할 수 있다. 정적 힘은 정적 힘이 디바이스를 변형시키거나 형상을 변경시키기에 충분한 정도일 수 있다. 사용자는, 디바이스가 사용자의 신체의 어떤 부분과 정적 접촉을 하고 있는 것에 의해, 디바이스가 변형되는 것을 느낄 수 있다. 일부 실시예에서, 디바이스가 변형이 보이지는 않고 느껴질 수 있을 정도로만 변형되도록, 디바이스는 정적 힘을 가할 수 있다. 다른 실시예에서, 디바이스가 사용자가 변형의 상태를 시각적으로 평가할 수 있기에 충분한 정도로 변형되도록, 디바이스는 정적 힘을 가할 수 있다. 특정의 실시예에서, 액추에이터(820)는 디바이스로 하여금 디바이스의 사용자에게 동적 힘(압력 등)을 가하게 할 수 있고, 여기서 디바이스는 일정 기간에 걸쳐 규칙적으로 또는 주기적으로 힘을 연속적으로 가한다.
도 9는 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 변형 햅틱 효과를 생성하는 변형 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸 것이다. 보다 구체적으로는, 도 9는 센서(900)를 나타내고 있다. 센서(900)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(900)는 정보를 검출하도록 구성되어 있는 센서일 수 있다. 특정의 실시예에서, 센서(900)는 초감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 다른 실시예에서, 센서(900)는 감각적 정보를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 감각적 정보는 인간에 의해 보통 인지될 수 있는 정보이다.
도 9는 또한 햅틱 표현 모듈(910)도 나타내고 있다. 프로세서(도 9에 예시되지 않음)에 의해 실행될 때, 햅틱 표현 모듈(910)은 센서(900)로부터 센서 입력을 수신하고, 센서 입력을 변형 햅틱 신호에 매핑하며, 변형 햅틱 신호를 액추에이터(920)로 송신할 수 있다. 이 실시예에 따르면, 햅틱 표현 모듈(910)은 센서 입력을 변형 햅틱 신호에 매핑하는 알고리즘을 포함할 수 있고, 여기서 변형 햅틱 신호는 액추에이터(920)에서 재생될 때 변형 햅틱 효과를 생성하도록 구성되어 있다. 이와 같이, 특정의 실시예에서, 햅틱 표현 모듈(910)은 센서(900)에 의해 검출된 (감각적 정보 또는 초감각적 정보를 포함할 수 있는) 정보를, 액추에이터(920)에서 재생될 수 있는 변형 햅틱 효과로서 표현할 수 있다.
특정의 실시예에서, 센서(900)는 햅틱 표현 모듈(910)에 로컬일 수 있다(즉, 센서(900) 및 햅틱 표현 모듈(910)이 단일 디바이스 내에 위치해 있을 수 있다). 다른 실시예에서, 센서(900)는 햅틱 표현 모듈(910)과 별도의 디바이스 상에 위치해 있고, 센서 입력이 네트워크를 통해 햅틱 표현 모듈(910)로 송신된다.
특정의 실시예에서, 햅틱 표현 모듈(910)에서 수행되는 매핑은 수신된 센서 입력이 지정된 임계값(즉, "지정된 값")을 초과하는지를 판정하는 것을 포함한다. 수신된 센서 입력이 지정된 값을 초과하는 경우, 대응하는 변형 햅틱 신호가 발생되고, 수신된 센서 입력이 발생된 변형 햅틱 신호에 매핑된다. 수신된 센서 입력이 지정된 값을 초과하지 않는 경우, 변형 햅틱 신호가 발생되지 않는다.
대안의 실시예에서, 햅틱 표현 모듈(910)에서 수행되는 매핑은 수신된 센서 입력을 대응하는 변형 햅틱 신호로 수학적으로 변환하는 것을 포함한다. 이것은 센서 입력이 수신됨에 따라 연속적으로 행해질 수 있고, 이에 따라, 대응하는 변형 햅틱 신호가 연속적으로 변조될 수 있다. 변형 햅틱 신호가 연속적으로 변조될 때, 발생되는 대응하는 변형 햅틱 효과도 역시 연속적으로 변조될 수 있다.
도 9는 또한 액추에이터(920)도 나타내고 있다. 액추에이터(920)는 도 1의 액추에이터(26)와 동일한 것일 수 있다. 액추에이터(920)는 햅틱 표현 모듈(910)에 의해 송신된 변형 햅틱 신호를 수신할 수 있고, 변형 햅틱 신호에 기초하여 변형 햅틱 효과를 발생시킬 수 있다. 일부 실시예에서, 액추에이터(920)는 변형 햅틱 효과를 생성하도록 구성되어 있는 변형 액추에이터일 수 있다.
이와 같이, 특정의 실시예에서, 액추에이터(920)는 디바이스를 변형시키거나 형상을 변경시킬 수 있다. 일부 실시예에서, 디바이스는 변형이 보이지는 않고 느껴질 수 있을 정도로만 변형될 수 있다. 예를 들어, 디바이스가 사용자의 주머니에 있는 경우, 사용자는 그의 주머니에 손을 넣고 디바이스를 느끼며 디바이스의 형상을 평가할 수 있다. 일 예에서, 디바이스의 하우징이 편평한 경우, 사용자는 어떤 음성 메일 메시지도 수신하지 않는다. 그렇지만, 디바이스의 하우징이 연장되어 있는 경우(즉, 액추에이터(920)가 디바이스의 하우징을 변형시키거나 밖으로 연장시킨 경우), 사용자는 음성 메일 메시지를 수신한다. 다른 실시예에서, 디바이스는 사용자가 변형의 상태도 역시 시각적으로 평가할 수 있기에 충분한 정도로 변형될 수 있다. 특정의 실시예에서, 액추에이터(920)는 일정 기간에 걸쳐 규칙적으로 또는 주기적으로 디바이스가 연속적으로 변형되게 할 수 있다. 예를 들어, 디바이스의 측면이 호흡 패턴을 시뮬레이트하는 방식으로 맥동할 수 있다. 이 예에서, 디바이스는 또한 얼마나 힘들게 또는 얼마나 빠르게 "호흡"하는지에 따라 그의 내부 상태에 관한 정보를 디스플레이할 수 있다. 다른 예로서, 디바이스의 변형이 심장 박동을 시뮬레이트할 수 있고, 디바이스는 얼마나 힘들게 또는 얼마나 빠르게 "호흡"하는지에 따라 그의 내부 상태에 관한 정보를 디스플레이할 수 있다. 게다가, 디바이스는 하나 이상의 변형을 서로의 위에 오버레이할 수 있다. 예로서, 디바이스는 호흡 패턴을 시뮬레이트하는 방식으로 변형될 수 있고, 그와 동시에 심장 박동 패턴을 시뮬레이트하는 방식으로 변형될 수 있지만, 사용자는 동시적인 패턴을 구분할 수 있을 것이다.
도 10은 본 발명의 일 실시예에 따른, 액추에이터에서 재생될 때, 임피던스 햅틱 효과를 생성하는 임피던스 햅틱 신호에의 센서 입력의 예시적인 매핑의 도면을 나타낸 것이다. 보다 구체적으로는, 도 10은 센서(1000)를 나타내고 있다. 센서(1000)는 도 1의 센서(28)와 동일한 것일 수 있다. 센서(1000)는 사용자에 의해 장치에 가해지는 압력 등의 정보를 검출하도록 구성되어 있는 센서일 수 있다.
도 10은 또한 햅틱 표현 모듈(1010)도 나타내고 있다. 프로세서(도 10에 예시되지 않음)에 의해 실행될 때, 햅틱 표현 모듈(1010)은 센서(1000)로부터 센서 입력을 수신하고, 센서 입력을 임피던스 햅틱 신호에 매핑하며, 임피던스 햅틱 신호를 액추에이터(1020)로 송신할 수 있다. 이 실시예에 따르면, 햅틱 표현 모듈(1010)은 센서 입력을 임피던스 햅틱 신호에 매핑하는 알고리즘을 포함할 수 있고, 여기서 임피던스 햅틱 신호는 액추에이터(1020)에서 재생될 때 임피던스 햅틱 효과를 생성하도록 구성되어 있다. 이와 같이, 특정의 실시예에서, 햅틱 표현 모듈(1010)은 센서(1000)에 의해 검출된 (감각적 정보 또는 초감각적 정보를 포함할 수 있는) 정보를, 액추에이터(1020)에서 재생될 수 있는 임피던스 햅틱 효과로서 표현할 수 있다.
특정의 실시예에서, 센서(1000)는 햅틱 표현 모듈(1010)에 로컬일 수 있다(즉, 센서(1000) 및 햅틱 표현 모듈(1010)이 단일 디바이스 내에 위치해 있을 수 있다). 다른 실시예에서, 센서(1000)는 햅틱 표현 모듈(1010)과 별도의 디바이스 상에 위치해 있고, 센서 입력이 네트워크를 통해 햅틱 표현 모듈(1010)로 송신된다.
특정의 실시예에서, 햅틱 표현 모듈(1010)에서 수행되는 매핑은 수신된 센서 입력이 지정된 임계값(즉, "지정된 값")을 초과하는지를 판정하는 것을 포함한다. 수신된 센서 입력이 지정된 값을 초과하는 경우, 대응하는 임피던스 햅틱 신호가 발생되고, 수신된 센서 입력이 발생된 임피던스 햅틱 신호에 매핑된다. 수신된 센서 입력이 지정된 값을 초과하지 않는 경우, 임피던스 햅틱 신호가 발생되지 않는다.
도 10은 또한 액추에이터(1020)도 나타내고 있다. 액추에이터(1020)는 도 1의 액추에이터(26)와 동일한 것일 수 있다. 액추에이터(1020)는 햅틱 표현 모듈(1010)에 의해 송신된 임피던스 햅틱 신호를 수신할 수 있고, 임피던스 햅틱 신호에 기초하여 임피던스 햅틱 효과를 발생시킬 수 있다. 일부 실시예에서, 액추에이터(1020)는 임피던스 햅틱 효과를 생성하도록 구성되어 있는 임피던스 액추에이터일 수 있다.
이와 같이, 특정의 실시예에서, 액추에이터(1020)는 디바이스로 하여금 사용자에 의해 디바이스에 가해진 압력 등의 사용자 입력에 응답하여 임피던스 햅틱 효과를 생성하게 할 수 있다. 예를 들어, 사용자는 손 또는 손가락으로 디바이스의 윤곽을 햅틱적으로 조사함으로써 디바이스의 형상을 알아내기 위해 디바이스에 "질의"할 수 있다. 다른 예에서, 사용자는 임피던스 또는 변형성을 느끼기 위해 디바이스를 쥐어본다. 이러한 방식으로, 액추에이터(1020)는 디바이스의 하우징으로 하여금 변형의 형태가 아니라 기계적 임피던스의 형태로 정보를 사용자에게 디스플레이하게 할 수 있다. 예를 들어, 사용자는 디바이스를 쥘 수 있고, 디바이스가 "부드럽게" 느껴지는 경우, 사용자는 어떤 긴급한 음성 메일 메시지도 갖지 않는다. 그러나, 사용자가 또한 디바이스를 쥘 수 있고, 디바이스가 "딱딱하게" 느껴지는 경우, 사용자는 긴급한 음성 메일 메시지를 갖는다. 이와 같이, 디바이스에 압력을 가하고 느껴지는 기계적 임피던스의 양을 확인함으로써 개별적이고 직관적인 방식으로 사용자에 의해 정보가 질의될 수 있다.
전술한 실시예가 개별적인 힘 햅틱 효과, 변형 햅틱 효과 또는 임피던스 햅틱 효과를 포함하고 있지만, 대안의 실시예에서, 액추에이터는 디바이스로 하여금 힘 햅틱 효과, 변형 효과 및 임피던스 햅틱 효과는 물론 진동촉각 효과 또는 임의의 다른 햅틱 효과의 다양한 조합을 생성하게 할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 햅틱 표현 모듈(도 1의 햅틱 표현 모듈(16) 등)의 기능의 흐름도를 나타낸 것이다. 흐름이 시작되고 단계 1110으로 진행된다. 단계 1110에서, 입력이 센서로부터 수신된다. 입력은 초감각적 정보를 포함할 수 있고, 여기서 초감각적 정보는 인간에 의해 보통 인지될 수 없는 정보이다. 특정의 실시예에서, 입력은 하나 이상의 상호작용 파라미터를 포함할 수 있고, 여기서 각각의 상호작용 파라미터는 값을 포함할 수 있다.
또한, 특정의 실시예에서, 센서는 기압을 검출하도록 구성되어 있는 센서일 수 있다. 다른 실시예에서, 센서는 전자계를 검출하도록 구성되어 있는 자력계일 수 있다. 다른 실시예에서, 센서는 방사선을 검출하도록 구성되어 있는 방사선 센서일 수 있다. 다른 실시예에서, 센서는 GPS에 의해 송신된 신호를 검출하도록 구성되어 있는 센서일 수 있고, 여기서 신호는 디바이스의 위치를 나타낼 수 있다. 다른 실시예에서, 센서는 사용자의 피부의 전기 컨덕턴스를 검출하도록 구성되어 있는 전기 피부 반응 센서일 수 있다. 다른 실시예에서, 센서는 인간의 눈의 범위 내에 있는 광 주파수를 포함하고 또한 인간의 눈의 범위 밖에 있는 광 주파수도 포함하는 광 주파수를 검출하도록 구성되어 있는 광 센서일 수 있다. 흐름이 단계 1120으로 진행된다.
단계 1120에서, 수신된 입력이 햅틱 신호에 매핑된다. 특정의 실시예에서, 수신된 입력을 햅틱 신호에 매핑하는 것은 적어도 하나의 상호작용 파라미터의 값이 지정된 값을 초과할 때 햅틱 신호를 발생시키는 것을 포함한다. 다른 실시예에서, 수신된 입력을 햅틱 신호에 매핑하는 것은 적어도 하나의 상호작용 파라미터의 값의 연속적인 갱신에 기초하여 햅틱 신호를 연속적으로 변조하는 것을 포함한다. 햅틱 신호는 힘 햅틱 신호일 수 있다. 햅틱 신호는 변형 햅틱 신호일 수 있다. 햅틱 신호는 임피던스 햅틱 신호일 수 있다. 햅틱 신호는 힘 햅틱 신호, 변형 햅틱 신호, 도는 임피던스 햅틱 신호의 임의의 조합일 수 있다. 흐름이 단계 1130으로 진행된다.
단계 1130에서, 햅틱 효과를 발생시키기 위해 햅틱 신호가 액추에이터로 송신된다. 햅틱 신호가 힘 햅틱 신호인 실시예에서, 햅틱 효과는 힘 햅틱 효과이다. 햅틱 신호가 변형 햅틱 신호인 실시예에서, 햅틱 효과는 변형 햅틱 효과이다. 햅틱 신호가 임피던스 햅틱 신호인 실시예에서, 햅틱 효과는 임피던스 햅틱 효과이다. 햅틱 효과가 힘 햅틱 효과인 일부 실시예에서, 힘 햅틱 효과는 디바이스로 하여금 사용자에게 정적 힘을 가하게 할 수 있다. 햅틱 효과가 힘 햅틱 효과인 다른 실시예에서, 힘 햅틱 효과는 디바이스로 하여금 사용자에게 동적 힘을 가하게 할 수 있다. 햅틱 효과가 힘 햅틱 효과인 특정의 실시예에서, 힘 햅틱 효과는 디바이스로 하여금 사용자의 신체에 압력을 가하게 할 수 있다. 햅틱 효과가 변형 햅틱 효과인 특정의 실시예에서, 변형 햅틱 효과는 디바이스를 변형시킬 수 있다. 햅틱 효과가 변형 햅틱 효과인 다른 실시예에서, 변형 햅틱 효과는 디바이스를 일정 기간에 걸쳐 연속적으로 변형시킬 수 있다. 햅틱 효과가 변형 햅틱 효과인 특정의 실시예에서, 변형 햅틱 효과는 디바이스로 하여금 디바이스의 거시적 형상 또는 디바이스의 질감 중 적어도 하나를 수정하게 할 수 있고, 디바이스의 변형은 시각적 변형, 햅틱 변형, 준정적 변형, 또는 동적 변형 중 적어도 하나를 포함할 수 있다. 햅틱 효과가 임피던스 햅틱 효과인 실시예에서, 임피던스 햅틱 효과는 디바이스로 하여금 사용자 입력에 응답하여 기계적 임피던스를 생성하게 할 수 있다. 햅틱 효과가 임피던스 햅틱 효과인 특정의 실시예에서, 임피던스 햅틱 효과는 디바이스로 하여금 사용자에 의해 디바이스에 가해지는 압력에 응답하여 딱딱해지게(stiffen) 할 수 있다.
센서가 기압을 검출하도록 구성되어 있는 센서인 실시예에서, 액추에이터에 의해 발생되는 햅틱 효과는 검출된 기압에 기초하여 디바이스를 변형시킬 수 있다. 센서가 전자계를 검출하도록 구성되어 있는 자력계인 실시예에서, 액추에이터에 의해 발생되는 햅틱 효과는 검출된 전자계의 하나 이상의 특성에 기초하여 디바이스를 변형시킬 수 있다. 센서가 방사선을 검출하도록 구성되어 있는 방사선 센서인 실시예에서, 액추에이터에 의해 발생되는 햅틱 효과는 검출된 방사선에 기초하여 디바이스를 변형시킬 수 있다. 센서가 GPS에 의해 송신된 신호를 검출하도록 구성되어 있는 센서인 실시예에서 - 여기서 신호는 디바이스의 위치를 나타냄 -, 액추에이터에 의해 발생되는 햅틱 효과는 검출된 신호에 기초하여 디바이스를 변형시킬 수 있다. 센서가 사용자의 피부의 전기 컨덕턴스를 검출하도록 구성되어 있는 전기 피부 반응 센서인 실시예에서, 액추에이터에 의해 발생되는 햅틱 효과는 사용자의 피부의 검출된 전기 컨덕턴스로부터 식별되는 사용자의 하나 이상의 특성에 기초하여 디바이스를 변형시킬 수 있다. 센서가 인간의 눈의 범위 내에 있는 광 주파수를 포함하고 또한 인간의 눈의 범위 밖에 있는 광 주파수도 포함하는 광 주파수를 검출하도록 구성되어 있는 광 센서인 실시예에서, 액추에이터에 의해 발생되는 햅틱 효과는 인간의 눈의 범위 밖에 있는 검출된 광 주파수에 기초하여 디바이스의 디스플레이를 변형시킬 수 있다. 이어서, 흐름이 종료된다.
이와 같이, 센서 입력을 하나 이상의 햅틱 효과로서 표현하는 햅틱 표현 시스템이 제공된다. 햅틱 표현 시스템은 사용자의 보다 풍부하고 보다 유용하며 보다 대화적인 경험을 가능하게 해줄 수 있다. 햅틱 표현 시스템은 군사, 의료, 자동차 및 이동성 등의 광범위한 사용 사례를 가진다.
이 명세서 전체에 걸쳐 기술된 본 발명의 특징, 구조 또는 특성이 하나 이상의 실시예에서 임의의 적당한 방식으로 결합될 수 있다. 예를 들어, 이 명세서 전체에 걸쳐 "일 실시예", "일부 실시예", "특정의 실시예", "특정의 실시예들" 또는 다른 유사한 표현의 사용은 실시예와 관련하여 기술된 특정의 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 말한다. 이와 같이, 이 명세서 전체에 걸쳐 나오는 "일 실시예", "일부 실시예", "특정의 실시예", "특정의 실시예들" 또는 다른 유사한 표현은 모두가 동일한 그룹의 실시예를 말할 필요는 없으며, 기술된 특징, 구조 또는 특성이 하나 이상의 실시예에서 임의의 적당한 방식으로 결합될 수 있다.
기술 분야의 당업자라면 이상에서 논의된 본 발명이 상이한 순서의 단계들로 및/또는 개시되어 있는 것과 상이한 구성으로 되어 있는 요소들로 실시될 수 있다는 것을 잘 알 것이다. 따라서, 본 발명이 이들 바람직한 실시예에 기초하여 기술되어 있지만, 본 발명의 사상 및 범위 내에 있으면서 소정의 수정, 변형 및 대안의 구성이 자명할 것임이 기술 분야의 당업자에게는 명백할 것이다. 따라서, 본 발명의 범위를 결정하기 위해, 첨부된 특허청구범위를 참조해야만 한다.

Claims (15)

  1. 햅틱 효과를 발생시키기 위한 컴퓨터 구현 방법으로서,
    센서로부터 입력을 수신하는 단계 - 상기 입력은 초감각적 정보를 포함함 -;
    수신된 상기 입력을 햅틱 신호에 매핑하는 단계; 및
    상기 햅틱 효과를 발생시키기 위해 상기 햅틱 신호를 액추에이터(actuator)로 송신하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    수신된 상기 입력을 상기 햅틱 신호에 매핑하는 단계는 적어도 하나의 상호작용 파라미터의 값이 지정된 값을 초과할 때 상기 햅틱 신호를 발생시키는 단계를 더 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    수신된 상기 입력을 상기 햅틱 신호에 매핑하는 단계는 적어도 하나의 상호작용 파라미터의 값의 연속적인 갱신에 기초하여 상기 햅틱 신호를 연속적으로 변조하는 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서, 상기 액추에이터는 진동 액추에이터를 포함하고, 상기 진동 액추에이터에 의해 발생된 상기 햅틱 효과는 진동 햅틱 효과를 포함하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 액추에이터는 변형 액추에이터를 포함하고, 상기 변형 액추에이터에 의해 발생된 상기 햅틱 효과는 변형 햅틱 효과를 포함하는, 컴퓨터 구현 방법.
  6. 햅틱 표현 시스템으로서,
    햅틱 표현 모듈을 저장하도록 구성되어 있는 메모리;
    상기 메모리 상에 저장되어 있는 상기 햅틱 표현 모듈을 실행하도록 구성되어 있는 프로세서; 및
    하나 이상의 햅틱 효과를 출력하도록 구성되어 있는 액추에이터
    를 포함하고,
    상기 햅틱 표현 모듈은 센서로부터 입력을 수신하도록 구성되어 있으며 - 상기 입력은 초감각적 정보를 포함함 -;
    상기 햅틱 표현 모듈은 또한, 수신된 상기 입력을 햅틱 신호에 매핑하도록 구성되어 있고;
    상기 햅틱 표현 모듈은 또한, 상기 햅틱 효과를 발생시키기 위해 상기 햅틱 신호를 액추에이터로 송신하도록 구성되어 있는, 햅틱 표현 시스템.
  7. 제6항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    상기 햅틱 표현 모듈은 또한 적어도 하나의 상호작용 파라미터의 값이 지정된 값을 초과할 때 상기 햅틱 신호를 발생시키도록 구성되어 있는, 햅틱 표현 시스템.
  8. 제6항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    상기 햅틱 표현 모듈은 또한 적어도 하나의 상호작용 파라미터의 값의 연속적인 갱신에 기초하여 상기 햅틱 신호를 연속적으로 변조하도록 구성되어 있는, 햅틱 표현 시스템.
  9. 제6항에 있어서, 상기 액추에이터는 진동 액추에이터를 포함하고, 상기 진동 액추에이터에 의해 발생된 상기 햅틱 효과는 진동 햅틱 효과를 포함하는, 햅틱 표현 시스템.
  10. 제6항에 있어서, 상기 액추에이터는 변형 액추에이터를 포함하고, 상기 변형 액추에이터에 의해 발생된 상기 햅틱 효과는 변형 햅틱 효과를 포함하는, 햅틱 표현 시스템.
  11. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 햅틱 효과를 발생하게 하는 명령어를 저장하고 있는 컴퓨터 판독가능 매체로서,
    상기 햅틱 효과를 발생하게 하는 단계는
    센서로부터 입력을 수신하는 단계 - 상기 입력은 초감각적 정보를 포함함 -;
    수신된 상기 입력을 햅틱 신호에 매핑하는 단계; 및
    상기 햅틱 효과를 발생시키기 위해 상기 햅틱 신호를 액추에이터로 송신하는 단계를 포함하는, 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    수신된 상기 입력을 상기 햅틱 신호에 매핑하는 단계는 적어도 하나의 상호작용 파라미터의 값이 지정된 값을 초과할 때 상기 햅틱 신호를 발생시키는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
  13. 제11항에 있어서,
    수신된 상기 입력은 하나 이상의 상호작용 파라미터를 포함하고 - 각각의 상호작용 파라미터는 값을 포함함 -;
    수신된 상기 입력을 상기 햅틱 신호에 매핑하는 단계는 적어도 하나의 상호작용 파라미터의 값의 연속적인 갱신에 기초하여 상기 햅틱 신호를 연속적으로 변조하는 단계를 포함하는, 컴퓨터 판독가능 매체.
  14. 제11항에 있어서, 상기 액추에이터는 진동 액추에이터를 포함하고, 상기 진동 액추에이터에 의해 발생된 상기 햅틱 효과는 진동 햅틱 효과를 포함하는, 컴퓨터 판독가능 매체.
  15. 제11항에 있어서, 상기 액추에이터는 변형 액추에이터를 포함하고, 상기 변형 액추에이터에 의해 발생된 상기 햅틱 효과는 변형 햅틱 효과를 포함하는, 컴퓨터 판독가능 매체.
KR20130102239A 2012-08-29 2013-08-28 센서 입력을 햅틱적으로 표현하는 시스템 KR20140029259A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/597,300 US9116546B2 (en) 2012-08-29 2012-08-29 System for haptically representing sensor input
US13/597,300 2012-08-29

Publications (1)

Publication Number Publication Date
KR20140029259A true KR20140029259A (ko) 2014-03-10

Family

ID=48900764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130102239A KR20140029259A (ko) 2012-08-29 2013-08-28 센서 입력을 햅틱적으로 표현하는 시스템

Country Status (5)

Country Link
US (5) US9116546B2 (ko)
EP (1) EP2703952A3 (ko)
JP (2) JP6325216B2 (ko)
KR (1) KR20140029259A (ko)
CN (2) CN103677250B (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990811A (zh) 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US11064910B2 (en) 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US10102345B2 (en) 2012-06-19 2018-10-16 Activbody, Inc. Personal wellness management platform
US10133849B2 (en) 2012-06-19 2018-11-20 Activbody, Inc. Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform
US9230064B2 (en) 2012-06-19 2016-01-05 EZ as a Drink Productions, Inc. Personal wellness device
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9152247B2 (en) * 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
CN104049787B (zh) * 2013-03-14 2017-03-29 联想(北京)有限公司 一种电子设备和控制方法
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
KR20140122433A (ko) * 2013-04-10 2014-10-20 삼성디스플레이 주식회사 휴대 단말기 및 휴대 단말기의 형상 변형 방법
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9229476B2 (en) 2013-05-08 2016-01-05 EZ as a Drink Productions, Inc. Personal handheld electronic device with a touchscreen on a peripheral surface
US9262064B2 (en) * 2013-07-09 2016-02-16 EZ as a Drink Productions, Inc. Handheld computing platform with integrated pressure sensor and associated methods of use
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US10124246B2 (en) 2014-04-21 2018-11-13 Activbody, Inc. Pressure sensitive peripheral devices, and associated methods of use
CN103984411B (zh) * 2014-04-25 2017-07-18 深圳超多维光电子有限公司 触觉力反馈系统和触觉力反馈系统实现方法
KR101576798B1 (ko) * 2014-04-28 2015-12-14 (주)트리엔 골절 정복 로봇 시스템
KR101578489B1 (ko) * 2014-04-28 2015-12-18 주식회사 프레스토솔루션 골절 정복 로봇용 사용자 조종 장치
US9692860B2 (en) * 2014-05-15 2017-06-27 Apple Inc. One layer metal trace strain gauge
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102398389B1 (ko) * 2014-11-12 2022-05-16 엘지디스플레이 주식회사 햅틱 객체로부터 햅틱 신호를 모델링하는 방법, 디스플레이 장치 및 이의 구동 방법
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9478109B2 (en) 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
WO2016148182A1 (ja) * 2015-03-18 2016-09-22 株式会社ニコン 電子機器、およびプログラム
US10372212B2 (en) * 2015-05-29 2019-08-06 Google Llc Techniques for simulated physical interaction between users via their mobile computing devices
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
WO2017061173A1 (ja) * 2015-10-05 2017-04-13 アルプス電気株式会社 触覚再現装置
CN105373748B (zh) * 2015-12-22 2018-09-21 广东小天才科技有限公司 一种设备防摔方法和装置
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
JP2017182106A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017176198A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
US10440488B2 (en) * 2016-06-27 2019-10-08 International Business Machines Corporation Intelligent audio control
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10049538B2 (en) * 2016-08-31 2018-08-14 Apple Inc. Electronic device including haptic actuator driven based upon audio noise and motion and related methods
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10436769B2 (en) * 2016-11-03 2019-10-08 Dräger Safety AG & Co. KGaA Method, apparatus, and computer program for monitoring breath
US9949390B1 (en) * 2016-12-22 2018-04-17 Apple Inc. Electronic device including movable magnet based actuator for deforming a display and related methods
CN106775130A (zh) * 2017-02-10 2017-05-31 业成科技（成都）有限公司 震动触觉控制系统及其方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10748448B2 (en) 2017-04-17 2020-08-18 Facebook, Inc. Haptic communication using interference of haptic outputs on skin
US10464569B2 (en) * 2017-04-28 2019-11-05 Nxp B.V. Vibration sensor
WO2018231213A1 (en) * 2017-06-14 2018-12-20 Hewlett-Packard Development Company, L.P. Display adjustments
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN108230730B (zh) * 2017-11-16 2020-12-04 湖南深拓智能设备股份有限公司 停车管理系统及车位管理方法
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US11068059B2 (en) * 2018-04-13 2021-07-20 Apple Inc. Haptic interface for user input device
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US10540016B1 (en) 2018-06-08 2020-01-21 Jeffrey Thomas Johnson Unlimited reach and touch tablet
US10395489B1 (en) * 2018-06-15 2019-08-27 Immersion Corporation Generation and braking of vibrations
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
EP3850469A4 (en) * 2019-01-15 2021-11-10 Huawei Technologies Co., Ltd. SYSTEMS AND PROCEDURES FOR HAPTIC STIMULATION
US11094483B2 (en) * 2019-03-21 2021-08-17 Apple Inc. Keyboard with adjustable feedback
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3715741A (en) * 1971-02-09 1973-02-06 Gulf & Western Ind Prod Co Airport lighting monitoring system and system components
US3787867A (en) * 1971-04-12 1974-01-22 Automatic Power Division Pennw Navigational aid system
US3828334A (en) * 1973-04-13 1974-08-06 Univ Iowa State Res Found Inc System for remote monitoring of tower lighting system
US4024491A (en) * 1975-07-18 1977-05-17 Tideland Signal Corporation Wireless marine navigational aid system
US4754416A (en) * 1986-09-08 1988-06-28 Automatic Power, Inc. Universal synchronous marine navigation light system
US5552767A (en) * 1994-02-14 1996-09-03 Toman; John R. Assembly for, and method of, detecting and signalling when an object enters a work zone
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
JP4003234B2 (ja) * 1996-04-10 2007-11-07 セイコーエプソン株式会社 投写型表示装置
US6024700A (en) * 1998-07-16 2000-02-15 Nemirovski; Guerman G. System and method for detecting a thought and generating a control instruction in response thereto
US6320506B1 (en) * 1999-10-02 2001-11-20 Joseph C. Ferraro Current detector flood light lamp removal alarm
CA2460836A1 (en) * 2001-09-18 2003-03-27 Karen Gourgey Tactile graphic-based interactive overlay assembly and computer system for the visually impaired
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
AUPS157702A0 (en) * 2002-04-05 2002-05-16 King, Quentin System for providing tactile stimulation
JP2003330618A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
US8059088B2 (en) * 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US8830161B2 (en) 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
AU2003297716A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2005066133A (ja) 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
JP4478436B2 (ja) * 2003-11-17 2010-06-09 ソニー株式会社 入力装置、情報処理装置、リモートコントロール装置および入力装置の制御方法
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20050234561A1 (en) * 2004-04-20 2005-10-20 Michael Nutt Surface treatment for implants
US7522152B2 (en) * 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
US7764268B2 (en) * 2004-09-24 2010-07-27 Immersion Corporation Systems and methods for providing a haptic device
KR100682901B1 (ko) * 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
KR102402377B1 (ko) * 2005-03-04 2022-05-25 애플 인크. 다기능 휴대용 장치
US20060223547A1 (en) * 2005-03-31 2006-10-05 Microsoft Corporation Environment sensitive notifications for mobile devices
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
JP4640973B2 (ja) * 2005-09-16 2011-03-02 株式会社リコー 情報表示装置、情報表示方法、その方法をコンピュータに実行させるプログラム、および画像形成装置
US7696860B2 (en) * 2005-10-14 2010-04-13 University Of Central Florida Research Foundation, Inc Electromagnetic field tactile display interface and biosensor
US20070106457A1 (en) * 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
DE102006047893A1 (de) * 2005-12-01 2007-06-06 Volkswagen Ag Eingabevorrichtung, insbesondere für ein Kraftfahrzeug
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US7788032B2 (en) * 2007-09-14 2010-08-31 Palm, Inc. Targeting location through haptic feedback signals
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US20100253525A1 (en) * 2007-12-20 2010-10-07 Honeywell International Inc. Systems and methods for human performance augmentation
US20090167567A1 (en) * 2008-01-02 2009-07-02 Israeli Aerospace Industries Ltd. Method for avoiding collisions and a collision avoidance system
US20090174672A1 (en) * 2008-01-03 2009-07-09 Schmidt Robert M Haptic actuator assembly and method of manufacturing a haptic actuator assembly
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8704790B2 (en) * 2010-10-20 2014-04-22 Tactus Technology, Inc. User interface system
US7898396B2 (en) * 2008-01-24 2011-03-01 Immersion Corporation Actuating a tactile sensation in response to a sensed event
US20090267846A1 (en) * 2008-04-28 2009-10-29 Johnson Michael P Electromagnetic Field Power Density Monitoring System and Methods
US8362883B2 (en) * 2008-06-10 2013-01-29 Design Interactive, Inc. Method and system for the presentation of information via the tactile sense
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8077020B2 (en) * 2008-07-10 2011-12-13 International Business Machines Corporation Method and apparatus for tactile haptic device to guide user in real-time obstacle avoidance
CN106990811A (zh) * 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
KR101570369B1 (ko) * 2008-10-14 2015-11-20 엘지전자 주식회사 텔레매틱스 단말기 및 텔레매틱스 단말기의 이동체 제어 방법
US20100097228A1 (en) * 2008-10-21 2010-04-22 Schultz Paul T System and method for monitoring and/or notifying wireless device users of radiation exposure
US8301249B2 (en) * 2008-10-23 2012-10-30 Pacesetter, Inc. Systems and methods for exploiting the tip or ring conductor of an implantable medical device lead during an MRI to reduce lead heating and the risks of MRI-induced stimulation
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US8362882B2 (en) * 2008-12-10 2013-01-29 Immersion Corporation Method and apparatus for providing Haptic feedback from Haptic textile
US9727139B2 (en) * 2008-12-12 2017-08-08 Immersion Corporation Method and apparatus for providing a haptic monitoring system using multiple sensors
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
US7843277B2 (en) * 2008-12-16 2010-11-30 Immersion Corporation Haptic feedback generation based on resonant frequency
US20110148626A1 (en) * 2009-01-12 2011-06-23 Acevedo William C GPS Device and Portal
JP5343871B2 (ja) * 2009-03-12 2013-11-13 株式会社リコー タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
WO2010124272A2 (en) * 2009-04-24 2010-10-28 Anthrotronix, Inc. Haptic automated communication system
US9489046B2 (en) 2009-05-04 2016-11-08 Immersion Corporation Method and apparatus for providing haptic feedback to non-input locations
JP5658235B2 (ja) 2009-05-07 2015-01-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックによる形状変化ディスプレイの形成方法及び装置
US8803798B2 (en) * 2009-05-07 2014-08-12 Immersion Corporation System and method for shape deformation and force display of devices
US20100308999A1 (en) * 2009-06-05 2010-12-09 Chornenky Todd E Security and monitoring apparatus
US20100328229A1 (en) * 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
EP2270627A1 (en) * 2009-06-30 2011-01-05 Research In Motion Limited Method and apparatus for providing tactile feedback
US20100328074A1 (en) * 2009-06-30 2010-12-30 Johnson Erik J Human presence detection techniques
KR101565995B1 (ko) * 2009-07-16 2015-11-05 삼성전자주식회사 듀얼-입력 듀얼-출력의 필터를 이용한 멀티-대역의 라디오 주파수 신호 송수신 시스템
KR101602500B1 (ko) * 2009-09-08 2016-03-10 엘지전자 주식회사 이동 단말기 및 그 진동 패턴 제어 방법
JP2011043925A (ja) * 2009-08-19 2011-03-03 Nissha Printing Co Ltd 撓み振動型アクチュエータ及びこれを用いた触感フィードバック機能付タッチパネル
US8487758B2 (en) * 2009-09-02 2013-07-16 Medtronic Minimed, Inc. Medical device having an intelligent alerting scheme, and related operating methods
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8253589B2 (en) * 2009-10-20 2012-08-28 GM Global Technology Operations LLC Vehicle to entity communication
US9417694B2 (en) * 2009-10-30 2016-08-16 Immersion Corporation System and method for haptic display of data transfers
US8542105B2 (en) * 2009-11-24 2013-09-24 Immersion Corporation Handheld computer interface with haptic feedback
US8747775B2 (en) * 2009-12-11 2014-06-10 Food Technologies International, LLC Food safety indicator
US8493177B2 (en) * 2010-01-29 2013-07-23 Immersion Corporation System and method of haptically communicating vehicle information from a vehicle to a keyless entry device
US8638236B2 (en) * 2010-02-25 2014-01-28 Qualcomm Incorporated Methods and apparatus for applying tactile pressure sensors
US9361018B2 (en) * 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
JP5859512B2 (ja) * 2010-03-16 2016-02-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚情報プリビューのためのシステムと方法
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
US8810407B1 (en) * 2010-05-27 2014-08-19 Guardian Angel Navigational Concepts IP LLC Walker with illumination, location, positioning, tactile and/or sensor capabilities
WO2011153318A2 (en) * 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
JP5452404B2 (ja) * 2010-07-27 2014-03-26 京セラ株式会社 触感呈示装置
US9691300B2 (en) * 2010-09-21 2017-06-27 Sony Corporation Text-to-touch techniques
US8710965B2 (en) * 2010-09-22 2014-04-29 At&T Intellectual Property I, L.P. Devices, systems, and methods for tactile feedback and input
CN103314344B (zh) * 2010-12-10 2015-11-25 索尼爱立信移动通讯有限公司 触敏触觉显示器
US8729848B2 (en) * 2010-12-22 2014-05-20 Woodward Mpc Inc. Fail-passive variable gradient control stick drive system
WO2013039510A1 (en) * 2011-09-16 2013-03-21 Empire Technology Development Llc Remote movement guidance
US20120265434A1 (en) * 2011-04-14 2012-10-18 Google Inc. Identifying Parking Spots
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9218727B2 (en) * 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120306790A1 (en) * 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US9383820B2 (en) * 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US20130198694A1 (en) * 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US8866774B2 (en) * 2011-06-29 2014-10-21 The Board Of Trustees Of The Leland Stanford Junior University Low power touch screen overlays for providing tactile feedback
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8344862B1 (en) * 2012-04-09 2013-01-01 John Donham Tactile messaging system
US8552847B1 (en) * 2012-05-01 2013-10-08 Racing Incident Pty Ltd. Tactile based performance enhancement system
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US9522096B2 (en) * 2012-05-17 2016-12-20 Zoll Medical Corporation CPR team performance
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
US9241664B2 (en) * 2012-08-16 2016-01-26 Samsung Electronics Co., Ltd. Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9384679B2 (en) * 2012-11-14 2016-07-05 Ishraq ALALAWI System, method and computer program product to assist the visually impaired in navigation
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system

Also Published As

Publication number Publication date
CN103677250A (zh) 2014-03-26
CN109725718A (zh) 2019-05-07
US20170052594A1 (en) 2017-02-23
JP6325216B2 (ja) 2018-05-16
CN103677250B (zh) 2019-01-11
US20150338921A1 (en) 2015-11-26
JP2014049136A (ja) 2014-03-17
US9501149B2 (en) 2016-11-22
EP2703952A2 (en) 2014-03-05
US10234948B2 (en) 2019-03-19
US20140062682A1 (en) 2014-03-06
JP2018136979A (ja) 2018-08-30
JP6568257B2 (ja) 2019-08-28
US9116546B2 (en) 2015-08-25
US20190138099A1 (en) 2019-05-09
EP2703952A3 (en) 2015-01-28
US9846485B2 (en) 2017-12-19
US20180074592A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6568257B2 (ja) センサ入力を触覚的に表すためのシステム
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US20180246574A1 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US20110148607A1 (en) System,device and method for providing haptic technology
US10477298B2 (en) Rendering haptics on headphones with non-audio data
WO2015121970A1 (ja) 教育用触感提供装置、及び、システム
JP2020013549A (ja) 動的システム識別に基づく適応触覚効果レンダリング
US20180011538A1 (en) Multimodal haptic effects
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right