KR20180010967A - 네트워크 연결된 디바이스에 대한 햅틱 기능 - Google Patents

네트워크 연결된 디바이스에 대한 햅틱 기능 Download PDF

Info

Publication number
KR20180010967A
KR20180010967A KR1020170062084A KR20170062084A KR20180010967A KR 20180010967 A KR20180010967 A KR 20180010967A KR 1020170062084 A KR1020170062084 A KR 1020170062084A KR 20170062084 A KR20170062084 A KR 20170062084A KR 20180010967 A KR20180010967 A KR 20180010967A
Authority
KR
South Korea
Prior art keywords
haptic
user
devices
notification
networked system
Prior art date
Application number
KR1020170062084A
Other languages
English (en)
Inventor
빈센트 레베스크
아브라함 알렉산더 다우하즈레
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180010967A publication Critical patent/KR20180010967A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W68/00—User notification, e.g. alerting and paging, for incoming communication, change of service or the like
    • H04W68/005—Transmission of information for alerting of incoming communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/2809—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W60/00—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration
    • H04W60/005—Multiple registrations, e.g. multihoming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

시스템은 네트워크화된 시스템을 통해 햅틱 기능을 제공한다. 본 시스템은 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보를 수신하고, 정보에 기초하여 사용자에게 제공될 통지를 결정한다. 본 시스템은 이어서 네트워크화된 시스템에 등록된 제2 디바이스를 선택하고 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 사용자에게 통지를 제공한다.

Description

네트워크 연결된 디바이스에 대한 햅틱 기능{HAPTIC FUNCTIONALITY FOR NETWORK CONNECTED DEVICES}
일 실시예는 일반적으로 햅틱 시스템에 관한 것으로서, 상세하게는 햅틱 기능을 제공하는 네트워크를 구현하는 시스템에 관한 것이다.
"햅틱"은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 가함으로써 사용자의 촉감(sense of touch)을 이용하는 촉각 및 힘 피드백 기술에 관한 것이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터와 같은 디바이스들이 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 발생시킬 수 있는 내장된 하드웨어(액추에이터 등)에 대한 호출이 디바이스의 운영 체제("OS") 내에 프로그래밍되어 있을 수 있다. 이 호출들은 어느 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠(wheel), 또는 어떤 다른 컨트롤을 사용하여 디바이스와 상호작용할 때, 디바이스의 OS는 제어 회로를 통해 내장된 하드웨어로 재생 명령을 송신할 수 있다. 내장된 하드웨어는 이어서 적절한 햅틱 효과를 생성한다.
일 실시예는 네트워크화된 시스템을 통해 햅틱 기능을 제공하는 시스템이다. 본 시스템은 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보를 수신하고, 정보에 기초하여 사용자에게 제공될 통지를 결정한다. 본 시스템은 이어서 네트워크화된 시스템에 등록된 제2 디바이스를 선택하고 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 사용자에게 통지를 제공한다.
도 1은 본 발명의 일 실시예에 따른 컴퓨터 서버/시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른, 햅틱 기능을 제공하는 예시적인 시스템을 나타낸 도면.
도 3은 본 발명의 실시예들에 따른 햅틱 기능의 흐름도.
도 4는 본 발명의 일 실시예에 따른, 햅틱 기능을 제공하는 다른 예시적인 시스템을 나타낸 도면.
도 5는 본 발명의 실시예들에 따른, 햅틱 기능을 제공하는 예시적인 클라우드 시스템의 블록도.
도 6은 본 발명의 실시예들에 따른, 햅틱 기능을 제공하는 다른 예시적인 시스템의 블록도.
도 7은 본 발명의 실시예들에 따른, 도 6의 햅틱 디바이스 결정 모듈의 동작의 흐름도.
도 8은 본 발명의 실시예들에 따른, 도 6의 햅틱 효과 결정 모듈의 동작의 흐름도.
도 9는 본 발명의 실시예들에 따른, 햅틱 기능을 수행할 때 도 1의 햅틱 모듈의 동작의 흐름도.
일 실시예는 IoT(Internet of Things)에서의 객체들과 같은 네트워크 연결된 디바이스들에 대한 햅틱 기능을 제공한다. 일 실시예에서, 사용자에게 햅틱 효과들을 제공하기 위해, 네트워크화된 시스템에서의 하나 이상의 햅틱 지원 디바이스(haptically enabled device)들이 기회주의적으로 선택되고 사용된다. 대안의 또는 부가의 실시예에서, 하나 이상의 네트워크화된 디바이스들로부터 수집된 정보가 사용자에게 햅틱 효과들을 제공하는 데 사용된다. 햅틱 효과들은 사용자에게 제공될 필요가 있는 메시지, 서비스, 또는 경보와 연관될 수 있다. 그에 따라, 다양한 네트워크 연결된 디바이스들을 선택하고 사용하는 것에 의해, 실시예들은 사용자에게 햅틱 기능을 제공함에 있어서 이러한 디바이스들의 보다 나은 이용을 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록도를 나타내고 있다. 일 실시예에서, 시스템(10)은 모바일 디바이스(예컨대, 스마트폰) 또는 비모바일 디바이스의 일부이고, 시스템(10)은 디바이스에 대한 햅틱 기능을 제공한다. 다른 실시예에서, 시스템(10)은 어떤 방식으로든 사용자와 접촉하는 물체(예컨대, 가구)에 포함되어 있는 디바이스의 일부이고, 시스템(10)은 이러한 디바이스에 대한 햅틱 기능을 제공한다. 예를 들어, 일 실시예에서, 시스템(10)은 웨어러블 디바이스의 일부이고, 시스템(10)은 웨어러블 디바이스에 대한 햅틱 기능을 제공한다. 웨어러블 디바이스들의 예들은 손목 밴드, 헤드 밴드, 안경, 반지, 발목 밴드, 의복에 통합되어 있는 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자에 의해 소지될 수 있는 임의의 다른 유형의 디바이스를 포함한다. 일부 웨어러블 디바이스들은 "햅틱 지원(haptically enabled)"일 수 있고, 햅틱 지원이란 그 디바이스들이 햅틱 효과들을 발생시키는 메커니즘들을 포함한다는 것을 의미한다. 다른 실시예에서, 시스템(10)은 디바이스(예컨대, 모바일 디바이스 또는 웨어러블 디바이스)와 분리되어 있고, 디바이스에 대한 햅틱 기능을 원격적으로 제공한다.
비록 단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능이 분산 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위한, 버스(12)에 결합된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 유형의 범용 또는 특수 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 명령어들 및 정보를 저장하기 위한 메모리(14)를 추가로 포함한다. 메모리(14)는 RAM(random access memory), ROM(read only memory), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 유형의 일시적 또는 비일시적 컴퓨터 판독가능 매체의 임의의 조합으로 이루어져 있을 수 있다.
컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 반송파 또는 다른 전송 메커니즘과 같은 피변조 데이터 신호에서의 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 포함할 수 있고, 본 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM(compact disk read-only memory), 또는 본 기술분야에 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은, 일 실시예에서, 시스템(10)은 물론 모바일 디바이스의 나머지에 대한 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 모듈들은, 본원에 보다 상세히 개시되는 바와 같이, 햅틱 기능을 제공하는 햅틱 모듈(16)을 추가로 포함한다. 특정의 실시예들에서, 햅틱 모듈(16)은 복수의 모듈들을 포함할 수 있고, 여기서 각각의 모듈은 햅틱 효과들을 제공하기 위한 특정 개별 기능을 제공한다. 시스템(10)은 전형적으로, Immersion Corp.의 TouchSense™ 소프트웨어와 같은, 부가의 기능을 포함하기 위해 하나 이상의 부가 애플리케이션 모듈들(18)을 포함한다.
시스템(10)은, 원격 소스들로 데이터를 전송하고 그리고/또는 그들로부터 데이터를 수신하는 실시예들에서, 적외선, 무선, Wi-Fi, 셀룰러 네트워크 통신 등과 같은, 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은, 통신 디바이스(20)를 추가로 포함한다. 다른 실시예들에서, 통신 디바이스(20)는, 이더넷 연결, 모뎀 등과 같은, 유선 네트워크 연결을 제공한다.
프로세서(22)는 또한 그래픽 표현 또는 UI(user interface)를 사용자에게 디스플레이하기 위해, LCD(Liquid Crystal Display)와 같은, 디스플레이(24)에 버스(12)를 통해 결합된다. 디스플레이(24)는 신호들을 프로세서(22)로 송신하고 그로부터 수신하도록 구성된, 터치 스크린과 같은, 터치 감응 입력 디바이스일 수 있고, 멀티-터치 터치 스크린일 수 있다.
일 실시예에서, 시스템(10)은 액추에이터(26)를 추가로 포함한다. 프로세서(22)는 햅틱 효과와 연관된 햅틱 신호를 액추에이터(26)로 전송할 수 있고, 액추에이터(26)는 차례로 진동촉각 햅틱 효과들, 정전 마찰 햅틱 효과들, 또는 변형 햅틱 효과들과 같은 햅틱 효과들을 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액추에이터, 고대역폭 액추에이터, EAP(electro-active polymer) 액추에이터 등일 수 있다. 대안의 실시예들에서, 시스템(10)은, 액추에이터(26)에 부가하여, 하나 이상의 부가 액추에이터들(도 1에 예시되지 않음)을 포함할 수 있다. 대안적으로 또는 그에 부가하여, 액추에이터(26)는 열 디스플레이(thermal display)(예컨대, 고온/저온(hot/cold)), 전기 촉각 자극(electrotactile stimulation)(즉, 전류에 의한 촉각 수용체의 자극), 운동감각 피드백(kinesthetic feedback) 등과 같은 임의의 다른 햅틱 기술에 따라 동작할 수 있다. 또 다른 대안의 또는 부가의 실시예는 시스템이 사용자에게 어떤 움직임 또는 움직임들을 하게 하는지 그리고/또는 그렇게 할 마음이 생기게 하는지를 사용자에게 결정하도록 요구하는 작업과 같은 전기 근육 자극들을 구현할 수 있다.
액추에이터(26)는 햅틱 출력 디바이스의 일 예이고, 여기서 햅틱 출력 디바이스는, 구동 신호에 응답하여, 진동촉각 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과 등과 같은, 임의의 형태의 햅틱 효과들을 출력하도록 구성된 디바이스이다. 그에 따라, 대안의 실시예들에서, 액추에이터(26)는 정전 마찰(electrostatic friction, ESF) 또는 초음파 표면 마찰(ultrasonic surface friction, USF)을 사용하는 디바이스, 초음파 햅틱 트랜스듀서를 사용하여 음향 방사 압력을 유발하는 디바이스, 햅틱 기판 및 가요성 또는 변형가능 표면 또는 형상 변경 디바이스를 사용하고 사용자의 신체에 부착될 수 있는 디바이스, 에어 젯(air jet)을 사용한 공기의 분출, 레이저 기반 투사물, 사운드 기반 투사물 등과 같은 투사된 햅틱 출력을 제공하는 디바이스와 같은, 비기계식 또는 비진동 디바이스일 수 있는 어떤 다른 유형의 햅틱 출력 디바이스(도시되지 않음)에 의해 대체될 수 있다.
예를 들어, 일 실시예는 플라즈마(플러스 및 마이너스 입자들의 농축 혼합물)를 제공하기 위해 레이저 에너지가 농축 영역 공중(concentrated region mid-air)에 있는 공기 분자들을 이온화하는 레이저 기반 투사물을 제공한다. 일 실시예에서, 레이저는 아주 빠르고 아주 강한 속도(pace)로 펄스를 방출하는 펨토초 레이저(femtosecond laser)일 수 있고, 레이저가 빠를수록, 사람이 만지는 것이 안전하다. 투사물은 햅틱이고 상호작용적인 홀로그램처럼 보일 수 있다. 플라즈마가 사용자 피부와 접촉할 때, 사용자는 농축 영역에 있는 여기된 공기 분자(energized air molecule)들의 진동을 감지할 수 있다. 사용자 피부 상에서의 느낌은 사용자가 공중에 있는 플라즈마와 상호작용할 때 발생되는 파에 의해 야기된다. 그에 따라, 사용자를 이러한 농축 영역의 영향을 받게 하는 것에 의해 햅틱 효과들이 사용자에게 제공될 수 있다. 대안적으로 또는 그에 부가하여, 사용자를 지향된 음향 에너지(sound energy)에 의해 발생된 진동의 영향을 받게 하는 것에 의해 햅틱 효과들이 사용자에게 제공될 수 있다.
게다가, 다른 대안의 실시예들에서, 시스템(10)은 액추에이터(26) 또는 임의의 다른 햅틱 출력 디바이스를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 햅틱 효과들을 발생시키는 액추에이터 또는 다른 햅틱 출력 디바이스를 포함하고, 시스템(10)은 발생된 햅틱 신호들을 통신 디바이스(20)를 통해 그 디바이스로 송신한다.
일 실시예에서, 액추에이터(26)는 진동 햅틱 효과들을 단일의 주파수로 발생시키는 "SD(standard definition)" 액추에이터일 수 있다. SD 액추에이터의 예들은 ERM 및 LRA를 포함한다. SD 액추에이터와 달리, 압전 액추에이터 또는 EAP 액추에이터와 같은 HD(high definition) 액추에이터 또는 고충실도(high fidelity) 액추에이터는 고대역폭/HD 햅틱 효과들을 다수의 주파수들에서 발생시킬 수 있다. HD 액추에이터들은 가변 진폭을 갖는 그리고 일시적 구동 신호들에 대한 빠른 응답을 갖는 광대역폭 촉각 효과들을 생성할 수 있는 것에 의해 특징지워진다. 그렇지만, HD 액추에이터들은 SD 액추에이터들에 비해 큰 물리적 치수를 가지며, SD 액추에이터들보다 더 고가이다. 그 결과, 대부분의 디바이스들은, 임의의 HD 액추에이터들 대신에, 단지 하나 이상의 SD 액추에이터들을 포함한다. 따라서, 일부 실시예들은, HD 액추에이터들을 필요로 함이 없이, HD 햅틱 효과들을 시뮬레이트하여 HD와 같은 햅틱 경험을 제공하기 위해, SD 액추에이터들과 함께 디바이스 내의 하나 이상의 스피커들(28)을 이용할 수 있다.
일 실시예에서, 시스템(10)은 스피커(28)를 추가로 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)로 전송할 수 있고, 스피커(28)는 차례로 오디오 효과들을 출력한다. 스피커(28)는, 예를 들어, 다이나믹 스피커(dynamic loudspeaker), 일렉트로다이나믹 스피커(electrodynamic loudspeaker), 압전 스피커(piezoelectric loudspeaker), 자기 변형 스피커(magnetostrictive loudspeaker), 정전기 스피커(electrostatic loudspeaker), 리본 및 평면 자기 스피커(ribbon and planar magnetic loudspeaker), 굽힘파 스피커(bending wave loudspeaker), 평판 스피커(flat panel loudspeaker), 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커(plasma arc speaker), 및 디지털 스피커(digital loudspeaker) 등일 수 있다. 대안의 실시예들에서, 시스템(10)은, 스피커(28)에 부가하여, 하나 이상의 부가 스피커들(도 1에 예시되지 않음)을 포함할 수 있다. 게다가, 다른 대안의 실시예들에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 오디오 효과들을 출력하는 스피커를 포함하고, 시스템(10)은 오디오 신호들을 통신 디바이스(20)를 통해 그 디바이스로 송신한다.
일 실시예에서, 시스템(10)은 센서(30)를 추가로 포함한다. 센서(30)는 소리, 움직임, 가속도, 생물학적 신호, 거리, 흐름, 힘/압력/변형/굴곡, 습도, 선형 위치, 배향/기울기, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도 등 - 이들로 제한되지 않음 - 과 같은, 한 형태의 에너지 또는 다른 물리적 특성을 검출하도록 구성될 수 있다. 센서(30)는 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 표현하는 임의의 신호로 변환하도록 추가로 구성될 수 있다. 센서(30)는 가속도계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 굽힘 센서), 힘 감응 저항기, 로드 셀(load cell), LuSense CPS2 155, 소형 압력 변환기, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 RFID(radio frequency identification) 태그), 회전식 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(온도계, 열전쌍, 저항 온도 검출기, 써미스터, 또는 온도 변환 집적 회로, 기타 등등), 마이크로폰, 광도계, 고도계, 생물학적 모니터, 카메라, 광 의존 저항기 등 - 이들로 제한되지 않음 -과 같은 임의의 디바이스, 또는 심전도, 뇌파도, 근전계, 전기안구도, 전기구개도, 또는 임의의 다른 전기 생리학적 출력을 출력하는 임의의 디바이스일 수 있다.
대안의 실시예들에서, 시스템(10)은, 센서(30)에 부가하여, 하나 이상의 부가 센서들(도 1에 예시되지 않음)을 포함할 수 있다. 이 실시예들 중 일부에서, 센서(30) 및 하나 이상의 부가 센서들은 센서 어레이, 또는 어떤 다른 유형의 센서들의 집합체/배열의 일부일 수 있다. 게다가, 다른 대안의 실시예들에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과 별개의 디바이스가 한 형태의 에너지, 또는 다른 물리적 특성을 검출하고 검출된 에너지 또는 다른 물리적 특성을 전기 신호, 또는 가상 센서 정보를 표현하는 다른 유형의 신호로 변환하는 센서를 포함한다. 디바이스는 이어서 변환된 신호를 통신 디바이스(20)를 통해 시스템(10)으로 송신할 수 있다.
햅틱 디바이스 공유 서비스
일반적으로, 공지된 시스템들에서, 사용자의 햅틱 디바이스는 햅틱 효과들을 그 사용자에게 제공하기 위해 이용된다. 예를 들어, 사용자의 웨어러블 햅틱 디바이스들(예컨대, 손목 밴드, 헤드 밴드, 안경, 반지, 발목 밴드, 의류에 통합된 어레이 등)은, 착신 전화, 탐색 큐(navigational cue), 메시징 등과 같은, 그 사용자에 대해 의도되어 있는 상태 정보에 대응하는 햅틱 효과들을 제공할 수 있다.
IoT(Internet of Things)는 데이터를 수집하고 교환하기 위한 전자적 기능을 포함하는 객체들(예컨대, 건물들, 디바이스들, 차량들 등)의 네트워크이다. 공공 장소에 있는 의자 및 테이블과 같은, 빈번히 터치되는 일부 객체들을 비롯하여, 점점 더 증가하는 수의 객체들이 IoT에 연결되고 있다. 이와 동시에, 햅틱 액추에이터들이 또한, 가구(예컨대, 의자, 테이블 등), 건축 요소(예컨대, 벽, 바닥 등), 및 자, 스테이플러 등과 같은 다양한 소비자 객체와 같은, 많은 객체들로 진출하고 있다. 그렇지만, 공지된 시스템들에서, 사용자에게 햅틱 피드백을 제공하는 것은 일반적으로 그 사용자의 개인 디바이스들 또는 특정 용도로 의도되어 있는 특수 목적 디바이스들로 제한된다. 예를 들어, 일부 공지된 시스템들에서, 스마트폰 또는 스마트 워치와 같은 사용자가 소지하거나 착용하는 디바이스들 상에서, 또는 영화관에서의 D-Box 좌석과 같은 특정 용도로 구성된 특수 디바이스들 상에서 햅틱 통지들이 생성된다.
공지된 시스템들과 달리, 본 발명의 실시예들은 사용자의 근방에 있는 이용가능한 네트워크화된 햅틱 지원 디바이스들(예컨대, 햅틱 지원 IoT 디바이스들)을 식별하고 이들을 사용하여 그 사용자에 대해 의도된 햅틱 효과들을 제공한다. 일 실시예는 햅틱 지원 디바이스가 그의 환경에서 사용자에 대한 햅틱 피드백을 기회주의적으로 생성할 수 있게 하는 서비스 인프라스트럭처를 제공한다. 일 실시예는 이러한 햅틱 지원 디바이스들을 사용하기 위해 독립적인 당사자들 사이에서 소액 결제(micro-transaction)가 체결될 수 있게 함으로써 햅틱 피드백에 대한 공유 경제를 가능하게 하는 중개 시스템을 추가로 제공한다.
일 실시예에서, 사용자가 하루 종일 하나 이상의 IoT 연결된 햅틱 지원 객체들에 아주 근접하거나 그와 접촉할 때, 이 객체들 각각이 사용자에게 햅틱 피드백을 제공하는 데 사용될 수 있다. 예를 들어, 공항 또는 커피숍과 같은 공공 장소에서, 스마트폰 또는 웨어러블과 같은 사용자의 햅틱 지원 개인 디바이스들 대신에 또는 그에 부가하여, 빈번히 터치되고(예컨대, 의자, 테이블 등) 햅틱 액추에이터들을 갖추고 있는 객체들이 근방의 사용자와 햅틱적으로 통신하기 위해 사용될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 햅틱 기능을 제공하는 예시적인 시스템(200)을 나타내고 있다. 시스템(200)에서, 사용자는 공공 장소에서 햅틱 지원 의자(202)에 앉아 있을 수 있다. 의자(202)는 햅틱 액추에이터(204)(예컨대, ERM 액추에이터)를 포함한다. 의자(202)는 또한 IoT 또는 임의의 다른 네트워크에 연결하는 기능을 포함한다. 예를 들어, 의자(202)는 WiFi 네트워크에 연결하기 위한 WiFi 연결 모듈을 포함할 수 있다. 이와 유사하게, 의자(202)는 다양한 실시예들을 참조하여 본원에 기술되는 임의의 다른 네트워크에 연결하기 위한 다른 모듈들을 포함할 수 있다. 그에 따라, 액추에이터(204)는 IoT를 통해 공유될 수 있고, 의자(202)는 액추에이터(204)를 통해 사용자에게 햅틱 통지들을 생성할 수 있다. 사용자의 주머니에 있는 스마트폰과 같은 사용자의 개인 디바이스에 의해 제공되는 햅틱 통지들 대신에 또는 그에 부가하여, 이러한 햅틱 통지들이 사용자에게 제공될 수 있다.
대안적으로 또는 그에 부가하여, 사용자는 그의 손 또는 그의 개인 디바이스들(예컨대, 랩톱 컴퓨터, 태블릿 등) 중 하나를 공공 장소에 있는 햅틱 지원 테이블(206) 상에 놓고 있을 수 있다. 테이블(206)은 햅틱 액추에이터(208)(예컨대, ERM 액추에이터)를 포함한다. 테이블(206)은 또한 IoT에 연결하는 기능을 포함할 수 있다. 그에 따라, 액추에이터(208)는 IoT를 통해 공유될 수 있고, 테이블(206)은 액추에이터(208)를 통해 사용자에게 햅틱 통지들을 생성할 수 있다.
일 실시예는 사용자의 컴퓨팅 디바이스들/서비스들과 사용자의 환경에 있는 기회주의적인, 어쩌면 공개적으로 이용가능한 액추에이터들 사이의 통신을 가능하게 하는 인프라스트럭처를 제공한다. 이러한 인프라스트럭처는 이러한 기회주의적 액추에이터들을 설치하고 공유하는 것을 장려하는 경제적 유인을 제공할 수 있고, 이 결과 차례로 이 액추에이터들이 환경에서 보다 흔하게 될 수 있다.
기회주의적으로 사용될 수 있는 햅틱 지원 디바이스의 일 예는 스테이플러가 비어 있을 때 진동하도록 구성된 햅틱 액추에이터를 갖는 스테이플러이다. 접촉을 필요로 하는 햅틱 기술들(예컨대, 진동, 변형, 온도 등)에 기초하는 액추에이터들 또는 비접촉 햅틱 기술들(예컨대, 투사된 초음파, 에어 젯, 정적 ESF 등)에 기초하는 액추에이터들과 같은, 임의의 햅틱 액추에이터들이 햅틱 지원 디바이스들에서 기회주의적으로 사용될 수 있다.
일 실시예는 사용자의 환경에 있는 햅틱 액추에이터들이 기회주의적으로 사용될 수 있게 하는 네트워크 인프라스트럭처를 제공한다. 예를 들어, 사용자가 의자에 앉을 때, 사용자의 스마트폰은 의자에 햅틱 액추에이터가 있다는 것을 검출하고, 햅틱 액추에이터와 통신을 구축하며, 스마트폰 상에서 재생되는 영화에 대한 햅틱 트랙을 생성하기 위해 햅틱 액추에이터를 사용할 수 있다. 일 실시예에서, 햅틱화된(haptified) 의자는 사용자의 소유이고 사용자에 의해 배타적으로 사용된다. 다른 실시예에서, 햅틱화된 의자는 제3자의 소유이고, 의자의 햅틱 액추에이터를 다른 사람들이 사용할 수 있게 되도록 의자의 소유자는 의자를 서비스에 등록할 수 있다. 서비스는 이어서 햅틱 제공자(즉, 의자의 소유자)와 햅틱 피드백을 원하는 사용자 간의 소액 결제를 관리할 수 있다. 일 실시예에서, 제공자는 햅틱 의자에서 생성되는 매 통지마다 요금(예컨대, $0.001)을 부과할 수 있다. 서비스는 이와 같이 햅틱 액추에이터들에 대한 공유 경제를 가능하게 하고, 따라서 환경에서의 햅틱 액추에이터들의 확산을 장려할 수 있다.
일 실시예에서, 예를 들어, 사용자는 커피숍에 앉아서 자신의 태블릿 디바이스에서 영화를 보고 있을 수 있다. 사용자가 "재생"을 누를 때, 누구나 이용가능한 의자의 햅틱 액추에이터를 시간당 $1에 사용하기를 원하는지를 사용자에게 질문하는 팝업 통지가 나타날 수 있다. 사용자가 "예"를 누르면, 사용자는 의자로부터 대응하는 햅틱 효과들을 받으면서 영화를 볼 수 있다.
일 실시예에서, 예를 들어, 사용자의 스마트폰이 사용자가 회의에 늦었다고 결정할 수 있다. 스마트폰은 이어서 사용자에 의해 터치될 가능성이 있는 햅틱 지원 객체들을 식별하고, 햅틱 효과들을 제공하여 사용자에게 통지하기 위해 그들을 사용할 수 있다. 예를 들어, 사용자는 햅틱 지원 스테이플러를 터치하고, 사용자가 회의에 늦었다는 것을 알려주기 위해 사용자의 스마트폰과의 통신에 기초하여 제공되는 독특한 진동 패턴을 느낄 수 있다. 스마트폰은 사용자가 터치할 가능성이 있는 임의의 햅틱 지원 객체들에서 이러한 통지들을 생성할 수 있다.
일 실시예에서, 사용자는 수퍼마켓에서 물품을 찾고 있고 바닥에 있는 햅틱 피드백에 의해 올바른 통로 쪽으로 안내받기 위해 자신의 스마트폰에서 대응하는 요청을 타이핑한다. 사용자가 올바른 통로 전방을 걷고 있을 때, 그 통로로 방향 전환하라고 사용자에게 알려주기 위해 바닥 타일들이 진동한다. 대안의 또는 부가의 실시예에서, 사용자를 올바른 통로로 안내하기 위해 공기 분출이 제공될 수 있다.
일 실시예에서, 사람, 객체, 또는 작업에 전용되어 있는 햅틱 지원 디바이스가 그의 근방에 있는 임의의 사람에게 햅틱 효과들을 제공하기 위해 기회주의적으로 사용된다. 일 실시예에서, 전용 햅틱 지원 디바이스는, 투사 햅틱, 바닥 햅틱 등과 같은, 이러한 기회주의적 기능을 용이하게 하는 햅틱 기술을 구현한다. 예를 들어, 사용자의 목에 착용된 초음파 방출기가 옆을 지나가는 다른 사람에게 햅틱 통지들을 제공하기 위해 사용될 수 있다. 이와 유사하게, 키오스크용으로 의도되어 있는 햅틱 바닥 패드는, 사람이 그 위를 걸어갈 때, 햅틱 피드백을 제공하기 위해 사용될 수 있다. 일 실시예에서, 분산 시스템은 기회주의적 디바이스가 사람의 환경에서 이용가능할 때를 검출하고, 통신 플랫폼은 그 사람과의 기회주의적 디바이스의 공유를 용이하게 한다.
일 실시예에서, 제1 사람에 전용되어 있는 햅틱 지원 디바이스가 그의 근방에 있는 제2 사람에게 햅틱 효과들을 제공하기 위해 기회주의적으로 사용될 때, 제1 사람의 디바이스가 다른 사람에게 햅틱 효과들을 제공하기 위해 기회주의적으로 사용되고 있다는 것을 알려주기 위해 피드백(예컨대, 햅틱 또는 다른 유형의 통지)이 제1 사람에게 제공된다. 예를 들어, 제1 사람의 스마트폰은 제1 사람의 햅틱 지원 디바이스들 중 하나(예컨대, 제1 사람의 목에 착용된 초음파 방출기)가 제2 사람에게 햅틱 효과들을 제공하기 위해 사용되고 있다는 것을 제1 사람에게 알려주기 위해 텍스트, 오디오, 시각적, 및/또는 햅틱 통지를 제공할 수 있다. 제1 사람은 이어서 통지를 무시하거나 이러한 기회주의적 사용을 불허/종료하는 옵션을 가질 수 있다.
일 실시예에서, 기회주의적 햅틱 지원 디바이스가 사람에게 햅틱 효과들을 제공하기 위해 이용가능할 때, 그 사람의 웨어러블 디바이스 또는 모바일 디바이스는 햅틱 효과들이 기회주의적 디바이스를 통해 제공되고 있다는 것을 알려주기 위해 그 사람에게 피드백을 제공한다. 일 실시예에서, 피드백이 독특한 햅틱 효과로 제공될 수 있다. 피드백은 또한 기회주의적 디바이스가 어디에 위치해 있는지를 알려주기 위해 방향 신호(directional cue)를 제공할 수 있다. 피드백은 또한 기회주의적 디바이스에 의해 제공되는 것과 연관된 다른 햅틱 콘텐츠(haptic content)를 제공할 수 있다. 예를 들어, 피드백은 기회주의적 디바이스에 의해 제공되는 햅틱 콘텐츠와 일치하는 배경 햅틱 트랙에 대응할 수 있다.
일 실시예는 사용자의 환경에 있는 햅틱 디바이스, 햅틱 디바이스에 햅틱 피드백을 요청하는 사용자 에이전트, 및 사용자 에이전트와 햅틱 디바이스 사이의 연결들을 구축하는 브로커 서비스(broker service)를 구현하는 것에 의해 기회주의적 햅틱 기능을 제공한다. 사용자 에이전트는 시스템 내의 어디라도 구현될 수 있다. 예를 들어, 사용자 에이전트는 햅틱 디바이스로부터 분리될 수 있고, 각종의 디바이스들로부터 입력을 수신할 수 있다. 일부 실시예들에서, 사용자 에이전트는 클라우드에, 로컬 네트워크에, 기타에 구현될 수 있다. 어떤 대안의 또는 부가의 실시예들에서, 사용자의 모바일 디바이스는 액추에이터는 물론 모바일 디바이스 및/또는 사용자의 디바이스 네트워크에 있는 디바이스들과 같은 다른 디바이스들(예컨대, 웨어러블들, 햅틱 지원 개인 물품들 등)에 대한 사용자 에이전트를 포함할 수 있다. 햅틱 디바이스, 사용자 에이전트, 및 브로커 서비스에 대한 추가 상세들은 이하에서 제공된다.
햅틱 디바이스
일 실시예에서, 하나 이상의 네트워크 연결된 햅틱 디바이스들은 사용자의 환경에, 예를 들어, 가구, 벽 및 바닥과 같은 건축 요소들, 통상의 객체들, 컴퓨팅 디바이스들 등에, 내장되어 있다. 각각의 햅틱 디바이스는 햅틱 액추에이터는 물론, 사용자 디바이스들 및/또는 웹 서비스들과 (예컨대, 무선으로 또는 유선을 통해) 통신하는 기능을 포함한다. 햅틱 디바이스는 또한 햅틱 액추에이터를 구동하기 위해 전자부품들 및 소프트웨어를 포함한다.
햅틱 액추에이터는 본원에 기술되는 임의의 실시예들에 따른 햅틱 기능을 제공할 수 있다. 예를 들어, 햅틱 액추에이터는 진동, 변형, 열, ESF, 또는 임의의 다른 유형의 햅틱 작동(haptic actuation)을 비롯한 햅틱 피드백을 제공할 수 있다. 예를 들어, 사용자의 환경에 있는 햅틱 디바이스는 마찰 디스플레이로 덮여 있음으로써 그의 표면에서 손 또는 손가락을 슬라이딩할 때 변하는 텍스처들이 느껴질 수 있도록 되어 있는 테이블일 수 있다. 다른 예로서, 진동 액추에이터는, 사용자의 발에 진동들을 전달할 수 있도록, 바닥 타일들 내에 내장될 수 있다. 다른 예로서, 초음파 방출기는, 햅틱 효과들을 근방의 사용자들에게 투사할 수 있도록, 벽에 내장될 수 있다. 다른 예로서, 펠티에 셀(peltier cell)은, 사용자에 의해 터치될 때 그의 온도를 변경할 수 있도록, 문 손잡이에 내장될 수 있다. 대안적으로 또는 그에 부가하여, 햅틱 액추에이터들을 포함하는 스마트폰, 웨어러블, 또는 다른 개인 컴퓨팅 디바이스들이 햅틱 효과들을 사용자에게 제공하기 위해 사용될 수 있다.
햅틱 디바이스는 또한 기회주의적 햅틱 기능을 제공하는 것과 관련하여 사용자 디바이스 또는 서비스와 직접 또는 간접적으로 통신하는 기능을 포함한다. 예를 들어, 햅틱 디바이스는 WiFi 또는 다른 무선 네트워크를 통해 직접 또는 블루투스 또는 다른 IoT 네트워킹 기술들을 사용하여 게이트웨이를 통해 간접적으로 인터넷에 연결할 수 있다. 햅틱 디바이스는 또한 블루투스 또는 다른 단거리 무선 기술들을 사용하여 사용자의 디바이스에 직접 연결할 수 있다. 일부 실시예들에서, 통신은 먼저 NFC(near field communication), WiFi, 또는 다른 무선 기술들을 통해 구축되고, 이어서 블루투스와 같은 보다 효율적인 단거리 기술로 전환될 수 있다.
일 실시예에서, 햅틱 디바이스가 유선 또는 무선 통신을 통해 다른 디바이스들 및 서비스들에 연결되면, 햅틱 디바이스는 햅틱 효과들을 제공하기 위한 명령들을 수신할 수 있다. 햅틱 디바이스는 또한 다양한 정보, 예를 들어, 그의 능력들, 그의 센서 판독값들 등에 관한 정보를 제공하기 위해 통신할 수 있다.
일 실시예에서, 실시예가 햅틱 디바이스가 사용자로부터 도달거리 내에 있을 때를 결정할 수 있도록, 햅틱 디바이스가 사용자의 디바이스 및/또는 서비스에 의해 발견가능하다. 접촉 기반 햅틱 액추에이터들(예컨대, 진동 액추에이터들)의 경우, 사용자가 액추에이터가 햅틱 효과들을 생성할 수 있는 표면을 터치하고 있는 경우, 햅틱 디바이스는 사용자로부터 도달거리 내에 있다. 비접촉 기반 햅틱 액추에이터들(예컨대, 초음파 햅틱)의 경우, 사용자가 디바이스의 방출기로부터 특정 거리 내에 있고 방출기와 사용자 사이에 어떤 장애물들도 없을 때, 햅틱 디바이스는 사용자로부터 도달거리 내에 있다.
일 실시예에서, 어느 햅틱 디바이스들이 사용자로부터 도달거리 내에 있는지를 결정하는 것 대신에 또는 그에 부가하여, 어느 햅틱 디바이스들이 사용자의 근방에 있는지가 결정된다. 이 실시예는, 예를 들어, 햅틱 디바이스가 도달거리 내에 있는지를 충분한 정확도로 결정하는 것이 어려울 때 적용가능하다. 예를 들어, 일 실시예에서, 어느 햅틱 디바이스들이 사용자에 의해 느껴질 수 있는 햅틱 효과들을 생성할 수 있는지를 모르는 상태에서, 어느 햅틱 디바이스들이 사용자의 위치 근방에 있는지가 결정된다. 일 실시예는 그래픽 UI를 통해 근방의 햅틱 디바이스들의 목록을 사용자에게 제공할 수 있고 사용자로 하여금 어느 디바이스를 사용할지를 결정하게 할 수 있다.
일 실시예에서, 사용자는 햅틱 디바이스와의 또는 햅틱 디바이스가 내장되어 있는 객체(즉, 햅틱화된 객체)와의 상호작용을 통해 특정 햅틱 디바이스를 사용하라고 명시적으로 요청할 수 있다. 일 실시예에서, 사용자는, 객체를 선택하기 위해 그리고/또는 객체를 발견 모드에 두기 위해 객체에 있는 센서들에 의해 상호작용들이 포착될 수 있도록, 햅틱화된 객체와 상호작용할 수 있다. 예를 들어, 사용자는, 테이블/객체의 햅틱 액추에이터들을 사용하고자 한다는 것을 알려주기 위해, 자신의 전화기 또는 웨어러블 디바이스를 테이블 상의 NFC 태그 또는 다른 햅틱화된 객체에 대고 탭핑할 수 있다. 예를 들어, 사용자가 자신의 전화기를 객체에 대해 탭핑할 때, 그에 따른 진동들 및/또는 음향들이 (예컨대, Bump Technologies의 연락처 및 파일 공유 "범프(Bump)" 애플리케이션에서와 같이), 햅틱화된 객체와 전화기 사이의 연결을 구축하기 위해, 전화기 및 객체 둘 다에 있는 센서들에 의해 포착되고 비교될 수 있다. 일 실시예에서, 사용자는 객체의 햅틱 액추에이터들이 사용자에게 햅틱 효과들을 제공하는 데 사용될 수 있도록, 햅틱화된 객체와 전화기 사이의 블루투스 통신을 구축하기 위해, 햅틱화된 객체 상의 버튼과 자신의 전화기 상의 대응하는 버튼을 누를 수 있다.
일 실시예에서, 투사 햅틱 디바이스가, 햅틱 디바이스로부터 도달거리 내에 있는 사용자의 존재를 검출할 수 있는 카메라들 또는 깊이 센서들과 같은, 하나 이상의 원격 센서들과 페어링될 수 있다. 일 실시예에서, 검출된 사용자의 ID(identity)가 컴퓨터 비전과 같은 임의의 공지된 기능 및 일치를 확정하기 위해 데이터베이스에 저장된 데이터와 비교하는 것에 의해 결정될 수 있다. 예를 들어, 일 실시예는 카메라를 사용하여 사용자의 이미지를 포착하고, 얼굴 인식을 수행하고, 사용자와 연관된 이름표를 판독하며, 그리고/또는 사용자를 다른 방식으로 식별하기 위해 이미지를 사용할 수 있다. 실시예는 이어서 사용자에 관한 부가 특성들을 결정하기 위해 서버(예컨대, 소셜 네트워크, 데이트 웹사이트, 검색 엔진, 개인 웹사이트 등에 대한 서버)와 통신할 수 있다. 특성들은, 예를 들어, 이름, 사회 보장 번호, 순자산, 신장, 나이, 유산, 모발 색상, 국적, 눈 색깔, 의학적 상태, 신용 점수, 성별, 신용 카드 번호, (에컨대, 웹사이트 또는 계정에 대한) 사용자 이름, 패스워드, 성격, 기분, 고용주, 직업, 취미, 좋아하는 것, 싫어하는 것 등을 포함할 수 있다.
일 실시예에서, 햅틱 효과들을 제공하기 위해 사용자와의 접촉을 필요로 하는 햅틱 디바이스는 디바이스가 햅틱 효과들을 적용하는 표면을 사용자가 터치하고 있는지를 결정하기 위해 센서들을 사용할 수 있다. 일 실시예에서, 표면은 용량성 터치 센서, 압력 센서, 또는 터치를 검출할 수 있는 다른 센서들을 갖추고 있을 수 있다. 대안의 또는 부가의 실시예에서, 가속도계는 사용자의 신체와의 접촉 및/또는 표면을 스치듯 지나가는 것을 검출할 수 있다. 일 실시예에서, 예를 들어, 의자에 있는 압력 센서들은 사용자가 의자에 앉아 있는지를 검출하는 데 사용될 수 있고, 이 정보는 이러한 터치가 검출되었을 때 표면을 터치하고 있는 사용자의 ID를 결정하기 위해 다른 센서 데이터와 페어링될 수 있다.
일 실시예에서, 햅틱화된 디바이스는 디바이스, 및/또는 디바이스를 포함하는 객체와 사용자 간의 (예컨대, 손가락, 발, 손, 팔, 다리, 또는 다른 신체 부위를 사용한) 상호작용을 검출하도록 구성된 상호작용 센서를 포함한다. 일 실시예에서, 사용자 상호작용은 객체를 터치하는 것, 현실 공간에서 제스처를 하는 것, 객체를 사용하여 제스처를 하는 것(예컨대, 객체를 집어 들고 현실 공간에서 움직이는 것), 및/또는 객체 상에서 제스처를 하는 것(예컨대, 객체의 표면을 따라 손가락을 스와이프하는 것)을 포함할 수 있다. 상호작용 센서는 상호작용과 연관된 센서 신호를 발생시키도록 추가로 구성된다. 상호작용 센서는 가속도계, 자이로스코프, 카메라, RFID 태그 또는 리더, 실내 근접 시스템, NFC 통신 디바이스, GPS(global positioning system) 디바이스, 자력계, 초음파 트랜스듀서, 무선 인터페이스(예컨대, IEEE 802.11 또는 블루투스 인터페이스), 적외선 센서, 깊이 센서, 및/또는 거리 센서를 포함할 수 있다.
예를 들어, 일 실시예에서, 상호작용 센서는 객체에 의해 방출되는 무선 신호의 강도를 검출하도록 구성되어 있는 무선 인터페이스를 포함한다. 상호작용 센서는 무선 신호 강도와 연관된 센서 신호를 발생시킬 수 있다. 무선 신호 강도에 기초하여, 실시예는, 예를 들어, 센서가 객체로부터 미리 정의된 거리 내에 있는지를 결정할 수 있다. 그러한 경우, 실시예는 상호작용(예컨대, 객체로부터 미리 정의된 거리 내에 들어오는 것)이 일어났다고 결정할 수 있다. 일 실시예에서, 객체가 사람에 의해 휴대될 수 있고, 따라서 객체와 센서 간의 근접성은 사람과 센서 간의 근접성을 나타낼 것이다.
다른 실시예에서, 상호작용 센서는 햅틱화된 디바이스 쪽으로 지향되어 있는 3D 영상 시스템일 수 있다. 그에 따라, 상호작용 센서는 디바이스와의 사용자 상호작용(예컨대, 탭핑, 터치, 디바이스 상에서의 제스처, 흔들기, 들어올리기, 디바이스 쪽으로의 제스처 등)을 검출할 수 있다. 예를 들어, 상호작용 센서는 디바이스 쪽으로 지향된 카메라를 포함한다. 사용자는 디바이스 근방에서 (예컨대, 손가락, 손, 팔, 발, 머리, 또는 다리와 같은 신체 부위로) 공중에서 제스처(예컨대, 체크 표시 기호)를 할 수 있다. 상호작용 센서는 제스처와 연관된 이미지들을 포착하고 센서 신호들을 발생시킬 수 있다. 센서 신호들에 기초하여, 실시예는 사용자 상호작용이 일어났다고 결정할 수 있다. 실시예는 일어난 특정 유형의 제스처를 결정하기 위해 센서 신호들을 추가로 분석할 수 있다. 예를 들어, 실시예는 센서 신호들을 분석하고 사용자가 손가락으로 공중에서 체크 표시를 했다고 결정할 수 있다.
일부 실시예들에서, 상호작용 센서는 햅틱화된 디바이스의 외부에 있고, 디바이스와 유선 또는 무선 통신한다. 예를 들어, 상호작용 센서는, 디바이스와 연관되고 디바이스와 통신하는 카메라를 포함할 수 있다. 다른 예로서, 상호작용 센서는 3D 영상 시스템(예컨대, 상표명 Microsoft Kinect®으로 흔히 판매되는 3D 영상 시스템) 또는 디바이스 외부에(예컨대, 점포에 있는 선반 상에) 배치되고 디바이스와 통신하는 LED 기반 추적 시스템을 포함할 수 있다.
일부 실시예들에서, 사용자는 햅틱화된 디바이스와의 상호작용을 위해 중간 객체(예컨대, 스타일러스, 펜, 지팡이, 또는 막대기)를 사용할 수 있고, 실시예는 이러한 상호작용을 검출할 수 있다.
일 실시예는 햅틱화된 디바이스를 포함하는 객체 상의 임의의 곳에서의 접촉, 또는 객체 상의 특정 위치(예컨대, 라벨)와의 접촉을 검출할 수 있다. 실시예는 접촉의 위치를 검출할 수 있다. 예를 들어, 실시예는 객체의 어느 부분(예컨대, 상부, 하부, 좌측, 우측, 전방, 후방, 라벨, 이미지, 로고, 텍스트 등)이 사용자에 의해 접촉되었는지를 검출할 수 있다. 일 실시예에서, 사용자는 객체와 상호작용하기 위해 객체의 표면 상에서 제스처를 할 수 있다. 예를 들어, 사용자는 객체의 표면 상에서 두 손가락 핀치를 수행하거나, 객체의 표면을 따라 다수의 손가락들을 움직이거나, 객체의 표면 상에서 체크 표시를 할 수 있다.
일부 실시예들에서, 사용자는 객체 또는 객체의 일부분을 사용하여 제스처를 하는 것에 의해 객체와 상호작용할 수 있다. 예를 들어, 사용자는 현실 3D 공간에서 객체 또는 객체의 일부분을 움직일 수 있다(예컨대, 공중에 글자 또는 숫자를 쓰기 위해 객체 또는 객체의 일부분을 사용하는 것, 회전시키는 것, 기울이는 것, 흔드는 것 등). 일 실시예는 객체와의 하나 초과의 사용자 상호작용들(예컨대, 객체의 전방에서 제스처를 하는 것, 객체와 접촉하는 것, 객체의 표면을 따라 제스처를 하는 것, 그리고 객체를 사용하여 제스처를 하는 것)을 검출할 수 있다. 일부 실시예들에서, 사용자 상호작용은 다수의 객체들 간의 상호작용을 야기하는 것을 포함할 수 있다. 예를 들어, 사용자는 한 객체를 다른 객체에 대고 탭핑할 수 있다.
일 실시예는 사용자가 제1 신체 부위를 사용해 제1 객체와 상호작용하고(예컨대, 그를 탭핑하거나, 그를 잡거나, 그 상에서 제스처하거나, 그 쪽으로 제스처하고) 제2 신체 부위를 사용해 제2 객체와 상호작용하는 것을 검출할 수 있다. 예를 들어, 실시예는 사용자가 사용자의 오른손을 사용해 제1 객체와 상호작용하고 사용자의 왼손을 사용해 제2 객체와 상호작용하는 것을 검출할 수 있다.
일 실시예는 상호작용 센서로부터 제1 세트의 GPS 데이터를 수신할 수 있다. 사용자는, 역시 GPS 기능을 포함하고 제2 세트의 GPS 데이터를 전송하는 디바이스를 또한 휴대할 수 있다. 실시예는 제1 세트의 GPS 데이터와 제2 세트의 GPS 데이터를 비교하고 사용자와 햅틱화된 디바이스 사이의 상대 거리를 결정할 수 있다. 사용자가 디바이스로부터 미리 결정된 거리 내에 있으면, 실시예는 사용자 상호작용이 일어났다고 결정할 수 있다.
햅틱화된 디바이스는 센서 신호들을 발생시키도록 구성된 하나 이상의 부가 센서들을 추가로 포함할 수 있다. 일부 실시예들에서, 센서들은, 예를 들어, 습도 센서, 주변광 센서, 자이로스코프, GPS 유닛, 가속도계, 거리 센서, 깊이 센서, 바이오센서, 카메라, 또는 온도 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은 디바이스의 외부에 있고, 디바이스와 유선 또는 무선 통신한다. 예를 들어, 센서들은 웨어러블 디바이스(예컨대, 반지 또는 손목 밴드)에 결합된 바이오센서를 포함할 수 있다. 바이오센서는 센서 신호들을, 예를 들어, 사용자의 주머니에 위치될 수 있는, 디바이스로 무선으로 전송하도록 구성될 수 있다.
일 실시예에서, 상호작용 센서는 햅틱화된 객체의 조작과 연관된 음향들을 검출하기 위해 배치된 마이크로폰을 포함한다. 예를 들어, 사용자는 햅틱화된 테이블 상에서 커피 캔 또는 시리얼 박스를 흔들 수 있다. 상호작용 센서는 흔들기와 연관된 음향들을 검출할 수 있다. 상호작용 센서는 음향들과 연관된 센서 신호들을 발생시킬 수 있다. 센서 신호들에 기초하여, 실시예는 사용자 상호작용이 일어났다고 결정할 수 있다.
일 실시예에서, 상호작용 센서는 광학 센서를 포함한다. 광을 상호작용 센서에 도달하지 못하게 차단하기 위해 객체가 배치될 수 있다. 예를 들어, 객체가 햅틱화된 테이블에 내장된 상호작용 센서 위에 놓여 있을 수 있다. 사용자가 객체를 움직이거나 객체를 조작할 때, 상호작용 센서는 광량의 변화를 검출할 수 있다. 상호작용 센서는 광량의 변화와 연관된 센서 신호들을 발생시킬 수 있다. 센서 신호들에 기초하여, 실시예는 사용자 상호작용이 일어났다고 결정하거나, 사용자 상호작용의 특성을 결정할 수 있다(예컨대, 사용자가 객체를 문턱값 초과인 거리만큼 움직인 경우).
일 실시예는 상호작용과 연관된 특성(예컨대, 압력의 양, 속도, 방향, 위치, 또는 제스처의 유형)을 결정한다. 실시예는 특성을 결정하기 위해 상호작용 센서 또는 임의의 다른 센서들로부터의 센서 신호들을 분석한다. 예를 들어, 실시예는 사용자에 의해 행해진 제스처의 유형(예컨대, 스와이프, 두 손가락 핀치, 흔들기 등)을 결정하기 위해 3D 영상 시스템으로부터의 이미지들을 분석할 수 있다.
일 실시예는 SFCS(swept frequency capacitive sensing)를 사용하여 상호작용과 연관된 특성을 결정한다. SFCS(swept frequency capacitive sensing)는 사용자가 햅틱화된 객체와 상호작용할 때 복수의 주파수들에서 객체의 커패시턴스의(예컨대, 전압의) 변화를 측정하는 것을 포함할 수 있다. 실시예는 복수의 주파수들에서의 변화된 커패시턴스들에 기초하여 사용자 상호작용의 프로파일을 발생시킬 수 있다. 일 실시예는 프로파일을 미리 결정된 상호작용 프로파일들과 비교할 수 있다. 일 실시예에서, 각각의 미리 결정된 상호작용 프로파일은 복수의 주파수들에서 커패시턴스 변화들의 고유의 분포를 포함할 수 있고, 상이한 사용자 상호작용(예컨대, 두 손가락 핀치, 손 전체로 잡기(full hand grasp) 또는 한 손가락 탭핑)과 연관될 수 있다. 예를 들어, 두 손가락 핀치와 연관된 미리 결정된 상호작용 프로파일이 손 전체로 잡기와 연관된 미리 결정된 상호작용 프로파일과 상이할 수 있다. 그에 따라, 실시예는 사용자가 객체와 어떻게 상호작용하고 있는지를 특정 방식으로 결정할 수 있다.
일 실시예는 상호작용 센서로부터의 음향 신호들에 기초하여 상호작용과 연관된 특성을 결정한다. 예를 들어, 상호작용 센서는 마이크로폰을 포함할 수 있다. 실시예는 상호작용 센서로부터 센서 신호들을 수신하고 센서 신호들로부터의 데이터를 하나 이상의 음향 프로파일들과 비교한다. 일 실시예에서, 각각의 음향 프로파일은 상이한 사용자 상호작용, 예를 들어, 사용자가 손가락, 손가락 관절, 손톱 또는 손바닥을 사용해 객체를 터치하는 것과 연관되어 있는 음향 데이터를 포함할 수 있다. 예를 들어, 손가락이 객체와 접촉하는 것과 연관된 음향 프로파일은 손가락 관절이 객체와 접촉하는 것과 연관된 음향 프로파일과 상이한 주파수 응답을 포함할 수 있다. 그에 따라, 실시예는 사용자의 어느 신체 부위가 객체와 상호작용하고 있는지를 결정한다.
일 실시예는 햅틱화된 객체가 사용자로부터 도달거리 내에 있는지를 확인하기 위해 테스트 기능을 구현한다. 예를 들어, 사용자가 햅틱화된 객체로부터 도달거리 내에 있는 것으로 결정된 후에, 햅틱 효과를 생성하기 위해 객체가 테스트될 수 있고, 사용자의 디바이스가 가속도계와 같은 센서에 의해 햅틱 효과를 검출하기 위해 사용될 수 있다. 그에 따라, 실시예는 객체에 의해 발생된 햅틱 효과들이 사용자에 도달할 수 있다는 것을 확인할 수 있다.
사용자 에이전트
일 실시예는 사용자의 환경에 있는 햅틱 액추에이터들에 햅틱 피드백을 요청할 시의 사용자를 대표하는 디바이스 또는 서비스인 사용자 에이전트를 구현한다. 일 실시예에서, 에이전트는 먼저 햅틱 피드백이 사용자에 의해 요구될 때와 어떤 햅틱 피드백이 생성되어야만 하는지를 결정한다. 일 실시예에서, 예를 들어, 사용자 에이전트는 햅틱 피드백이 사용자에 의해 요구될 때와 어떤 햅틱 피드백이 생성되어야만 하는지를 결정하기 위해 사용자의 전화기 상에서 실행 중인 애플리케이션과 협업한다. 예를 들어, 사용자가 자신의 디바이스 상에서 비디오를 볼 때, 미디어 플레이어 애플리케이션은 비디오의 햅틱 트랙을 사용자 에이전트로 전송할 수 있다. 이와 유사하게, 사용자의 스마트폰의 운영 체제는 재생을 위해 햅틱 통지를 사용자 에이전트로 전송할 수 있다.
사용자 에이전트는 이어서 햅틱 액추에이터와의 연결을 구축하고, 햅틱 효과 또는 햅틱 효과들의 시퀀스의 스트리밍의 재생을 요청한다. 본원에 기술되는 실시예들 중 임의의 것에 따라 연결이 구축될 수 있다. 예를 들어, 사용자 에이전트는 근방의 햅틱 액추에이터들의 블루투스 비콘들을 검출하고 어느 것이 사용자에 대한 만족스러운 햅틱 피드백을 생성할 가능성이 가장 많은지를 결정할 수 있다.
일 실시예에서, 사용자 에이전트와 햅틱 액추에이터 사이의 통신이 직접(예컨대, 블루투스를 사용하여) 일어날 수 있다. 그렇지만, 일부 실시예들에서, 통신이 그 대신에 사용자 에이전트들을 햅틱 액추에이터들과 연결시키는 제3자 서비스를 거칠 수 있다. 이 실시예들에서, 사용자 에이전트는 특정 디바이스 또는 한 목록의 근방의 디바이스들에의 연결을 요청하기 위해 이 서비스(예컨대, 서버)와 통신할 수 있다. 통신은 이어서 이 서버를 통해 간접적으로 계속될 수 있거나, 사용자 에이전트는 나중에 블루투스 통신을 통해 디바이스에의 직접 연결을 구축할 수 있다.
브로커 서비스
일 실시예는, 햅틱 액추에이터들이 사용자 에이전트들을 통해 대표되는 사용자들에 의해 공유될 수 있도록, 사용자 에이전트들과 햅틱 액추에이터들 사이의 연결들을 구축하기 위해 브로커 서비스를 사용한다. 일 실시예에서, 서비스는 햅틱 액추에이터들 및 사용자 에이전트들과 독립적으로 제공되는 제3자 서비스이다. 일 실시예에서, 서비스는, 햅틱 액추에이터들의 유형, 위치, 도달거리, 햅틱 능력 등과 같은, 햅틱 액추에이터들에 관한 다양한 정보를 수집하는 웹 서비스이다. 이 정보는, 햅틱 액추에이터들이 서비스를 통해 이용가능하게 만들기 위해, 햅틱 액추에이터들의 소유자에 의해 제공될 수 있다. 일 실시예에서, 서비스는 모바일 햅틱 액추에이터들의 위치를 추적한다. 예를 들어, 서비스는 GPS, 실내 위치결정 데이터, 카메라들 등을 사용하여 햅틱 액추에이터들의 위치를 추적할 수 있다. 일 실시예에서, 서비스는, Apple의 HomeKit, SmartThings 허브 등과 같은, 연결된 액세서리들/디바이스들을 관리하는 것을 가능하게 하는 프레임워크를 사용하여 햅틱 액추에이터들과 간접적으로 상호작용한다.
일 실시예에서, 사용자가 공유 디바이스를 찾아내고 햅틱 피드백을 수신하고자 할 때, 대응하는 사용자 에이전트는, 사용자의 근방에서 임의의 햅틱 액추에이터들이 이용가능한지 그리고/또는 사용자가 임의의 햅틱 액추에이터들로부터 도달거리 내에 있는지를 결정하기 위해, 브로커 서비스와 통신한다. 브로커 서비스는, 어느 액추에이터들이 사용자의 근방에 있는지를 결정하기 위해, 사용자의 위치는 물론 임의의 다른 이용가능한 센서 데이터(예컨대, 본원에 기술되는 임의의 실시예들에 따른 상호작용 센서 또는 임의의 다른 센서)를 사용할 수 있다. 브로커 서비스는 이어서, 사용자가 햅틱 액추에이터로부터 햅틱 피드백을 수신하게 하기 위해 사용자 에이전트와 식별된 액추에이터 사이에 연결이 구축될 수 있도록, 이용가능한 액추에이터들의 이용가능성 및 다른 정보(예컨대, 능력, 유형 등)를 사용자 에이전트에게 제공할 수 있다.
일 실시예에서, 브로커 서비스는 결제 시스템을 포함할 수 있다. 예를 들어, 일 실시예에서, 이용가능한 햅틱 액추에이터의 제공자는 그의 햅틱 액추에이터를 사용하기 위한 (예컨대, 시간 단위당, 햅틱 효과당, 기타) 연관된 비용을 나타낼 수 있다. 비용은 고정될 수 있거나, 시간, 경쟁자 가격 책정, 공급과 수요, 및 시장에서의 다른 외부 요인들과 같은, 다양한 파라미터들에 따라 동적으로 변할 수 있다. 동적 가격 책정을 구현하는 서비스의 일 예는 우버(Uber)이다. 일 실시예에서, 브로커 서비스는 햅틱 액추에이터들의 제공자들로부터 비용 정보(예컨대, 햅틱 효과당, 시간 단위당, 기타 가격)를 수집하고, 따라서 이 정보가 공유 햅틱 액추에이터들에 관해 질문하는 사용자 에이전트에 제공될 수 있다. 사용자가 공유 액추에이터로부터 햅틱 효과들을 수신하기 위해 비용을 지불하기로 동의하는 경우, 브로커 서비스는 공유 햅틱 액추에이터를 사용하는 것에 대해 사용자로부터 지불을 받기 위해 결제 시스템을 구현한다.
일 실시예에서, 햅틱 액추에이터의 소유자는 햅틱 액추에이터의 사용에 대한 가격을 시각의 함수로서 결정할 수 있다. 이 실시예에서, 사용자 에이전트는 햅틱 액추에이터를 사용하기 위해 요청을 할 때 이러한 가격을 통보받는다. 일 실시예에서, 사용자 에이전트는, 사용자 에이전트에 의해 대표되는 사용자에 의해 설정된 최고 가격과 같은, 규칙들에 기초하여 서비스 제안을 수락 또는 거부한다. 일 실시예에서, 예를 들어, 사용자 에이전트는 가장 저렴한 이용가능 햅틱 액추에이터를 선택하거나, 서비스 제안을 수락할지 여부를 사용자에게 질문할 수 있다.
일 실시예에서, 브로커 서비스 및/또는 사용자 에이전트는 사용 컨텍스트에 기초하여 사용할 최상의 공유 햅틱 액추에이터를 결정한다. 예를 들어, 일 실시예에서, 영화의 햅틱 트랙은 HD 액추에이터들에 의해 더 잘 제공될 수 있는 반면, 어떤 햅틱 통지들에 대해서는 SD 액추에이터로 충분할 수 있다. 일 실시예에서, 이용가능 공유 햅틱 액추에이터들에 관한 정보를 식별하고 수집한 후에, 브로커 서비스 및/또는 사용자 에이전트는 사용할 최상의 액추에이터가 사용자의 사용자 디바이스들 중 하나의 사용자 디바이스의 햅틱 액추에이터라고 결정할 수 있다.
일 실시예는 햅틱 액추에이터들을 식별하고 IoT와 같은 전세계 네트워크를 통해 이용가능하게 만든다. 일 실시예에서, 브로커 서비스는, 햅틱 액추에이터들이 클라우드에 등록하고 이어서 클라우드에 접속하고 이용가능한 햅틱 액추에이터들을 사용하고자 하는 다른 사용자들을 위해 이용가능한 웹 서비스로서 구현된다.
도 3은 본 발명의 실시예들에 따른 햅틱 기능의 흐름도이다. 일 실시예에서, 도 3(및 이하의 도 7 내지 도 9)의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형적(tangible) 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능이 하드웨어에 의해(예컨대, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 사용을 통해) 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
302에서, 사용자의 사용자 디바이스는 햅틱 통지가 사용자에게 제공될 필요가 있다고 표시한다. 예를 들어, 사용자의 스마트폰은 사용자가 통지를 햅틱적으로 통보받을 필요가 있다는 정보를 수신하거나 그렇다는 것을 다른 방식으로 결정할 수 있다.
304에서, 사용자 디바이스는 햅틱 통지를 사용자에게 제공하라는 요청으로 브로커 서비스와 접촉한다.
306에서, 브로커 서비스는 사용자의 근방에 있는 햅틱 액추에이터들을 식별한다. 예를 들어, 브로커 서비스는, 사용자가 근방에 또는 햅틱 액추에이터들로부터 도달거리 내에 있는지를 결정하기 위해, 사용자 디바이스 및 하나 이상의 공유 햅틱 액추에이터들의 GPS 또는 실내 위치결정 기능을 사용할 수 있다.
308에서, 브로커 서비스는 주어진 가격(예컨대, 햅틱 통지당, 시간 단위당, 기타)으로 햅틱 액추에이터를 사용자 디바이스에 제안한다. 가격은 햅틱 액추에이터들의 제공자에 의해 고정된 또는 동적 가격으로서 설정되었을 수 있다.
310에서, 사용자 디바이스는 햅틱 액추에이터를 주어진 가격으로 사용하기 위해 제안을 수락한다.
312에서, 브로커 서비스는 사용자 디바이스와 햅틱 제공자 사이에 통신을 구축한다. 일부 실시예들에서, 햅틱 제공자는 햅틱 액추에이터를 내장하고 있는 객체 내에 구현된다. 일부 다른 실시예들에서, 햅틱 제공자는 햅틱 액추에이터와 분리되어 있고, 햅틱 액추에이터는, 햅틱 제공자가 어떤 햅틱 효과들을 햅틱 액추에이터를 내장하고 있는 디바이스/객체로 송신할지를 결정할 수 있도록, 그 자신을 햅틱 제공자에 확인시키고/등록한다.
314에서, 햅틱 제공자는 햅틱 액추에이터에서 햅틱 피드백을 생성한다. 그에 따라, 사용자는 햅틱 제공자의 공유 햅틱 액추에이터를 통해 햅틱 통지를 수신한다.
IoT 물품 또는 모바일 디바이스로부터의 정보에 기초한 햅틱 경보
일 실시예에서, 사용자에 관련된 정보를 수집하기 위해 그리고 대응하는 햅틱 효과들을 사용자에게 제공하기 위해 다양한 IoT 물품들 및/또는 모바일 디바이스들이 이용된다. 이러한 물품들/디바이스들의 예들은 클라우드 시스템에 또는 다른 네트워크 시스템에 연결하기 위한 그리고 클라우드 시스템 또는 네트워크 시스템에 정보를 제공하기 위한 기능을 포함하는 스마트폰, 스마트 워치, 스마트 지갑, 스마트 의류, 스마트 냉장고, 또는 임의의 다른 물품들이다.
일 실시예에서, 햅틱 효과들은 IoT 물품들 및/또는 모바일 디바이스들로부터 수집된 정보에 의해 필요하게 되는 경보에 대응할 수 있다. 예를 들어, 사용자의 IoT 물품들 및/또는 모바일 디바이스들로부터의 정보가, 사용자가 물품을 빠뜨리고 있거나 필요로 하는지를 결정하고 필요한 경우 대응하는 경보들을 사용자에게 제공하기 위해, 처리될 수 있다. 경보는 다양한 실시예들을 참조하여 본원에 기술되는 바와 같이 사용자의 햅틱 지원 디바이스/객체에 의해 또는 공유 햅틱 액추에이터에 의해 사용자에게 제공되는 햅틱 경보일 수 있다.
도 4는 본 발명의 일 실시예에 따른, 햅틱 기능을 제공하는 예시적인 시스템(400)을 나타내고 있다. 시스템(400)은 사용자의 IoT 물품들 및/또는 모바일 디바이스들로부터 수집된 정보에 기초하여 햅틱 경보를 사용자에게 제공할 수 있는 사용자의 여행 가방(402)을 포함한다. 예를 들어, 햅틱 경보가 여행 가방(402)의 텔레스코픽 손잡이(telescopic handle)(406) 상의 햅틱 액추에이터(404)에 의해 그리고/또는 여행 가방(402)의 측면 손잡이(410) 상의 햅틱 액추에이터(408)에 의해 사용자에게 제공될 수 있다. 액추에이터들(404 및 408)은 다양한 실시예들을 참조하여 본원에 기술되는 임의의 햅틱 기능을 구현할 수 있다. 예를 들어, 액추에이터들(404 및 408)은 Immersion Corp.의 TouchSense™ 소프트웨어에 따른 기능을 구현할 수 있다.
일 실시예에서, 햅틱 액추에이터(408)에 부가하여, 여행 가방(402)의 측면 손잡이(410)는, 여행 가방(402)이 중량 초과인지를 알려주기 위해 햅틱 통지가 햅틱 액추에이터(408)를 통해 또는 사용자로부터 도달거리 내에 있는 다른 햅틱 지원 디바이스를 통해 사용자에게 제공될 수 있도록, 측면 손잡이(410)에 의해 들어 올려질 때 여행 가방(402)의 중량을 결정하는 데 사용될 수 있는 중량 센서를 포함할 수 있다.
일 실시예에서, 여행 가방(402)은, 스마트 의류 또는 스마트 전자 디바이스들과 같은, IoT에 연결되어 있는 사용자의 다양한 개인 물품들을 포함할 수 있다. 사용자의 IoT 물품들은, 정보를 수집하고 그 정보를 사용자가 여행 가방(402)에 챙겨 넣을 필요가 있는 것으로 표시한 물품들의 목록과 비교하는 클라우드 서비스로, 정보를 송신할 수 있다. 이러한 목록은 사용자에 의해 이전에 편집되어 클라우드 서비스에 제공되었을 수 있다. 비교가 사용자가 여행 가방(402)에 포함되었어야만 하는 물품을 빠뜨리고 있다는 것을 나타내는 경우, 독특한 햅틱 경보가 여행 가방(402)의 접이식 손잡이(406) 상의 햅틱 액추에이터(404)에 의해 또는 사용자로부터 도달거리 내에 있는 다른 햅틱 지원 디바이스에 의해 사용자에게 제공된다.
일 실시예에서, 여행 가방(402)은 또한 정보를 수집하고 햅틱 통지를 사용자에게 제공하는 데 사용되는 다양한 센서들을 포함할 수 있다. 예를 들어, 여행 가방(402)의 바퀴들(412)은 사용자가 움직이고 있는지를 결정하는 데 사용될 수 있는 가속도 센서를 포함할 수 있다. 여행 가방(402)의 바퀴들(412) 또는 임의의 다른 부분은 또한 사용자의 위치를 결정하는 데 사용될 수 있는 GPS 또는 다른 위치확인 기능을 포함할 수 있다. 가속도 센서, 위치확인 기능, 및/또는 IoT 물품들 또는 모바일 디바이스에 의해 제공되는 정보에 기초하여, 시스템(400)은 햅틱 액추에이터들(404 및/또는 408)을 통해 또는 사용자로부터 도달거리 내에 있는 다른 햅틱 지원 디바이스를 통해 임의의 필요한 햅틱 통지들을 사용자에게 제공할 수 있다. 일 실시예는 사용자 주위에 위치된 또는 시스템(400)과 수동으로 동기되는 IoT 물품들로부터 추가 정보를 수집할 수 있다.
일 실시예는 사용자의 위치에 기초하여 동적 햅틱 경보들을 제공한다. 예를 들어, 사용자가 공항의 쇼핑 구역에서 여행 가방(402)을 끌고 있으며 탑승 시간이 가까운 경우, 게이트로 돌아가라고 사용자에게 알려주기 위해 햅틱 통지가 액추에이터(404)를 통해 사용자에게 제공될 수 있다. 다른 예에서, 사용자가 공항의 쇼핑 구역에서 여행 가방(402)을 끌고 있으며 여행 가방(402)에 빠뜨린 물품이 있는 경우, 빠뜨린 물품을 쇼핑 구역에서 구입하라고 사용자에게 알려주기 위해 햅틱 통지가 액추에이터(404)를 통해 사용자에게 제공될 수 있다.
일 실시예에서, 시스템(400)이 어떤 물품들이 여행 가방(402)에 챙겨 넣어져 있는지를 결정한 후에, 시스템(400)은 사용자가 움직이고 있는지(예컨대, 호텔 밖에 있는지)를 추가로 결정할 수 있다. 예를 들어, 시스템(400)은 단지 여행 가방(402)을 채우는 것에 기인하지 않을 수 있는 강도를 가지는 움직임을 결정하기 위해 가속도 센서 및/또는 GPS 기능을 사용할 수 있다. 그에 따라, 여행 가방(402)이 움직이고 있는 것으로 결정될 때, 여행 가방(402)이 물품을 빠뜨리고 있는 경우 시스템(400)은 사용자에게 경보를 발할 수 있다. 일 실시예에서, 움직임이 증가됨에 따라 경보의 강도가 증가된다. 일 실시예에서, 시스템(400)은 햅틱 액추에이터(404) 또는 사용자로부터 도달거리 내에 있는 임의의 다른 햅틱 지원 디바이스를 통해 사용자에게 경보를 제공할 수 있다.
일 실시예는 사용자에 의해 이미 물품들에 대해 "체크섬(checksum)" 기능을 구현하는 것에 의해 사용자가 물품을 빠뜨리고 있거나 필요로 하는지를 결정한다. 예를 들어, 사용자가 물품을 빠뜨리고 있는지를 결정하기 위해 체크섬 기능이 여행 가방(402) 내의 IoT 물품들에 적용될 수 있다. 이러한 체크섬 기능은, 여행 가방(402)의 텔레스코픽 손잡이(406) 또는 사용자로부터 도달거리 내에 있는 다른 햅틱 지원 디바이스의 햅틱 액추에이터(404)와 같은, 사용자에게 가장 가까운 그리고/또는 사용자에 의해 착용/소지된 햅틱 지원 디바이스에서 재생될 대응하는 햅틱 효과들을 동적으로 생성하기 위해 사용될 수 있다.
실시예들은 또한 사용자의 위치에 기초하여 동적 경보들을 제공하는 임의의 기능에 적용가능하다. 예를 들어, 사용자가 슈퍼마켓에 있고 사용자의 스마트 냉장고가 어떤 물품(예컨대, 우유)이 없다는 것을 나타내는 경우, 사용자 디바이스 또는 사용자로부터 도달거리 내에 있는 임의의 다른 햅틱 지원 디바이스가 대응하는 햅틱 경보를 사용자에게 제공하기 위해 사용될 수 있다. 일 실시예는 이러한 경보들의 심각성 및/또는 우선순위를 추가로 명시하는 기능을 추가로 구현한다.
일 실시예는 물품들을 핵심 특징들로 라벨링하는 것에 의해 빠뜨린 물품들을 결정한다. 예를 들어, 일 실시예는 각각의 물품을 "버킷" 또는 "단순 물품"으로서 라벨링하고, 여기서 "버킷"은 다른 물품들을 보유하는 물품(예컨대, 여행 가방, 지갑, 핸드백, 배낭 등)이고, "단순 물품"은 "버킷" 내에 들어가는 물품(예컨대, 의류, 전화기, 컴퓨터, 태블릿, 잡화류 등)이다. 일 실시예는 상대적 특성들을 물품들에 추가로 연관시킨다. 예를 들어, 스마트 지갑은 최고 우선순위를 부여받을 수 있는 반면, 특정의 평상복 스마트 의류는 최저 우선순위를 부여받을 수 있다. 실시예는 이어서, 다양한 입력들(예컨대, 사용자의 스케줄, 위치 등)에 기초하여, 사용자가 사용자의 "물품들" 중 어느 것을 가지고 다녀야만 하는지를 결정하고, 빠뜨린 물품들 및 빠뜨린 물품들의 우선순위에 기초하여 경보들을 제공한다.
일 실시예는 클라우드에서의 디바이스 인증 및 등록, 그리고 클라우드에서의 디바이스들의 사용자 데이터 저장 및 디바이스들의 햅틱 능력들을 수행하는 클라우드 기반 햅틱 제어 시스템 또는 다른 원격 네트워크를 구현한다. 클라우드 기반 햅틱 제어 시스템은 또한 어느 디바이스에서 효과를 재생할지 및 어느 효과를 재생할지를 결정하기 위해 디바이스 및 효과 결정 기능을 실행한다. 결정 알고리즘들은 사용자 입력들 및 사용 컨텍스트에 기초할 수 있다. 이러한 사용자 입력들이 동일한 디바이스들에 의해 또는 그 디바이스들과 상이한 다른 컴포넌트들/디바이스들에 의해 제공될 수 있다.
일 실시예에서, 예를 들어, 클라우드 시스템은 공항에서의 보안검색 줄에 디바이스를 두고 가는 경우 디바이스의 사용자에게 경보를 발하기 위해 스마트 디바이스에의 연결을 구축하기 위해 사용될 수 있다. 다른 예로서, 클라우드 시스템은 위치 기반 경보들(예컨대, 주유소를 지나 운전하는 것, 스마트 냉장고로부터의 데이터에 기초하여 슈퍼마켓에서 물품을 구입하라는 경보를 수신하는 것 등)을 구현하기 위해 사용될 수 있다. 다른 예로서, 클라우드 시스템은 고 우선순위 물품이 사용자의 가방으로부터 도난당했을 때(예컨대, 지갑/전화기/손목시계를 가방에서 꺼내 갔을 때) 고 우선순위 경보를 재생하기 위해 사용될 수 있다.
일 실시예에서, 클라우드 백엔드는 어느 디바이스가 햅틱 효과들을 재생하는지 및 어느 햅틱 효과들을 재생할지를 제어하기 위해 디바이스 및 효과 결정 기능을 실행한다. 일 실시예는 클라우드에의 연결을 위한 디바이스측 기능 및 클라우드가 디바이스 상에서의 햅틱 재생을 제어할 수 있게 하는 SDK(software development kit)를 제공한다.
일 실시예는 각각의 노드(예컨대, 각각의 디바이스)가 클라우드 백엔드 대신에 디바이스 및 효과 결정 기능의 실행의 일부를 핸들링하는 디바이스들의 피어-투-피어 네트워크를 구현한다.
일 실시예는 경보들에 태깅한다. 상이한 종류들의 경보들에 태깅하는 것에 의해, 실시예는, 태깅된 통지를 수신할 때, 룩업 테이블이 태그에 대응하는 경보 햅틱 신호를 결정하고 이어서 경보 햅틱 신호를 적절한 햅틱 액추에이터로 중계하는 데 사용될 수 있도록, 태그들 및 연관된 경보들의 룩업 테이블을 구현할 수 있다.
도 5는 본 발명의 실시예들에 따른, 햅틱 기능을 제공하는 예시적인 클라우드 시스템(500)을 나타내고 있다. 특정 실시예들에서, 클라우드 시스템(500)에 의해 제공되는 서비스들은, 온라인 데이터 저장 및 백업 솔루션, 웹 기반 이메일 서비스, 호스팅되는 오피스 제품군 및 문서 협업 서비스, 데이터베이스 처리, 매니지드 기술 지원 서비스(managed technical support service), 및 햅틱 서비스와 같은, 요구 시에 클라우드 시스템(500)의 사용자들에게 이용가능하게 되는 다수의 서비스들을 포함할 수 있다. 클라우드 컴퓨팅은 구성가능 컴퓨팅 자원들(예컨대, 네트워크들, 서버들, 저장소, 애플리케이션들, 및 서비스들)의 공유 풀에의 편리한 온-디맨드 네트워크 액세스(on-demand network access)를 가능하게 하는 모델이다. 클라우드(또는 네트워크)를 통해 제공 또는 액세스되는 서비스들은 클라우드 서비스들이라고 지칭된다. 클라우드 서비스 제공자는 클라우드 서비스들을 클라우드 시스템(500)에 등록되어 있는 디바이스(502) 또는 객체(504)를 사용하는 고객이 이용가능하게 만들 수 있다.
클라우드 시스템(500)에 의해 제공되는 서비스들은 그의 사용자들의 욕구를 충족시키기 위해 동적으로 스케일링될 수 있다. 클라우드 시스템(500)에 의해 제공되는 서비스의 특정 인스턴스화는 "서비스 인스턴스(service instance)"라고 지칭된다. 일반적으로, 클라우드 서비스 제공자의 시스템으로부터, 인터넷과 같은, 통신 네트워크를 통해 사용자가 이용가능하게 되는 임의의 서비스는 "클라우드 서비스"라고 지칭된다. 전형적으로, 공중 클라우드 환경에서, 클라우드 서비스 제공자의 시스템을 이루고 있는 서버들 및 시스템들은 고객 자신의 개인 및/또는 구내 서버들 및 시스템들과 상이하다. 예를 들어, 클라우드 서비스 제공자의 시스템은 애플리케이션을 호스팅할 수 있고, 사용자는, 인터넷과 같은 통신 네트워크를 통해, 요구 시에(on demand), 애플리케이션을 주문하고 사용할 수 있다.
클라우드 시스템(500)은 네트워크(506)에 연결하는 기능을 구현하는 디바이스들(502) 및 객체(504)를 포함한다. 디바이스들(502)은 스마트폰, 스마트 워치, 스마트 냉장고 등을 포함할 수 있다. 객체들(504)은 다양한 실시예들을 참조하여 본원에 기술되는 임의의 IoT 객체들을 포함할 수 있다. 네트워크(506)는 하나 이상의 근거리 네트워크들, 원거리 네트워크들, 인터넷 등을 포함할 수 있다. 게다가, 네트워크(506)는, 예를 들어, 유선 및 무선 이더넷, 블루투스 등과 같은, 다양한 네트워크 프로토콜들을 실행하는, 예를 들어, 구리선 또는 동축 케이블 네트워크, 광섬유 네트워크, 블루투스 무선 네트워크, WiFi 무선 네트워크, CDMA, FDMA, 및 TDMA 셀룰러 무선 네트워크 등과 같은, 유선 및/또는 무선 네트워크들의 다양한 조합들을 포함할 수 있다.
디바이스들(502)은, 햅틱 액추에이터들을 포함하는, 햅틱 지원 개인 디바이스들 또는 임의의 다른 디바이스들을 포함할 수 있다. 객체들(504)은 또한 햅틱 지원이고 하나 이상의 햅틱 액추에이터들을 포함할 수 있다.
클라우드 시스템(500)은 네트워크(506)에 연결되는 서버(508)를 추가로 포함한다. 서버(508)는 클라우드 시스템(500)을 통해 햅틱 기능을 제공하기 위해 클라우드 시스템(500)에서 백엔드로서 동작할 수 있다. 클라우드 시스템(500)은 또한 클라우드 시스템(500)을 통해 백엔드 기능을 제공하기 위해 서버(508)에 의해 사용되는 데이터 저장소(510)를 포함할 수 있다. 서버(508)는 디바이스들(502) 및/또는 객체들(504) 내의 햅틱 액추에이터들을 통해 햅틱 효과들을 제공하기 위해 디바이스들(502) 및/또는 객체들(504) 상에서 실행 중인 클라이언트측 애플리케이션들과 통신하는 서버측 애플리케이션을 실행할 수 있다. 일 실시예에서, 서버측 애플리케이션은 햅틱 디바이스(502) 상에서 실행 중인 웹 브라우저 애플리케이션과 통신하는 웹 서버 애플리케이션이다. 다른 클라이언트-서버 및 분산 소프트웨어 아키텍처들이 또한 본 실시예들에 의해 생각되고 있다.
도 6은 본 발명의 실시예들에 따른, 햅틱 기능을 제공하는 예시적인 시스템(600)을 나타내고 있다. 시스템(600)은 도 5에서의 클라우드 시스템(500)과 같은 클라우드 시스템을 통해 디바이스 및 효과 결정 기능을 구현한다. 시스템(600)에서, 하나 이상의 사용자 디바이스들(602)은 다양한 정보(예컨대, 위치 정보, 경보들 등)를 클라우드 백엔드 서비스(604)에 제공한다. 클라우드 백엔드 서비스(604)는, 예를 들어, 도 5의 클라우드 시스템(500)의 서버(508) 및 데이터 저장소(510)에 의해 제공된다.
클라우드 백엔드 서비스(604)는 하나 이상의 햅틱 디바이스들(606)이 시스템(600)에 연결하고, 시스템(600)에 등록하며, 인증될 수 있게 하는 디바이스 등록 및 인증 모듈(608)을 포함한다. 햅틱 디바이스들(606)은 햅틱 지원 디바이스들(예컨대, 스마트폰, 스마트 워치 등) 또는 햅틱 지원 IoT 객체들(예컨대, 의자, 테이블 등)을 포함할 수 있다. 일 실시예에서, 햅틱 디바이스들(606)은, 다른 사용자들에 의해 사용될 수 있도록, 시스템(600)을 통해 그들의 제공자/사용자에 의해 공유되는 햅틱 지원 디바이스들/객체들을 포함할 수 있다.
클라우드 백엔드 서비스(604)는 또한, 디바이스 등록 및 인증 모듈(608)로부터 햅틱 디바이스 정보를 수신하고 공유/이용가능 햅틱 지원 디바이스/객체가 근방에 있거나 햅틱 효과들을 수신하고자 하는 사용자로부터 도달거리 내에 있는지를 결정하는, 사용자 데이터 모듈(610)을 포함한다. 사용자 데이터 모듈(610)은 이러한 결정을 하기 위해 클라우드 백엔드 서비스(604)에서 이용가능한 임의의 사용자 및/또는 디바이스 데이터를 사용할 수 있다. 예를 들어, 사용자 데이터 모듈(610)은 햅틱 디바이스들(606)의 위치 및 햅틱 효과들을 수신하고자 하거나 햅틱 경보로 통지받을 필요가 있는 사용자의 위치에 기초하여 이러한 결정을 할 수 있다.
클라우드 백엔드 서비스(604)는 또한, 이용가능한 햅틱 디바이스들(606)에 관한 정보를 사용자 데이터 모듈(610)로부터 수신하고 햅틱 효과들을 사용자에게 제공하기 위해 어느 햅틱 디바이스들(606)을 사용할지를 결정하는, 햅틱 디바이스 결정 모듈(612)을 포함한다. 클라우드 백엔드 서비스(604)는 또한, 선택된 햅틱 디바이스들(606)에 관한 정보를 햅틱 디바이스 결정 모듈(612)로부터 수신하고 선택된 햅틱 디바이스들(606) 상에서 어느 햅틱 효과들이 제공될 필요가 있는지를 결정하며 대응하는 명령들을 선택된 햅틱 디바이스들(606)로 송신하는, 햅틱 효과 결정 모듈(614)을 포함한다.
도 7은 일 실시예에서의 도 6의 햅틱 디바이스 결정 모듈(612)의 동작의 흐름도이다. 702에서, 햅틱 디바이스 결정 모듈(612)은 이용가능한 햅틱 디바이스들(606)에 관한 정보를 사용자 데이터 모듈(610)로부터 수신한다. 704에서, 햅틱 디바이스 결정 모듈(612)은 사용자에 대한 햅틱 디바이스들(606)의 근접성을 결정한다. 706에서, 햅틱 디바이스 결정 모듈(612)은 햅틱 디바이스들(606)의 햅틱 능력들을 결정한다. 햅틱 디바이스들(606)의 근접성 및 햅틱 능력들에 기초하여, 708에서, 햅틱 디바이스 결정 모듈(612)은 햅틱 효과들을 사용자에게 제공하기 위해 사용할 햅틱 디바이스들(606)의 하나 이상의 서브셋들을 결정한다.
예를 들어, 일 실시예에서, 햅틱 디바이스들(606)은 그들의 특성들(예컨대, 햅틱 능력들, 햅틱 기술(예컨대, 빈동, 투사, 변형 등), 햅틱 효과 강도/인지 등)에 기초하여 서브셋들로 분할될 수 있다. 예를 들어, 햅틱 디바이스들(606)의 하나의 서브셋은 사용자의 신체와 물리적으로 접촉하는 것으로 추정되는 접촉 기반 햅틱 디바이스들을 포함할 수 있고, 햅틱 디바이스들(606)의 다른 서브셋은 사용자로부터 도달거리 내에 있는 비접촉 기반 햅틱 디바이스들을 포함할 수 있다. 대안적으로 또는 그에 부가하여, 햅틱 디바이스들(606)은 그들의 지리적 위치 및/또는 그들이 내장되어 있는 디바이스/객체의 유형/특성들(예컨대, 모바일/비모바일 디바이스, 가전제품, 웨어러블/비웨어러블 디바이스, 개인/공중 객체, 보안/비보안 디바이스(예컨대, 디바이스가 패스워드 보호되는지 여부 등), 배터리 전원/라인 전원(battery-powered/line-powered) 디바이스 등)에 기초하여 서브셋들로 분할될 수 있다.
도 8은 일 실시예에서의 도 6의 햅틱 효과 결정 모듈(614)의 동작의 흐름도이다. 802에서, 햅틱 효과 결정 모듈(614)은 햅틱 효과들을 사용자에게 제공하기 위해 사용할 햅틱 디바이스 결정 모듈(612)에 의해 결정된 햅틱 디바이스들(606)의 하나 이상의 서브셋들에 관한 정보를 수신한다. 804에서, 햅틱 효과 결정 모듈(614)은 사용자에게 제공될 필요가 있는 통지의 심각성을 결정한다. 806에서, 햅틱 효과 결정 모듈(614)은 햅틱 디바이스 결정 모듈(612)에 의해 제공되는 서브셋들에서의 햅틱 디바이스들의 충실도를 결정한다. 디바이스들의 충실도 및 통지의 심각성에 기초하여, 808에서, 햅틱 효과 결정 모듈(614)은 통지를 사용자에게 제공하기 위한 햅틱 디바이스를 선택한다. 이러한 선택에 기초하여, 810에서, 햅틱 효과 결정 모듈(614)은 선택된 햅틱 디바이스를 통해 통지를 사용자에게 제공하기 위한 햅틱 효과를 선택한다.
일 실시예에서, 예를 들어, 햅틱 효과는 하나 이상의 입력 태그들에 기초하여 클라우드 라이브러리로부터 선택될 수 있다. 예를 들어, 일 실시예는 디바이스 유형에 대응하는 입력 태그 및 경보 유형에 대응하는 다른 입력 태그를 구현할 수 있고, 입력 태그들은, 조합하여, 이러한 경보 유형(예컨대, 고 우선순위 경보에 대한 강한 진동)을 이러한 디바이스 유형(예컨대, 저 충실도 진동 액추에이터를 포함하는 햅틱 디바이스) 상에서 제공하도록 구성되어 있는 라이브러리에서의 햅틱 효과를 식별해준다. 햅틱 디바이스 및 햅틱 효과들이 선택되면, 대응하는 정보가 햅틱 효과를 사용자에게 제공할 햅틱 디바이스에 제공된다.
도 9는 본 발명의 실시예들에 따른, 햅틱 효과들을 생성할 때 도 1의 햅틱 모듈(16)의 흐름도이다.
902에서, 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보가 수신되고, 904에서, 정보에 기초하여 사용자에게 제공될 통지가 결정된다.
906에서, 네트워크화된 시스템에 등록된 제2 디바이스가 선택된다. 일 실시예에서, 제2 디바이스는 네트워크화된 시스템에 등록된 복수의 디바이스들 중에서 선택되고, 복수의 디바이스들 각각은 햅틱 액추에이터를 포함한다. 일 실시예에서, 제2 디바이스는 사용자에 대한 제2 디바이스의 상대 위치에 기초하여 선택된다. 일 실시예에서, 사용자에 대한 제2 디바이스의 상대 위치는 제1 디바이스로부터 수신되는 정보 및 제2 디바이스에 관한 네트워크화된 시스템에 있는 정보에 기초하여 결정된다. 일 실시예에서, 제2 디바이스는 제2 디바이스의 햅틱 능력, 통지의 심각성, 및 제2 디바이스의 충실도에 추가로 기초하여 복수의 디바이스들 중에서 선택된다. 일 실시예에서, 제2 디바이스는 제2 디바이스와의 사용자 상호작용를 검출하도록 구성된 센서를 포함하고, 제2 디바이스는 사용자 상호작용에 기초하여 선택된다.
908에서, 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 통지가 사용자에게 제공된다. 일 실시예에서, 햅틱 효과가 통지의 특성들 및 제2 디바이스의 특성들에 기초하여 결정된다. 일 실시예에서, 통지의 특성들은 통지의 컨텍스트 또는 통지의 심각성을 포함한다. 일 실시예에서, 제2 디바이스의 특성들은 제2 디바이스의 충실도 또는 제2 디바이스의 햅틱 능력을 포함한다.
일 실시예에서, 제1 디바이스로부터 수신되는 정보는 사용자가 물품을 빠뜨리고 있다는 것을 나타낸다. 일 실시예에서, 네트워크화된 시스템은 사용자가 네트워크화된 시스템에 등록된 복수의 디바이스들로부터 수신되는 정보에 기초하여 물품을 빠뜨리고 있다고 결정한다. 일 실시예에서, 네트워크화된 시스템은, 복수의 디바이스들로부터 수신되는 정보를 사용자가 가질 필요가 있는 물품들의 목록 - 목록은 사용자의 위치에 기초함 - 과 비교하는 것에 의해, 사용자가 물품을 빠뜨리고 있다고 결정한다.
개시된 바와 같이, 실시예들은, 햅틱 효과들을 사용자에게 제공할 IoT 객체들/디바이스들과 같은, 다양한 네트워크 연결된 디바이스들을 사용하는 것을 가능하게 한다. 일 실시예에서, 필요한 경우 사용자에게 경보를 발하기 위해 사용자에 관련된 정보를 수집하기 위해 IoT 디바이스들이 사용된다. 일 실시예에서, 네트워크 연결된 햅틱 지원 디바이스들은 사용자가 이러한 디바이스들에 근접해 있거나 그로부터 도달거리 내에 있을 때 사용자에게 통지를 알려주기 위해 기회주의적으로 사용된다. 그에 따라, 실시예들은 보다 나은 햅틱 통지 커버리지를 가능하게 한다.
몇 개의 실시예들이 본원에 구체적으로 예시 및/또는 기술되어 있다. 그렇지만, 개시된 실시예들의 수정들 및 변형들이 이상의 교시내용들에 의해 다루어져 있고 본 발명의 사상 및 의도된 범주를 벗어나지 않고 첨부된 청구항들의 범위 내에 있다는 것을 알 것이다.

Claims (20)

  1. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 네트워크화된 시스템을 통해 햅틱 기능을 제공하게 하는 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체로서, 상기 제공하는 것은:
    상기 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보를 수신하는 것;
    상기 정보에 기초하여 사용자에게 제공될 통지를 결정하는 것;
    상기 네트워크화된 시스템에 등록된 제2 디바이스를 선택하는 것; 및
    상기 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 상기 사용자에게 상기 통지를 제공하는 것을 포함하는, 컴퓨터 판독가능 매체.
  2. 제1항에 있어서, 상기 제2 디바이스는 상기 네트워크화된 시스템에 등록된 복수의 디바이스 중에서 선택되고, 상기 복수의 디바이스 각각은 햅틱 액추에이터를 포함하는, 컴퓨터 판독가능 매체.
  3. 제2항에 있어서, 상기 제2 디바이스는 상기 사용자에 대한 상기 제2 디바이스의 상대 위치에 기초하여 선택되는, 컴퓨터 판독가능 매체.
  4. 제3항에 있어서, 상기 사용자에 대한 상기 제2 디바이스의 상대 위치는 상기 제1 디바이스로부터 수신되는 상기 정보 및 상기 제2 디바이스에 관한 상기 네트워크화된 시스템에 있는 정보에 기초하여 결정되는, 컴퓨터 판독가능 매체.
  5. 제3항에 있어서, 상기 제2 디바이스는 상기 제2 디바이스의 햅틱 능력, 상기 통지의 심각성, 및 상기 제2 디바이스의 충실도에 추가로 기초하여 상기 복수의 디바이스 중에서 선택되는, 컴퓨터 판독가능 매체.
  6. 제1항에 있어서, 상기 햅틱 효과는 상기 통지의 특성들 및 상기 제2 디바이스의 특성들에 기초하여 결정되는, 컴퓨터 판독가능 매체.
  7. 제6항에 있어서, 상기 통지의 특성들은 상기 통지의 컨텍스트 또는 상기 통지의 심각성을 포함하는, 컴퓨터 판독가능 매체.
  8. 제6항에 있어서, 상기 제2 디바이스의 특성들은 상기 제2 디바이스의 충실도 또는 상기 제2 디바이스의 햅틱 능력을 포함하는, 컴퓨터 판독가능 매체.
  9. 제1항에 있어서, 상기 제2 디바이스는 상기 제2 디바이스와의 사용자 상호작용를 검출하도록 구성된 센서를 포함하고, 상기 제2 디바이스는 상기 사용자 상호작용에 기초하여 선택되는, 컴퓨터 판독가능 매체.
  10. 제1항에 있어서, 상기 제1 디바이스로부터 수신되는 상기 정보는 상기 사용자가 물품(item)을 빠뜨리고 있다는 것을 나타내는, 컴퓨터 판독가능 매체.
  11. 제10항에 있어서, 상기 네트워크화된 시스템은 상기 네트워크화된 시스템에 등록된 복수의 디바이스로부터 수신되는 정보에 기초하여 상기 사용자가 물품을 빠뜨리고 있다고 결정하는, 컴퓨터 판독가능 매체.
  12. 제11항에 있어서, 상기 네트워크화된 시스템은, 상기 복수의 디바이스로부터 수신되는 상기 정보를 상기 사용자가 가질 필요가 있는 물품들의 목록 - 상기 목록은 상기 사용자의 위치에 기초함 - 과 비교하는 것에 의해, 상기 사용자가 물품을 빠뜨리고 있다고 결정하는, 컴퓨터 판독가능 매체.
  13. 네트워크화된 시스템을 통해 햅틱 기능을 제공하는 방법으로서,
    상기 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보를 수신하는 단계;
    상기 정보에 기초하여 사용자에게 제공될 통지를 결정하는 단계;
    상기 네트워크화된 시스템에 등록된 제2 디바이스를 선택하는 단계; 및
    상기 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 상기 사용자에게 상기 통지를 제공하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 제2 디바이스는 상기 네트워크화된 시스템에 등록된 복수의 디바이스 중에서 선택되고, 상기 복수의 디바이스 각각은 햅틱 액추에이터를 포함하는, 방법.
  15. 제14항에 있어서, 상기 제2 디바이스는 상기 사용자에 대한 상기 제2 디바이스의 상대 위치에 기초하여 선택되는, 방법.
  16. 제15항에 있어서, 상기 사용자에 대한 상기 제2 디바이스의 상대 위치는 상기 제1 디바이스로부터 수신되는 상기 정보 및 상기 제2 디바이스에 관한 상기 네트워크화된 시스템에 있는 정보에 기초하여 결정되는, 방법.
  17. 제15항에 있어서, 상기 제2 디바이스는 상기 제2 디바이스의 햅틱 능력, 상기 통지의 심각성, 및 상기 제2 디바이스의 충실도에 추가로 기초하여 상기 복수의 디바이스 중에서 선택되는, 방법.
  18. 제13항에 있어서, 상기 햅틱 효과는 상기 통지의 특성들 및 상기 제2 디바이스의 특성들에 기초하여 결정되는, 방법.
  19. 제18항에 있어서, 상기 통지의 특성들은 상기 통지의 컨텍스트 또는 상기 통지의 심각성을 포함하는, 방법.
  20. 네트워크화된 시스템을 통해 햅틱 기능을 제공하는 시스템으로서,
    상기 네트워크화된 시스템에 등록된 제1 디바이스로부터 정보를 수신하는 수신 모듈;
    상기 정보에 기초하여 사용자에게 제공될 통지를 결정하는 결정 모듈;
    상기 네트워크화된 시스템에 등록된 제2 디바이스를 선택하는 선택 모듈; 및
    상기 제2 디바이스 상에서 햅틱 효과를 생성하는 것에 의해 상기 사용자에게 상기 통지를 제공하는 제공 모듈을 포함하는, 시스템.
KR1020170062084A 2016-07-21 2017-05-19 네트워크 연결된 디바이스에 대한 햅틱 기능 KR20180010967A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/215,935 US9756604B1 (en) 2016-07-21 2016-07-21 Haptic functionality for network connected devices
US15/215,935 2016-07-21

Publications (1)

Publication Number Publication Date
KR20180010967A true KR20180010967A (ko) 2018-01-31

Family

ID=58664606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170062084A KR20180010967A (ko) 2016-07-21 2017-05-19 네트워크 연결된 디바이스에 대한 햅틱 기능

Country Status (5)

Country Link
US (3) US9756604B1 (ko)
EP (2) EP3273328B1 (ko)
JP (1) JP2018014708A (ko)
KR (1) KR20180010967A (ko)
CN (1) CN107643822B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756604B1 (en) 2016-07-21 2017-09-05 Immersion Corporation Haptic functionality for network connected devices
US10334899B2 (en) * 2016-09-30 2019-07-02 Intel Corporation Wearable adaptive electroactive polymer fabric
US10339771B2 (en) * 2017-02-03 2019-07-02 International Business Machines Coporation Three-dimensional holographic visual and haptic object warning based on visual recognition analysis
US10997649B2 (en) * 2017-06-12 2021-05-04 Disney Enterprises, Inc. Interactive retail venue
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
EP3553756A1 (de) * 2018-04-09 2019-10-16 Primetals Technologies Austria GmbH Alarmvorrichtung und verfahren zum auslösen eines vibrationsalarms
CA3106018C (en) * 2018-07-16 2023-07-11 Invista Textiles (U.K.) Limited Immersive display controlled by haptic switch
US10978066B2 (en) * 2019-01-08 2021-04-13 International Business Machines Corporation Analyzing information to provide topic avoidance alerts
US11011158B2 (en) 2019-01-08 2021-05-18 International Business Machines Corporation Analyzing data to provide alerts to conversation participants
US11107286B2 (en) * 2019-09-25 2021-08-31 Disney Enterprises, Inc. Synchronized effects for multi-user mixed reality experiences
DE102022000029A1 (de) * 2022-01-03 2022-03-03 Daimler Ag Verfahren zur Steigerung des Nutzerkomforts eines Fahrzeuginsassen und Fahrzeug

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1044895A (ja) * 1996-08-02 1998-02-17 Nissan Motor Co Ltd 移動体用警報装置
JP2006170619A (ja) * 2004-12-10 2006-06-29 Fujitsu Ten Ltd ナビゲーション装置
JP2008140196A (ja) * 2006-12-04 2008-06-19 Dainippon Printing Co Ltd 忘れ物防止システム
WO2010065067A1 (en) * 2008-11-20 2010-06-10 Bodymedia, Inc. Method and apparatus for determining critical care parameters
US20130328783A1 (en) * 2011-06-30 2013-12-12 Sheridan Martin Transmission of information to smart fabric ouput device
US9466187B2 (en) * 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
WO2014193824A1 (en) * 2013-05-28 2014-12-04 Pulletikurty Ravi System having a miniature portable electronic device for command and control of a plurality of wireless devices
US9451100B2 (en) * 2013-08-28 2016-09-20 Samsung Electronics Co., Ltd. Method for transmitting notification information and electronic device thereof
US9189932B2 (en) * 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
EP3110606B1 (en) * 2014-02-24 2021-09-15 Sony Group Corporation Smart wearable devices and methods for automatically configuring capabilities with biology and environment capture sensors
US9860123B2 (en) * 2014-04-11 2018-01-02 International Business Machines Corporation Role and proximity-based management of networks
US9733880B2 (en) * 2014-05-30 2017-08-15 Immersion Corporation Haptic notification manager
US9606624B2 (en) * 2014-07-02 2017-03-28 Immersion Corporation Systems and methods for surface elements that provide electrostatic haptic effects
US9526032B2 (en) * 2014-09-26 2016-12-20 Apple Inc. Network bandwidth sharing for small mobile devices
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
GB2539949A (en) * 2015-07-02 2017-01-04 Xovia Ltd Wearable Devices
US9756604B1 (en) 2016-07-21 2017-09-05 Immersion Corporation Haptic functionality for network connected devices

Also Published As

Publication number Publication date
US10251151B2 (en) 2019-04-02
US9756604B1 (en) 2017-09-05
EP3273328B1 (en) 2019-07-17
JP2018014708A (ja) 2018-01-25
EP3273328A3 (en) 2018-02-14
US10701663B2 (en) 2020-06-30
CN107643822B (zh) 2022-05-10
US20180027520A1 (en) 2018-01-25
EP3570147A1 (en) 2019-11-20
US20190268873A1 (en) 2019-08-29
EP3273328A2 (en) 2018-01-24
CN107643822A (zh) 2018-01-30

Similar Documents

Publication Publication Date Title
US10701663B2 (en) Haptic functionality for network connected devices
KR102447385B1 (ko) 트랜스퍼 계정들을 위한 사용자 인터페이스들
US10606359B2 (en) Systems and methods for haptically-enabled interactions with objects
CN107851144B (zh) 请求远程授权的设备的用户界面
US20200118401A1 (en) Machine learning methods and systems for tracking shoppers and interactions with items in a cashier-less store
US10495878B2 (en) Mobile terminal and controlling method thereof
KR101894022B1 (ko) Vr 공간을 제공하는 디바이스를 이용한 결제 방법 및 그 디바이스
US20140279422A1 (en) Methods and systems for agnostic payment systems
CN109583876A (zh) 用于可穿戴设备的忠诚度账户和自有品牌账户的用户界面
KR20160070569A (ko) 이동 단말기 및 그 제어 방법
CN115698925A (zh) 共享和使用通行证或账户
US10963938B2 (en) Systems and methods for providing an interactive virtual environment
US20160379183A1 (en) Methods and systems for agnostic payment systems
KR20170045610A (ko) 이동 단말기의 다인 결제 방법
KR20170014606A (ko) 이동단말기 및 그 제어방법
KR101898511B1 (ko) 모바일 어플리케이션을 이용한 통합 결제 관리방법
US20160371765A1 (en) Mobile terminal and user profile using method thereof
CN114173163B (zh) 数据处理方法、装置、计算机设备及介质
WO2014193519A1 (en) Methods and systems for agnostic payment systems
KR20120136966A (ko) 비주얼 객체를 이용한 감정 표현 방법, 시스템 및 이를 위한 단말기
KR20170017072A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application