KR20180060959A

KR20180060959A - 타겟화된 햅틱 투사

Info

Publication number: KR20180060959A
Application number: KR1020170132351A
Authority: KR
Inventors: 쟈니 마알로프; 로버트 더블유. 휴벨
Original assignee: 임머숀 코퍼레이션
Priority date: 2016-11-29
Filing date: 2017-10-12
Publication date: 2018-06-07
Also published as: US10373452B2; CN108121441A; JP2018088239A; EP3327545A1; US20180151035A1

Abstract

시스템은 햅틱 기능성을 제공한다. 시스템은 초음파 방출기를 포함하는 햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치를 결정한다. 시스템은 이후 햅틱 효과를 결정하고, 햅틱 디바이스의 초음파 방출기에 의해 사용자의 신체 영역에 햅틱 효과를 투사한다.

Description

타겟화된 햅틱 투사{TARGETED HAPTIC PROJECTION}

일 실시예는 일반적으로 햅틱 시스템에 관한 것이며, 특히 투사된 햅틱 기능성을 제공하는 시스템에 관한 것이다.

"햅틱"은 사용자에 대해, 힘, 진동 및 모션과 같은 햅틱 피드백 효과들(즉 "햅틱 효과들")을 적용함으로써 사용자의 터치감을 사용하는 촉각 및 힘 피드백 기술에 관한 것이다. 모바일 디바이스들, 터치스크린 디바이스들, 및 개인용 컴퓨터들과 같은 디바이스들이 햅틱 효과들을 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 생성할 수 있는 내장된 하드웨어(예컨대 액추에이터들)에 대한 호출들은 디바이스의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이러한 호출들은 어느 햅틱 효과를 재생할지를 특정한다. 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 일부 다른 제어를 사용하는 디바이스와 상호작용할 때, 디바이스의 OS는 내장된 하드웨어에 제어 회로를 통해 재생 커맨드를 송신할 수 있다. 내장된 하드웨어는 이후 적절한 햅틱 효과를 생성한다.

이 실시예는 햅틱 기능성을 제공하는 시스템이다. 시스템은 초음파 방출기를 포함하는 햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치를 결정한다. 시스템은 이후 햅틱 효과를 결정하고, 햅틱 디바이스의 초음파 방출기에 의해 사용자의 신체 영역에 햅틱 효과를 투사한다.

도 1은 본 발명의 실시예에 따른 컴퓨터 서버/시스템의 블록도이다.
도 2-7는 본 발명의 실시예에 따른 햅틱 기능성을 제공하기 위한 예시적인 시스템들을 예시한다.
도 8 및 9는 본 발명의 실시예들에 따라 햅틱 기능성을 수행할 때의 도 1의 투사된 햅틱 모듈의 동작의 흐름도들이다.

일 실시예는 상황고려된(contextualize) 햅틱 피드백 및/또는 통지들을 위해 투사된 햅틱 기능성을 제공한다. 일 실시예에서, 하나 이상의 비-접촉 햅틱 디바이스들(예를 들어, 초음파를 사용하여 햅틱 효과들을 제공하는 디바이스들)이 사용되어 햅틱 효과들을 사용자에게 투사한다. 일부 실시예들에서, 투사된 햅틱 효과들은 예를 들어, 사용자에게 제공될 필요가 있는 메시지, 서비스, 또는 경보에 관한 통지와 연관될 수 있다. 일부 대안적인 또는 추가적인 실시예들에서, 투사된 햅틱 효과들은 게임, 근육 자극, 스마트 햅틱 활성화(예를 들어, 압전, 전기활성 폴리머("EAP"), 형상 기억 합금("SMA"), 이온성 폴리머 금속 복합물("IPMC") 등과 같은 플렉시블하고, 변형가능한 액추에이터들인 "스마트 재료 액추에이터들"의 액추에이션 상태를 변경시키는 것), 가상 현실 상호작용들, 시각 장애를 위한 안내, 치료 마사지 등을 위해 사용될 수 있다.

도 1은 발명의 일 실시예에 따른 시스템(10)의 블록도를 예시한다. 일 실시예에서, 시스템(10)은 투사된(비-접촉 기반의) 햅틱 기능성을 제공하는 디바이스의 일부이다. 일 실시예에서, 디바이스는 사용자와 물리적으로 접촉하지 않고 사용자에게 햅틱 효과들을 투사한다.

단일 시스템으로서 도시되지만, 시스템(10)의 기능성은 분산형 시스템으로서 구현될 수 있다. 시스템(10)은 버스(12) 또는 정보를 통신하기 위한 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스(12)에 커플링되는 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 범용 또는 특수 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보 및 명령어들을 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 타입의 일시적 또는 비-일시적 컴퓨터-판독가능 매체의 임의의 조합으로 구성될 수 있다.

컴퓨터-판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 가용적인 일시적 또는 비-일시적 매체일 수 있고, 휘발성 및 비-휘발성 매체, 제거가능 및 제거-불가능 매체 둘 모두, 통신 매체, 및 저장 매체를 포함할 수 있다. 통신 매체는 컴퓨터-판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터를 포함할 수 있고, 본 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능한 프로그래밍가능 판독-전용 메모리("EPROM"), 전기적 소거가능한 프로그래밍가능 판독-전용 메모리("EEPROM"), 레지스터들, 하드디스크들, 제거가능 디스크들, 컴팩트 디스크 판독-전용 메모리("CD-ROM"), 또는 본 기술분야에 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.

일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은 일 실시예에서 시스템(10) 뿐만 아니라 모바일 디바이스의 나머지에 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 본원에서 더 상세히 개시되는 바와 같이, 모듈들은 투사된 햅틱 기능성을 제공하는 투사된 햅틱 모듈(16)을 더 포함한다. 특정 실시예들에서, 투사된 햅틱 모듈(16)은 복수의 모듈들을 포함할 수 있고, 각각의 모듈은 투사된 햅틱 효과들을 제공하기 위한 특정 개별 기능성을 제공한다. 시스템(10)은 Immersion Corp.에 의한 TouchSense™ 소프트웨어와 같은 추가적인 기능성을 포함하기 위한 하나 이상의 추가적인 응용 모듈들(18)을 통상적으로 포함한다.

시스템(10)은, 원격 리소스들로부터 데이터를 전송 및/또는 수신하는 실시예들에서, 적외선, 라디오, Wi-Fi, 셀룰러 네트워크 통신 등과 같은 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 더 포함한다. 다른 실시예들에서, 통신 디바이스(20)는 이더넷 접속, 모뎀 등과 같은 유선 네트워크 접속을 제공한다.

시스템(10)은 초음파들을 방출함으로써 햅틱 효과들을 투사하는 햅틱 출력 디바이스(26)를 더 포함한다. 일반적으로, 초음파들은 사람 청력의 가청 상한보다 더 높은 주파수들을 가지는 음파들이다. 일부 초음파 디바이스들은 20 kHz 내지 수 기가헤르츠까지의 주파수들을 이용하여 동작한다. 일 실시예에서, 햅틱 출력 디바이스(26)는 초음파들을 전송하기 위한 트랜스듀서 어레이(또는 방출기 어레이)를 포함한다. 트랜스듀서 어레이는 선형 어레이, 볼록(convex) 어레이, 파라미터 어레이, 행렬 어레이, 위상(phased) 어레이, 음향 어레이, 또는 본 기술분야에 공지되어 있으며 초음파들을 전송할 수 있는 임의의 다른 트랜스듀서 어레이일 수 있다. 트랜스듀서 어레이의 엘리먼트들은 압전 트랜스듀서들, 용량성 마이크로머신 트랜스듀서("CMUT")들, 또는 본 기술분야에 공지되어 있으며 초음파들을 전송할 수 있는 임의의 다른 어레이를 포함할 수 있다. 이러한 실시예들에서, 모듈들(18)은 본원에 개시된 바와 같은 초음파-기반 햅틱 효과들을 생성하기 위한 초음파 구동 신호들을 생성하기 위한 추가적인 기능성을 포함할 수 있다.

또한, 다른 대안적인 실시예들에서, 시스템(10)은 햅틱 출력 디바이스(26)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스가 투사된 햅틱 효과들을 생성하는 햅틱 출력 디바이스를 포함하며, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 생성된 햅틱 신호들을 송신한다.

시스템(10)은, 일 실시예에서, 스피커(28)를 더 포함한다. 프로세서(22)는 차례로 오디오 효과들을 출력하는 스피커(28)에 오디오 신호를 전송할 수 있다. 스피커(28)는, 예를 들어, 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자왜식 라우드스피커, 정전 라우드스피커, 리본 또는 평면 자기 라우드스피커, 굴곡파(bending wave) 라우드스피커, 평판 라우드스피커, 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 디지털 라우드스피커 등일 수 있다. 대안적인 실시예들에서, 시스템(10)은 스피커(28) 뿐만 아니라, 하나 이상의 추가적인 스피커들을 포함할 수 있다(도 1에 예시되지 않음). 또한, 다른 대안적인 실시예들에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스가 오디오 효과들을 출력하는 스피커를 포함하고, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 오디오 신호들을 송신한다.

시스템(10)은, 일 실시예에서, 센서(30)를 더 포함한다. 센서(30)는 사운드, 움직임, 가속도, 생체 신호들, 거리, 흐름, 힘/압력/변형/구부림, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 가시광 강도 등과 같은, 그러나 이에 제한되지 않는, 에너지의 형태 또는 다른 물리적 특징을 검출하도록 구성될 수 있다. 센서(30)는 또한 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 전환하도록 구성될 수 있다. 센서(30)는 가속계, 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서(또는 구부림 센서), 힘-감지형 저항기, 로드 셀, LuSense CPS2 155, 소형 압력 트랜스듀서, 피에조 센서, 스트레인 게이지(strain gauge), 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변압기, 나침반, 경사계, 자기 태그(또는 라디오 주파수 식별("RFID") 태그), 회전 인코더, 회전 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예컨대, 온도계, 열전대, 저항 온도 검출기, 서미스터, 온도-트랜스듀싱 집적 회로 등), 마이크로폰, 광도계, 고도계, 생체 모니터, 카메라, 광-종속형 저항기 등과 같은, 그러나 이에 제한되지 않는, 임의의 디바이스, 또는 심전도, 뇌전도, 근전계, 안구전도, 전자구개도(electropalatograph), 또는 임의의 다른 전기생리학적 출력을 출력하는 임의의 디바이스일 수 있다.

대안적인 실시예들에서, 시스템(10)은 센서(30) 뿐만 아니라, 하나 이상의 추가적인 센서들(도 1에 예시되지 않음)을 포함할 수 있다. 이러한 실시예들 중 일부에서, 센서(30) 및 하나 이상의 추가적인 센서들은 센서 어레이의 일부, 또는 센서들의 일부 다른 타입의 집합/배열일 수 있다. 또한, 다른 대안적인 실시예들에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스가 에너지의 형태, 또는 다른 물리적 특징을 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 다른 타입의 신호로 전환시킨다. 디바이스는 이후, 통신 디바이스(20)를 통해 시스템(10)에 전환된 신호를 송신할 수 있다.

일반적으로, 일부 공지된 시스템들은 사용자들에게 비-햅틱 경보(alert)들을 제공한다. 예를 들어, 일부 공지된 시스템들에서, 알람 시계 또는 주변 조명의 변경과 같은 비-햅틱 경보 메커니즘이 수면중인 사용자를 깨우기 위해 사용된다. 그러나, 이러한 경보들은 일부 사용자들을 깨우기에는 충분히 효과적이지 않을 수 있다. 따라서, 이러한 경보들은 의도된 사용자 주변에 있는 다른 사용자들(예를 들어, 의도된 사용자 옆에 있는 수면중인 배우자 또는 아이)에게 부정적 영향을 줄 수 있다.

공지된 시스템들에 반해, 본 발명의 실시예들은 비-접촉 햅틱 디바이스들을 사용하여 특정 사용자에게만 의도되는 타겟화된 햅틱 효과들을 제공한다. 일부 실시예들은 가까이 있는 2차 사용자(또는 사용자들의 그룹들)를 방해하지 않고 특정 사용자(또는 사용자들의 그룹)에 상황상의 햅틱 효과들을 조용히 전달한다. 실시예들은 햅틱 효과들을 투사하고, 따라서, 사용자와 접촉하는 디바이스/오브젝트에 내장되는 햅틱 출력 디바이스, 예컨대, 핸드헬드 디바이스(예를 들어, 제어기 또는 모바일 폰), 웨어러블(예를 들어, 시계 또는 피트니스 밴드) 또는 가구(예를 들어, 침대 또는 의자)를 요구하지 않는다. 일 실시예는 사용자의 신체의 특정 영역들 상에 초음파 패턴들을 포커싱함으로써 사용자에게 초음파 진동들을 적용한다. 영역들은 이미지 인식 또는 본 기술분야에 공지된 임의의 다른 유사한 기능성을 통해 검출될 수 있다. 따라서, 실시예들은 사용자의 신체의 특정 영역을 타겟으로 하는 투사된 햅틱 효과들을 제공할 수 있다.

다양한 실시예들에서, 사용자의 특정 신체 영역을 타겟으로 하는 투사된 햅틱 패턴은, 예를 들어, 사용자가 잠에서 깨도록 살짝 미는 알람을 조용히 제공하고, 인입 통신(예를 들어, 폰/비디오 호출, 메시지 등)에 대해 사용자에게 경보하고, 게임 내의 이벤트들에 대한 반응을 시뮬레이트하고(예를 들어, 바람과 같은 환경 엘리먼트들을 느끼고, 버튼 클릭 또는 스위치 활성화와 같은 게임 내의 상호작용들을 느끼고, 피해입기와 같은 플레이어 상태의 변경을 느끼거나, 또는 플레이어의 건강 또는 보호막들을 파워 업 시키는 등), 사용자의 특정 신체 영역을 마사지하고, 시각 장애 사용자에게 안내를 제공하고, 미디어를 시청하는 동안 사용자에게 햅틱 효과들을 렌더링하는 등을 수행할 수 있다.

일부 실시예들에서, 예를 들어, 사용자를 깨우기 위해, 침대 커버들은 사용자(근처에 있는 또다른 사용자가 아님)의 신체의 특정 영역에 정전기 햅틱 효과들을 생성하도록 유도될 수 있다. 유사하게, 햅틱 액추에이터들은 침대 또는 베개 내에 내장되어 사용자를 깨우기 위한 햅틱 효과들(예를 들어, 진동 효과들)을 제공할 수 있다. 그러나, 내장된 액추에이터들 및/또는 결과적인 햅틱 효과들은 사용자에게 불편할 수 있다. 또한, 이러한 경보 시스템들은 원격 시스템들이 아니며, 이에 의해, 안락함, 유연성, 내구성, 또는 원격 시스템의 임의의 다른 이점들을 제공하지 않는다. 반면, 초음파-기반 햅틱 효과들은 원격 위치로부터 사용자에게로 생성 및 투사될 수 있고, 따라서, 사용자에 대한 불편함을 야기하지 않는다.

일부 실시예들에서, 예를 들어, 게임 또는 가상 현실 시스템들에서, 지향된 공기 퍼프들이 사용되어 햅틱 효과들을 사용자에게 제공할 수 있다. 그러나, 이러한 시스템들은 일반적으로 시끄러우며, 따라서 일부 사용자들에게는 바람직하지 않다. 반면, 초음파-기반 햅틱 효과들은 조용하게 생성되어 투사될 수 있다.

일부 실시예들은 가까이 있는 2차 사용자를 방해하지 않고 사용자에게 피드백을 적용하기 위해 워터 테라피 기술을 사용할 수 있다. 예를 들어, 또다른 근처 사용자에게 영향을 주지 않고 온수/냉수가 인가되어 사용자를 마사지할 수 있다. 그러나, 이러한 실시예들은 물이 있는(aquatic) 환경들에만 적용가능하다. 반면, 초음파-기반 햅틱 효과들은 물이 없는(non-aquatic) 환경들에서 생성되어 투사될 수 있다.

일반적으로, 파라미터 어레이가 초음파들을 전송하기 위해 사용될 수 있다. 파라미터 어레이는 고주파수 음파들의 혼합 및 상호작용을 통해, 저주파수 사운드의 좁은, 거의 사이드 로브-없는 빔들을 생성하기 위한 비선형 트랜스듀션을 제공하여, 선형 음향과 연관된 회절 제한을 효과적으로 극복하는 트랜스듀서들의 어레이이다. 저주파수 사운드의 주요 사이드-로브 없는 빔은 2개의 고주파수 사운드 빔들의 이들의 차이 주파수에서의 비선형 혼합의 결과로서 생성된다. 따라서, 트랜스듀서는 그것이 통과하는 공기중의 사운드의 속도를 실질적으로 변경시키기에 충분히 강력한(예를 들어, 100 내지 110 dBSPL) 변조된 초음파의 좁은 빔을 투사할 수 있다. 빔 내의 공기는 비선형적으로 행동하고, 초음파로부터 변조 신호를 추출하여, 빔의 경로를 따라서만 들릴 수 있거나, 또는 빔이 때리는 임의의 표면으로부터 복사하는 것으로 나타나는 사운드를 초래한다. 이는 빔 외부의 청취자가 아무것도 듣지 않도록 사운드의 빔이 장거리에 걸쳐 투사되고 작은 널리-정의된 영역 내에서만 들리도록 한다. 이러한 사운드의 초음파 전송은 또한 극초음속 사운드(hypersonic sound)라 지칭된다.

실시예들은 시간 반전 신호 프로세싱을 사용하여 파들을 포커싱할 수 있는 시간 반전 미러(Time Reversal Mirror)("TRM")를 더 포함할 수 있다. 시간 반전 신호 프로세싱은 초음파와 같은 파들을 포커싱하기 위해 사용될 수 있다. 시간 반전은 파동 방정식의 가역성에 기초하는데, 즉, 파동 방정식에 대한 해가 주어지면, 그 해의 시간 반전(음의 시간을 사용함) 역시 해이다. 시간 반전은 정합 필터로서 모델링될 수 있다. 델타 함수가 원래 신호인 경우, TRM에서 수신되는 신호는 채널의 임펄스 응답이다. TRM은 동일한 채널을 통해 임펄스 응답의 반전된 버전을 역 송신하여, 그것을 효과적으로 자기-상관시킨다. 이러한 자기 상관 함수는 원래 소스가 있었던 원점에서 피크를 가진다.

일 실시예에서, 파라미터 어레이는 사용자의 신체 영역 상에 햅틱 감각을 야기하는 초음파들을 전송하기 위해 사용될 수 있고, TRM은 사용자의 신체 영역 상에 초음파들을 포커싱하기 위해 사용될 수 있다. 다양한 실시예들에서, 임의의 공지된 시스템은, 예를 들어 "B. Long, S. A. Seah, T. Carter and S. Subramanian, Rendering Volumetric Haptic Shapes in Mid-Air Using Ultrasound, Volume 33, Issue #7 of ACM Transactions on Graphics (Siggraph Asia) 2014"에 개시된 바와 같이 햅틱 효과들을 제공하기 위한 초음파 기술을 구현하기 위해 사용될 수 있다. 일부 공지된 시스템들은 다수의 초음파 스피커들을 사용하여 사용자 주위의 기압에서의 변경을 수행함으로써 자유 공간에서 햅틱 피드백을 제공한다. 이는 환경에서 포커싱된 기압의 포켓들(pocket)을 느끼고, 사용자에게 제스쳐들, 비가시적 인터페이스들, 텍스쳐들, 가상 오브젝트들 등에 대한 촉각적 큐들을 주는 능력을 제공한다. 초점은 모든 음파들이 동시에 초점에 도달하도록 특정 위상 지연들을 가지고 초음파 트랜스듀서들을 트리거함으로써 생성될 수 있다. 초음파는 그것이 피부의 진동으로서 인지되도록 변조될 수 있다. 변조 주파수를 변경하거나, 피드백을 펄스화시키는 것은 상이한 텍스쳐들을 시뮬레이트할 수 있다. 각각의 피드백 포인트에 상이한 변조 주파수를 줌으로써, 상이한 텍스쳐들을 가지는 상이한 피드백이 동시에 사용자에게 적용될 수 있다.

일반적으로 위치에서 수신되는 사운드에 의해 야기되는 압력은 음압이라 지칭되며, 옥타브 대역들 당 데시벨(dB)로 측정된다. 일부 실시예들에서, 사용자의 신체 상의 특정 영역에서 수신되는 초음파 압력의 측정들이 사용되어 햅틱 효과들을 설계하여 사용자에게 투사하고, 햅틱 패턴(예를 들어, 두드리기, 살짝 밀기, 밀기, 마사지하기 등)을 야기한다. 일부 실시예들에서, 햅틱 패턴은 신체의 일부들에 대한 펄스화된 패턴의 움직임이 피부 상에서 패턴들의 모션의 감각을 주도록 할 수 있다.

일 실시예에서, 햅틱 효과들은 포커싱된 초음파 신호들을 사용하여 투사된다. 예를 들어, 음향 렌즈가 사용되어 타겟(예를 들어, 사용자의 신체 영역) 상에 초음파의 다수의 교차 빔들을 정밀하게 그리고 정확하게 집중시킬 수 있고, 햅틱 효과들은 포커싱된 초음파 펄스들의 타겟에서 발생할 수 있다(예를 들어, 두드리는 또는 살짝 미는 감각).

일 실시예에서, 햅틱 효과들은 초음파/음향 펄스들의 건설적(constructive) 간섭에 의해 투사된다. 2개 파들이 이들의 마루들이 줄짓는 방식으로 만날 때 건설적 간섭이 발생한다. 일 실시예에서, 초음파 방출기들은 사용자의 신체 영역 상의 타겟 위치에서 건설적으로 간섭하여, 따라서 그 신체 영역 내의 햅틱 감각들을 야기하는 초음파들을 제공하도록 구성된다.

일부 실시예들에서, 수동적 촉각 경험이 공간 내의 가상 오브젝트와 상호작용하는 사용자에게 제공된다. 예를 들어, 투사된 햅틱 효과들은 사용자가 공기 중의 가상 형상의 에지들/둘레를 느끼도록 할 수 있다. 그러나, 일부 실시예들은, 사용자가 공간 내의 가상 오브젝트와 상호작용할 필요 없이 초음파에 의해 생성되는 햅틱 효과들과 같은 투사된 햅틱 효과들을 적용함으로써 사용자에게 능동적 촉각적 경험을 제공하며, 여기서 사운드 패턴들은 촉각적 경험을 사용자에게 주는 것에 관련된다.

일 실시예는 가변 강도를 가지는 초음파 햅틱 형상들 또는 패턴들을 생성하는 초음파 햅틱 발생 패널/디바이스를 제공한다. 실시예는 사용자의 존재 및 특정 신체 위치들에 햅틱 효과들을 전달하기 위한 사용자의 신체 일부들의 위치를 검출하기 위해 (예를 들어, 센서(30)를 사용하여) 모션 감지 또는 사운드 감지 기능성을 구현한다. 일 실시예는 단일보다 더 많은 사용자를 감지하고, 사용자들의 동일한 또는 상이한 신체 위치들에 (동일하거나 상이한 햅틱 파라미터들을 가지고) 동일하거나 상이한 햅틱 효과들을 지시한다. 일 실시예는 폰들, 스마트 워치들, 및 블루투스, WiFi 등과 같은 무선 기술을 가지는 다른 디바이스들과 접속 및 인터페이싱할 수 있다.

일 실시예는 공간 내 특정 포인트들에서 초음파 형상들 또는 패턴들을 생성하기 위해 패널 또는 다른 어레이에 장착되는 초음파 방출기들(또는 트랜스듀서들)을 포함하는 초음파 햅틱 생성 어레이를 포함한다. 실시예는 포지션 또는 오디오 감지와 같은 감지 기능성(예를 들어, 카메라들, 마이크로폰들, 열 감지, 적외선 감지 등)을 더 포함한다. 실시예는 사용자의 포지션을 결정하기 위해 센서 피드를 분석하는 프로세싱 기능성, 및 원하는 포지션에서 원하는 햅틱 형상을 생성하는 구동 유닛을 더 포함한다. 실시예는 다수의 초음파 유닛들이 텐덤(tandem)으로 작용할 수 있고, 그리고/또는 다수의 햅틱 타겟들이 투사된 햅틱 효과들을 수신할 수 있도록, 네트워킹 기능성(예를 들어, 통신 디바이스(20)를 사용하는)을 더 포함할 수 있다.

일부 실시예들에서, 초음파 햅틱 패널들/디바이스들은 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 포지션/위치를 시프트시킬 수 있다. 따라서, 패널들/디바이스들의 배향은, 사용자가 움직임에 따라 또는 특정 신체 영역이 움직임에 따라 패널들 및/또는 결과적인 초음파들이 사용자쪽으로 또는 사용자의 특정 신체 영역 쪽으로 계속 지향되도록 조정될 수 있다.

일반적으로, 특정 주파수들 및 크기들에서의 초음파 오디오는, 예를 들어, "Effects of Ultrasonic Noise on the Human Body―A Bibliographic Review, International Journal of Occupational Safety and Ergonomics (JOSE) 2013, Vol. 19, No. 2, 195-202"에 개시된 바와 같이, 사람 신체에 유해할 수 있다. 따라서, 일 실시예는 사용자들에 대한 초음파의 임의의 잠재적으로 유해한 영향들을 감소시킨다. 일 실시예는 초음파 펄스들이 민감한 신체 영역들(예를 들어, 눈)로 지향되지 않고, 초음파 펄스들이 손상을 주는 열 효과들을 생성할 수 있는 강도들에 있지 않도록, 사용자 포지션 및 모션을 추적하고 추적 정보에 기초하여 초음파 펄스들의 햅틱 파라미터들을 조정한다.

예를 들어, 일 실시예는 이미지 인식 기능성을 구현하여 사용자의 타겟화된 신체 영역의 이미지들을 룩 업 테이블 내의 공지된 민감한 신체 영역들(예를 들어, 눈)의 하나 이상의 이미지들과 비교하고, 정합이 식별될 때 초음파 투사를 방지할 수 있다.

또다른 예로서, 일 실시예는 초음파-기반 햅틱 효과들의 계산된 햅틱 파라미터들을 수신하고, 투사의 타겟에서의 결과적인 초음파들의 강도를 계산하고, 강도가 임계보다 더 높을 때 초음파 투사를 방지할 수 있다. 임계는 상이한 신체 영역들에 대해 상이할 수 있고, 상이한 사용자들에 대해 상이할 수 있고, 사용자들의 성별, 나이, 키, 몸무게 또는 임의의 다른 특성들에 의존할 수 있고, 그리고/또는 사용자 선호도들에 기초하여 구성될 수 있다. 사용자 선호도들 및/또는 신원은 햅틱 출력 디바이스에서 구성될 수 있거나, 또는 본 기술분야에 공지된 임의의 이미지 인식 기능성을 구현함으로써 결정될 수 있다.

일 실시예에서, 예를 들어, 투사의 타겟에서 결과적인 초음파들의 강도의 임계 값은 햅틱 출력 디바이스에 인가되는 전압의 비율에 대응할 수 있다. 예를 들어, 100% 전압 값은 일 실시예에서, 높은 임계 값으로서 구성될 수 있다. 또다른 실시예에서, 높은 임계 값은 비율들의 범위를 포함할 수 있다. 예를 들어, 90%-100% 전압 값들의 범위는 높은 임계 값 범위로서 구성될 수 있고, 그 범위 내의 상이한 값들은 상이한 신체 영역들, 사용자들, 성별들, 나이들 등에 대응한다.

도 2는 일 실시예에서, 동일한 침대(206)에서 자는 제1 사용자(202) 및/또는 제2 사용자(204)를 조용히 깨우기 위한 햅틱 기능성을 제공하는 예시적인 시스템(200)이다. 예를 들어, 제1 사용자(202) 및/또는 제2 사용자(204)는 단지 알람 시계로는 깨지 않으며, 이들의 어깨를 손으로 살짝 밀거나 어깨를 두드리는 경우 보다 용이하게 일어나는 숙면자들일 수 있다. 따라서, 제1 사용자(202) 및/또는 제2 사용자(204)는 초음파 플랫폼을 구현하고, 예를 들어, 손으로 어깨를 살짝 밀거나 어깨를 두드리는 형태로 이들의 어깨에 햅틱 패턴을 제공하도록 구성할 수 있다. 예를 들어, 제1 초음파 방출기(208)는 제1 사용자(202)에 대해 초음파-기반 햅틱 효과들을 투사하도록 구성될 수 있다. 유사하게, 제2 초음파 방출기(210)는 제2 사용자(204)에 대해 초음파-기반 햅틱 효과들을 투사하도록 구성될 수 있다. 제1 초음파 방출기(208) 및 제2 초음파 방출기(210)는 독립적으로, 그리고 제1 사용자(202) 및 제2 사용자(204)의 각자의 선호도들에 따라 구성되고 동작할 수 있다. 의도된 사용자에 대해 시스템(200)에 의해 제공되는 조용한 깨우기 기능성은 근처 사용자(예를 들어, 배우자 또는 아이)를 깨우지 않는다.

일 실시예에서, 시스템(200)은 제1 사용자(202)(또는 제2 사용자(204))의 신체 영역의 이미지들을 찍고, 이미지 인식 기능성을 구현하여 그 이미지들을 룩 업 테이블 내에 저장된 하나 이상의 타겟화된 신체 영역 이미지들 또는 형상들(예를 들어, 손, 어깨, 몸통 등의 이미지 또는 형상)과 비교하고, 정합이 식별될 때 초음파 햅틱 효과들을 투사할 수 있다. 예를 들어, 제1 사용자(202)(또는 제2 사용자(204))가 특정 신체 영역(예를 들어, 어깨) 상에서 햅틱 깨우기 알람을 수신하기 위한 선호도를 나타낼 때, 시스템(200)은 선호되는 신체 영역을 탐색 및 식별하고, 그 신체 영역에 초음파 햅틱 효과들을 투사하도록 구성될 수 있다.

다양한 실시예들에서, 선호되는 신체 영역은 머리 및 목의 일부들(예를 들어, 얼굴, 귀, 코, 이마 등), 손의 일부들(예를 들어, 손가락, 관절, 손바닥, 손등, 손목 등), 다리의 일부들(예를 들어, 엉덩이, 허벅지, 종아리, 발 등), 발의 일부들(발가락, 관절, 발목, 발등, 발바닥 등) 등을 포함할 수 있다. 예를 들어, 햅틱 깨우기 알람을 구성하기 위해, 수면동안 노출될 수 있는 임의의 신체 부분이 초음파 햅틱 투사를 위한 선호되는 신체 영역으로서 선택될 수 있다.

도 3은 동일한 침대(206)에서 수면 중인 제1 사용자(202) 및 제2 사용자(204)를 조용히 깨우기 위한 햅틱 기능성을 제공하는 또다른 실시예에서의 예시적인 시스템(300)이다. 그러나, 시스템(300)에서, 단일 초음파 방출기(302)는 제1 사용자(202) 및 제2 사용자(204)에 대해 동일한 또는 상이한 시간들에서 동일한 또는 상이한 초음파-기반 햅틱 효과들을 투사하도록 구성된다. 초음파 방출기(302)는 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 제1 사용자(202) 또는 제2 사용자(204) 쪽으로 지향될 수 있다.

도 4는 회의실 내의 회의 테이블과 같은 테이블(406)에 앉아 있는 제1 사용자(402) 및/또는 제2 사용자(404)에게 통지들 또는 상황고려된 햅틱 효과들을 조용히 제공하기 위한 햅틱 기능성을 제공하는 실시예에서의 예시적인 시스템(400)이다. 시스템(400)에서, 단일 초음파 방출기(408)는 제1 사용자(402) 및 제2 사용자(404)에 대해 동일한 또는 상이한 시간들에서 동일한 또는 상이한 초음파-기반 햅틱 효과들을 투사하도록 구성된다. 일 실시예에서, 시스템(400)은 제1 사용자(402) 및/또는 제2 사용자(404)의 신체 영역 상에 초음파-기반 햅틱 효과들을 투사함으로써 제1 사용자(402) 및/또는 제2 사용자(404)에게 통지들/경보들을 제공한다. 초음파 방출기(408)는 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 제1 사용자(402) 또는 제2 사용자(404) 쪽으로 지향될 수 있다.

예를 들어, 작업 속도가 매우 빠르며 접속성이 중요한 유망한 기술 회사에서, 직원들은 회의 동안에도 접속 상태를 유지할 필요가 있을 수 있다. 그러나, 진동(buzzing)/톤들을 생성하는 통지/알람 기능성들은 회의 동안 주의를 산만하게 할 수 있다. 반면, 시스템(400)은, 제1 사용자(402) 및/또는 제2 사용자(404)가 회의실 안으로 걸어들어갈 때, 이들의 디바이스들이 자동으로 무음(quiet)으로 스위칭하고 각자의 알람들/통지들을 시스템(400)에 송신하여 초음파 방출기(408)가 회의 중인 다른 사람들을 방해하지 않고도 대응하는 햅틱 효과들을 특정 사용자에게 투사할 수 있도록, 회의실에서 구현될 수 있다. 일 실시예에서, 즉각적 주목을 요구하는 더 중요한 경보들은 방 안의 개별 사용자들에 대해 상이한 투사된 햅틱 효과들, 형상들 및/또는 강도들을 유도할 수 있다.

도 5는 마사지 테이블(504)(또는 의자) 위의 사용자(502)를 마사지하는 햅틱 기능성을 제공하는 실시예에서의 예시적인 시스템(500)이다. 시스템(500)에서, 초음파 방출기(506)는 오른쪽 어깨(508), 왼쪽 어깨(510), 또는 사용자(502)의 임의의 다른 신체 영역 상에 동일한 또는 상이한 시간들에서 동일한 또는 상이한 초음파-기반 햅틱 효과들을 투사하도록 구성된다. 초음파 방출기(506)는 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 오른쪽 어깨(508), 왼쪽 어깨(510), 또는 사용자(502)의 임의의 다른 신체 영역 쪽으로 지향될 수 있다.

일반적으로, 핸드헬드 마사지기들 또는 마사지 의자들과 같은 다른 마사지 방법들이 사용자(502)의 오른쪽 어깨(508) 및/또는 왼쪽 어깨(510)를 마사지하기 위해 사용될 수 있다. 그러나, 핸드헬드 마사지기들은 요구되는 노력 및 결과적인 잡음으로 인해 바람직하지 않을 수 있다. 마사지 의자들은 또한 너무 강력해서, 사용자(502)의 선호도들에 따라 오른쪽 어깨(508) 및/또는 왼쪽 어깨(510)에 포커싱된 마사지를 제공하는데 실패하고, 바람직하지 않은 잡음을 초래한다. 반면, 시스템(500)은 사용자(502)의 선호도들에 따라 사용자(502)의 오른쪽 어깨(508) 및/또는 왼쪽 어깨(510)에 햅틱 패턴들을 조용히 투사한다. 햅틱 패턴들은 영향받는 영역들을 진정시키고 따뜻하게 하도록 사용자(502)에 의해 구성될 수 있다. 따라서, 사용자(502)는 다른 활동들(예를 들어, TV 시청)로부터 주의를 산만하게 하지 않으며 사용자(502) 근처의 다른 사람들을 방해하지 않는 마사지 테라피를 수신할 수 있다. 또한, 사용자(502)가 테이블(504)을 떠나고 추후 테라피를 용이하게 재개할 수 있다.

일반적으로, 온열 패드들이 사용되어 사용자(502)의 오른쪽 어깨(508) 및 왼쪽 어깨(510) 상의 통증을 완화시킬 수 있다. 그러나, 온열 패드들은 사용자(502)의 오른쪽 어깨(508) 및 왼쪽 어깨(510) 둘레에 감기에 까다로우며, 구성가능하지 않다. 또한, 패드들은, 사용자(502)가 테라피를 중단할 필요가 있는 경우 다시 풀리고 감겨야 한다. 반면, 시스템(500)은 사용자(502)의 선호도들에 따라 사용자(502)의 오른쪽 어깨(508) 및 왼쪽 어깨(510)에 햅틱 패턴들을 투사한다. 햅틱 패턴들은 영향받는 영역들을 진정시키고 따뜻하게 하도록 사용자(502)에 의해 구성될 수 있고, 사용자(502)는 테이블(504)을 떠나고 추후 테라피를 용이하게 재개할 수 있다.

도 6은 모니터(606)(예를 들어, TV 또는 컴퓨터의 모니터)를 시청하거나 가상 현실 헤드셋(608)(예를 들어, Oculus Rift)를 착용한 제1 사용자(602) 및/또는 제2 사용자(604)에게 햅틱 통지들 또는 상황고려된 햅틱 효과들을 제공하는 실시예에서의 예시적인 시스템(600)이다. 제1 사용자(602) 및/또는 제2 사용자(604)는 모니터(606) 또는 헤드셋(608)을 사용하여, 예를 들어, 게임을 플레이하고, 영화를 보는 등을 수행할 수 있다. 시스템(600)에서, 초음파 방출기(610)는 제1 사용자(602) 및 제2 사용자(604)의 뒤에, 위에, 또는 주위 어느 곳에나 장착될 수 있고, 제1 사용자(602) 및 제2 사용자(604)에 대해 동일한 또는 상이한 시간들에서 동일한 또는 상이한 초음파-기반 햅틱 효과들을 투사하도록 구성된다. 대안적으로 또는 추가로, 모니터(606)는 제1 사용자(602) 및 제2 사용자(604)에 대해 동일한 또는 상이한 시간들에서 동일한 또는 상이한 초음파-기반 햅틱 효과들을 투사하도록 구성되는 하나 이상의 빌트-인 초음파 방출기들을 포함할 수 있다. 초음파 방출기(610) 또는 모니터(606) 내의 빌트-인 초음파 방출기들은 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 제1 사용자(602) 또는 제2 사용자(604) 쪽으로 지향될 수 있다.

예를 들어, 제1 사용자(602)(또는 제2 사용자(604))는 가상 현실 게임을 플레이하고, 자신의 손들 및 손가락들을 이동시켜서 "Leap Motion" 제어기와 같이 손 접촉 또는 터치를 요구하지 않는 제어기를 통해 입력을 제공할 수 있다. 제어기가 제1 사용자(602)(또는 제2 사용자(604))에 의해 터치되지 않기 때문에, 제1 사용자(602)(또는 제2 사용자(604))는 표준 핸드-헬드 게임 제어기가 제공하는 어떠한 햅틱 응답도 수신하지 않는다. 그러나, 초음파 방출기(610) 및/또는 모니터(606)의 빌트-인 초음파 방출기들은 노-터치(no-touch) 제어기에 의해 감지되는/인지되는 모션들에 응답하여 제1 사용자(602)(또는 제2 사용자(604))의 손들/손가락들에 햅틱 효과들을 투사하도록 구성될 수 있다.

일 실시예에서, 제1 사용자(602) 및/또는 제2 사용자(604)는 핸드-헬드 게임 제어기(또는 햅틱 가슴 패드들과 같은 웨어러블 액세서리들)에 대해 구성되는 햅틱 효과와 관련된 햅틱 정보를 제공하는 게임을 플레이할 수 있다. 이 실시예에서, 초음파 방출기(610) 및/또는 모니터(606)의 빌트-인 초음파 방출기들은 게임에 관련된 햅틱 정보에 응답하여 제1 사용자(602) 및/또는 제2 사용자(604)에 대해 햅틱 효과들을 투사하도록 구성될 수 있다. 일 실시예에서, 햅틱 정보는 접촉-기반 액추에이터에 대해 구성되는 햅틱 파라미터들을 포함할 수 있고, 시스템(600)은 햅틱 액추에이터 파라미터들을 대응하는 초음파 파라미터들로(예를 들어, 룩 업 테이블을 사용하여) 변환하고, 노-터치 제어기의 모션 감지 능력들을 사용하여 초음파-기반 햅틱 효과들을 어디로(예를 들어, 손/손가락들 상에 또는 제1 사용자(602) 및/또는 제2 사용자(604))의 또다른 신체 위치/영역 상에) 지향시키는지를 결정한다.

일 실시예에서, 시스템(600)은 미디어와 함께 투사된 햅틱 효과들을 제공하도록 구현될 수 있다. 예를 들어, 제1 사용자(602) 및/또는 제2 사용자(604)는 모니터(606)에서 영화를 시청할 수 있고, 영화 콘텐츠에 관련된 햅틱 효과들을 수신하기를 원할 수 있으며, 시스템(600)은 영화에 관련된 햅틱 정보를 수신하여, 대응하는 초음파-기반 햅틱 효과들을 생성하여 초음파 방출기(610) 및/또는 모니터(606)의 빌트-인 초음파 방출기들을 통해 제1 사용자(602) 및/또는 제2 사용자(604)에게 투사한다. 일 실시예에서, 햅틱 정보는 미디어 프로듀서에 의해 설계되는 방송 햅틱들을 포함할 수 있고, TV(예를 들어, 모니터(606)) 또는 임의의 다른 프로세싱 유닛에 의해 프로세싱될 수 있다. 대안적인 또는 추가적인 실시예에서, 시스템(600)은 사운드와 같은 입력들에 기초하여 초음파-기반 햅틱 효과들을 자동으로 생성할 수 있다. 일 실시예에서, 시스템(600)은 사용자 선호도들에 따라 방 내의 상이한 개인들에게 상이한 햅틱 강도들 또는 패턴들을 투사할 수 있다.

도 7은 하나 이상의 초음파 방출기들(708)을 사용하여 햅틱 통지들 또는 상황 고려된 햅틱 효과들을 사용자(702)에게 투사하여 사용자(702)가 하나 이상의 장애물들(704)을 통해 탐색하고 목적지(706)에 도달하는데 도움이 되는 실시예에서의 예시적인 시스템(700)이다. 일 실시예에서, 사용자(702)는 상점의 복도를 통해 탐색하기 위한 안내를 필요로 하는 시각장애인일 수 있고, 시스템(700)은 상점 전반에 걸친 하나 이상의 초음파 패널들을 구현하여 이들이 찾는 제품에 그리고/또는 캐셔, 고객 서비스, 화장실 등과 같은 상점 서비스들에 사용자(702)를 안내한다. 초음파 방출기들(708)은 본 기술분야에 공지된 임의의 기계 시스템들(예를 들어, 기어 박스 및 모터, 하나 이상의 선형 액추에이터들 등)을 구현함으로써 사용자(702) 쪽으로 지향될 수 있다.

일 실시예에서, 사용자(702)는 모바일 폰과 같은 디바이스를 사용하여 시스템(700)의 초음파 내비게이션 네트워크에 의해 제공되는 기능성에 액세스할 수 있다. 예를 들어, 사용자(702)는 상점에서 이들이 찾는 제품 또는 서비스를 식별하는 정보를 입력할 수 있고, 시스템(700)의 초음파 네트워크는 사용자(702)의 현재 상점-내 위치에 기초하여 사용자(702)에 대한 햅틱 내비게이션 경로를 결정하고 투사한다. 일 실시예에서, 사용자(702)가 상점 복도들을 통과해 이동함에 따라, 이들은 어느 방향으로 이동할지를 나타내는 하나 이상의 초음파 방출기들(708)로부터의 투사된 햅틱 효과들(예를 들어, 초음파가 신체를 두드림)을 느끼고, 또한 이들이 이들의 경로에서 오브젝트들 또는 사람들과 직접 충돌하는 것을 방지한다.

일 실시예는 다수의 사용자 디바이스들(예를 들어, 모바일 폰들과 같은 개인 디바이스들)에 대한 접속을 지원하고 시스템들(200, 300, 400, 500, 600, 및 700)의 기능성들의 임의의 조합을 제공하는 시스템 내의 하나 이상의 초음파 방출기들을 구현할 수 있다. 예를 들어, 시스템은 영화를 시청하는 사용자에 대해 초음파-기반 햅틱 효과들을 투사하고, 또한 동일한 또는 상이한 사용자를 마사지하도록 거실 내의 하나 이상의 초음파 방출기들을 구현할 수 있다. 또다른 예로서, 시스템은 초음파-기반 햅틱 효과들을 투사하여 사용자를 깨우고, 또한 동일한 또는 상이한 시간에 동일한 또는 상이한 사용자를 마사지하도록 침실 내의 하나 이상의 초음파 방출기들을 구현할 수 있다.

대안적인 실시예들에서, 초음파-기반 햅틱들이 아닌 임의의 비-접촉 햅틱 기술(예를 들어, 에어 제트들, 정전기 마찰("ESF") 등)이 사용자에게 햅틱 효과들을 투사하도록 실시예들에서 사용될 수 있다. 투사된 햅틱 출력은 예를 들어, 에어 제트를 사용하는 에어 퍼프, 레이저-기반 투사체, 사운드-기반 투사체 등일 수 있다. 레이저-기반 투사체에서, 레이저 에너지는 공기 중의 집중 영역 내의 공기 분자들을 이온화시켜서 플라즈마(양의 입자와 음의 입자의 농축된 혼합물)을 제공한다. 레이저는 매우 빠르고 매우 강한 속도로 펄스들을 방출하는 펨토초 레이저일 수 있으며, 레이저가 더 빠를수록 사람이 터치하는데 더 안전하다. 투사체는 햅틱이며 상호작용적인 홀로그램으로서 나타날 수 있다. 플라즈마가 사용자 피부와 접촉하게 될 때, 사용자는 농축된 영역 내의 활성화된(energized) 공기 분자들의 진동들을 감지할 수 있다. 사용자 피부 상의 감각들은 사용자가 공기 중의 플라즈마와 상호작용할 때 생성되는 파들에 의해 야기된다. 따라서, 햅틱 효과들은 사용자가 이러한 농축된 영역을 거치게 함으로써 사용자에게 제공될 수 있다. 대안적으로 또는 추가로, 햅틱 효과들은 사용자가 지향된 사운드 에너지에 의해 생성되는 진동들을 받게 함으로써 사용자에게 제공될 수 있다.

일 실시예에서, 비-접촉 기반 햅틱 디바이스들(예를 들어, 초음파 햅틱들)에 대해, 햅틱 디바이스는 그것이 사용자의 범위 내에 있을 때 사용자에게 햅틱 효과들을 투사한다. 일 실시예에서, 햅틱 디바이스는 사용자가 디바이스의 방출기의 특정 거리 내에 있고 방출기와 사용자 사이에 장애물들이 존재하지 않을 때 사용자의 범위 내에 있다. 일 실시예에서, 투사 햅틱 디바이스는 햅틱 디바이스의 범위 내에서 사용자의 존재를 검출할 수 있는 카메라들 또는 깊이 센서들과 같은 하나 이상의 센서들(예를 들어, 도 1의 센서(30))과 페어링될 수 있다. 일 실시예에서, 검출된 사용자의 특정 신체 영역들(예를 들어, 어깨)이 임의의 공지된 기능성(예컨대, 컴퓨터 비전) 및 정합을 설정하기 위한 데이터 베이스 내에 저장된 데이터와의 비교에 의해 결정될 수 있다.

일 실시예에서, 하나 이상의 센서들은 사용자의 움직임들을 검출하기 위해 사용자 쪽으로 배향되는 하나 이상의 카메라들과 같은 3차원("3D") 이미징 시스템을 포함한다. 3D 이미징 시스템은 사용자의 이미지들을 캡처하여 사용자 움직임이 발생했음을 결정할 수 있다. 실시예는 이미지들을 더 분석하여 사용자의 특정 신체 영역들의 변경된 포지션들을 결정할 수 있다.

일부 실시예들에서, 센서들은 비-접촉 기반 햅틱 디바이스에 대해 외부에 있으며, 디바이스와 유선 또는 무선 통신한다. 예를 들어, 센서들은 디바이스와 연관된 카메라를 포함하고, 디바이스와 통신할 수 있다. 또다른 예로서, 센서들은 3D 이미징 시스템(예를 들어, Microsoft Kinect ® 상표 하에서 일반적으로 판매되는 3D 이미징 시스템) 또는 디바이스에 대해 외부에 위치되며 디바이스와 통신하는 LED-기반 추적 시스템을 포함할 수 있다.

다양한 실시예들은 초음파-기반 투사 햅틱 기능성 뿐만 아니라 추가적인 그리고/또는 상보적인 햅틱 기능성을 제공할 수 있다. 예를 들어, 일부 실시예들은 모바일 디바이스(예를 들어, 스마트폰) 또는 비-모바일 디바이스의 일부이거나 이와 연관될 수 있고, 디바이스에 햅틱 기능성을 제공할 수 있다. 일부 실시예들은 어떤 식으로든 사용자와 접촉하는 오브젝트(예를 들어, 가구) 내에 포함되는 디바이스의 일부이거나 이와 연관될 수 있으며, 이러한 디바이스에 햅틱 기능성을 제공한다. 예를 들어, 일 실시예는 손목 밴드들, 머리띠들, 안경들, 반지들, 다리 밴드들, 의복 내에 통합되는 어레이들과 같은 웨어러블 디바이스, 또는 사용자가 몸에 착용할 수 있거나 사용자가 잡을 수 있는 임의의 다른 타입의 디바이스의 일부일 수 있거나 이와 연관될 수 있다. 일부 웨어러블 디바이스들은 "햅틱 인에이블(haptically enabled)"될 수 있는데, 이는 이들이 햅틱 효과들을 생성하는 메커니즘을 포함함을 의미한다. 일부 실시예들은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)와는 별도이며, 디바이스에 햅틱 기능성을 원격으로 제공할 수 있다.

일부 실시예들은 구동 신호에 응답하여, 추가로 진동촉각 햅틱 효과들, 정전기 마찰 햅틱 효과들, 변형 햅틱 효과들 등과 같은 햅틱 효과들을 출력하도록 구성되는 액추에이터를 포함하거나 이와 연관될 수 있다. 액추에이터는 예를 들어, 전기 모터, 전기-자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 이심 회전 질량 모터("ERM"), 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기활성 폴리머("EAP") 액추에이터 등일 수 있다.

일부 실시예들은 추가로 열 디스플레이들(예를 들어, 온/냉), 전기촉각 자극(즉, 전기 전류를 이용한 촉각 수용기들의 자극), 운동감각 피드백 등과 같은 임의의 다른 햅틱 기술에 따라 동작하는 햅틱 출력 디바이스를 포함하거나 이와 연관될 수 있다. 일부 실시예는 시스템이 이들에게 어떤 움직임 또는 움직임들을 수행하게 하는지 및/또는 이들이 어떤 움직임 또는 움직임들을 수행하고 싶게 하는지를 결정하도록 사용자에게 요구하는 작업과 같은 전기적 근육 자극들을 수행할 수 있다.

일부 실시예들은 추가로 ESF 또는 초음파 표면 마찰("USF")을 사용하는 디바이스 또는 햅틱 기판 및 사용자의 신체에 부착되는 플렉시블한 또는 변형가능한 표면 또는 형상 변경 디바이스와 같은 비-기계식 또는 비-진동식 햅틱 출력 디바이스를 포함하거나 또는 이와 연관될 수 있다.

도 8은 본 발명의 실시예들에 따른 햅틱 기능성의 흐름도(800)이다. 일 실시예에서, 도 8의 흐름도(800)(및 하기 도 9의 흐름도(900))의 기능성은 메모리 또는 다른 컴퓨터 판독가능한 또는 유형적 매체에 저장되며 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능성은 하드웨어에 의해(예를 들어, 주문형 집적 회로("ASIC"), 프로그래밍가능 게이트 어레이("PGA"), 필드 프로그래밍가능 게이트 어레이("FPGA") 등의 사용을 통해) 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.

802에서, 하나 이상의 사용자들의 포지션 및 모션이 결정되고, 804에서, 햅틱 효과들을 투사하기 위한 햅틱 파라미터들 및 하나 이상의 위치들이 결정된다. 예를 들어, 일 실시예는 초음파-기반 햅틱 출력 디바이스로부터의 사용자 또는 특정 사용자 신체 부분의 거리를 계산하고, 이후 햅틱 투사의 방향, 햅틱 출력 디바이스에 인가되는 전압에 대응하는 햅틱 투사의 크기, 햅틱 투사의 타입/패턴(예를 들어, 펄스화된 패턴), 햅틱 투사의 듀레이션 등과 같은 햅틱 파라미터들을 계산할 수 있다.

806에서, 햅틱 효과들은 햅틱 파라미터들을 이용하여 하나 이상의 위치들에 투사된다.

808에서, 하나 이상의 사용자들의 포지션 및/또는 모션에 대한 변경들이 결정되고, 810에서, 하나 이상의 위치들에 대한 변경들은 포지션들에서의 변경들에 기초하여 결정되고, 필요한 경우 새로운 햅틱 파라미터들이 계산된다.

812에서, 햅틱 효과들은 변경된 파라미터들을 가지고 변경된 위치에 투사된다. 일부 실시예들에서, 808-812는 필요한 경우 반복된다.

도 9는 본 발명의 실시예들에 따른 햅틱 기능성의 또다른 흐름도(900)이다.

902에서, 햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치가 결정된다. 일 실시예에서, 햅틱 디바이스는 초음파 방출기를 포함한다. 일 실시예에서, 사용자의 신체 영역의 위치는 하나 이상의 이미지들 또는 사운드들에 기초하여 결정된다.

904에서, 햅틱 효과가 결정된다. 일 실시예에서, 햅틱 효과는 사용자에 대해 의도되는 통지 또는 알람에 대응한다. 일 실시예에서, 통지 또는 알람은 사용자의 개인 디바이스로부터 수신된다. 일 실시예에서, 햅틱 효과는 사용자 또는 사용자에게 제공되는 멀티미디어에 의해 수행되는 움직임 또는 상호작용에 대응한다. 일 실시예에서, 멀티미디어에 관련된 햅틱 추적이 수신되고, 대응하는 햅틱 파라미터들이 투사체 햅틱 디바이스에 대해 결정된다.

906에서, 햅틱 효과는 투사체 햅틱 디바이스에 의해 사용자의 신체 영역에 투사된다. 일 실시예에서, 사용자의 신체 영역의 위치에서의 변경이 결정되고, 투사는 변경에 기초하여 조정된다. 일 실시예에서, 조정은 변경에 기초하여 초음파 방출기를 이동시키는 것을 포함한다.

개시된 바와 같이, 실시예들은 근처 사용자들을 방해하지 않고 특정 사용자의 특정 신체 영역에 햅틱 효과들을 조용하게 투사하는 것을 허용한다. 일 실시예는 사용자의 타겟화된 신체 영역에 초음파-기반 햅틱 효과들을 투사한다. 햅틱 효과들은 상황고려된 햅틱 피드백 및/또는 통지들을 제공할 수 있다. 실시예들은 각각의 사용자의 선호도들에 따라 구성될 수 있다. 의도되지 않은 사용자들을 방해하지 않고 타겟화된 그리고 조정된 햅틱 효과들을 허용함으로써 실시예들은 보다 바람직한 햅틱 통지를 허용한다.

몇몇 실시예들이 본원에서 구체적으로 예시 및/또는 기술된다. 그러나, 개시된 실시예들의 수정들 및 변형들이 위 교시들에 의해 그리고 발명의 사상 및 의도된 범위로부터 벗어나지 않고 첨부된 청구항들의 범위 내에서 커버된다는 것이 인지될 것이다.

Claims

프로세서에 의해 실행될 때, 상기 프로세서가 햅틱 기능성을 제공하게 하는 명령어들을 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
상기 제공은:
햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치를 결정하는 것 ― 상기 햅틱 디바이스는 초음파 방출기를 포함함 ― ;
햅틱 효과를 결정하는 것; 및
상기 햅틱 디바이스의 초음파 방출기에 의해 상기 사용자의 신체 영역에 상기 햅틱 효과를 투사하는 것
을 포함하는 컴퓨터 판독가능 매체.
제1항에 있어서,
상기 제공은:
상기 사용자의 신체 영역의 위치에서의 변경을 결정하는 것; 및
상기 변경에 기초하여 상기 투사를 조정하는 것
을 더 포함하는 컴퓨터 판독가능 매체.
제2항에 있어서,
상기 조정은 상기 변경에 기초하여 상기 초음파 방출기를 이동시키는 것을 포함하는 컴퓨터 판독가능 매체.
제1항에 있어서,
상기 사용자의 신체 영역의 위치는 하나 이상의 이미지들 또는 사운드들에 기초하여 결정되는 컴퓨터 판독가능 매체.
제1항에 있어서,
상기 햅틱 효과는 사용자에 대해 의도되는 통지 또는 알람에 대응하는 컴퓨터 판독가능 매체.
제5항에 있어서,
상기 통지 또는 알람은 상기 사용자의 개인 디바이스로부터 수신되는 컴퓨터 판독가능 매체.
제1항에 있어서,
상기 햅틱 효과는 상기 사용자 또는 상기 사용자에게 제공되는 멀티미디어에 의해 수행되는 움직임 또는 상호작용에 대응하는 컴퓨터 판독가능 매체.
제7항에 있어서,
상기 햅틱 효과의 결정은:
상기 멀티미디어에 관련된 햅틱 추적을 수신하는 것; 및
상기 햅틱 디바이스에 대한 대응하는 햅틱 파라미터들을 결정하는 것을 포함하는 컴퓨터 판독가능 매체.
햅틱 기능성을 제공하는 방법으로서,
햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치를 결정하는 단계 ― 상기 햅틱 디바이스는 초음파 방출기를 포함함 ― ;
햅틱 효과를 결정하는 단계; 및
상기 햅틱 디바이스의 초음파 방출기에 의해 상기 사용자의 신체 영역에 상기 햅틱 효과를 투사하는 단계
를 포함하는 방법.
제9항에 있어서,
상기 사용자의 신체 영역의 위치에서의 변경을 결정하는 단계; 및
상기 변경에 기초하여 상기 투사를 조정하는 단계
를 더 포함하는 방법.
제10항에 있어서,
상기 조정은 상기 변경에 기초하여 상기 초음파 방출기를 이동시키는 것을 포함하는 방법.
제9항에 있어서,
상기 사용자의 신체 영역의 위치는 하나 이상의 이미지들 또는 사운드들에 기초하여 결정되는 방법.
제9항에 있어서,
상기 햅틱 효과는 사용자에 대해 의도되는 통지 또는 알람에 대응하는 방법.
제13항에 있어서,
상기 통지 또는 알람은 상기 사용자의 개인 디바이스로부터 수신되는 방법.
제9항에 있어서,
상기 햅틱 효과는 상기 사용자 또는 상기 사용자에게 제공되는 멀티미디어에 의해 수행되는 움직임 또는 상호작용에 대응하는 방법.
제15항에 있어서,
상기 햅틱 효과의 결정은:
상기 멀티미디어에 관련된 햅틱 추적을 수신하는 것; 및
상기 햅틱 디바이스에 대한 대응하는 햅틱 파라미터들을 결정하는 것을 포함하는 방법.
햅틱 기능성을 제공하기 위한 시스템으로서,
햅틱 디바이스의 위치에 대한 사용자의 신체 영역의 위치를 결정하는 결정 모듈 ― 상기 햅틱 디바이스는 초음파 방출기를 포함함 ―;
햅틱 효과를 추가로 결정하는 상기 결정 모듈; 및
상기 햅틱 디바이스의 초음파 방출기에 의해 상기 사용자의 신체 영역에 상기 햅틱 효과를 투사하는 투사 모듈
을 포함하는 시스템.
제17항에 있어서,
상기 사용자의 신체 영역의 위치에서의 변경을 추가로 결정하는 상기 결정 모듈; 및
상기 변경에 기초하여 상기 투사를 조정하는 조정 모듈
을 더 포함하는 시스템.
제18항에 있어서,
상기 조정 모듈은 상기 변경에 기초하여 상기 초음파 방출기를 이동시키는 시스템.
제17항에 있어서,
상기 사용자의 신체 영역의 위치는 하나 이상의 이미지들 또는 사운드들에 기초하여 결정되는 시스템.