KR20150133133A - 몰입 환경에서의 비동위치화 햅틱 큐 - Google Patents

몰입 환경에서의 비동위치화 햅틱 큐 Download PDF

Info

Publication number
KR20150133133A
KR20150133133A KR1020150066505A KR20150066505A KR20150133133A KR 20150133133 A KR20150133133 A KR 20150133133A KR 1020150066505 A KR1020150066505 A KR 1020150066505A KR 20150066505 A KR20150066505 A KR 20150066505A KR 20150133133 A KR20150133133 A KR 20150133133A
Authority
KR
South Korea
Prior art keywords
haptic
user
feedback
manipulation
haptic feedback
Prior art date
Application number
KR1020150066505A
Other languages
English (en)
Inventor
대니 그랜트
크리스토퍼 제이 율리히
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150133133A publication Critical patent/KR20150133133A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

비동위치화 햅틱 피드백을 전달하기 위한 장치는 적어도 하나의 햅틱 재생 장치 및 햅틱 재생 장치를 제어하기 위한 구동 회로를 포함한다. 구동 회로에 결합된 프로세서가 사용자 인터페이스로부터 수신된 데이터에 기초하는 조작 햅틱 정보를 수신한다. 프로세서는 조작 햅틱 정보에 기초하여 햅틱 신호를 생성한다. 비동위치화 햅틱 피드백을 생성하기 위해 햅틱 신호가 구동 회로에 제공된다.

Description

몰입 환경에서의 비동위치화 햅틱 큐{NON-COLLOCATED HAPTIC CUES IN IMMERSIVE ENVIRONMENTS}
일 실시예는 햅틱 인에이블드 장치에 관한 것이다. 구체적으로, 일 실시예는 비동위치화 햅틱 인에이블드 장치(non-collocated haptically-enabled device)에 관한 것이다.
전자 장치 제조자들은 사용자들을 위해 리치 인터페이스(rich interface)를 생성하려고 노력한다. 전통적인 장치들은 시각 및 청각 큐들을 이용하여 사용자에게 피드백을 제공한다. 일부 사용자 인터페이스들에서는, 공동으로 "햅틱 피드백" 또는 "햅틱 효과"로서 더 일반적으로 알려진 (활동 및 저항력 피드백과 같은) 운동 감각 피드백 및/또는 (진동, 텍스처 및 열과 같은) 촉각 피드백도 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 간소화하는 큐들을 제공할 수 있다. 예를 들어, 진동 효과 또는 진동 촉각 햅틱 효과는 전자 장치의 사용자에게 특정 이벤트를 알리기 위해 사용자에게 큐를 제공하거나, 시뮬레이션 또는 가상 환경 내에서 더 큰 감각적 몰입을 생성하기 위해 사실적인 피드백을 제공하는 데 유용할 수 있다.
진동 또는 다른 효과를 생성하기 위해, 많은 장치는 소정 타입의 액추에이터 또는 다른 햅틱 출력 장치를 이용할 수 있다. 이러한 목적을 위해 사용되는 공지 액추에이터들은 솔레노이드 액추에이터와 같은 전자기 액추에이터, 모터가 편심 질량을 이동시키는 편심 회전 질량("ERM") 액추에이터, 선형 공진 액추에이터 진동 모터("LRA"), 전기 활성 폴리머 액추에이터 및 압전 액추에이터를 포함한다.
발명의 요약
일 실시예에서, 비동위치화 햅틱 피드백을 전달하기 위한 장치는 적어도 하나의 햅틱 재생 장치 및 햅틱 재생 장치를 제어하기 위한 구동 회로를 포함한다. 구동 회로에 전자적으로 결합된 프로세서가 사용자 인터페이스로부터 수신된 데이터에 기초하는 조작 햅틱 정보를 수신한다. 프로세서는 조작 햅틱 정보에 기초하여 햅틱 신호를 생성한다. 프로세서는 비동위치화 햅틱 피드백을 생성하기 위해 햅틱 신호를 구동 회로에 제공한다.
도 1은 일 실시예에 따른 햅틱 인에이블드 시스템의 블록도이다.
도 2는 일부 실시예들에 따른, 착용되도록 구성된 예시적인 ERM 타입 액추에이터를 나타낸다.
도 3은 일부 실시예들에 따른, 띠 구성의 다수의 ERM 타입 액추에이터를 이용하는 예시적인 액추에이터를 나타낸다.
도 4는 일부 실시예들에 따른, 비동위치화 액추에이터들을 이용하여 이루어질 수 있는 예시적인 상호작용의 스크린샷을 나타낸다.
도 5는 일부 실시예들에 따른, 다중 액추에이터 착용식 손목 띠를 갖는 가상 상자를 나타낸다.
도 6은 일부 실시예들에 따른 햅틱 재생 장치의 기능을 나타내는 흐름도이다.
머리 장착 가상 현실 디스플레이와 같은 몰입형 디스플레이는 게이밍 애플리케이션들에 대한 전혀 새로운 레벨의 그래픽 몰입을 제공한다. 시각 및 청각이 깊숙이 관련됨에 따라, 사용자의 가상 상호작용과 기본적인 관계를 갖는 "햅틱 큐"를 제공함으로써 사용자에 대한 설득력 있는 햅틱 경험을 추가하는 것이 가능하다. 따라서, 통상적으로 햅틱 피드백은 터치스크린 상의 손가락과 같은 상호작용 부재와의 햅틱 감각을 제공하는 반면, 햅틱 큐는 설득력 있는 햅틱 경험을 달성하기 위해 손목과 같은 근처의 "비동위치화" 부재에 피드백을 제공할 수 있다.
일 실시예는 애플리케이션과의 사용자 상호작용에 기초하여 생성되는 햅틱 신호들을 재생할 수 있는 액추에이터와 같은 햅틱 재생 장치이다. 센서들은 애플리케이션과의 사용자 상호작용을 결정할 수 있으며, 햅틱 재생 장치에 의한 햅틱 피드백을 제공하기 위해 햅틱 재생 신호가 제공될 수 있다. 햅틱 재생 장치가 손가락 또는 손과 같은 사용자의 상호작용 부재와 접촉하는 것이 아니라, 햅틱 재생 장치는 상호작용 부재와 다른 물리적 위치에서 사용자와 접촉할 수 있다. 따라서, 햅틱 재생 장치는 상호작용 부재와 비동위치화될 수 있다. 햅틱 신호가 생성되고, 햅틱 재생 장치에 제공되어, 대안적인 물리적 위치에서 햅틱 피드백을 생성함으로써, 가상 인식 접촉을 제공할 수 있다.
도 1은 일 실시예에 따른 햅틱 인에이블드 시스템(10)의 블록도이다. 시스템(10)은 사용자 인터페이스(11)를 포함하며, 기계적인 키들/버튼들(13)을 포함할 수 있다. 시스템(10)은 시스템(10) 상에서 진동을 생성하는 햅틱 피드백 시스템을 포함한다.
햅틱 피드백 시스템은 프로세서 또는 제어기(12)를 포함한다. 프로세서(12)에 메모리(20) 및 액추에이터 구동 회로(16)가 결합되고, 이 액추에이터 구동 회로는 액추에이터(18)에 결합된다. 액추에이터(18)는 편심 회전 질량("ERM"), 선형 공진 액추에이터 진동 모터("LRA"), 압전 모터 또는 솔레노이드 액추에이터를 포함하지만 이에 한정되지 않는 임의 타입의 모터일 수 있다. 액추에이터(18)에 더하여 또는 그 대신에, 시스템(10)은 정전기 마찰("ESF"), 초음파 표면 마찰("USF")을 이용하는 장치들, 초음파 햅틱 트랜스듀서를 이용하여 음향 방사 압력을 유도하는 장치들, 햅틱 기판 및 유연하거나 변형 가능한 표면 또는 형상 변경 장치들을 이용하고, 사용자의 몸에 부착될 수 있는 장치들, 에어 제트를 이용하여 한 줌의 에어와 같은 햅틱 출력 투사를 제공하는 장치들, 전기 근육 자극을 제공하는 장치들 등과 같은 비기계적인 또는 비진동적인 장치들일 수 있는 다른 타입의 햅틱 출력 장치들(도시되지 않음)을 포함할 수 있다. 액추에이터 구동 회로(16) 및 액추에이터(18) 중 하나 또는 양자는 착용 가능한 피드백 장치(15), 예컨대 띠, 장갑, 의복 내에 포함되거나, 접착성 또는 기계적 장치 또는 시트 내에 위치하거나 사용자의 몸으로부터 떨어져 배치되는 것과 같은 착용 불가 장치를 통해 사용자의 피부에 직접 부착될 수 있다.
프로세서(12)는 임의 타입의 범용 프로세서일 수 있거나, 햅틱 효과를 제공하도록 특별히 설계된 프로세서, 예를 들어 주문형 집적 회로("ASIC")일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 것과 동일한 프로세서일 수 있거나, 별개의 프로세서일 수 있다. 프로세서(12)는 어떤 햅틱 효과들을 재생할지 그리고 효과들이 재생하는 순서를 고레벨 파라미터들에 기초하여 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 고레벨 파라미터들은 크기, 주파수 및 지속기간을 포함한다. 스트리밍 모터 명령들과 같은 저레벨 파라미터들도 특정 햅틱 효과를 결정하는 데 사용될 수 있다. 햅틱 효과는 햅틱 효과가 생성될 때의 이러한 파라미터들의 소정의 변화 또는 사용자의 상호작용에 기초하는 이러한 파라미터들의 변화를 포함하는 경우에 "동적"인 것으로 간주될 수 있다.
프로세서(12)는 원하는 햅틱 효과를 유발하기 위해 필요한 전류 및 전압(즉, "모터 신호들")을 액추에이터(18)에 제공하는 데 사용되는 전자 컴포넌트들 및 회로를 포함하는 액추에이터 구동 회로(16)로 제어 신호들을 출력한다. 시스템(10)은 둘 이상의 액추에이터(18)를 포함할 수 있으며, 각각의 액추에이터는 공통 프로세서(12)에 모두 결합되는 개별 구동 회로(16)를 포함할 수 있다. 메모리 장치(20)는 임의 타입의 저장 장치 또는 컴퓨터 판독 가능 매체, 예로서 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM")일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어들을 저장한다. 명령어들 중에서, 메모리(20)는 아래에 더 상세히 설명되는 바와 같이 프로세서(12)에 의해 실행될 때 햅틱 효과들을 제공하는 액추에이터(18)에 대한 구동 신호들을 생성하는 명령어들인 햅틱 효과 모듈(22)을 포함한다. 메모리(20)는 또한 프로세서(12) 내부에 배치될 수 있거나, 내부 및 외부 메모리의 임의 조합일 수 있다. 액추에이터(18)는 무선이거나, 프로세서(12)로부터 햅틱 재생 신호들을 수신하기 위한 무선 수신기를 포함할 수 있다.
사용자 인터페이스(11)는 장치와의 터치들 또는 가상 현실 애플리케이션에서의 가상 객체들의 조작들과 같은 사용자 상호작용들을 인식한다. 가상 객체의 "조작"은 가상 세계에서 사용자에 의해 이용될 수 있고 제어되는 "가상 손"(또는 다른 가상 도구)을 이용하는 가상 객체와의 임의의 인식되는 접촉을 포함할 수 있다. 다른 애플리케이션들에서, "조작"은 사용자 인터페이스를 이용하는 사용자에 의한 애플리케이션의 요소의 제어를 포함할 수 있다. 애플리케이션은 통상적으로 사용자 상호작용을 추적하고 그의 피드백을 이용하여 사용자를 안내하는 시각적 피드백을 사용자에게 제공할 것이다. 사용자 인터페이스(11)가 터치들을 인식하는 실시예들은 터치 표면 상의 터치들의 위치, 압력 크기 및 지속기간 중 임의의 것도 인식할 수 있다. 사용자 인터페이스(11)가 가상 현실 애플리케이션에서의 가상 객체들의 조작을 인식하는 실시예들은 손들 또는 손가락들의 위치를 인식할 수 있거나, 가상 객체들의 조작에 대한 마우스 또는 다른 입력 인터페이스로부터의 입력을 수신할 수 있다. 사용자 상호작용들에 대응하는 데이터는 조작 햅틱 정보 또는 데이터로 지칭될 수 있으며, 프로세서(12) 또는 시스템(10) 내의 다른 프로세서로 전송된다. 프로세서(12)는 사용자 상호작용들을 해석하고, 그에 응답하여 햅틱 효과 신호들을 생성한다. 사용자 인터페이스(11)는 용량 감지, 저항 감지, 표면 음파 감지, 압력 감지, 광 감지 등을 포함하는 임의의 감지 기술을 이용하여 터치들을 감지할 수 있다. 사용자 인터페이스(11)는 다중 터치 접촉들을 감지할 수 있으며, 다수의 터치 및 동시에 발생하는 터치들의 위치를 구별할 수 있다. 사용자 인터페이스(11)는 사용자와 상호작용하기 위한 이미지들, 예로서 키, 다이얼 등을 생성하고 표시하는 터치스크린일 수 있거나, 최소의 이미지 또는 이미지를 갖지 않는 터치패드일 수 있다. 사용자 인터페이스(11)는 장갑들에 부착된 센서들을 이용하여 또는 공간 내의 손들 또는 손가락들의 위치를 추적하는 시각 센서들을 이용하여 손들 및 손가락들의 위치를 감지할 수 있다.
시스템(10)은 많은 가운데 특히 위/아래, 뒤/앞, 우/좌, 롤(roll), 피치(pitch) 및 요(yaw) 중 하나 이상을 포함하는 최대 6개의 이동도를 검출하는 자유도 센서들을 포함해서, 햅틱 인에이블드 애플리케이션과의 상호작용들을 감지하기 위한 센서(17)와 같은 다양한 센서들을 포함할 수 있다. 그러한 센서들은 자기 센서, 전자기장 센서, 가속도계, 자이로스코프, 및 위치 및 각도 데이터를 검출하기 위한 다른 센서들을 포함할 수 있다. 힘 감지 저항기("FSR") 센서들 및 다중 터치 압력 센서들은 각각의 터치 위치 아래에 가해지는 압력을 측정할 수 있다. 온도, 습도 및 기압 센서들은 환경 조건들을 획득할 수 있다. 마이크는 사용자의 음성 명령 또는 환경 오디오 정보를 획득할 수 있다. 센서(17)에 대응하는 데이터는 프로세서(12) 또는 시스템(10) 내의 다른 프로세서로 전송되며, 프로세서(12)는 센서 데이터를 해석하고, 그에 응답하여 햅틱 효과 신호들을 생성한다.
이 분야의 기술자는 일부 실시예들에서 시스템(10)이 본 명세서에서 구체적으로 설명되는 것들에 더하여 진동 촉각 또는 운동 감각 피드백을 제공하기 위한 임의의 적절한 다양한 액추에이터들을 포함할 수 있다는 것을 이해할 것이다. 예컨대, 피드백은 사용자의 피부를 변형시키거나 피부에 압력을 인가하는 장치들도 포함할 수 있다.
시스템(10)은 셀룰러 전화, 개인 휴대 단말기("PDA"), 스마트폰, 컴퓨터 태블릿, 게이밍 콘솔, 차량 기반 인터페이스 등과 같은 핸드헬드 장치일 수 있다. 시스템(10)은 디스플레이 장치 및 사용자의 손들의 움직임을 추적하기 위한 하나 이상의 센서, 예로서 센서(17)를 포함하는 가상 현실 장비와 함께 사용될 수 있다. 사용자 인터페이스(11)는 터치 감지 표면일 수 있거나, 임의의 다른 타입의 사용자 인터페이스, 예로서 마우스, 터치패드, 미니 조이스틱, 스크롤 휠, 트랙볼, 게임 패드 또는 게임 제어기, 통합 또는 장착된 센서를 갖는 장갑, 이동 추적 카메라 등일 수 있다. 둘 이상의 액추에이터를 갖는 실시예들에서, 각각의 액추에이터는 상이한 햅틱 표현을 구비하여 상이한 범위의 햅틱 효과들을 생성할 수 있다. 예를 들어, 각각의 회전 액추에이터는 장치 상에서 광범위한 햅틱 효과들을 생성하기 위해 상이한 회전 능력을 가질 수 있으며, 예를 들어 각각의 액추에이터는 개별적으로 제어될 수 있고; 또한 일부 회전 액추에이터들은 다른 회전 액추에이터들의 회전축에 대해 비스듬한 그들의 회전축을 갖는다. 또한, 다른 능력들을 갖는 다수의 액추에이터를 구비하는 실시예들에서, 각각의 액추에이터는 장치 상에서 광범위한 햅틱 효과들을 보이기 위해 개별적으로 제어될 수 있다.
사용자 인터페이싱 햅틱 효과들을 제공하는 것에 더하여, 시스템(10)은 예를 들어 비디오 또는 오디오 파일과 함께 시스템(10)에서 재생하기 위한 정적으로 생성된 햅틱 효과들을 제공할 수 있다.
시스템(10)과 같은 시스템의 일례는 사용자가 가상 세계와 상호작용할 때 사용자의 손목에 착용되는 피드백 장치(15)와 같은 단일 또는 다중 액추에이터 착용식 띠를 포함한다. 이 경우, 손목 상의 햅틱 효과들은 가상 세계에서의 가상 손의 인식되는 가상 접촉과 비동위치화될 수 있다. 사용자가 환경과 상호작용하고, 가상 객체들과 접촉할 때, 손목 기반 착용식 띠는 가상 접촉에 대한 햅틱 큐(피드백)를 제공한다. 햅틱 큐는 액추에이터들 또는 다른 햅틱 재생 장치들을 이용하는 짧은 진동 또는 짧은 순간적 소프트 변형 효과일 수 있다. 다른 실시예들은 시트 내의 햅틱 재생 장치들 또는 사용자의 피부로부터 떨어져 배치되는 햅틱 재생 장치들과 같은 착용 불가 장치들을 통해 햅틱 피드백을 제공할 수 있다. 햅틱 큐는 접촉의 정확한 표현이 아닐 수 있다. 햅틱 큐는 상호작용과 비동위치화될 수 있으며, 또한 사용자가 객체를 조작하거나 그와 접촉할 때 사용자에게 사실적인 상호작용력을 제공하지 않을 수 있지만, 사용자가 시각적으로 그리고 청각적으로 환경에 몰입되므로, 햅틱 큐들은 단지 가상 세계와의 사용자 상호작용을 지시하는 경우에도 유용한 햅틱 효과를 제공할 수 있다.
도 2는 일부 실시예들에 따른, 착용되도록 구성되는 예시적인 ERM 타입 액추에이터(210)를 나타낸다. 액추에이터(210)는 고무 또는 다른 덮개 재료(220) 내에 넣어질 수 있으며, 따라서 덮여진 액추에이터는 사용자의 피부에 놓일 수 있다. 시스템은 단일 액추에이터를 이용하여 작업할 수 있지만, 다수의 액추에이터는 손 위치에 대한 센서 정보를 사용하고, 가상 충돌과 동일한 평면 상에서 액추에이터를 트리거함으로써 더 큰 현실감을 제공할 수 있다. 예를 들어, 손의 전면이 객체와 충돌하는 경우, 손목의 전면 상의 액추에이터가 햅틱 효과를 제공할 수 있다.
도 3은 일부 실시예들에 따른, 피드백 장치(15)와 같은 띠 착용식 구성의 다수의 ERM 타입 액추에이터를 이용하는 예시적인 액추에이터 어레이를 나타낸다. 손목의 상부 및 하부에 하나의 액추에이터 그리고 손목의 각각의 측부에 하나의 액추에이터를 제공하기 위해 사용자의 손목 주위에 감길 수 있는 띠(320) 내에 하나 또는 다수의 액추에이터(310)가 통합될 수 있다. 손목 띠(320)는 커넥터(330) 또는 무선 인터페이스(미도시)를 통해 프로세서(12)와 같은 마이크로컨트롤러에 접속될 수 있다. 액추에이터들은 띠에 부착되고, 약 90도마다 손목 주위에 배치될 수 있다. 액추에이터들은 벨크로 또는 유사한 타입의 임시 파스너에 의해 띠에 부착될 수 있으며, 따라서 그들은 상이한 크기의 손목들에 맞도록 이동될 수 있다. 액추에이터들은 가상 세계 및 가상 세계 내의 가상 객체들과의 상호작용에 따라 작동할 수 있다.
일부 실시예들에서, 액추에이터들은 (위의 예에서와 같이) 손목, 손, 팔, 발목, 다리 및 머리와 같은 신체 부분들에 부착될 수 있다. 액추에이터들은 햅틱 장치들을 제어하기 위한 표준 방법들을 이용하여 제어될 수 있다. 예를 들어, 호스트 장치에서 실행되는 애플리케이션이 애플리케이션의 기능에 따라 재생될 햅틱 효과를 호출할 수 있다. 게이밍 애플리케이션에서는, 사용자의 머리가 게임 내의 객체와 접촉할 때 햅틱 효과가 호출될 수 있다. 피드백 장치(15)와 같은 착용식 띠 상의 프로세서(12)와 같은 마이크로컨트롤러가 햅틱 명령을 수신하고, 이를 처리하고, 햅틱 효과를 재생하도록 의도된 액추에이터에 필요한 모터 전압을 기록할 수 있다. 액추에이터 제어는 고유하고 더 다양한 햅틱 효과들을 생성하기 위한 ERM 과잉 구동 또는 제동의 사용과 같은 진보된 제어 알고리즘들을 포함할 수 있다. 햅틱 액추에이터가 예를 들어 고무 덮개를 통해 피부에 근접할 때, 액추에이터가 주로 진동 액추에이터인 경우에도, 과잉 구동 및 제동을 통한 짧은 펄스 특유 햅틱 큐들을 이용하여, 누르는 느낌을 시뮬레이션할 수 있다.
시스템은 어떠한 햅틱도 갖지 않은 시스템에 햅틱들을 추가하는 데에도 사용될 수 있거나, 햅틱들을 갖는 시스템을 보완하는 데 사용될 수 있다. 예를 들어, 사용자는 터치 표면과 상호작용하고, 사용자의 손목에 배치된 액추에이터 또는 액추에이터 띠 조립체, 예로서 피드백 장치(15)를 통해 터치 피드백 햅틱 큐들을 수신할 수 있다. 그러한 햅틱 큐들은 어떠한 햅틱도 갖지 않는 것보다 유리할 수 있거나, 터치 표면과의 햅틱 경험을 향상시키거나 변경하는 데 사용될 수 있다.
몰입형 디스플레이들의 일부 예들은 Oculus VR, Inc.의 "Oculus Rift", Sony Electronics Inc.의 "Head Mounted Display" 또는 "Wearable HDTV" 및 Sony Computer Entertainment Inc.의 "Project Morpheus" 머리 장착 디스플레이를 포함한다. 햅틱들은 몰입형 디스플레이들을 이용하는 상호작용들에 추가적인 사실적 요소들을 더한다. 일부 실시예들에서 시스템(10)이 많은 햅틱 피드백 시스템에서와 같이 햅틱 큐들만을 제공하는 경우에도, 사용자들은 햅틱 피드백을 갖는 장치들에 빠르게 적응할 수 있다. 햅틱 피드백 장치가 비동위치화되는 시스템들에서도, 사용자들은 비동위치화된 피드백에 효과적으로 적응할 수 있다.
사용자들은 사용자 인터페이스(11)에 의한 다수의 입력 방법을 이용하여 애플리케이션과 상호작용할 수 있다. 예를 들어, 사용자는 키보드, 마우스, 트랙 패드 등과 같은 더 전통적인 컴퓨터 사람 인터페이스 수단은 물론, 시각 터치 인터페이스와 같은 더 새로운 인터페이스와 상호작용할 수 있다. 게다가, 사용될 수 있는 일부 인터페이스들은 전술한 최대 6개의 이동도를 검출하기 위한 센서들을 갖는 Razer Inc.의 "Razer Hydra" 이동 감지 제어기와 같은 게이밍 제어기들을 포함한다. 일부 실시예들에서, 인터페이스들은 카메라 기술 또는 적외선 센서들을 이용하여 객체들 및 모션을 추적하는 논-터치 이동 추적 인터페이스들을 포함한다. 일부 실시예들에서, 인터페이스들은 CyberGlove Systems LLC의 "CyberTouch" 장갑들과 같이 손들의 이동 및 위치를 검출할 수 있는 통합 또는 장착된 센서들을 갖는 착용식 장갑들을 포함한다.
도 4는 일부 실시예들에 따른, 비동위치화 액추에이터들을 이용하여 이루어질 수 있는 예시적인 상호작용의 스크린샷(400)을 나타낸다. 이 예에서, 사용자는 시각 환경을 생성하기 위해 가상 현실 헤드셋을 착용하고 있다. 사용자는 Razer Hydra 또는 Microsoft Corp의 "Kinect" 제어기와 같은 게이밍 주변장치를 이용하여 가상 손들(405)을 제어할 수 있다. 사용자는 3개의 가상 객체, 즉 광 스위치(410), 회전 다이얼(420) 및 목재 상자(430)와 상호작용할 수 있다.
광 스위치(410)에 대해, 사용자는 가상 손을 위 아래로 이동하여 광 스위치를 턴온 또는 턴오프함으로써 상호작용할 수 있다. 광 스위치가 도 3의 손목 띠(320) 또는 소정의 다른 햅틱 재생 장치를 이용하여 위 또는 아래 위치에 배치될 때 손목 상에서 햅틱 효과들이 느껴질 수 있다. 다수의 햅틱 재생 장치와 함께 배열된 햅틱 재생 시스템 또는 장치에서, 햅틱은 공간적 의미를 가질 수 있다. 예를 들어, 도 3의 손목 띠(320)의 경우, 위에서 아래로 이동할 때, 사용자는 손목의 상부에서 햅틱 효과를 느낄 수 있다. 가상 물리 상호작용의 이러한 햅틱 효과 지시에 더하여, 광 스위치의 상태와 관련된 제2 햅틱 효과가 트리거될 수 있다. 예를 들어, 전체 광 강도에 비례하는 햅틱 효과가 생성될 수 있으며, 광이 더 밝을수록 햅틱 효과는 더 강할 수 있다(즉, 더 큰 크기를 가질 수 있다). 흐름 양태들을 반영하는 햅틱 효과들도 제공될 수 있다. 예를 들어, 상부 액추에이터가 작동된 후에 하부 액추에이터가 작동되어, 상부에서 하부로 흐르는 햅틱 효과를 생성할 수 있다.
회전 다이얼(420)에 대해, 사용자는 가상 다이얼(420)을 이용하기 위해 주변 장치 상에서 또는 가상 세계에서 버튼을 누름으로써 상호작용할 수 있다. 이어서, 사용자는 손목을 시계 또는 반시계 방향으로 돌림으로써 가상 다이얼(420)을 회전시킬 수 있다. 가상 다이얼 상의 프로그래밍된 디텐트(detent) 간격에 따라 사용자의 손목 상에서 햅틱 효과들이 재생될 수 있다. 예를 들어, 디텐트들은 10도 간격으로 표시될 수 있으며, 따라서 가상 다이얼이 10도 회전할 때마다 햅틱 효과가 발생할 수 있다. 다수의 액추에이터가 이용 가능한 경우, 공간 흐름 타입의 햅틱 효과들이 표시될 수 있다. 예를 들어, 사용자가 장치를 시계 방향으로 돌림에 따라, 사용자의 손목 주위의 띠 내의 액추에이터들이 시계 방향으로 순차화될 수 있다.
회전 다이얼(420)을 갖는 예는 시스템(10)이 상호작용의 상징적 햅틱 표현을 제공할 수 있다는 것도 보여준다. 예를 들어, 가상 다이얼의 물리적 특성들은 다이얼 주위에 디텐트 위치들을 갖는 것일 수 있다. 실제 세계에서, 다이얼은 회전될 때 클릭될 수 있다. 가상 세계에서, 이들은 햅틱 장치를 통해 물리 속성 정보를 제공하기 위해 하나 이상의 액추에이터를 작동시킴으로써 햅틱을 이용하여 상징적으로 표현될 수 있다. 예를 들어, 사용자가 가상 다이얼을 돌리는 하나의 상호작용에서, 디텐트들은 사용자의 손목 주위에서 시계 방향으로 액추에이터들을 작동시킴으로써 상징적으로 표현될 수 있다. 다른 예에서, 디텐트들은 (손목의 배치 방식에 관계없이) 12시 위치에 가장 가까운 액추에이터를 항상 작동시키거나 손목 상의 특정 위치 내의 액추에이터, 예를 들어 손의 상부에 가장 가까운 액추에이터를 항상 작동시킴으로써 상징적으로 표현될 수 있다. 따라서, 햅틱 효과는 가상 세계에서 회전 다이얼의 물리 특성 정보도 묘사할 수 있다.
상징적 햅틱 표현은 가상 객체에 대한 상징적 상태 정보도 포함할 수 있다. 예를 들어, 가상 다이얼의 상태 정보는 볼륨 다이얼의 최대 설정치로의 회전과 같은 회전 한도를 포함할 수 있다. 가상 다이얼의 상태가 회전 한도에 도달한 때, 한도에 도달했다는 것을 상징적으로 지시하기 위한 피드백, 예를 들어 누르는 느낌 또는 빠른 온/오프 반복 피드백이 제공될 수 있다. 따라서, 비동위치화 햅틱의 사용은 객체의 물리 특성들을 객체의 상태 - 다이얼(420)의 예에서, 다음 디텐트 위치에 대한 또는 회전 한도에 대한 다이얼의 회전 위치 -와 결합함으로써 가상 객체에 대한 실제 세계 대응물의 상징적 표현도 제공할 수 있다. 스위치(410)의 예에서, 스위치의 위치는 상태일 수 있으며, 스위치의 동작의 유연성은 스위치의 물리적 특성일 수 있다.
가상 목재 상자(430)에 대해, 사용자는 상자 내에 가상 손을 넣고, 박스의 4개의 표면 중 하나, 즉 상면, 하면 좌측면 또는 우측면과 접촉하도록 이동시킴으로써 상호작용할 수 있다. 도 5는 일부 실시예들에 따른, 다중 액추에이터 착용식 손목 띠(520)를 갖는 가상 상자(510)를 나타낸다. 손목 띠(520)와 같이 착용식 띠가 피드백 장치(15)와 같은 다수의 햅틱 재생 장치를 갖는 경우, 액추에이터들은 손목의 상면, 하면, 우측면 및 좌측면 상에 배치될 수 있다. 가상 접촉의 올바른 면에 배치된 액추에이터는 작동될 수 있다. 예를 들어, 손의 상부가 상자의 상부를 치는 경우, 상부 액추에이터(530)가 작동될 수 있다. 사용자 손의 상부가 상자의 좌측면을 치는 경우, 상부 액추에이터는 여전히 작동될 수 있는데, 그 이유는 시스템이 사용자의 손목의 회전을 보상할 수 있기 때문이다. 이 예에서, 햅틱 효과는 여전히 비동위치화되는데, 그 이유는 사용자의 가상 손이 접촉을 행하는 경우에도 사용자의 손목 상에서 감각이 느껴지기 때문이다. 일부 실시예들에서는, 액추에이터들을 손 위에 배치함으로써 햅틱 효과가 동위치화될 수 있다.
일부 실시예들에서는, 다수의 햅틱 재생 장치 모두가 사용자의 손목 상의 하나의 위치에서 피드백을 제공하도록 배치될 수 있다. 예를 들어, 착용식 손목 띠(520) 내의 모든 액추에이터들이 손목의 하부에 배치될 수 있다. 이 실시예에서는, 햅틱 효과들의 제공 범위를 증가시키기 위해 액추에이터 스케줄링이 사용될 수 있다. 가벼운 효과를 위해 하나의 액추에이터만이 사용될 수 있다. 중간 효과를 위해 2개 또는 3개의 액추에이터가 사용될 수 있으며, 강한 효과를 위해 4개의 액추에이터 모두가 동시에 사용될 수 있다. 유사하게, 각각의 위치에서의 액추에이터 스케줄링을 위치 고유 효과들과 결합하기 위해 다수의 액추에이터가 각각의 위치에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 햅틱 재생 장치의 기능을 나타내는 흐름도이다. 일 실시예에서, 도 6의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형 매체 내에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능은 (예로서, 주문형 집적 회로("ASIC"), 프로그래밍 가능 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등의 사용을 통해) 하드웨어에 의해 또는 하드웨어와 소프트웨어의 임의 조합에 의해 수행될 수 있다.
610에서, 애플리케이션 또는 사용자 인터페이스, 예로서 사용자 인터페이스(11)로부터 햅틱 정보가 수신된다. 햅틱 정보가 애플리케이션으로부터 수신되는 경우, 애플리케이션은 시스템과의 사용자 상호작용에 기초하여 햅틱 정보를 생성할 수 있다. 예를 들어, 사용자는 사용자 인터페이스(11)를 통해 애플리케이션과 상호작용할 수 있다. 애플리케이션은 사용자 인터페이스(11)에 의한 사용자의 상호작용들을 해석하고, 디스플레이 상에 대응하는 반응을 제공할 수 있다. 게다가, 애플리케이션은 사용자의 상호작용들 및 애플리케이션 반응에 기초하여 햅틱 정보를 제공할 수 있다. 햅틱 정보가 사용자 인터페이스(11)와 같은 사용자 인터페이스로부터 수신되는 경우, 햅틱 정보는 사용자 인터페이스로부터 직접 수신될 수 있다. 그러한 정보는 사용자의 손들의 배향 및 사용자에 의해 취해진 인식된 액션들에 관한 정보를 포함할 수 있다. 일부 실시예들에서, 햅틱 정보는 무선으로 수신될 수 있다. 햅틱 정보가 무선으로 수신되는 실시예들에서, 무선 수신을 위해 사용되는 무선 기술들은 무선 주파수, 자기장 및 가시 및 비가시 전자기 주파수에 기초하는 것들을 포함하는 임의의 공지된 타입의 무선 기술을 포함할 수 있다.
620에서, 햅틱 정보를 처리하여, 비동위치화 햅틱 신호를 생성할 수 있다. 예를 들어, 애플리케이션으로부터의 햅틱 정보가 가상 손이 손의 상부에서 가상 객체와 접촉하였다는 것을 알리는 경우, 햅틱 정보를 처리하여 그러한 정보에 기초하는 햅틱 신호를 생성할 수 있다. 일부 실시예들에서, 액추에이터들이 도 3의 320과 같은 손목 띠 상에 배치되고, 인식되는 접촉으로부터 비동위치화되는 경우, 햅틱 신호는 가상 접촉과 동일한 배향으로 손목 상에 배치된 액추에이터(18)와 같은 햅틱 재생 장치를 작동시키기 위한 정보를 포함할 수 있다. 예를 들어, 도 4와 관련하여 전술한 바와 같이, 사용자의 엄지가 위로 향하도록 손목이 배향되고, 엄지가 목재 상자의 상부와 접촉하는 경우, 손목의 윗부분의 햅틱 재생 장치가 작동될 수 있다. 작동 정보는 생성되는 햅틱 신호 내에 포함될 수 있다.
630에서, 햅틱 신호가 액추에이터 구동 회로(16)와 같은 햅틱 재생 구동 회로에 제공될 수 있다. 구동 회로는 액추에이터(18)와 같은 햅틱 재생 장치를 동작시키기 위한 전원을 포함할 수 있다. 구동 회로는 또한 햅틱 신호를 햅틱 재생 장치의 기술에 따라 저레벨 모터 명령들 또는 다른 적절한 저레벨 명령들로 변환할 수 있다. 일부 실시예들에서, 구동 회로는 햅틱 재생 장치가 원래 포함하도록 설계된 것보다 넓은 범위의 햅틱 재생 능력들을 달성하기 위해 햅틱 재생 장치에 과잉 구동 및 제동 명령들을 제공할 수 있다. 그러한 방법들은 누름 햅틱 효과를 시뮬레이션하기 위한 짧은 펄스 햅틱 큐들을 생성하는 데 사용될 수 있다. 햅틱 신호는 유선 또는 무선으로 햅틱 재생 구동 회로에 제공될 수 있다. 햅틱 신호가 무선으로 제공되는 실시예들에서, 무선 송신을 위해 사용되는 무선 기술들은 무선 주파수, 자기장 및 가시 및 비가시 전자기 주파수에 기초하는 것들을 포함하는 임의의 공지된 타입의 무선 기술을 포함할 수 있다.
640에서, 액추에이터(18)와 같은 햅틱 재생 장치 상에서 햅틱 신호에 기초하여 햅틱 피드백이 생성된다. 여기서 햅틱 신호는 620에서 생성된 햅틱 신호에 기초하는 저레벨 명령들 또는 재생 장치 고유 명령들을 포함할 수 있다는 것을 이해할 것이다. 일부 실시예들에서, 햅틱 재생 장치는 전술한 것들과 같은 임의의 공지된 무선 기술을 이용하여 햅틱 신호(또는 저레벨 명령들)를 무선으로 수신할 수 있다. 일부 실시예들에서는, 이용 가능한 일부 햅틱 재생 장치들 상에서 햅틱 피드백이 생성될 수 있지만, 다른 것들에서는 생성되지 못할 수 있다. 예를 들어, 작동을 위해 선택되는 햅틱 재생 장치는 햅틱 재생 신호(또는 저레벨 명령들) 내의 정보에 기초할 수 있으며, 재생 장치의 위치에 기초하여 또는 햅틱 효과의 원하는 강도 또는 크기에 기초하여 선택될 수 있다.
일부 실시예들은 사용자 착용 증강 현실 안경을 포함한다. 사용자는 제스처를 취하여 증강 현실의 특성을 제어할 수 있다. 예를 들어, 사용자는 제스처를 취하여 사용자의 손을 돌림으로써 집 안의 광 강도를 제어할 수 있다. 피드백 장치(15)는 광 강도의 변화에 비례하는 강도로 변하는 이격된 디텐트들 또는 효과들과 같은 햅틱 효과들을 통신할 수 있다. 이 분야의 기술자는 다른 제스처들을 이용하여 증강 현실의 다른 양태들을 제어할 수 있고, 그들 각각은 제스처에 적합한 햅틱 효과들 및 증강 현실의 제어된 양태를 제공할 수 있다는 것을 이해할 것이다.
개시된 바와 같이, 실시예들은 사용자 인터페이스와의 상호작용들에 기초하는 햅틱 큐들을 제공하기 위해 착용식 햅틱 재생 장치들을 이용하는 햅틱 피드백 시스템을 구현한다. 햅틱 재생 장치는 상호작용의 주체에 대해 비동위치화될 수 있으며, 따라서 햅틱 효과는 상호작용의 주체와 일치하도록 인식되지만, 상호작용의 주체와 다른 물리 위치에서 발생한다. 사용자 인터페이스와의 상호작용을 통해 조작되는 객체들의 물리적 속성들의 상징적 표현을 제공하기 위해 다수의 재생 장치가 사용될 수 있다. 액추에이터 스케줄링을 통해 햅틱 효과들의 강도의 상이한 레벨들을 제공하기 위해 다수의 재생 장치가 사용될 수 있다.
본 명세서에서는 여러 실시예가 구체적으로 도시되고/되거나 설명된다. 그러나, 개시된 실시예들의 수정들 및 변경들은 본 발명의 사상 및 의도된 범위로부터 벗어나지 않고서 위의 가르침들에 의해 그리고 첨부된 청구항들의 범위 내에서 커버된다는 것을 알 것이다.

Claims (27)

  1. 비동위치화 햅틱 피드백(non-collocated haptic feedback)을 전달하기 위한 장치로서,
    적어도 하나의 햅틱 재생 장치;
    상기 햅틱 재생 장치를 제어하기 위한 구동 회로; 및
    상기 구동 회로에 전자적으로 결합되어,
    사용자 인터페이스로부터의 데이터에 기초하는 조작 햅틱 정보를 수신하고,
    상기 조작 햅틱 정보에 기초하여 햅틱 신호를 생성하고,
    상기 햅틱 신호를 상기 구동 회로에 제공하여 상기 비동위치화 햅틱 피드백을 생성하기 위한 프로세서
    를 포함하는 장치.
  2. 제1항에 있어서,
    사용자의 손목에서 햅틱 피드백을 생성하도록 구성되는 적어도 2개의 햅틱 재생 장치를 포함하는 착용식 장치
    를 포함하는 장치.
  3. 제1항에 있어서,
    상기 조작 햅틱 정보는 사용자의 손 또는 손가락들을 이용하는 가상 현실 인터페이스 내의 가상 객체의 상기 사용자의 조작에 대응하며, 상기 햅틱 피드백은 상기 사용자의 손목에서 생성되는 장치.
  4. 제3항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 장치.
  5. 제1항에 있어서,
    착용식 장치를 포함하고, 상기 착용식 장치는 사용자의 부속물들 중 하나의 부속물의 주위에 착용되도록 의도된 상기 착용식 장치에 부착된 적어도 4개의 햅틱 재생 장치를 포함하며, 상기 조작 햅틱 정보는 상기 사용자의 손 또는 손가락들을 포함하는 조작 부속물을 이용하는 상기 사용자에 의한 가상 현실 인터페이스 내의 가상 객체의 조작에 대응하는 장치.
  6. 제5항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 장치.
  7. 제6항에 있어서,
    상기 햅틱 피드백은 상기 조작 햅틱 정보에 따라 상기 적어도 4개의 햅틱 재생 장치 각각에서 개별적으로 생성되며, 따라서 상기 가상 객체의 상기 조작은 상기 햅틱 재생 장치들 중 하나의 햅틱 재생 장치에서 햅틱 피드백을 유발하고, 나머지 햅틱 재생 장치들에서는 햅틱 피드백을 유발하지 않는 장치.
  8. 제1항에 있어서,
    상기 햅틱 재생 장치는 액추에이터이며, 누름 햅틱 효과를 시뮬레이션하기 위한 짧은 펄스 햅틱 큐들을 생성하기 위해 액추에이터 과잉 구동 및 제동이 사용되는 장치.
  9. 제2항에 있어서,
    상기 적어도 2개의 햅틱 재생 장치는 동일 근접도 내에 배치되며, 상기 햅틱 피드백은 상기 햅틱 피드백의 목표 강도에 기초하여 상기 햅틱 재생 장치들 중 하나 또는 양자에서 생성되는 장치.
  10. 비동위치화 햅틱 피드백을 전달하기 위한 방법으로서,
    사용자 인터페이스로부터의 데이터에 기초하는 조작 햅틱 정보를 수신하는 단계;
    상기 조작 햅틱 정보에 기초하여 햅틱 신호를 생성하는 단계;
    적어도 하나의 햅틱 재생 장치를 제어하기 위한 구동 회로에 상기 햅틱 신호를 제공하여 상기 비동위치화 햅틱 피드백을 생성하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 사용자의 손목에서 햅틱 피드백을 생성하도록 구성되는 적어도 2개의 햅틱 재생 장치를 포함하는 착용식 장치를 포함하는 방법.
  12. 제9항에 있어서,
    상기 조작 햅틱 정보는 사용자의 손 또는 손가락들을 이용하는 가상 현실 인터페이스 내의 가상 객체의 상기 사용자의 조작에 대응하며, 상기 햅틱 피드백은 상기 사용자의 손목에서 생성되는 방법.
  13. 제12항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 방법.
  14. 제10항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 착용식 장치를 포함하고, 상기 착용식 장치는 사용자의 부속물의 주위에 착용되도록 의도된 상기 착용식 장치에 부착된 적어도 4개의 햅틱 재생 장치를 구비하며, 상기 조작 햅틱 정보는 상기 사용자의 손 또는 손가락들을 포함하는 조작 부속물을 이용하는 상기 사용자에 의한 가상 현실 인터페이스 내의 가상 객체의 조작에 대응하는 방법.
  15. 제14항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 방법.
  16. 제15항에 있어서,
    상기 햅틱 피드백은 상기 조작 햅틱 정보에 따라 상기 적어도 4개의 햅틱 재생 장치 각각에서 개별적으로 생성되며, 따라서 상기 가상 객체의 상기 조작은 상기 햅틱 재생 장치들 중 하나의 햅틱 재생 장치에서 햅틱 피드백을 유발하고, 나머지 햅틱 재생 장치들에서는 햅틱 피드백을 유발하지 않는 방법.
  17. 제10항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 액추에이터를 포함하며,
    상기 방법은 누름 햅틱 효과를 시뮬레이션하기 위한 짧은 펄스 햅틱 큐들을 생성하도록 상기 액추에이터를 과잉 구동 및 제동하는 단계를 더 포함하는 방법.
  18. 제11항에 있어서,
    상기 적어도 2개의 햅틱 재생 장치는 동일 근접도 내에 배치되며, 상기 햅틱 피드백은 상기 햅틱 피드백의 목표 강도에 기초하여 상기 햅틱 재생 장치들 중 하나 또는 양자에서 생성되는 방법.
  19. 비동위치화 햅틱 피드백을 생성하기 위한 명령어들을 저장한 컴퓨터 판독 가능 매체로서,
    상기 생성은
    사용자 인터페이스로부터의 데이터에 기초하는 조작 햅틱 정보를 수신하는 단계;
    상기 조작 햅틱 정보에 기초하여 햅틱 신호를 생성하는 단계;
    적어도 하나의 햅틱 재생 장치를 제어하기 위한 구동 회로에 상기 햅틱 신호를 제공하여 상기 비동위치화 햅틱 피드백을 생성하는 단계
    를 포함하는 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 사용자의 손목에서 햅틱 피드백을 제공하도록 구성되는 적어도 2개의 햅틱 재생 장치를 포함하는 착용식 장치를 포함하는 컴퓨터 판독 가능 매체.
  21. 제19항에 있어서,
    상기 조작 햅틱 정보는 사용자의 손 또는 손가락들을 이용하는 가상 현실 인터페이스 내의 가상 객체의 상기 사용자의 조작에 대응하며, 상기 햅틱 피드백은 상기 사용자의 손목에서 생성되는 컴퓨터 판독 가능 매체.
  22. 제21항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 컴퓨터 판독 가능 매체.
  23. 제19항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 착용식 장치를 포함하고, 상기 착용식 장치는 사용자의 부속물의 주위에 착용되도록 의도된 상기 착용식 장치에 부착된 적어도 4개의 햅틱 재생 장치를 포함하며, 상기 조작 햅틱 정보는 상기 사용자의 손 또는 손가락들을 포함하는 조작 부속물을 이용하는 가상 현실 인터페이스 내의 가상 객체의 사용자 조작에 대응하는 컴퓨터 판독 가능 매체.
  24. 제23항에 있어서,
    상기 햅틱 피드백은 상기 조작을 상징하는 컴퓨터 판독 가능 매체.
  25. 제24항에 있어서,
    상기 햅틱 피드백은 상기 조작 햅틱 정보에 따라 상기 적어도 4개의 햅틱 재생 장치 각각에서 개별적으로 생성되며, 따라서 상기 가상 객체의 상기 조작은 상기 햅틱 재생 장치들 중 하나의 햅틱 재생 장치에서 햅틱 피드백을 유발하고, 나머지 햅틱 재생 장치들에서는 햅틱 피드백을 유발하지 않는 컴퓨터 판독 가능 매체.
  26. 제19항에 있어서,
    상기 적어도 하나의 햅틱 재생 장치는 액추에이터를 포함하며,
    상기 생성은 누름 햅틱 효과를 시뮬레이션하기 위한 짧은 펄스 햅틱 큐들을 생성하도록 상기 적어도 하나의 액추에이터를 과잉 구동 및 제동하는 단계를 더 포함하는 컴퓨터 판독 가능 매체.
  27. 제20항에 있어서,
    상기 적어도 2개의 햅틱 재생 장치는 동일 근접도 내에 배치되며, 상기 햅틱 피드백은 상기 햅틱 피드백의 목표 강도에 기초하여 상기 햅틱 재생 장치들 중 하나 또는 양자에서 생성되는 컴퓨터 판독 가능 매체.
KR1020150066505A 2014-05-19 2015-05-13 몰입 환경에서의 비동위치화 햅틱 큐 KR20150133133A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/280,726 US10379614B2 (en) 2014-05-19 2014-05-19 Non-collocated haptic cues in immersive environments
US14/280,726 2014-05-19

Publications (1)

Publication Number Publication Date
KR20150133133A true KR20150133133A (ko) 2015-11-27

Family

ID=53040473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150066505A KR20150133133A (ko) 2014-05-19 2015-05-13 몰입 환경에서의 비동위치화 햅틱 큐

Country Status (5)

Country Link
US (2) US10379614B2 (ko)
EP (1) EP2947548A1 (ko)
JP (2) JP6612522B2 (ko)
KR (1) KR20150133133A (ko)
CN (2) CN111338479A (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170098350A1 (en) 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
US12008892B2 (en) 2014-05-16 2024-06-11 Not Impossible, Llc Vibrotactile control systems and methods
US9679546B2 (en) * 2014-05-16 2017-06-13 Not Impossible LLC Sound vest
US9786201B2 (en) * 2014-05-16 2017-10-10 Not Impossible LLC Wearable sound
US9645646B2 (en) * 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
WO2016081425A1 (en) * 2014-11-17 2016-05-26 Thika Holdings Llc Device for intuitive dexterous touch and feel interaction in virtual worlds
US10135892B2 (en) 2015-07-28 2018-11-20 Google Llc Independent control of interactive streaming media
KR102639118B1 (ko) * 2015-09-08 2024-02-22 소니그룹주식회사 정보 처리 장치, 방법 및 컴퓨터 프로그램
DE102015016152A1 (de) * 2015-12-12 2017-06-14 Daimler Ag Haptische Rückmeldung bei einer Nutzerschnittstelle
EP3264222B1 (en) * 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10241577B2 (en) 2017-08-01 2019-03-26 Immersion Corporation Single actuator haptic effects
US10572016B2 (en) * 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
CN108721892B (zh) * 2018-05-22 2021-11-05 重庆子元科技有限公司 用于沉浸式虚拟现实设备的可穿戴式全身力反馈方法
CN109085926A (zh) * 2018-08-21 2018-12-25 华东师范大学 一种多模态成像与多感知交融的增强现实系统及其应用
US10678334B1 (en) * 2018-11-30 2020-06-09 Facebook Technologies, Llc Systems and methods for providing substantially orthogonal movement of a device about a user's body part
ES2910076T3 (es) * 2019-11-04 2022-05-11 Boreal Tech & Investment S L Dispositivo de videojuego integrado en una prenda de vestir y procedimiento asociado
WO2021241179A1 (ja) * 2020-05-26 2021-12-02 ソニーグループ株式会社 触覚提示装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
CA2139336C (en) 1992-07-06 2004-06-01 James F. Kramer Determination of kinematically constrained multi-articulated structures
JPH0720978A (ja) 1993-07-05 1995-01-24 Sony Corp 仮想体感装置
US5482056A (en) 1994-04-04 1996-01-09 Kramer; James F. Determination of thumb position using measurements of abduction and rotation
US5583478A (en) * 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6104379A (en) 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
US6110130A (en) 1997-04-21 2000-08-29 Virtual Technologies, Inc. Exoskeleton device for directly measuring fingertip position and inferring finger joint angle
US6042555A (en) 1997-05-12 2000-03-28 Virtual Technologies, Inc. Force-feedback interface device for the hand
US6752716B1 (en) * 1997-11-07 2004-06-22 Kabushiki Kaisha Sega Enterprises Game machine for simulating vibration
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
CA2497428A1 (en) * 2001-09-03 2003-03-13 Rainbow Reward Holdings Pty. Ltd. Method of administering a reward scheme
EP1533678A1 (en) * 2003-11-24 2005-05-25 Sony International (Europe) GmbH Physical feedback channel for entertaining or gaming environments
US7331871B2 (en) * 2004-05-05 2008-02-19 Miguel Lopez Tactile signal-producing vest worn while playing a video game
US7696860B2 (en) * 2005-10-14 2010-04-13 University Of Central Florida Research Foundation, Inc Electromagnetic field tactile display interface and biosensor
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
JP4921113B2 (ja) * 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
TWI434718B (zh) * 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US20090312049A1 (en) * 2008-06-12 2009-12-17 Nokia Corporation Context determination of an electronic device
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100295667A1 (en) * 2009-05-22 2010-11-25 Electronics And Telecommunications Research Institute Motion based pointing apparatus providing haptic feedback and control method thereof
JP5613236B2 (ja) 2009-07-22 2014-10-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 複数のプラットフォームを越える触覚フィードバックを用いた対話式タッチスクリーンゲーミング比喩
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8552859B2 (en) 2009-09-30 2013-10-08 Apple Inc. Self adapting alert device
US9417694B2 (en) 2009-10-30 2016-08-16 Immersion Corporation System and method for haptic display of data transfers
WO2011119233A1 (en) 2010-03-25 2011-09-29 Reza Taghavi Tactile communication device for the neck
WO2013039510A1 (en) * 2011-09-16 2013-03-21 Empire Technology Development Llc Remote movement guidance
EP2624100B1 (en) * 2012-02-01 2017-06-14 Immersion Corporation Eccentric rotating mass actuator optimization for haptic effects
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
US20150277563A1 (en) * 2014-03-28 2015-10-01 Wen-Ling M. Huang Dynamic tactile user interface
US20150293590A1 (en) * 2014-04-11 2015-10-15 Nokia Corporation Method, Apparatus, And Computer Program Product For Haptically Providing Information Via A Wearable Device

Also Published As

Publication number Publication date
CN105094417A (zh) 2015-11-25
EP2947548A1 (en) 2015-11-25
JP2015219910A (ja) 2015-12-07
JP6612522B2 (ja) 2019-11-27
JP2020030845A (ja) 2020-02-27
US10379614B2 (en) 2019-08-13
US20150331488A1 (en) 2015-11-19
US20190369733A1 (en) 2019-12-05
CN111338479A (zh) 2020-06-26
US10564730B2 (en) 2020-02-18
CN105094417B (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10974138B2 (en) Haptic surround functionality
US9715278B2 (en) User interface device provided with surface haptic sensations
US9134797B2 (en) Systems and methods for providing haptic feedback to touch-sensitive input devices
EP2851763B1 (en) Orientation adjustable multi-channel haptic device
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
US8264465B2 (en) Haptic feedback for button and scrolling action simulation in touch input devices
US9280205B2 (en) Haptic feedback for touchpads and other touch controls
KR20160004198A (ko) 정전 햅틱 효과를 제공하는 표면 요소를 위한 시스템 및 방법
EP3096206A1 (en) Haptic effects based on predicted contact
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
KR20190017010A (ko) 멀티모덜 햅틱 효과
CN113508355A (zh) 虚拟现实控制器
US20200286298A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application