KR20190122569A - 몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스 - Google Patents

몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스 Download PDF

Info

Publication number
KR20190122569A
KR20190122569A KR1020190044782A KR20190044782A KR20190122569A KR 20190122569 A KR20190122569 A KR 20190122569A KR 1020190044782 A KR1020190044782 A KR 1020190044782A KR 20190044782 A KR20190044782 A KR 20190044782A KR 20190122569 A KR20190122569 A KR 20190122569A
Authority
KR
South Korea
Prior art keywords
haptic
immersive
haptic effect
environment
effect
Prior art date
Application number
KR1020190044782A
Other languages
English (en)
Inventor
에스. 윌리엄 린
엠. 데이비드 번바움
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190122569A publication Critical patent/KR20190122569A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

몰입형 현실 환경에 대해 햅틱 효과를 제공하는 장치, 방법 및 비일시적 컴퓨터 판독 가능 매체가 제시된다. 방법은 몰입형 현실 모듈에 의해 실행되는 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것이라는 지시를 수신하는 것을 포함한다. 방법은 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형을 결정하는 것을 더 포함한다. 방법은 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어하는 것을 더 포함한다.

Description

몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스{HAPTIC-ENABLED WEARABLE DEVICE FOR GENERATING A HAPTIC EFFECT IN AN IMMERSIVE REALITY ENVIRONMENT}
본 발명은 컨텍스쳐(contextual) 햅틱 가능 웨어러블 디바이스 및 컨텍스트 종속적(context-dependent) 방식으로 햅틱 효과를 제공하는 방법 및 장치에 관한 것이며, 게임, 게임, 가전 제품, 엔터테인먼트 및 기타 분야에 적용된다.
사용자 인터페이스를 제공하기 위하여 가상 현실(virtual reality), 증강 현실(augmented reality), 혼합 현실(mixed reality) 및 다른 몰입형 현실 환경의 사용이 증가함에 따라, 이러한 환경에서 사용자 경험을 강화하기 위해 햅틱 피드백이 구현되었다. 이러한 햅틱 피드백의 예는 몰입형 현실 환경과 상호작용하는 데 사용되는 조이스틱 또는 다른 게임 주변기기에 대한 운동감각(kinesthetic) 햅틱 효과를 포함한다.
다음의 상세한 설명은 본질적으로 단지 예시적인 것이며, 본 발명 또는 본 발명의 응용 및 용도를 제한하고자 하는 것은 아니다. 또한 앞의 기술 분야, 배경, 간단한 설명 또는 다음의 상세한 설명에 제시된 임의의 표현되거나 암시된 이론에 구속될 의도는 없다.
본 발명의 실시예의 일 양상은 처리 유닛 또는 처리 유닛에 의해 실행될 때 처리 유닛이 몰입형 현실 환경에 대해 햅틱 효과를 제공하는 방법을 수행하도록 하는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 방법은, 처리 회로에 의하여, 몰입형 현실 모듈에 의해 실행되는 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것이라는 지시를 수신하는 것을 포함한다. 방법은, 처리 회로에 의하여, 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형을 결정하는 것을 더 포함한다. 방법에서, 처리 회로는 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어한다.
일 실시예에서, 몰입형 현실 모듈이 실행되는 디바이스 유형은 햅틱 생성 능력을 갖지 않는다.
일 실시예에서, 몰입형 현실 환경 유형은 2차원(2D) 환경, 3차원(3D) 환경, 혼합 현실 환경, 가상 현실(VR) 환경 또는 증강 현실(AR) 환경 중 하나이다.
일 실시예에서, 몰입형 현실 환경 유형이 3D 환경일 때, 처리 회로는 햅틱 출력 디바이스가 3D 환경의 3D 좌표 시스템 내의 사용자 손의 3D 좌표에 기반하여 또는 3D 환경 내의 3D 제스처에 기반하여 햅틱 효과를 생성하도록 제어한다.
일 실시예에서, 몰입형 현실 환경 유형이 2D 환경일 때, 처리 회로는 햅틱 출력 디바이스가 2D 환경의 2D 좌표 시스템 내의 사용자 손의 2D 좌표에 기반하여 또는 2D 환경 내의 2D 제스처에 기반하여 햅틱 효과를 생성하도록 제어한다.
일 실시예에서, 몰입형 현실 환경 유형이 AR 환경일 때, 처리 회로는 햅틱 출력 디바이스가 AR 환경의 가상 물체와 AR 환경 내에 묘사된 물리적 환경 사이의 모의 상호작용에 기반하여 햅틱 효과를 생성하도록 제어한다.
일 실시예에서, 몰입형 현실 환경 유형이 제2 유형 몰입형 현실 환경인 것으로 결정되고, 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어하는 단계는 제1 유형 몰입형 현실 환경과 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 정의된 햅틱 효과 특성을 변경하여 변경된 햅틱 효과 특성을 생성하는 것을 포함하며, 햅틱 효과는 변경된 햅틱 효과 특성으로 생성된다.
일 실시예에서, 정의된 햅틱 효과 특성은 햅틱 구동 신호 또는 햅틱 매개변수 값을 포함하고, 햅틱 매개변수 값은 구동 신호 크기, 구동 신호 지속시간 또는 구동 신호 주파수 중 적어도 하나를 포함한다.
일 실시예에서, 정의된 햅틱 효과 특성은 진동 또는 변형의 크기, 진동 또는 변형의 지속시간, 진동 또는 변형의 주파수, 정전기 마찰 효과 또는 초음파 마찰 효과에 대한 마찰 계수 또는 온도 중 적어도 하나를 포함한다.
일 실시예에서, 몰입형 현실 모듈이 실행되는 디바이스 유형은 게임 콘솔, 휴대전화, 태블릿 컴퓨터, 랩톱, 데스크톱 컴퓨터, 서버 또는 독립 실행형(standalone) 헤드 마운티드 디바이스(HMD) 중 하나이다.
일 실시예에서, 몰입형 현실 모듈이 실행되는 디바이스 유형이 제2 유형 디바이스인 것으로 결정되고, 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어하는 단계는 임의의 몰입형 현실 모듈을 실행하는 제1 유형 디바이스와 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 변경된 햅틱 효과 특성을 생성하기 위해 정의된 햅틱 효과 특성을 변경하는 것을 포함하며, 햅틱 효과는 변경된 햅틱 효과 특성으로 생성된다.
일 실시예에서, 처리 유닛은 몰입형 현실 환경과 상호작용하는 사용자가 몰입형 현실 환경에 대해 전자 신호 입력을 제공하도록 구성되는 햅틱 가능 휴대용 컨트롤러를 들고 있는지 여부를 더 판단하며, 햅틱 가능 웨어러블 디바이스 상에 생성되는 햅틱 효과는 사용자가 햅틱 가능 휴대용 컨트롤러를 들고 있는지 여부에 기반한다.
일 실시예에서, 햅틱 효과는 몰입형 현실 모듈 외에 디바이스에서 실행되거나 설치된 소프트웨어에 더 기반한다.
일 실시예에서, 햅틱 효과는 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스의 햅틱 능력(haptic capability)에 더 기반한다.
일 실시예에서, 햅틱 출력 디바이스가 제2 유형 햅틱 출력 디바이스이고, 햅틱 출력 디바이스를 제어하는 것은 제1 유형 햅틱 출력 디바이스와 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 변경된 햅틱 효과 특성을 생성하기 위해 정의된 햅틱 효과 특성을 변경하는 것을 포함하며, 햅틱 효과는 변경된 햅틱 효과 특성에 기반하여 생성된다.
본 발명의 실시예의 일 양상은 처리 유닛 또는 처리 유닛에 의해 실행될 때 처리 유닛이 몰입형 현실 환경에 대해 햅틱 효과를 제공하는 방법을 수행하도록 하는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 방법은, 처리 회로에 의하여, 몰입형 현실 환경과 몰입형 현실 환경의 사용자에 의해 제어되는 물리적 물체 사이의 모의 상호작용을 검출하는 것을 포함한다. 방법은, 처리 회로에 의하여, 몰입형 현실 환경과 물리적 물체 사이의 모의 상호작용에 대해 햅틱 효과가 생성되는 것으로 결정하는 것을 더 포함한다. 방법은, 처리 회로에 의하여, 물리적 물체와 몰입형 현실 환경 사이의 모의 상호작용에 기반하여 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어하는 것을 추가로 포함한다.
일 실시예에서, 물리적 물체는 몰입형 현실 환경의 사용자에 의해 움직이는 휴대용 물체이다.
일 실시예에서, 휴대용 물체는 몰입형 현실 환경에 대해 전자 신호 입력을 제공하도록 구성되는 휴대용 사용자 입력 디바이스이다.
일 실시예에서, 휴대용 물체는 몰입형 현실 환경에 대해 전자 신호 입력을 제공하는 능력이 없다.
일 실시예에서, 모의 상호작용은 물리적 물체와 몰입형 현실 환경의 가상 표면 사이의 모의 접촉을 포함하며, 햅틱 효과는 가상 표면의 가상 질감에 기반한다.
일 실시예에서, 처리 유닛은 물리적 물체의 물리적 특성을 더 결정하며, 햅틱 효과는 물리적 물체의 물리적 특성에 기반하고, 물리적 특성은 물리적 물체의 크기, 색상 또는 형상 중 적어도 하나를 포함한다.
일 실시예에서, 처리 유닛은 물리적 물체에 가상 특성을 더 할당하며, 햅틱 효과는 가상 특성에 기반하고, 가상 특성은 가상 질량, 가상 형상, 가상 질감 또는 물리적 물체와 몰입형 현실 환경의 물체 사이의 가상 힘의 크기 중 적어도 하나를 포함한다.
일 실시예에서, 햅틱 효과는 햅틱 가능 웨어러블 디바이스와 물리적 물체 사이의 물리적 관계에 기반한다.
일 실시예에서, 햅틱 효과는 햅틱 가능 웨어러블 디바이스와 몰입형 현실 환경의 가상 물체 사이의 근접에 기반한다.
일 실시예에서, 햅틱 효과는 물리적 물체의 운동 특성에 기반한다.
일 실시예에서, 물리적 물체는 물리적 물체의 하나 이상의 특성을 표현하는 프로파일(profile) 정보를 저장하는 메모리를 포함하며, 햅틱 효과는 프로파일 정보에 기반한다.
일 실시예에서, 몰입형 현실 환경은 복수의 상이한 몰입형 현실 환경을 생성할 수 있는 디바이스에 의해 생성된다. 처리 유닛은 물리적 물체의 물리적 또는 가상 특성에 기반하여 복수의 몰입형 현실 환경으로부터 몰입형 현실 환경을 더 선택한다.
일 실시예에서, 처리 유닛은 물리적 물체의 영상 분류를 결정하기 위하여 물리적 물체의 물리적 외관에 영상 분류 알고리즘을 더 적용하고, 복수의 몰입형 현실 환경으로부터 몰입형 현실 환경을 선택하는 것은 물리적 물체의 영상 분류에 기반한다.
일 실시예에서, 물리적 물체는 물리적 물체의 특성을 표현하는 프로파일(profile) 정보를 저장하는 메모리를 포함하며, 복수의 몰입형 현실 환경으로부터 몰입형 현실 환경을 선택하는 것은 메모리에 저장된 프로파일 정보에 기반한다.
본 발명의 실시예의 일 양상은 처리 유닛 또는 처리 유닛에 의해 실행될 때 처리 유닛이 몰입형 현실 환경에 대해 햅틱 효과를 제공하는 방법을 수행하도록 하는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 방법은, 처리 회로에 의하여, 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것으로 결정하는 것을 포함한다. 방법은, 처리 회로에 의하여, 햅틱 효과가 제1 유형 햅틱 출력 디바이스와 연관된 정의된 햅틱 효과임을 결정하는 것을 더 포함한다. 방법에서, 처리 유닛은 처리 회로와 통신하는 햅틱 가능 디바이스의 햅틱 능력을 결정하고, 햅틱 능력은 햅틱 가능 디바이스가 제2 유형 햅틱 출력 디바이스인 햅틱 출력 디바이스를 갖는 것을 나타낸다. 방법에서, 처리 유닛은 변경된 햅틱 효과 특성으로 변경된 햅틱 효과를 생성하기 위하여 햅틱 가능 디바이스의 햅틱 능력에 기반하여 정의된 햅틱 효과의 햅틱 효과 특성을 더 변경한다.
일 실시예에서, 햅틱 가능 디바이스의 햅틱 능력은 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 유형(들), 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 수, 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 햅틱 효과 유형(들), 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 최대 햅틱 크기, 햅틱 출력 디바이스(들) 각각의 주파수 대역폭, 햅틱 출력 디바이스(들) 각각의 최소 상승(ramp-up) 시간 또는 제동 시간, 햅틱 가능 디바이스의 임의의 열적 햅틱 출력 디바이스의 최대 온도 또는 최소 온도 또는 햅틱 가능 디바이스의 임의의 ESF 또는 USF 햅틱 출력 디바이스에 대한 최대 마찰 계수 중 적어도 하나를 나타낸다.
일 실시예에서, 햅틱 효과 특성을 변경하는 것은 햅틱 크기, 햅틱 효과 유형, 햅틱 효과 주파수, 온도 또는 마찰 계수 중 적어도 하나를 변경하는 것을 포함한다.
본 발명의 실시예의 일 양상은 처리 유닛 또는 처리 유닛에 의해 실행될 때 처리 유닛이 몰입형 현실 환경에 대해 햅틱 효과를 제공하는 방법을 수행하도록 하는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 방법은, 처리 회로에 의하여, 처리 회로에 의하여 생성된 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것으로 결정하는 것을 포함한다. 방법은, 처리 회로에 의하여, 처리 회로와 통신하는 복수의 햅틱 가능 디바이스의 각 햅틱 능력을 결정하는 것을 더 포함한다. 방법에서, 처리 유닛은 복수의 햅틱 가능 디바이스의 각 햅틱 능력에 기반하여 복수의 햅틱 가능 디바이스로부터 햅틱 가능 디바이스를 선택한다. 방법은 선택되지 않은 햅틱 가능 디바이스가 햅틱 효과를 생성하지 않도록, 햅틱 효과를 생성하도록 선택된 햅틱 가능 디바이스를 제어하는 것을 더 포함한다.
본 발명의 실시예의 일 양상은 처리 유닛 또는 처리 유닛에 의해 실행될 때 처리 유닛이 몰입형 현실 환경에 대해 햅틱 효과를 제공하는 방법을 수행하도록 하는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체에 관한 것이다. 방법은, 처리 회로에 의하여, 몰입형 현실 환경의 사용자가 착용한 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치 또는 운동을 추적하는 것을 포함한다. 방법은, 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치 또는 운동에 기반하여, 사용자와 몰입형 현실 환경 사이의 상호작용을 결정하는 것을 더 포함한다. 방법에서, 처리 유닛은 사용자와 몰입형 현실 환경 사이에서 결정된 상호작용에 기반하여 햅틱 효과를 생성하도록 햅틱 가능 고리 또는 햅틱 가능 장갑을 제어한다.
일 실시예에서, 햅틱 효과는 햅틱 가능 고리 또는 햅틱 가능 장갑과 몰입형 현실 환경의 가상 물체 사이의 근접과 같은 관계에 기반한다.
일 실시예에서, 관계는 햅틱 가능 고리 또는 햅틱 가능 장갑과 몰입형 현실 환경의 가상 물체 사이의 근접을 나타낸다.
일 실시예에서, 햅틱 효과는 가상 물체의 가상 질감 또는 가상 경도에 기반한다.
일 실시예에서, 햅틱 효과는 햅틱 가능 고리 또는 햅틱 가능 장갑이 몰입형 현실 환경의 가상 표면 또는 가상 경계를 가로지르는 것에 응답하여 촉발되며, 햅틱 효과는 운동감각(kinesthetic) 효과에 근사하는 미세 변형 효과이다.
일 실시예에서, 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치 또는 운동을 추적하는 것은 처리 회로가 사용자가 위치한 물리적 환경의 영상을 카메라로부터 수신하는 것 및 햅틱 가능 고리 또는 햅틱 가능 장갑을 검출하기 위하여 영상에 영상 검출 알고리즘을 적용하는 것을 포함한다.
본 발명의 실시예의 일 양상은 몰입형 현실 생성 디바이스 및 햅틱 가능 웨어러블 디바이스를 포함하는 시스템에 관한 것이다. 몰입형 현실 생성 디바이스는 몰입형 현실 환경을 생성하는 몰입형 현실 모듈을 저장하도록 구성되는 메모리, 몰입형 현실 모듈을 실행하도록 구성되는 처리 유닛, 및 무선 통신을 수행하는 통신 인터페이스를 가지며, 몰입형 현실 생성 디바이스는 햅틱 출력 디바이스를 갖지 않으며 햅틱 생성 능력이 없다. 햅틱 가능 웨어러블 디바이스는 햅틱 출력 디바이스, 몰입형 현실 생성 디바이스의 통신 인터페이스와 무선 통신하도록 구성되는 통신 인터페이스를 가지며, 햅틱 가능 웨어러블 디바이스는, 몰입형 현실 생성 디바이스로부터, 햅틱 효과가 생성되는 것이라는 지시(indication)를 수신하고, 햅틱 효과를 생성하기 위해 햅틱 출력 디바이스를 제어하도록 구성된다.
발명의 상기 및 다른 특징, 목적 및 이점은 첨부 도면에 도시된 본 발명의 실시예에 대한 다음의 상세한 설명으로부터 명백해질 것이다. 본원에 통합되어 명세서의 일부를 형성하는 첨부 도면은 발명의 원리를 설명하고 통상의 기술자가 발명을 제조하고 사용할 수 있게 한다. 도면은 축적에 맞게 도시된 것이 아니다.
도 1a 내지 도 1e는 본 발명의 실시예에 따라 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트에 기반하여 햅틱 효과를 생성하는 다양한 시스템을 도시한다.
도 2a 내지 도 2d는 본 발명의 실시예에 따라 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 효과를 생성하는 양상을 도시한다.
도 3은 본 발명의 실시예에 따라 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 효과를 생성하는 예시적인 방법을 도시한다.
도 4a 내지 도 4e는 본 발명의 실시예에 따라 물리적 물체와 몰입형 현실 환경 사이의 상호작용에 기반하여 햅틱 효과를 생성하는 양상을 도시한다.
도 5는 본 발명의 실시예에 따라 물리적 물체와 몰입형 현실 환경 사이의 상호작용에 기반하여 햅틱 효과를 생성하는 예시적인 방법을 도시한다.
도 6a 및 도 6b는 본 발명의 실시예에 따라 햅틱 가능 디바이스의 햅틱 능력에 기반하여 햅틱 효과를 생성하는 양상을 도시한다.
도 7은 본 발명의 실시예에 따라 햅틱 가능 웨어러블 디바이스의 위치 또는 운동을 추적함에 의하여 몰입형 현실 환경과의 사용자 상호작용을 결정하는 예시적인 방법을 도시한다.
다음의 상세한 설명은 본질적으로 단지 예시적인 것이며, 본 발명 또는 본 발명의 응용 및 용도를 제한하고자 하는 것은 아니다. 또한 앞의 기술 분야, 배경, 간단한 설명 또는 다음의 상세한 설명에 제시된 임의의 표현되거나 암시된 이론에 구속될 의도는 없다.
본 발명의 실시예의 일 양상은 가상 현실 환경, 증강 현실 환경 또는 혼합 현실 환경과 같은 몰입형 현실 환경에 대해, 컨텍스트 종속적 방식으로 햅틱 효과를 제공하는 것에 관한 것이다. 일부 경우에서, 햅틱 효과는 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트에 기반할 수 있다. 본 발명의 실시예의 일 양상은 사용자가 손에 착용한 햅틱 가능 고리와 같은 햅틱 가능 웨어러블 디바이스로 햅틱 효과를 제공하는 것에 관한 것이다. 일부 경우에서, 햅틱 가능 웨어러블 디바이스는 햅틱 생성 기능이 없는 몰입형 현실 플랫폼(또한 몰입형 현실 생성 디바이스로도 지칭됨)과 함께 사용될 수 있다. 예를 들어, 몰입형 현실 플랫폼은 내장형(built-in) 햅틱 액추에이터를 갖지 않는다. 이러한 경우는, 휴대전화와 같은 몰입형 현실 플랫폼이 더 얇은 프로파일 및/또는 더 가벼운 무게를 갖도록 허용한다. 휴대전화가 사용자에게 햅틱 알림을 제공하여야 할 때, 휴대전화는 햅틱 가능 웨어러블 디바이스로 햅틱 효과가 생성되어야 한다는 지시를 제공할 수 있으며, 햅틱 가능 웨어러블 디바이스가 햅틱 효과를 생성할 수 있다. 햅틱 가능 웨어러블 디바이스는 따라서 상이한 몰입형 현실 환경 또는 상이한 몰입형 환경 플랫폼에 대해 공통 햅틱 인터페이스를 제공할 수 있다. 햅틱 가능 웨어러블 디바이스에 의해 생성되는 햅틱 알림은 몰입형 현실 환경과의 사용자 상호작용에 관한 것일 수 있으며, 또는 휴대전화에 수신되는 통화 또는 문자 메시지 수신에 관한 햅틱 알림과 같이 다른 상황에 관한 것일 수 있다. 본 발명의 실시예의 일 양상은 제스처 또는 다른 형태의 몰입형 현실 환경과의 사용자 상호작용을 추적하기 위하여 햅틱 가능 고리와 같은 햅틱 가능 웨어러블 디바이스를 사용하여 사용자 손의 위치 또는 운동을 추적하는 것에 관한 것이다
상술한 바와 같이, 본 발명의 실시예의 일 양상은 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트에 기반하여 햅틱 효과를 생성하는 것에 관한 것이다. 일부 경우에서, 컨텍스트는 사용자가 상호작용하는 몰입형 현실 환경 유형을 지칭할 수 있다. 예를 들어, 몰입형 현실 환경 유형은 가상 현실(VR) 환경, 증강 현실(AR) 환경, 혼합 현실(MR) 환경, 3D 환경, 2D 환경 중 하나이거나 이들의 임의의 조합일 수 있다. 생성되는 햅틱 효과는 사용자가 상호작용하는 몰입형 현실 환경 유형에 기반하여 달라질 수 있다. 예를 들어, 2D 환경에 대한 햅틱 효과는 2D 환경의 두 좌표축에 따른 사용자 손의 2D 좌표 또는 사용자 손의 움직임에 기반할 수 있는 한편, 3D 환경에 대한 햅틱 효과는 3D 환경의 세 좌표축에 따른 사용자 손의 3D 좌표 또는 사용자 손의 움직임에 기반할 수 있다.
일부 예에서, 컨텍스트 종속적 햅틱 효과 기능은 몰입형 현실 환경을 제공하는 몰입형 현실 모듈과 별개의 햅틱 제어 모듈로 구현될 수 있다. 이러한 구현은 프로그래머가 컨텍스트에 맞는 햅틱 효과를 몰입형 현실 모듈 내로 프로그래밍할 필요 없이 몰입형 현실 모듈(또한 몰입형 현실 애플리케이션으로도 지칭됨)을 생성하도록 허용할 수 있다. 대신, 몰입형 현실 모듈이 나중에 햅틱 제어 모듈을 (예를 들어 플러그인으로서) 통합하거나 또는 햅틱 제어 모듈과 통신하여 햅틱 효과가 컨텍스트 종속적 방식으로 생성되는 것을 보장할 수 있다. 몰입형 현실 모듈이, 예를 들어, 컨텍스트에 특정한 것(context-specific)이 아닌 일반적인(generic) 또는 단지 하나의 컨텍스트에만 특정한 햅틱 효과 특성으로 프로그래밍되면, 햅틱 제어 모듈이 햅틱 효과 특성을 다른 상이한 컨텍스트로 변경할 수 있다. 일부 상황에서, 몰입형 현실 모듈은 구체적으로 햅틱 효과를 촉발하는 명령 없이 또는 일반적으로 햅틱 기능 없이 프로그래밍될 수 있다. 이러한 상황에서, 햅틱 제어 모듈은 몰입형 현실 환경 내에서 발생하는 사건을 모니터링하고 언제 햅틱 효과가 생성되어야 할 지 결정할 수 있다.
컨텍스트 종속적 햅틱 효과에 관하여, 일부 경우에서 컨텍스트는 몰입형 현실 모듈(이는 또한 몰입형 현실 애플리케이션으로도 지칭될 수 있음)이 실행되는 디바이스 유형을 지칭할 수 있다. 디바이스 유형은, 예를 들어, 휴대전화, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 서버 또는 독립 실행형 헤드 마운티드 디스플레이(HMD)일 수 있다. 독립 실행형(standalone) HMD는 그 자체의 디스플레이 및 처리 기능을 가질 수 있어, 몰입형 현실 환경을 생성하기 위하여 휴대전화와 같은 다른 디바이스가 필요하지 않을 수 있다. 일부 경우에서, 각 유형의 다바이스에 대한 몰입형 현실 모듈이 그 유형의 디바이스에 특정한 정의된 햅틱 효과 특성(이는 또한 사전 정의된 햅틱 효과 특성으로도 지칭될 수 있음)을 가질 수 있다. 예를 들어, 태블릿 컴퓨터 상에서 실행되는 몰입형 현실 모듈은 태블릿 컴퓨터에 특정한 햅틱 효과 특성으로 프로그래밍되었을 수 있다. 햅틱 효과가 햅틱 가능 웨어러블 디바이스 상에서 생성될 때, 사전에 존재하는 햅틱 효과 특성이 햅틱 가능 웨어러블 디바이스에 적합하도록 본 발명에 따른 햅틱 제어 모듈에 의해 변경되어야 할 수 있다. 본 발명에 따른 햅틱 제어 모듈은 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 효과를 변경하여야 할 수 있다.
일 실시예에서, 컨텍스트는 몰입형 현실 모듈을 실행하는 디바이스(디바이스는 몰입형 현실 생성 디바이스 또는 몰입형 현실 플랫폼으로 지칭될 수 있다) 상에서 실행되거나 설치된 소프트웨어를 지칭할 수 있다. 소프트웨어는 몰입형 현실 모듈 자체 또는 몰입형 현실 플랫폼 상의 다른 소프트웨어를 지칭할 수 있다. 예를 들어, 컨텍스트는 그 명칭 및 버전과 같은 몰입형 현실 모듈의 식별자 또는 몰입형 현실 모듈의 유형(예를 들어, 1인칭 슈팅 게임)을 지칭할 수 있다. 다른 예에서, 컨텍스트는 몰입형 현실 플랫폼에서 실행되는 운영체제(예를 들어, 안드로이드TM, 맥 OS® 또는 윈도우즈®) 또는 다른 소프트웨어를 지칭할 수 있다. 일 실시예에서, 컨텍스트는 몰입형 현실 플랫폼 상에 있는 하드웨어 구성요소를 지칭할 수 있다. 하드웨어 구성요소는 예를 들어, 처리 회로, 햅틱 출력 디바이스(있으면), 메모리 또는 임의의 다른 하드웨어 구성요소를 지칭할 수 있다.
일 실시예에서, 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트는 사용자가 몰입형 현실 환경과 상호작용하기 위하여 휴대용 게임 컨트롤러와 같은 휴대용 게임 주변기기를 사용하고 있는지 여부 또는 사용자가 자신의 손과 손에 착용한 임의의 햅틱 가능 웨어러블 디바이스만으로 몰입형 현실 환경과 상호작용하는지 여부를 지칭할 수 있다. 휴대용 게임 컨트롤러는, 예를 들어, 오큘러스 레이저(Oculus Razer®)와 같은 게임 컨트롤러 또는 위(Wii®) 원격 디바이스와 같은 원드일 수 있다. 예를 들어, 햅틱 가능 웨어러블 디바이스 상의 햅틱 효과는 사용자가 휴대용 게임 컨트롤러를 들고 있지 않으면 사용자가 휴대용 게임 컨트롤러를 들고 있는 경우의 구동 신호 크기에 비해 더 큰 구동 신호 크기로 생성될 수 있다. 일 예에서, 컨텍스트는 휴대용 게임 컨트롤러의 햅틱 능력(있으면)을 더 지칭할 수 있다.
일 실시예에서, 컨텍스트는 사용자가 몰입형 현실 환경과 상호작용하기 위하여 물리적 물체를 이용하는지 여부 및 이용 방법을 지칭할 수 있다. 물리적 물체는 전자 게임 컨트롤러가 아닌 일상적인 물체일 수 있으며 몰입형 현실 환경에 대해 전자 신호 입력을 제공하는 기능이 없을 수 있다. 예를 들어, 물리적 물체는 몰입형 현실 환경의 가상 경주 트랙과 상호작용하기 위하여 사용자가 들어올리는 장난감 자동차일 수 있다. 햅틱 효과는 물리적 물체의 존재 및/또는 물리적 물체가 몰입형 현실 환경과 상호작용하는 방법에 기반할 수 있다. 일 실시예에서, 햅틱 효과는 물리적 물체의 물리적 특성 및/또는 물리적 물체에 할당된 가상 특성에 기반할 수 있다. 일 실시예에서, 햅틱 효과는 물리적 물체와 햅틱 가능 웨어러블 디바이스 사이의 관계 및/또는 물리적 물체와 몰입형 현실 환경의 가상 물체 사이의 관계에 기반할 수 있다.
일 실시예에서, 물리적 물체는 복수의 몰입형 현실 환경 중에서 몰입형 현실 플랫폼 상에서 생성될 몰입형 현실 환경을 선택하는 데 사용될 수 있다. 선택은, 예를 들어, 물리적 물체의 물리적 외관(예를 들어, 크기, 색상, 형상)에 기반할 수 있다. 예를 들어, 사용자가 핫 휠 토이(Hot Wheels® toy)인 물리적 물체를 집어들면, 몰입형 현실 플랫폼은 물리적 물체의 물리적 외관이 자동차인 것으로 분류하기 위해 영상 분류 알고리즘을 사용할 수 있다. 결과적으로, 자동차에 관한 몰입형 현실 환경이 생성되도록 선택된다. 선택은 영상 분류에만 의존할 필요는 없으며 또는 영상 분류에 전혀 의존하지 않을 수도 있다. 예를 들어, 일부 예에서 물리적 물체는 물리적 물체의 특성을 나타내는 프로파일을 저장하는 메모리를 가질 수 있다. 프로파일 내의 특성이, 예를 들어, 물리적 물체의 분류를 장난감 자동차로 식별할 수 있다.
일 실시예에서, 컨텍스트는 몰입형 현실 환경에 대한 햅틱 효과를 생성하기 위하여 사용 가능한 햅틱 가능 디바이스 및/또는 햅틱 가능 디바이스의 기능을 지칭할 수 있다. 햅틱 가능 디바이스는 웨어러블 디바이스 또는 다른 유형의 햅틱 가능 디바이스일 수 있다. 일부 예에서, 선택된 디바이스의 햅틱 능력에 기반하여 복수의 햅틱 가능 디바이스로부터 특정한 햅틱 가능 디바이스가 선택될 수 있다. 일부 예에서, 햅틱 효과 특성은 선택된 디바이스의 햅틱 능력에 더 잘 맞추기 위하여 변경될 수 있다.
일 실시예에서, 햅틱 가능 웨어러블 디바이스는 몰입형 현실 환경에서 손 추적을 수행하는 데 사용될 수 있다. 예를 들어, 영상 인식 알고리즘이 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치, 방향 또는 운동을 검출하고, 햅틱 가능 웨어러블 디바이스의 그 위치, 방향 또는 운동을 사용하여, 사용자 손의 위치, 방향 또는 운동을 결정하거나 이를 대리하는 것으로 할 수 있다. 햅틱 가능 웨어러블 디바이스는 사용자와 몰입형 현실 환경 사이의 상호작용을 결정하는 데 사용될 수 있다.
도 1a 내지 도 1e는 VR 환경, AR 환경 또는 혼합 현실 환경과 같은 몰입형 현실 환경에 대해, 컨텍스트 종속적 방식으로 햅틱 효과를 생성하는 각 시스템(100A-100E)을 도시한다. 더 구체적으로, 도 1a는 몰입형 현실 생성 디바이스(110A)(또한 몰입형 현실 플랫폼으로 지칭됨) 및 햅틱 가능 웨어러블 디바이스(120A)를 포함하는 시스템(100A)을 도시한다. 일 실시예에서, 몰입형 현실 생성 디바이스(110A)는 몰입형 현실 모듈(또한 몰입형 현실 애플리케이션으로도 지칭됨)을 실행하도록 구성되는 디바이스일 수 있다. 몰입형 현실 생성 디바이스(110A)는, 예를 들어, 휴대전화, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 서버, 독립 실행형 HMD 또는 몰입형 현실 환경을 실행하는 컴퓨터 판독 가능 명령을 실행하도록 구성되는 임의의 다른 디바이스일 수 있다. 독립 실행형 HMD 디바이스는 몰입형 현실 환경을 생성하기 위한 그 자체의 처리 및 디스플레이(또는 더 일반적으로 제공) 기능을 가질 수 있다. 일부 예에서, 몰입형 현실 생성 디바이스(110A)가 휴대전화이면, 이는 몰입형 현실 환경을 생성하기 위하여 삼성 기어(Samsung® Gear™) VR 헤드셋 또는 구글 데이드림 뷰(Google® Daydream™ View) VR 헤드셋과 같은 HMD 쉘과 도킹될 수 있다.
일 실시예에서, 몰입형 현실 생성 디바이스(110A)는 햅틱 생성 기능을 갖지 않을 수 있다. 예를 들어, 몰입형 현실 생성 디바이스(110A)는 햅틱 출력 디바이스를 갖지 않는 휴대전화일 수 있다. 햅틱 출력 디바이스의 생략은 휴대전화의 두께를 줄이고, 무게를 줄이고 및/또는 배터리 수명을 늘릴 수 있다. 따라서, 본 발명의 일부 실시예는 몰입형 현실 생성 디바이스가 햅틱 생성 기능을 갖지 않고 햅틱 효과를 생성하기 위하여 햅틱 가능 웨어러블 디바이스에 의존하는 몰입형 현실 생성 디바이스와 햅틱 가능 웨어러블 디바이스의 조합에 관한 것이다.
도 1a에서, 몰입형 현실 생성 디바이스(110A)는 저장 디바이스(111), 처리 회로(113), 디스플레이/프로젝터(119), 센서(117) 및 통신 인터페이스(115)를 포함할 수 있다. 저장 디바이스(111)는 하나 이상의 모듈을 저장할 수 있는 비일시적 컴퓨터 판독 가능 매체일 수 있으며, 하나 이상의 모듈 각각은 상기 처리 회로(113)에 의하여 실행될 수 있는 명령을 포함한다. 일 예에서, 하나 이상의 모듈은 몰입형 현실 모듈(111a), 컨텍스트 결정 모듈(111b) 및 햅틱 제어 모듈(111c)을 포함할 수 있다. 저장 디바이스(111)는, 예를 들어, 컴퓨터 메모리, 솔리드 스테이트 드라이브, 플래시 드라이브, 하드 드라이브 또는 임의의 다른 저장 디바이스일 수 있다. 처리 회로(113)는 하나 이상의 마이크로프로세서, 하나 이상의 처리 코어, 프로그래머블 로직 어레이(PLA), 필드 프로그래머블 게이트 어레이(FPGA), 애플리케이션 특정 집적회로(ASIC) 또는 임의의 다른 처리 회로를 포함할 수 있다.
도 1a에서, 몰입형 현실 환경이 디스플레이/프로젝터(119) 상에 제공된다(예를 들어, 표시된다). 예를 들어, 몰입형 현실 생성 디바이스(110A)가 HMD 쉘에 도킹된 휴대전화이면, 디스플레이/프로젝터(119)는 증강 현실 환경과 같은 몰입형 현실 환경을 표시할 수 있는 휴대전화의 LCD 디스플레이 또는 OLED 디스플레이일 수 있다. 일부 증강 현실 애플리케이션에 대해서, 휴대전화는 사용자가 HMD 쉘을 착용하고 있는 동안 증강 현실 환경을 표시할 수 있다. 일부 증강 현실 애플리케이션에 대해서, 휴대전화는 HMD 쉘 없이 증강 현실 환경을 표시할 수 있다. 일 실시예에서, 디스플레이/프로젝터(119)는 몰입형 현실 환경을 나타내는 영상을 투사하도록 구성된 영상 프로젝터 및/또는 몰입형 현실 환경을 나타내는 홀로그램을 투사하도록 구성된 홀로그램 프로젝터로 구성될 수 있다. 일 실시예에서, 디스플레이/프로젝터(119)는 몰입형 현실 환경의 영상을 사용자에게 전달하기 위하여 사용자의 시신경 또는 다른 신경학적 구조에 전압 신호를 직접 제공하도록 구성된 구성요소를 포함할 수 있다. 영상, 홀로그램 투사 또는 전압 신호는 몰입형 현실 모듈(111a)(또한 몰입형 현실 애플리케이션으로도 지칭됨)에 의해 생성될 수 있다.
도 1a의 실시예에서, 사용자 상호작용의 컨텍스트 결정 및 햅틱 효과 결정 기능이 몰입형 현실 생성 디바이스(110A) 상에서 각각 컨텍스트 결정 모듈(111b) 및 햅틱 제어 모듈(111c)을 통해 구현될 수 있다. 모듈(111b, 111c)은, 예를 들어, 몰입형 현실 모듈(111a)과 통신하는 독립 실행형 애플리케이션 또는 프로그래밍된 회로, 몰입형 현실 모듈(111a)에 의해 설치되거나 또는 다른 방식으로 이에 통합되는 플러그인, 드라이버, 정적 또는 동적 라이브러리 또는 운영체제 구성요소 또는 일부 다른 형태의 모듈로 제공될 수 있다. 일 실시예에서, 둘 이상의 모듈(111a, 111b, 111c)이 단일 애플리케이션, 플러그인, 라이브러리 또는 드라이버와 같은 단일 소프트웨어 패키지의 일부일 수 있다.
일부 경우에서, 몰입형 현실 생성 디바이스(110A)는 컨텍스트가 결정되는 정보를 캡처하는 센서(117)를 더 포함한다. 일 실시예에서, 센서(117)는 카메라, 적외선 탐지기, 초음파 탐지 센서, 홀(hall) 센서, 라이다(lidar) 또는 다른 레이저 기반 센서, 레이더 또는 그 임의의 조합을 포함할 수 있다. 센서(117)가 적외선 탐지기이면, 시스템(100A)은, 예를 들어, 몰입형 현실 환경 내에서 사용자 움직임을 추적하는 데 사용되는 고정 적외선 방출기(예를 들어, 적외선LED) 세트를 포함할 수 있다. 일 실시예에서, 센서(117)는 동시적 위치 추적 및 지도 작성(simultaneous localization and mapping; SLAM) 시스템의 일부일 수 있다. 일 실시예에서, 센서(117)는 전자기장을 생성하고 장 내의 변화로 인한 장 내의 움직임을 검출하도록 구성된 디바이스를 포함할 수 있다. 일 실시예에서, 센서는 무선 신호를 전송하여 삼각측량법을 통해 위치 또는 움직임을 결정하도록 구성된 디바이스를 포함할 수 있다. 일 실시예에서, 센서(117)는 가속도계, 자이로스코프와 같은 관성 센서 또는 그 임의의 조합을 포함할 수 있다. 일 실시예에서, 센서(117)는 위성 위치 확인 시스템(GPS) 센서를 포함할 수 있다. 일 실시예에서, 햅틱 가능 고리와 같은 햅틱 가능 웨어러블 디바이스(120A)가 컨텍스트 정보 결정을 위하여 카메라 또는 다른 센서를 포함할 수 있다.
일 실시예에서, 컨텍스트 결정 모듈(111b)은 센서(117)로부터의 데이터에 기반하여 컨텍스트를 결정하도록 구성될 수 있다. 예를 들어, 컨텍스트 결정 모듈(111b)은 카메라 영상 또는 센서(117)로부터의 다른 데이터에 컨벌루션 신경망(convolutional neural network) 또는 다른 기계 학습 알고리즘 또는 더 일반적으로는 영상 처리 알고리즘을 적용하도록 구성될 수 있다. 영상 처리 알고리즘은, 상술한 바와 같이, 예를 들어, 물리적 물체의 존재를 검출할 수 있고, 및/또는 물리적 물체의 물리적 외관의 분류를 결정할 수 있다. 다른 예에서, 영상 처리 알고리즘은 손 추적 또는 손 제스처 인식을 수행하기 위하여 사용자 손에 착용한 햅틱 가능 디바이스의 위치 또는 직접 사용자 손의 위치를 검출할 수 있다. 일 실시예에서, 컨텍스트 결정 모듈(111b)은, 예를 들어, 몰입형 현실 모듈(111a)에 의해 실행되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈(111a)이 실행되는 디바이스(110A) 유형을 결정하기 위하여 몰입형 현실 모듈(111a) 및/또는 디바이스(110A)의 운영체제와 통신하도록 구성될 수 있다.
일 실시예에서, 햅틱 제어 모듈(111c)은 햅틱 효과를 생성하는 방식을 제어하고, 예를 들어, 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트에 기반하여 그렇게 하도록 구성될 수 있다. 도 1a의 실시예에서, 햅틱 제어 모듈(111c)은 몰입형 현실 생성 디바이스(110A) 상에서 실행될 수 있다. 햅틱 제어 모듈(111c)은 통신 인터페이스(115)를 통해 햅틱 출력 디바이스(127)로 햅틱 명령을 송신함에 의해서와 같이 햅틱 가능 웨어러블 디바이스(120A)의 햅틱 출력 디바이스(127)를 제어하도록 구성될 수 있다. 햅틱 명령은, 예를 들어, 생성될 햅틱 효과에 대한 햅틱 구동 신호 또는 햅틱 효과 특성을 포함할 수 있다.
도 1a에 도시된 바와 같이, 햅틱 가능 웨어러블 디바이스(120A)는 통신 인터페이스(125) 및 햅틱 출력 디바이스(127)를 포함할 수 있다. 햅틱 가능 웨어러블 디바이스(120A)의 통신 인터페이스(125)는 몰입형 현실 생성 디바이스(110A)의 통신 인터페이스(115)와 통신하도록 구성될 수 있다. 일부 예에서, 통신 인터페이스(115, 125)는 IEEE 802.11 프로토콜, 블루투스(Bluetooth®) 프로토콜, 근거리 무선 통신(near-field communication; NFC) 프로토콜을 따르는 통신과 같은 무선 통신 프로토콜 또는 무선 통신을 위한 임의의 다른 프로토콜을 지원할 수 있다. 일부 예에서, 통신 인터페이스(115, 125)는 유선 통신을 위한 프로토콜을 지원할 수도 있다. 일 실시예에서, 몰입형 현실 생성 디바이스(110A) 및 햅틱 가능 웨어러블 디바이스(120A)는 인터넷과 같은 네트워크를 통해 통신하도록 구성될 수 있다.
일 실시예에서, 햅틱 가능 웨어러블 디바이스(120A)는 신체 접지형(body-grounded) 햅틱 가능 디바이스 유형일 수 있다. 일 실시예에서, 햅틱 가능 웨어러블 디바이스(120A)는 햅틱 가능 고리, 햅틱 가능 장갑, 햅틱 가능 시계 또는 손목 밴드, 또는 손톱 부착물과 같이 사용자의 손 또는 손목에 착용하는 디바이스일 수 있다. 햅틱 가능 고리는 발명의 명칭이 "햅틱 고리"인 미국 특허출원 제15/958,964 호에 더 자세히 논의되어 있으며, 그 전체 내용이 본원에서 전체로서 참조로 인용된다. 일 실시예에서, 햅틱 가능 웨어러블 디바이스(120A)는 헤드밴드, 게임 조끼, 다리 스트랩, 팔 스트랩, HMD, 콘택트렌즈 또는 임의의 다른 햅틱 가능 웨어러블 디바이스일 수 있다.
일 실시예에서, 햅틱 출력 디바이스(127)는 햅틱 명령에 응답하여 햅틱 효과를 생성하도록 구성될 수 있다. 일부 예에서, 햅틱 출력 디바이스(127)는 햅틱 가능 웨어러블 디바이스(120A) 상의 유일한 햅틱 출력 디바이스일 수 있고, 또는 햅틱 가능 웨어러블 디바이스(120A) 상의 복수의 햅틱 출력 디바이스 중 하나일 수 있다. 일부 경우에서, 햅틱 출력 디바이스(127)는 진동촉감 햅틱 효과를 출력하도록 구성되는 액추에이터일 수 있다. 예를 들어, 햅틱 출력 디바이스(127)는 편심 회전 모터(eccentric rotating motor; ERM) 액추에이터, 선형 공진 액추에이터(LRA), 솔레노이드 공진 액추에이터(SRA), 전자석 액추에이터, 압전 액추에이터, 매크로 섬유 복합재(MFC) 액추에이터 또는 임의의 다른 진동촉감(vibrotactile) 햅틱 액추에이터일 수 있다. 일부 경우에서, 햅틱 출력 디바이스(127)는 변형(deformation) 햅틱을 생성하도록 구성될 수 있다. 예를 들어, 햅틱 출력 디바이스(127)는 전기활성 폴리머(EAP), 매크로 섬유 복합재(MFC) 압전 물질(예를 들어, MFC 고리), 형상 기억 합금(SMA), 형상 기억 폴리머(SMP)와 같은 스마트 소자 또는 물질에 전압, 열 또는 다른 자극이 인가될 때 변형되도록 구성되는 임의의 다른 물질을 사용할 수 있다. 변형 효과는 임의의 다른 방식으로 생성될 수 있다. 일 실시예에서, 변형 효과는, 예를 들어, 사용자의 손가락을 압착할 수 있으며, 압착 효과(squeeze effect)로 지칭될 수 있다. 일부 경우에서, 햅틱 출력 디바이스(127)는 정전기 마찰(ESF) 햅틱 효과 또는 초음파 마찰(USF) 효과를 생성하도록 구성될 수 있다. 이러한 경우에서, 햅틱 출력 디바이스(127)는 햅틱 가능 웨어러블 디바이스(120A)의 표면 상에 노출될 수 있거나 표면 아래에서 약간 전기적으로 절연될 수 있는 하나 이상의 전극을 포함할 수 있으며, 하나 이상의 전극으로 신호를 인가하는 신호 발생기를 포함할 수 있다. 일부 경우에서, 햅틱 출력 디바이스(127)는 온도 기반 햅틱 효과를 생성하도록 구성될 수 있다. 예를 들어, 햅틱 출력 디바이스(127)가 가열 효과 또는 냉각 효과를 발생시키도록 구성된 펠티어(Peltier) 디바이스일 수 있다. 일부 경우에서, 햅틱 출력 디바이스는, 예를 들어, 사용자를 향해 공기를 발사하도록 구성된 초음파 디바이스일 수 있다.
일 실시예에서, 몰입형 현실 생성 디바이스(110A)의 하나 이상의 구성요소가 외부 구성요소로 보완되거나 대체될 수 있다. 예를 들어, 도 1b는 외부 센서(130) 및 외부 디스플레이/프로젝터(140)에 의존하는 몰입형 현실 생성 디바이스(110B)를 갖는 시스템(100B)을 도시한다. 예를 들어, 외부 센서(130)는 외부 카메라, 압력 매트 또는 적외선 근접 센서일 수 있으며, 외부 디스플레이/프로젝터(140)는 홀로그램 프로젝터, HMD 또는 콘택트렌즈일 수 있다. 디바이스(130, 140)는, 예를 들어, 데스크톱 컴퓨터 또는 서버일 수 있는 몰입형 현실 생성 디바이스(110B)와 통신할 수 있다. 더 구체적으로, 몰입형 현실 생성 디바이스(110B)는 컨텍스트 결정 모듈(111b)에서 사용될 센서 데이터를 센서(130)로부터 수신할 수 있고, 몰입형 현실 모듈(111a)에 의해 생성된 영상 데이터를 디스플레이/프로젝터(140)로 송신할 수 있다.
도 1a 및 도 1b에서, 컨텍스트 결정 모듈(111b) 및 햅틱 제어 모듈(111c) 양자가 모두 몰입형 현실 생성 디바이스(110A 또는 110B) 상에서 실행될 수 있다. 예를 들어, 몰입형 현실 모듈(111a)이 몰입형 현실 환경을 생성하는 동안, 컨텍스트 결정 모듈(111b)이 사용자 상호작용의 컨텍스트를 결정할 수 있다. 또한, 햅틱 제어 모듈(111c)은 햅틱 효과가 생성되어야 한다는 지시를 몰입형 현실 모듈(111a)로부터 수신할 수 있다. 지시는, 예를 들어, 햅틱 명령 또는 몰입형 현실 환경 내에서 특정 이벤트가 발생하였다는 지시를 포함할 수 있으며, 햅틱 제어 모듈(111c)은 이벤트에 응답하여 햅틱 효과를 촉발하도록 구성된다. 다음 햅틱 제어 모듈(111c)은 자체의 햅틱 명령을 생성하고 햅틱 명령을 햅틱 가능 웨어러블 디바이스(120A)로 통신하며, 이는 햅틱 명령에 기반하여 햅틱 출력 디바이스(127)가 햅틱 효과를 일으키도록 함으로써 햅틱 제어 모듈(111c)로부터 햅틱 명령을 수행한다. 햅틱 명령은, 예를 들어, 햅틱 구동 신호 및/또는 햅틱 효과 특성을 포함할 수 있으며, 이는 이하에서 더 자세히 논의된다.
일 실시예에서, 햅틱 제어 기능은 적어도 부분적으로 햅틱 가능 웨어러블 디바이스에 존재할 수 있다. 예를 들어, 도 1c는 햅틱 가능 웨어러블 디바이스(120C)가 햅틱 제어 모듈(121a)을 저장하는 저장 디바이스(121) 및 햅틱 제어 모듈(121a)을 실행하는 처리 회로(123)를 포함하는 시스템(100C)을 도시한다. 햅틱 제어 모듈(121a)은 사용자 상호작용의 컨텍스트를 결정하기 위하여 몰입형 현실 생성 디바이스(110C)와 통신하도록 구성될 수 있다. 컨텍스트는 컨텍스트 결정 모듈(111b)로 결정될 수 있으며, 이 실시예에서는 몰입형 현실 생성 디바이스(110C) 상에서 실행된다. 햅틱 제어 모듈(121a)은 결정된 컨텍스트에 기반하여 생성될 햅틱 효과를 결정할 수 있고, 햅틱 출력 디바이스(127)가 결정된 햅틱 효과를 생성하도록 제어할 수 있다. 도 1c에서, 몰입형 현실 생성 디바이스(110C)는 햅틱 제어 모듈을 생략하여, 햅틱 효과 결정 기능이 전적으로 햅틱 가능 웨어러블 디바이스(120C) 상에서 구현된다. 다른 실시예에서, 몰입형 현실 생성 디바이스(110C)는 이전의 실시예에서 설명한 바와 같이 여전히 햅틱 제어 모듈(111c)을 실행하여, 햅틱 효과 결정 기능이 몰입형 현실 생성 디바이스(110C) 및 햅틱 가능 웨어러블 디바이스(120C)에 의해 함께 구현된다.
일 실시예에서, 컨텍스트 결정 기능이 적어도 부분적으로 햅틱 가능 웨어러블 디바이스에 존재할 수 있다. 예를 들어, 도 1d는 햅틱 제어 모듈(121a) 및 컨텍스트 결정 모듈(121b) 양자를 포함하는 햅틱 가능 웨어러블 디바이스(120D)를 포함하는 시스템(100D)을 도시한다. 햅틱 가능 웨어러블 디바이스(120D)는 센서(130)로부터 데이터를 수신하도록 구성될 수 있으며, 컨텍스트 결정 모듈(121b)은 센서 데이터를 사용하여 사용자 상호작용의 컨텍스트를 결정하도록 구성될 수 있다. 햅틱 가능 웨어러블 디바이스(120D)가 몰입형 현실 생성 디바이스(110D)의 몰입형 현실 모듈(111a)로부터 햅틱 효과가 생성되는 것이라는 지시를 수신할 때, 햅틱 제어 모듈(121a)은 햅틱 출력 디바이스(127)를 제어하여 사용자 상호작용의 컨텍스트에 기반하여 햅틱 효과를 생성하도록 구성될 수 있다. 일부 경우에서, 컨텍스트 결정 모듈(121b)은 몰입형 현실 모듈(111a)로 결정된 컨텍스트를 통신할 수 있다.
일 실시예에서, 햅틱 제어 모듈의 기능은 몰입형 현실 생성 디바이스 및 햅틱 가능 웨어러블 디바이스 양자에 대해 외부에 있는 디바이스 상에서 구현될 수 있다. 예를 들어, 도 1e는 몰입형 현실 생성 디바이스(110C) 및 햅틱 가능 웨어러블 디바이스(120A)에 대해 외부에 있는 햅틱 관리 디바이스(150)를 포함하는 시스템(100E)을 도시한다. 햅틱 관리 디바이스(150)는 저장 디바이스(151), 처리 회로(153) 및 통신 인터페이스(155)를 포함할 수 있다. 처리 회로(153)는 저장 디바이스(151)에 저장된 햅틱 제어 모듈(151a)을 실행하도록 구성될 수 있다. 햅틱 제어 모듈(151a)은 몰입형 현실 환경에 대해 햅틱 효과가 생성되어야 한다는 지시를 몰입형 현실 생성 디바이스(110C)로부터 수신하고, 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트의 지시를 수신하도록 구성될 수 있다. 햅틱 제어 모듈(151a)은 사용자 상호작용의 컨텍스트에 기반하여 햅틱 명령을 생성하고, 햅틱 가능 웨어러블 디바이스(120A)로 햅틱 명령을 통신하도록 구성될 수 있다. 다음 햅틱 가능 웨어러블 디바이스(120A)는 사용자 상호작용의 컨텍스트에 기반하여 햅틱 효과를 생성하도록 구성될 수 있다.
위에서 기재한 바와 같이, 일부 경우에서 몰입형 현실 환경과의 사용자 상호작용의 컨텍스트는 생성될 몰입형 현실 환경 유형 또는 몰입형 현실 환경이 생성되는 몰입형 현실 생성 디바이스의 유형을 지칭할 수 있다. 도 2a 내지 도 2d는 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 효과를 생성하는 시스템(200)을 도시한다. 도 2a에 도시된 바와 같이, 시스템(200)은 도 1b의 몰입형 플랫폼(110B), 센서(230), HMD(250) 및 햅틱 가능 웨어러블 디바이스(270)를 도시한다. 위에서 기재한 바와 같이, 몰입형 현실 생성 디바이스(110B)는 몰입형 현실 모듈(111a), 컨텍스트 결정 모듈(111b) 및 햅틱 제어 모듈(111c)을 실행하도록 구성된 데스크톱 컴퓨터, 랩톱, 태블릿 컴퓨터, 서버 또는 휴대전화일 수 있다. 센서(230)는 상술한 센서(130)와 동일하거나 유사할 수 있다. 일 예에서, 센서(230)는 카메라이다. 일 실시예에서, 햅틱 가능 웨어러블 디바이스(270)는 손(H)에 착용한 햅틱 가능 고리일 수 있으며, 또는 햅틱 가능 손목 밴드 또는 햅틱 가능 장갑과 같이 임의의 다른 손에 착용하는 햅틱 가능 웨어러블 디바이스일 수 있다. 일 실시예에서, HMD(250)는 다른 웨어러블 디바이스로 간주된다. HMD(250)는 햅틱 가능일 수 있거나, 햅틱 기능이 없을 수 있다.
일 실시예에서, 손(H) 및/또는 햅틱 가능 웨어러블 디바이스(270)가 몰입형 현실 환경과 상호작용하기 위해 사용하는 가상 커서의 프록시(proxy)로 사용될 수 있다. 예를 들어, 도 2b는 HMD(250)에 의해 표시되는 3D VR 환경을 도시한다. 사용자의 손(H) 또는 햅틱 가능 웨어러블 디바이스(270)가 3D VR 환경 내에서 가상 커서(283)의 프록시 역할을 할 수 있다. 더 구체적으로, 사용자는 가상 물체(281)와 상호작용하기 위하여 자신의 손(H) 및/또는 햅틱 가능 웨어러블 디바이스(270)를 움직여 가상 커서(283)를 움직일 수 있다. 커서(283)는 손(H)의 움직임을 추적하는 방식으로 움직일 수 있다.
유사하게, 도 2c는 HMD(250)에 의해 표시되는 2D VR 환경을 도시한다. 2D VR 환경에서, 사용자는 가상 커서(287)로 가상 2D 메뉴(285)와 상호작용할 수 있다. 사용자는 자신의 손(H)을 움직이거나 햅틱 가능 웨어러블 디바이스(270)를 움직여 가상 커서(287)를 제어할 수 있다. 일 실시예에서, 시스템은 휴대용 게임 컨트롤러 또는 다른 게임 주변기기를 더 포함할 수 있으며, 커서(283/287)는 휴대용 게임 컨트롤러의 움직임에 기반하여 움직일 수 있다.
또한, 도 2d는 HMD(250) 상에 표시되는 AR 환경의 예를 도시한다. AR 환경은 AR 환경의 사용자가 위치하는 공원과 같은 물리적 환경을 표시할 수 있으며, 물리적 환경의 영상에 중첩된 가상 물체(289)를 표시할 수 있다. 일 실시예에서, 가상 물체(289)는 사용자의 손(H) 및/또는 햅틱 가능 웨어러블 디바이스(270)의 움직임에 기반하여 제어될 수 있다. 도 2a 내지 도 2d의 실시예는 도 3의 방법의 양상을 예시하기 위하여 더 자세히 논의될 것이다.
도 3은 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형의 컨텍스트 또는 몰입형 현실 모듈이 실행되는 디바이스 유형의 컨텍스트에 기반하여 몰입형 현실 환경에 대해 햅틱 효과를 생성하는 방법(300)을 도시한다. 일 실시예에서, 방법(300)은 시스템(200)에 의하여, 더 구체적으로 몰입형 현실 생성 디바이스(110B) 상에서 햅틱 제어 모듈(111c)을 실행하는 처리 회로(113)에 의하여 수행될 수 있다. 일 실시예에서, 방법은, 도 1c 및 도 1d에 나타난 바와 같이, 햅틱 가능 웨어러블 디바이스(120C 또는 120D) 상에서 햅틱 제어 모듈(121a)을 실행하는 처리 회로(123)에 의하여 수행될 수 있다. 일 실시예에서, 방법은, 도 1e에 나타난 바와 같이, 햅틱 관리 디바이스(150)의 처리 회로(153)에 의하여 수행될 수 있다.
일 실시예에서, 방법(300)은 301 단계에서 시작하며, 처리 회로(113/123/153)가 몰입형 현실 모듈(111a)과 같은 몰입형 현실 모듈에 의해 실행되는 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것이라는 지시를 수신한다. 지시는 몰입형 현실 모듈(111a)로부터의 명령을 포함하거나, 몰입형 현실 환경 내에서 특정 이벤트(예를 들어, 가상 충돌)가 발생하였다는 지시를 포함할 수 있으며, 이벤트는 햅틱 효과를 촉발한다.
303 단계에서, 처리 회로(113/123/153)는 몰입형 현실 모듈(111a)에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈(111a)이 실행되는 디바이스 유형을 결정할 수 있다. 일 실시예에서, 몰입형 현실 환경 유형은 2차원(2D) 환경, 3차원(3D) 환경, 혼합 현실 환경, 가상 현실 환경 또는 증강 현실 환경을 포함할 수 있다. 일 실시예에서, 몰입형 현실 모듈(111a)이 실행되는 디바이스 유형은 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버, 독립 실행형 HMD, 태블릿 컴퓨터 또는 휴대전화를 포함할 수 있다.
305 단계에서, 처리 회로(113/123/153)는 몰입형 현실 모듈(111a)에 의해 생성되는 몰입형 현실 환경 유형 또는 몰입형 현실 모듈이 실행되는 디바이스 유형에 기반하여 햅틱 효과를 생성하도록 햅틱 가능 웨어러블 디바이스(120A/120C/120D/270)를 제어할 수 있다.
예를 들어, 도 2b는 몰입형 현실 환경이 적어도 부분적으로 몰입형 현실 생성 디바이스(100B) 상에서 생성되는 3D 환경인 305 단계의 예를 도시한다. 3D 환경은 3D 환경의 3D 좌표 시스템 내에서 표시되는 3D 가상 물체(281)를 포함할 수 있다. 이 예에서 햅틱 효과는 3D 좌표 시스템 내에서 사용자의 손(H)(또는 게임 주변기기)의 위치에 기반할 수 있다. 도 2b에서, 3D 환경의 3D 좌표 시스템은 높이 또는 깊이 차원을 가질 수 있다. 높이 또는 깊이 차원은, 예를 들어, 가상 커서(283), 또는 더 구체적으로 사용자의 손(H)이, 가상 물체의 표면(281a)과 가상 접촉하는지 여부 및/또는 가상 커서(283) 또는 사용자의 손(H)이 표면(281a)을 지나 가상으로 얼마나 멀리 밀었는지를 나타낼 수 있다. 이러한 상황에서, 처리 회로(113/123/153)는 가상 커서(283) 또는 사용자의 손(H)이 표면(281a)을 지나 얼마나 멀리 밀었는지를 나타낼 수 있는 가상 커서(283) 또는 사용자의 손(H)의 높이 또는 깊이에 기반하여 햅틱 효과를 제어할 수 있다.
305 단계의 다른 예에서, 도 2c는 2D 환경의 2D 좌표 시스템 내에서 표시되는 가상 메뉴(285)를 표시하는 2D 환경을 도시한다. 이 예에서, 처리 회로(113/123/153)는 사용자의 손(H) 또는 사용자 입력 요소의 2D 좌표에 기반하여 햅틱 효과를 생성하도록 햅틱 가능 웨어러블 디바이스(270)의 햅틱 출력 디바이스를 제어할 수 있다. 예를 들어, 햅틱 효과는 커서(287)에 의해 선택된 버튼 또는 다른 메뉴 항목을 지시하기 위하여 2D 좌표 시스템 내에서 사용자의 손(H) 또는 사용자 입력 요소의 위치에 기반할 수 있다.
305 단계의 다른 예에서, 도 2d는 HMD(250) 상에 표시되는 AR 환경의 예를 도시한다. 이 예에서, AR 환경은 공원과 같은 물리적 환경의 영상에 중첩하여 가상 물체(289)를 표시한다. 일 실시예에서, 처리 회로(113/123/153)는 가상 물체(289)가 물리적 환경의 영상 내의 공원의 잔디 위로 주행하는 것과 같이, 물리적 환경의 영상과 가상 물체(289) 사이의 모의 상호작용에 기반하여 햅틱 효과를 생성하도록 햅틱 가능 웨어러블 디바이스(270)의 햅틱 출력 디바이스를 제어할 수 있다. 햅틱 효과는, 예를 들어, 가상 물체(289)와 물리적 환경의 영상 내의 잔디 사이의 모의 견인력(simulated traction)(또는, 더 일반적으로는, 마찰), AR 환경의 좌표 시스템 내에서 가상 물체(289)의 속도, 가상 타이어 품질과 같은 가상 물체(289)의 가상 특성 (또한 가상 속성으로도 지칭됨) 또는 임의의 다른 특성에 기반할 수 있다.
일 실시예에서, 방법(300)의 햅틱 효과는 몰입형 현실 환경의 사용자가 휴대용 게임 컨트롤러 또는 다른 게임 주변기기를 들고 있는지 여부에 기반할 수 있다. 예를 들어, 사용자가 휴대용 사용자 입력 디바이스를 들고 있지 않으면 햅틱 효과 웨어러블 디바이스(270) 상의 햅틱 효과의 구동 신호 크기가 더 높을 수 있다.
일 실시예에서, 햅틱 효과는 햅틱 가능 웨어러블 디바이스의 햅틱 능력에 더 기반할 수 있다. 일 실시예에서, 햅틱 능력은 햅틱 가능 웨어러블 디바이스(270)가 생성할 수 있는 햅틱 효과의 유형 또는 강도 중 적어도 하나를 나타낼 수 있으며, 강도는, 예를 들어, 최대 가속, 변형, 압력 또는 온도를 지칭할 수 있다. 일 실시예에서, 햅틱 가능 웨어러블 디바이스(270)의 햅틱 능력은 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 유형(들), 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 수, 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 햅틱 효과 유형(들), 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 최대 햅틱 크기, 햅틱 출력 디바이스(들) 각각의 주파수 대역폭, 햅틱 출력 디바이스(들) 각각의 최소 상승 시간 또는 제동 시간, 햅틱 가능 디바이스의 임의의 열적 햅틱 출력 디바이스의 최대 온도 또는 최소 온도 또는 햅틱 가능 디바이스의 임의의 ESF 또는 USF 햅틱 출력 디바이스에 대한 최대 마찰 계수 중 적어도 하나를 지시한다.
일 실시예에서, 305 단계는 햅틱 매개변수 값 또는 햅틱 구동 신호와 같은, 햅틱 효과를 생성하는 데 사용되는 햅틱 효과 특성의 변경을 수반할 수 있다. 예를 들어, 305 단계는 햅틱 가능 고리와 같은 제2 유형 햅틱 가능 디바이스일 수 있는 햅틱 가능 웨어러블 디바이스(270)와 관련될 수 있다. 이러한 예에서, 305 단계는 햅틱 손목 밴드와 같은 제1 유형 햅틱 가능 웨어러블 디바이스와 연관된 정의된 햅틱 구동 신호 또는 정의된 햅틱 매개변수 값을 가져오는 것을 포함할 수 있다. 305 단계는 제1 유형 햅틱 가능 디바이스와 제2 유형 햅틱 가능 디바이스 사이의 차이에 기반하여 정의된 햅틱 구동 신호 또는 정의된 햅틱 매개변수 값을 변경하는 것을 포함할 수 있다.
위에서 기재한 바와 같이, 사용자 상호작용의 컨텍스트는 몰입형 현실 환경과 상호작용하기 위하여 사용자가 물리적 물체를 사용하는 방식을 지칭할 수 있다. 도 4a는 물리적 물체(P)와 몰입형 현실 환경 사이의 상호작용에 기반하여 햅틱 효과를 제공하기 위하여 도 2a의 시스템(200)이 사용되는 실시예를 도시한다. 물리적 물체(P)는 도 4a에 도시된 장난감 자동차와 같은 임의의 물리적 물체일 수 있다. 일부 경우에서, 물리적 물체(P)는 사용자의 손(H)이 아니고, 햅틱 가능 웨어러블 디바이스가 아니며, 및/또는 전자 휴대용 게임 컨트롤러가 아닌 물체를 지칭할 수 있다. 일부 경우에서, 물리적 물체(P)는 전자 게임 컨트롤러 기능을 갖지 않는다. 더 구체적으로, 물리적 물체(P)는 몰입형 현실 생성 디바이스(110B)에 대해 전자 입력 신호를 제공하는 능력을 갖지 않거나, 물리적 물체(P)의 특성을 표현하는 전자 프로파일 정보(있으면)만을 제공하는 것에 제한될 수 있다. 즉, 일부 경우에서 물리적 물체(P)는 저장 디바이스, 더 일반적으로는 물리적 물체(P)의 특성을 표현하는 프로파일 정보를 저장하는 저장 매체를 가질 수 있다. 저장 매체는, 예를 들어, RFID 태그, 플래시 읽기 전용 메모리(ROM), SSD 메모리 또는 임의의 다른 저장 매체일 수 있다. 저장 매체는, 예를 들어, 블루투스 또는 일부 다른 무선 프로토콜을 통해 전자적으로 판독될 수 있다. 일부 경우에서, 물리적 물체(P)는 바코드와 같이 프로파일 정보를 부호화할 수 있는 물리적 표지를 가질 수 있다. 프로파일 정보는 물리적 물체의 신원 또는 물리적 물체의 유형(예를 들어, 장난감 자동차)과 같은 특성을 기술할 수 있다. 일부 경우에서, 물리적 물체는 이러한 저장 매체 또는 물리적 표지를 갖지 않는다.
일 실시예에서, 물리적 물체(P)는 센서(230)로부터의 센서 데이터에 기반하여 검출되거나 또는 다른 방식으로 인식될 수 있다. 예를 들어, 센서(230)는 사용자의 전방 시야 범위의 영상을 캡처하도록 구성된 카메라일 수 있다. 이 실시예에서, 컨텍스트 결정 모듈(111b)은 물리적 물체(P)의 존재를 검출하기 위하여 영상 인식 알고리즘을 적용하도록 구성될 수 있다.
도 4b는 도 2a 및 도 4a의 시스템(200)과 유사하지만 햅틱 가능 웨어러블 디바이스(270)에 추가하여 또는 이를 대신하여 햅틱 가능 디바이스(271)를 포함하는 시스템(200A)을 도시한다. 햅틱 가능 디바이스(271)는 물리적 물체(P)를 들고 있는 손(H2)과 다른 손(H1)에 착용할 수 있다. 추가로, 시스템(200A)은 HMD(450)에 내장된 카메라인 센서(430)를 갖는 HMD(450)를 포함할 수 있다.
도 4c는 HMD(250/450) 상에 표시되는 몰입형 현실 환경을 도시한다. 몰입형 현실 환경은 가상 경주 트랙의 영상과 함께 물리적 물체(P)의 영상을 포함할 수 있다. 사용자가 사용자의 물리적 환경 내에서 물리적 물체(P)를 움직일 때, 물리적 물체(P)는 몰입형 현실 환경 내에서도 동일하거나 유사한 방식으로 움직일 수 있다. 도 4d는 또한 HMD(250/450) 상에 도시되는 가상 경주 트랙을 포함하는 몰입형 현실 환경을 도시한다. 이 실시예에서, 물리적 물체(P)는 가상 트럭과 같이 가상 물체(589)를 대신하는 또는 다른 방식으로 이와 연관된 프록시일 수 있다. 이러한 실시예에서, 가상 트럭이 물리적 장난감 자동차 대신 표시될 수 있다. 사용자는 사용자의 물리적 환경 내에서 물리적 장난감 자동차를 움직임으로써 몰입형 현실 환경의 좌표 시스템 내에서 가상 트럭의 움직임을 제어할 수 있다. 추가로, 도 4e는 도 4c의 몰입형 현실 환경과 유사하지만, 물리적 물체(P)와 모의 상호작용을 가질 수 있는 가상 물체(588)를 더 나타낸다.
도 5는 도 4a 및 도 4b의 물리적 물체(P)와 같은 물리적 물체와 몰입형 현실 환경 사이의 상호작용에 기반하여 햅틱 효과를 생성하는 방법을 도시한다. 방법(500)은 도 4a 및 도 4b의 처리 회로(113)에 의하여, 또는 처리 회로(123 또는 153)과 같은 다른 처리 회로에 의하여 수행될 수 있다. 처리 회로(113/123/153)는 햅틱 제어 모듈(111c/121a/151a) 또는 임의의 다른 모듈을 실행할 수 있다.
일 실시예에서, 방법(500)은 501 단계에서 시작할 수 있으며, 처리 회로(113/123/153)가 물리적 물체와 몰입형 현실 환경 사이의 모의 상호작용을 검출할 수 있다. 예를 들어, 501 단계는 처리 회로(113)가 물리적 장난감 자동차와 도 4c에 도시된 몰입형 현실 환경의 가상 경주 트랙 사이의 모의 상호작용을 검출하는 것을 포함할 수 있다. 모의 상호작용은, 예를 들어, 장난감 자동차와 가상 경주 트랙 사이의 견인력(또는, 더 일반적으로, 마찰)을 일으키는 모의 접촉일 수 있다.
503 단계에서, 처리 회로(113/123/153)는 물리적 물체와 몰입형 현실 환경 사이의 모의 상호작용에 기반하여 생성될 햅틱 효과를 결정할 수 있다. 예를 들어, 503 단계는 처리 회로(113)가 물리적 장난감 자동차와 도 4c의 가상 경주 트랙 사이의 모의 마찰 수준에 기반하여 햅틱 효과 크기를 조정하는 것을 포함할 수 있다. 일 예에서, 모의 마찰의 수준은 가상 질감과 같은 가상 경주 트랙의 가상 특성에 기반할 수 있다. 예를 들어, 가상 질감은 아스팔트, 콘크리트 또는 흙과 연관된 질감일 수 있다.
505 단계에서, 처리 회로(113/123/153)는 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스(270)와 같은 처리 회로(113/123/153)와 통신하는 햅틱 출력 디바이스를 제어하여 모의 상호작용에 기반한 햅틱 효과를 생성할 수 있다.
일 실시예에서, 햅틱 효과는 물리적 물체(P)와 햅틱 가능 웨어러블 디바이스(270/271) 사이의 물리적 관계에 기반할 수 있다. 예를 들어, 햅틱 효과는 물리적 물체(P)와 도 4b의 햅틱 가능 웨어러블 디바이스(271) 사이의 근접에 기반한 크기(예를 들어, 변형, 진동, 마찰 또는 온도 효과의 크기)를 가질 수 있다. 일 실시예에서, 햅틱 효과는 운동 속도와 같이 물리적 물체의 운동 방법의 특성에 기반할 수 있다. 일 실시예에서, 햅틱 효과는 그 크기 또는 형상과 같은 물리적 물체의 물리적 특성에 기반할 수 있으며, 및/또는 가상 질량 또는 가상 질감과 같은 물리적 물체에 할당된 가상 특성에 기반할 수 있다.
도 4e는 햅틱 효과가 몰입형 현실 환경 내에서 물리적 물체(P)와 가상 물체(588) 사이의 관계에 기반할 수 있는 실시예를 도시한다. 관계는, 예를 들어, 도 4e의 몰입형 현실 환경 좌표 시스템 내에서 물리적 물체(P)와 가상 물체(588) 사이의 거리(또는, 더 일반적으로, 근접 수준)를 포함할 수 있다. 예를 들어, 거리는 몰입형 현실 환경의 좌표 시스템 내에서 측정된 가상 거리일 수 있다. 도 4e의 예에서, 햅틱 효과는 가상 물체(588)에 의해 야기되는 천둥 소리를 전달하도록 생성될 수 있다. 이 예에서, 햅틱 효과의 크기는 가상 물체(588)와 물리적 물체(P) 사이의 가상 거리가 증가함에 따라 크기가 감소할 수 있다.
위에서 기재한 바와 같이, 햅틱 효과는 물리적 물체의 크기, 무게 또는 물리적 외관과 같은 물리적 물체(P)의 물리적 특성에 기반할 수 있다. 예를 들어, 제1 크기를 갖는 물리적 물체는 제1 햅틱 크기와 연관될 수 있고, 제2의 더 큰 크기를 갖는 물리적 물체는 제2의 더 높은 햅틱 크기와 연관될 수 있다. 일 실시예에서, 햅틱 효과는 물리적 물체의 물리적 외관의 영상 분류에 기반할 수 있다. 영상 분류는 영상 분류 알고리즘을 통해 수행될 수 있다. 예를 들어, 영상 분류 알고리즘은 물리적 물체를 자동차로 분류할 수 있고, 이는 생성될 햅틱 효과에 영향을 줄 수 있다. 일부 예에서, 영상 분류는 생성될 몰입형 현실 환경에 영향을 줄 수 있다.
일 실시예에서, 물리적 물체에는 가상 질량, 가상 외관(예를 들어, 가상 형상), 가상 질감, 가상 전하 또는 가상 인력 또는 척력과 같은 하나 이상의 가상 속성(또한 가상 특성으로도 지칭됨)이 할당될 수 있다. 예를 들어, 도 4d를 참조하면, 물리적 물체(P)에는 가상 트럭의 형상인 가상 형상, 가상 질량 및 그 타이어에 대한 가상 질감이 할당될 수 있다. 햅틱 효과는 가상 트럭과 가상 경주 트랙 사이의 마찰을 시뮬레이션하도록 생성될 수 있으며, 이는 트럭의 가상 질량 및 그 타이어의 가상 질감에 기반할 수 있다.
일 실시예에서, 물리적 물체는 실행할 몰입형 현실 모듈, 또는 더 일반적으로 생성될 몰입형 현실 환경을 결정하는 데 사용될 수 있다. 예를 들어, 도 4a를 참조하면, 몰입형 현실 생성 디바이스(110B)는 가상 경주 트랙을 제시하는 제1 몰입형 현실 환경 및 가상 교실을 제시하는 제2 몰입형 현실 환경과 같은 복수의 상이한 몰입형 현실 환경을 생성할 수 있을 수 있다. 일 실시예에서, 방법(500)은 물리적 물체의 특성에 기반하여 제1 몰입형 현실 환경과 제2 몰입형 현실 환경 사이에서 생성될 몰입형 현실 환경을 선택하는 것을 포함할 수 있다. 일부 시나리오에서, 특성은 물리적 물체의 형상, 색상 또는 크기일 수 있다. 일부 시나리오에서, 특성은 물리적 물체의 영상 분류일 수 있다. 예를 들어, 도 4a 및 도 4b의 물리적 물체(P)가 컨벌루션 신경망과 같은 영상 분류 알고리즘에 의해 자동차로 분류될 수 있다. 이 분류에 매치되는 몰입형 현실 환경이 선택될 수 있다. 예를 들어, 몰입형 현실 환경이 경주용 자동차에 관련된 것이므로 제1 몰입형 현실 환경이 자동차의 분류에 매치되는 것으로 간주될 수 있다. 결과적으로, 제1 몰입형 현실 환경이 선택될 수 있다.
위에서 기재한 바와 같이, 물리적 물체는 물리적 물체의 특성을 표현하는 프로파일을 저장하는 저장 매체를 가질 수 있다. 일 실시예에서, 몰입형 현실 환경의 선택이 프로파일에 기반할 수 있다. 일 예에서, 프로파일이 물리적 물체가 자동차인 것으로 표현할 수 있다. 결과적으로 위에서 언급한 제1 몰입형 현실 환경이 생성되는 것으로 선택될 수 있다.
위에서 기재한 바와 같이, 몰입형 현실 환경 내의 사용자 상호작용의 컨텍스트가 일 실시예에서 햅틱 가능 디바이스(예를 들어, 햅틱 가능 웨어러블 디바이스)의 햅틱 능력을 지칭할 수 있으며, 햅틱 효과가 햅틱 가능 디바이스의 햅틱 능력에 기반하여 생성될 수 있다. 예를 들어, 도 6a는 햅틱 능력에 기반하여 햅틱 효과를 생성하는 방법(600)을 도시한다. 일 실시예에서, 방법(600)은 도 6b의 시스템(610)에 의해 수행될 수 있다. 시스템(610)은 도 1a의 몰입형 현실 생성 디바이스(110A) 및 햅틱 가능 웨어러블 디바이스(120A)와 함께, 통신 인터페이스(625) 및 햅틱 출력 디바이스(627)를 갖는 햅틱 가능 사용자 인터페이스 디바이스(620)를 포함할 수 있으며, 이는 웨어러블 디바이스 또는 다른 유형의 디바이스일 수 있다.
일 실시예에서, 방법(600)은 601 단계에서 시작할 수 있으며, 처리 회로가 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것으로 결정한다. 처리 회로는, 예를 들어, 햅틱 제어 모듈(111c)을 실행하는 처리 회로(113)일 수 있다.
603 단계에서, 처리 회로는 햅틱 효과가 제1 유형 햅틱 출력 디바이스와 연관된 정의된 햅틱 효과(또한 사전 정의된 햅틱 효과로도 지칭됨)라고 결정할 수 있다. 예를 들어, 처리 회로는 햅틱 효과가 ERM 액추에이터와 연관되며, ERM 액추에이터와 연관된 햅틱 효과 특성을 갖는다고 결정할 수 있다.
605 단계에서, 처리 회로는 처리 회로와 통신하는 햅틱 가능 디바이스의 햅틱 능력을 결정할 수 있으며, 햅틱 능력은 햅틱 가능 디바이스가 제1 유형 햅틱 출력 디바이스와 다른 제2 유형 햅틱 출력 디바이스인 햅틱 출력 디바이스를 갖는 것을 나타낸다. 예를 들어, 도 6b를 참조하면, 처리 회로(113)는 햅틱 가능 디바이스(120A)의 햅틱 능력을 결정할 수 있고, 결정은 디바이스(120A)가, 예를 들어, LRA 액추에이터인 햅틱 출력 디바이스(127)를 갖는다고 결정하는 것을 포함할 수 있다.
607 단계에서, 처리 회로는 변경된 햅틱 효과 특성으로 변경된 햅틱 효과를 생성하기 위하여 햅틱 가능 디바이스의 햅틱 능력에 기반하여 정의된 햅틱 효과의 햅틱 효과 특성을 변경할 수 있다. 예를 들어, 도 6b를 참조하면, 처리 회로는 햅틱 가능 디바이스(120A)의 LRA에 더 적합한 변경된 햅틱 구동 신호를 생성하기 위하여 ERM 액추에이터와 연관되었던 햅틱 구동 신호를 변경할 수 있다.
일 실시예에서, 햅틱 능력은, 예를 들어, 햅틱 가능 사용자 인터페이스 디바이스가 생성할 수 있는 햅틱 효과 유형, 햅틱 가능 사용자 인터페이스 디바이스가 생성할 수 있는 햅틱 효과의 최대 크기, 햅틱 가능 사용자 인터페이스 디바이스 내에 포함된 전체 햅틱 출력 디바이스의 수, 햅틱 가능 사용자 인터페이스 디바이스가 생성할 수 있는 햅틱 효과의 대역폭 또는 주파수 대역 또는 햅틱 가능 사용자 인터페이스 디바이스가 햅틱 효과를 정상 상태(steady state)로 상승시키거나 햅틱 효과가 실질적으로 완전히 정지하도록 제동할 수 있는 최소 응답 시간 중 적어도 하나를 지시할 수 있다.
일 실시예에서, 다양한 햅틱 가능 디바이스의 햅틱 능력을 사용하여 이들을 선택할 수 있다. 예를 들어, 607 단계는 햅틱 효과를 생성하기 위하여 처리 회로가 디바이스(120A)가 아닌 햅틱 가능 디바이스를 선택하는 단계에 의해 보완되거나 이로 대체될 수 있다. 도 6b를 참조하면, 햅틱 가능 사용자 인터페이스 디바이스(620)가 ERM 액추에이터인 햅틱 출력 디바이스(627)를 포함하였으면, 처리 회로(113)는 이 실시예에서 햅틱 효과를 생성하기 위해 햅틱 가능 사용자 인터페이스 디바이스(620)를 선택할 수 있다. 일부 예에서, 햅틱 효과는 선택된 햅틱 가능 디바이스에 의해서만 생성될 수 있다.
위에서 기재한 바와 같이, 햅틱 가능 웨어러블 디바이스는 일 실시예에서 손 추적 또는 손 제스처 검출을 용이하게 한다. 도 7은 몰입형 현실 환경에서 사용자 추적을 용이하게 하기 위하여 햅틱 가능 고리 또는 햅틱 가능 장갑을 사용하는 방법(700)을 도시한다. 일 실시예에서, 방법(700)은 도 2a의 시스템(200)의 처리 회로(113)에 의하여 수행될 수 있다.
일 실시예에서, 방법은 701 단계에서 시작하며, 처리 회로가 몰입형 현실 환경의 사용자가 착용한 햅틱 가능 고리(예를 들어, 270) 또는 햅틱 가능 장갑의 위치 또는 운동을 추적한다. 일부 경우에서, 701 단계는 햅틱 가능 고리 또는 햅틱 가능 장갑의 형상을 검출하도록 구성되는 영상 처리 알고리즘을 적용하는 것을 포함할 수 있다. 일부 예에서, 701 단계는 햅틱 가능 고리 또는 햅틱 가능 장갑에 의해 방출되는 무선 신호를 추적하는 것을 포함할 수 있다. 일부 예에서, 701 단계는 햅틱 가능 고리 또는 햅틱 가능 장갑에 의해 방출되는 열을 검출하기 위하여 적외선 탐지를 수행하는 것을 포함할 수 있다.
703 단계에서, 처리 회로는 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치 또는 운동에 기반하여, 사용자와 몰입형 현실 환경 사이의 상호작용을 결정한다. 예를 들어, 처리 회로는 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치를 사용하여 몰입형 현실 환경의 좌표 시스템 내의 사용자의 위치를 결정할 수 있다. 이 결정은 손이, 예를 들어, 몰입형 현실 환경의 가상 물체로부터 얼마나 떨어져 있는지를 나타낼 수 있다. 다른 예에서, 처리 회로는 햅틱 가능 고리 또는 햅틱 가능 장갑의 운동에 기반하여 손 제스처(예를 들어, VR 환경과 혼합 현실 환경 사이의 전환을 위한 손 제스처)를 검출할 수 있다. 제스처 검출은 미국 특허출원 제15/958,617호, 발명의 명칭 "몰입형 현실 인터페이스 모드 제공을 위한 시스템, 디바이스 및 방법"에서 더 자세히 논의되어 있으며, 그 전체 내용이 본원에서 전체로서 참조로 포함된다. 추가적인 예에서, 처리 회로는 햅틱 가능 고리 또는 햅틱 가능 장갑의 운동을 도 4a 및 도 4b의 물리적 물체(P)와 같은 물리적 물체의 운동의 근사로 사용할 수 있다.
705 단계에서, 처리 회로는 햅틱 가능 고리 또는 햅틱 가능 장갑을 제어하여 사용자와 몰입형 현실 환경 사이에서 결정된 상호작용에 기반하여 햅틱 효과를 생성하도록 한다. 일 실시예에서, 햅틱 효과는 햅틱 가능 고리 또는 햅틱 가능 장갑과 몰입형 현실 환경의 가상 물체 사이의, 근접과 같은, 관계에 기반한다. 일 실시예에서, 햅틱 효과는 가상 물체의 가상 질감 또는 가상 경도(hardness)에 기반한다. 일 실시예에서, 햅틱 효과는 햅틱 가능 고리 또는 햅틱 가능 장갑이 몰입형 현실 환경의 가상 표면 또는 가상 경계를 가로지르는 것에 응답하여 촉발되며, 햅틱 효과는 운동촉감 효과와 유사한 미세 변형 효과이다.
위의 실시예의 일 예에서, 사용자는 햅틱 가능 고리를 착용할 수 있다. 사용자는 휴대전화와 같은 작은 크기의 이동 디바이스를 가질 수 있다. 결과적으로, 이동 디바이스는 더 이상 내장형 햅틱 액추에이터를 갖지 않을 수 있다. 이동 디바이스는 대신 햅틱 가능 고리와 통신한다. 이동 디바이스로부터 알림을 받거나 상호작용할 때, 햅틱 효과(예를 들어, 햅틱 감각)가 햅틱 가능 고리 상에 제공된다. 사용자가 이동 디바이스를 HMD 쉘에 놓을 때, 사용자가 가상 현실(VR) 세계와 상호작용하는 동안 사용자의 손이 추적될 수 있다. 사용자가 물리적 또는 가상 물체와 상호작용함에 따라, 햅틱 가능 고리 상에 햅틱 효과가 제공될 수 있다. 신속한 제스처로, 사용자의 VR 경험이 혼합 현실 경험으로 전환될 수 있다. 사용자는 이제 물리적 물체 및 가상 물체와 상호작용할 수 있다. 혼합 현실 환경을 생성하는 시스템은 사용자가 상호작용하는 물체 및 이들 물체가 햅틱 제공을 필요로 하는지 인식하기 위하여 카메라 인식을 사용할 수 있다. 예를 들어, 사용자가 작은 핫 휠(Hot Wheels®) 자동차를 들어올리고 가상 경주 트랙을 로딩할 수 있다. 사용자가 물리적 자동차를 움직임에 따라, (자동차를 움직이는 손 위의) 사용자의 햅틱 가능 고리 상에 햅틱 효과가 제공된다. 햅틱 효과는 자동차의 운동 속도 및 자동차 하부의 가상 질감과 같은 속성에 기반할 수 있다. 사용자가 사용하지 않는 손(자동차를 들고 있지 않은 손)에 햅틱 가능 고리를 착용하고 있으면, 햅틱 효과는 사용자가 수행하고 있는 상호작용에 기반할 뿐 아니라 사용자 주위에서 일어나는 임의의 공간적 상호작용에 기반하여 (더 일반적으로 종단점(endpoint)으로 지칭될 수 있는) 그 손에 다르게 제공될 수 있다.
일 실시예에서, 도 1a 내지 도 7의 햅틱 가능 웨어러블 디바이스는 사용자를 향해 공기를 밀어낼 수 있는 하나 이상의 초음파 햅틱 가능 디바이스와 같은 다른 유형의 햅틱 가능 디바이스로 대체될 수 있다.
다양한 실시예가 상술되었지만, 이들은 본 발명의 예시 및 예로서 제시되었을 뿐 제한이 아니라는 것을 이해하여야 한다. 본 발명의 사상 및 범위를 벗어나지 않으면서 형태 및 세부사항에서의 다양한 변화가 이루어질 수 있음은 통상의 기술자에게 명백할 것이다. 따라서, 본 발명의 폭 및 범위는 상술한 예시적인 실시예 중 어느 것에 의해서도 제한되어서는 안되며, 첨부된 청구 범위 및 그 균등물에 따라서만 정의되어야 한다. 본원에서 논의된 각 실시예의 각 특징 및 본원에서 인용된 각 참조의 각 특징은 임의의 다른 실시예의 특징과 조합하여 사용될 수 있음이 또한 이해될 것이다. 본원에서 논의된 모든 특허 및 간행물은 전체로서 본원에 참조로 포함된다.

Claims (40)

  1. 몰입형 현실 환경에 대한 햅틱 효과 제공 방법으로서,
    처리 회로에 의하여, 몰입형 현실 모듈에 의해 실행되는 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것이라는 지시를 수신하는 것;
    상기 처리 회로에 의하여, 상기 몰입형 현실 모듈에 의해 생성되는 몰입형 현실 환경 유형 또는 상기 몰입형 현실 모듈이 실행되는 디바이스 유형을 결정하는 것; 및
    상기 처리 회로에 의하여, 상기 몰입형 현실 모듈에 의해 생성되는 상기 몰입형 현실 환경 유형 또는 상기 몰입형 현실 모듈이 실행되는 상기 디바이스 유형에 기반하여 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스가 상기 햅틱 효과를 생성하도록 제어하는 것을 포함하는 햅틱 효과 제공 방법.
  2. 제1항에 있어서, 상기 몰입형 현실 모듈이 실행되는 상기 디바이스 유형은 햅틱 생성 능력을 갖지 않는 햅틱 효과 제공 방법.
  3. 제1항에 있어서, 상기 몰입형 현실 환경 유형은 2차원(2D) 환경, 3차원(3D) 환경, 혼합 현실 환경, 가상 현실(VR) 환경 또는 증강 현실(AR) 환경 중 하나인 햅틱 효과 제공 방법.
  4. 제3항에 있어서, 상기 몰입형 현실 환경 유형이 3D 환경일 때, 상기 처리 회로는 상기 햅틱 출력 디바이스가 상기 3D 환경의 3D 좌표 시스템 내의 사용자 손의 3D 좌표에 기반하여 또는 상기 3D 환경 내의 3D 제스처에 기반하여 상기 햅틱 효과를 생성하도록 제어하는 햅틱 효과 제공 방법.
  5. 제3항에 있어서, 상기 몰입형 현실 환경 유형이 2D 환경일 때, 상기 처리 회로는 상기 햅틱 출력 디바이스가 상기 2D 환경의 2D 좌표 시스템 내의 사용자 손의 2D 좌표에 기반하여 또는 상기 2D 환경 내의 2D 제스처에 기반하여 상기 햅틱 효과를 생성하도록 제어하는 햅틱 효과 제공 방법.
  6. 제3항에 있어서, 상기 몰입형 현실 환경 유형이 AR 환경일 때, 상기 처리 회로는 상기 햅틱 출력 디바이스가 상기 AR 환경의 가상 물체와 상기 AR 환경 내에 묘사된 물리적 환경 사이의 모의 상호작용에 기반하여 상기 햅틱 효과를 생성하도록 제어하는 햅틱 효과 제공 방법.
  7. 제1항에 있어서, 상기 몰입형 현실 환경 유형이 제2 유형 몰입형 현실 환경인 것으로 결정되고, 상기 햅틱 출력 디바이스가 상기 햅틱 효과를 생성하도록 제어하는 단계는 제1 유형 몰입형 현실 환경과 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 변경된 햅틱 효과 특성을 생성하기 위해 상기 정의된 햅틱 효과 특성을 변경하는 것을 포함하며, 상기 햅틱 효과는 상기 변경된 햅틱 효과 특성으로 생성되는 햅틱 효과 제공 방법.
  8. 제1항에 있어서, 상기 정의된 햅틱 효과 특성은 햅틱 구동 신호 또는 햅틱 매개변수 값을 포함하고, 상기 햅틱 매개변수 값은 구동 신호 크기, 구동 신호 지속시간 또는 구동 신호 주파수 중 적어도 하나를 포함하는 햅틱 효과 제공 방법.
  9. 제1항에 있어서, 상기 정의된 햅틱 효과 특성은 진동 또는 변형의 크기, 진동 또는 변형의 지속시간, 진동 또는 변형의 주파수, 정전기 마찰 효과 또는 초음파 마찰 효과에 대한 마찰 계수 또는 온도 중 적어도 하나를 포함하는 햅틱 효과 제공 방법.
  10. 제1항에 있어서, 상기 몰입형 현실 모듈이 실행되는 상기 디바이스 유형은 게임 콘솔, 휴대전화, 태블릿 컴퓨터, 랩톱, 데스크톱 컴퓨터, 서버 또는 독립 실행형(standalone) 헤드 마운티드 디바이스(HMD) 중 하나인 햅틱 효과 제공 방법.
  11. 제10항에 있어서, 상기 몰입형 현실 모듈이 실행되는 상기 디바이스 유형이 제2 유형 디바이스인 것으로 결정되고, 상기 햅틱 출력 디바이스가 상기 햅틱 효과를 생성하도록 제어하는 단계는 임의의 몰입형 현실 모듈을 실행하는 제1 유형 디바이스와 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 변경된 햅틱 효과 특성을 생성하기 위해 상기 정의된 햅틱 효과 특성을 변경하는 것을 포함하며, 상기 햅틱 효과는 상기 변경된 햅틱 효과 특성으로 생성되는 햅틱 효과 제공 방법.
  12. 제1항에 있어서, 상기 처리 회로에 의하여, 상기 몰입형 현실 환경과 상호작용하는 사용자가 상기 몰입형 현실 환경에 대해 전자 신호 입력을 제공하도록 구성되는 햅틱 가능 휴대용 컨트롤러를 들고 있는지 여부를 판단하는 것을 더 포함하며, 상기 햅틱 가능 웨어러블 디바이스 상에 생성되는 상기 햅틱 효과는 상기 사용자가 햅틱 가능 휴대용 컨트롤러를 들고 있는지 여부에 기반하는 햅틱 효과 제공 방법.
  13. 제1항에 있어서, 상기 햅틱 효과는 상기 몰입형 현실 모듈 외에 상기 디바이스에서 실행되거나 설치된 소프트웨어에 더 기반하는 햅틱 효과 제공 방법.
  14. 제1항에 있어서, 상기 햅틱 효과는 상기 햅틱 가능 웨어러블 디바이스의 상기 햅틱 출력 디바이스의 햅틱 능력(haptic capability)에 더 기반하는 햅틱 효과 제공 방법.
  15. 제14항에 있어서, 상기 햅틱 출력 디바이스가 제2 유형 햅틱 출력 디바이스이고, 상기 햅틱 출력 디바이스를 제어하는 것은 제1 유형 햅틱 출력 디바이스와 연관된 정의된 햅틱 효과 특성을 가져오는 것 및 변경된 햅틱 효과 특성을 생성하기 위해 상기 정의된 햅틱 효과 특성을 변경하는 것을 포함하며, 상기 햅틱 효과는 상기 변경된 햅틱 효과 특성에 기반하여 생성되는 햅틱 효과 제공 방법.
  16. 몰입형 현실 환경에 대한 햅틱 효과 제공 방법으로서,
    처리 회로에 의하여, 몰입형 현실 환경과 상기 몰입형 현실 환경의 사용자에 의해 제어되는 물리적 물체 사이의 모의 상호작용을 검출하는 것;
    상기 처리 회로에 의하여, 상기 몰입형 현실 환경과 상기 물리적 물체 사이의 상기 모의 상호작용에 대해 햅틱 효과가 생성되는 것으로 결정하는 것; 및
    상기 처리 회로에 의하여, 상기 물리적 물체와 상기 몰입형 현실 환경 사이의 상기 모의 상호작용에 기반하여 햅틱 가능 웨어러블 디바이스의 햅틱 출력 디바이스가 햅틱 효과를 생성하도록 제어하는 것을 포함하는 햅틱 효과 제공 방법.
  17. 제16항에 있어서, 상기 물리적 물체는 상기 몰입형 현실 환경의 사용자에 의해 움직이는 휴대용 물체인 햅틱 효과 제공 방법.
  18. 제17항에 있어서, 상기 휴대용 물체는 상기 몰입형 현실 환경에 대해 전자 신호 입력을 제공하도록 구성되는 휴대용 사용자 입력 디바이스인 햅틱 효과 제공 방법.
  19. 제17항에 있어서, 상기 휴대용 물체는 상기 몰입형 현실 환경에 대해 전자 신호 입력을 제공하는 능력이 없는 햅틱 효과 제공 방법.
  20. 제19항에 있어서, 상기 모의 상호작용은 상기 물리적 물체와 상기 몰입형 현실 환경의 가상 표면 사이의 모의 접촉을 포함하며, 상기 햅틱 효과는 상기 가상 표면의 가상 질감에 기반하는 햅틱 효과 제공 방법.
  21. 제16항에 있어서, 상기 물리적 물체의 물리적 특성을 결정하는 것을 더 포함하며, 상기 햅틱 효과는 상기 물리적 물체의 상기 물리적 특성에 기반하고, 상기 물리적 특성은 상기 물리적 물체의 크기, 색상 또는 형상 중 적어도 하나를 포함하는 햅틱 효과 제공 방법.
  22. 제16항에 있어서, 상기 물리적 물체에 가상 특성을 할당하는 것을 더 포함하며, 상기 햅틱 효과는 상기 가상 특성에 기반하고, 상기 가상 특성은 가상 질량, 가상 형상, 가상 질감 또는 상기 물리적 물체와 상기 몰입형 현실 환경의 가상 물체 사이의 가상 힘의 크기 중 적어도 하나를 포함하는 햅틱 효과 제공 방법.
  23. 제16항에 있어서, 상기 햅틱 효과는 상기 햅틱 가능 웨어러블 디바이스와 상기 물리적 물체 사이의 물리적 관계에 기반하는 햅틱 효과 제공 방법.
  24. 제16항에 있어서, 상기 햅틱 효과는 상기 햅틱 가능 웨어러블 디바이스와 상기 몰입형 현실 환경의 가상 물체 사이의 근접에 기반하는 햅틱 효과 제공 방법.
  25. 제16항에 있어서, 상기 햅틱 효과는 상기 물리적 물체의 운동 특성에 기반하는 햅틱 효과 제공 방법.
  26. 제16항에 있어서, 상기 물리적 물체는 상기 물리적 물체의 하나 이상의 특성을 표현하는 프로파일(profile) 정보를 저장하는 메모리를 포함하며, 상기 햅틱 효과는 상기 프로파일 정보에 기반하는 햅틱 효과 제공 방법.
  27. 제16항에 있어서, 상기 몰입형 현실 환경은 복수의 상이한 몰입형 현실 환경을 생성할 수 있는 디바이스에 의해 생성되며, 상기 방법은 상기 물리적 물체의 물리적 또는 가상 특성에 기반하여 상기 복수의 몰입형 현실 환경으로부터 상기 몰입형 현실 환경을 선택하는 것을 더 포함하는 햅틱 효과 제공 방법.
  28. 제27항에 있어서, 상기 물리적 물체의 영상 분류를 결정하기 위하여 상기 물리적 물체의 물리적 외관에 영상 분류 알고리즘을 적용하는 것을 더 포함하고, 상기 복수의 몰입형 현실 환경으로부터 상기 몰입형 현실 환경을 선택하는 것은 상기 물리적 물체의 상기 영상 분류에 기반하는 햅틱 효과 제공 방법.
  29. 제27항에 있어서, 상기 물리적 물체는 상기 물리적 물체의 특성을 표현하는 프로파일 정보를 저장하는 메모리를 포함하며, 상기 복수의 몰입형 현실 환경으로부터 상기 몰입형 현실 환경을 선택하는 것은 상기 메모리에 저장된 상기 프로파일 정보에 기반하는 햅틱 효과 제공 방법.
  30. 몰입형 현실 환경에 대한 햅틱 효과 제공 방법으로서,
    처리 회로에 의하여, 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것으로 결정하는 것;
    상기 처리 회로에 의하여, 상기 햅틱 효과가 제1 유형 햅틱 출력 디바이스와 연관된 정의된 햅틱 효과임을 결정하는 것;
    상기 처리 회로에 의하여, 상기 처리 회로와 통신하는 햅틱 가능 디바이스의 햅틱 능력을 결정하는 것 - 상기 햅틱 능력은 상기 햅틱 가능 디바이스가 제2 유형 햅틱 출력 디바이스인 햅틱 출력 디바이스를 갖는 것을 나타냄 -; 및
    변경된 햅틱 효과 특성으로 변경된 햅틱 효과를 생성하기 위하여 상기 햅틱 가능 디바이스의 상기 햅틱 능력에 기반하여 상기 정의된 햅틱 효과의 햅틱 효과 특성을 변경하는 것을 포함하는 햅틱 효과 제공 방법.
  31. 제30항에 있어서, 상기 햅틱 가능 디바이스의 상기 햅틱 능력은 상기 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 유형(들), 상기 햅틱 가능 디바이스 내에 있는 햅틱 출력 디바이스 수, 상기 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 햅틱 효과 유형(들), 상기 햅틱 출력 디바이스(들) 각각이 생성할 수 있는 최대 햅틱 크기, 상기 햅틱 출력 디바이스(들) 각각의 주파수 대역폭, 상기 햅틱 출력 디바이스(들) 각각의 최소 상승(ramp-up) 시간 또는 제동 시간, 햅틱 가능 디바이스의 임의의 열적 햅틱 출력 디바이스의 최대 온도 또는 최소 온도 또는 햅틱 가능 디바이스의 임의의 ESF 또는 USF 햅틱 출력 디바이스에 대한 최대 마찰 계수 중 적어도 하나를 나타내는 햅틱 효과 제공 방법.
  32. 제30항에 있어서, 상기 햅틱 효과 특성을 변경하는 것은 햅틱 크기, 햅틱 효과 유형, 햅틱 효과 주파수, 온도 또는 마찰 계수 중 적어도 하나를 변경하는 것을 포함하는 햅틱 효과 제공 방법.
  33. 몰입형 현실 환경에 대한 햅틱 효과 제공 방법으로서,
    처리 회로에 의하여, 상기 처리 회로에 의하여 생성된 몰입형 현실 환경에 대해 햅틱 효과가 생성되는 것으로 결정하는 것;
    상기 처리 회로에 의하여, 상기 처리 회로와 통신하는 복수의 햅틱 가능 디바이스의 각 햅틱 능력을 결정하는 것;
    상기 복수의 햅틱 가능 디바이스의 상기 각 햅틱 능력에 기반하여 상기 복수의 햅틱 가능 디바이스로부터 햅틱 가능 디바이스를 선택하는 것; 및
    선택되지 않은 햅틱 가능 디바이스가 상기 햅틱 효과를 생성하지 않도록, 상기 햅틱 효과를 생성하도록 선택된 상기 햅틱 가능 디바이스를 제어하는 것을 포함하는 햅틱 효과 제공 방법.
  34. 몰입형 현실 환경에 대한 햅틱 효과 제공 방법으로서,
    처리 회로에 의하여, 몰입형 현실 환경의 사용자가 착용한 햅틱 가능 고리 또는 햅틱 가능 장갑의 위치 또는 운동을 추적하는 것;
    상기 햅틱 가능 고리 또는 햅틱 가능 장갑의 상기 위치 또는 운동에 기반하여, 상기 사용자와 상기 몰입형 현실 환경 사이의 상호작용을 결정하는 것; 및
    상기 사용자와 상기 몰입형 현실 환경 사이에서 결정된 상기 상호작용에 기반하여 햅틱 효과를 생성하도록 상기 햅틱 가능 고리 또는 햅틱 가능 장갑을 제어하는 것을 포함하는 햅틱 효과 제공 방법.
  35. 제34항에 있어서, 상기 햅틱 효과는 상기 햅틱 가능 고리 또는 햅틱 가능 장갑과 상기 몰입형 현실 환경의 가상 물체 사이의 근접과 같은 관계에 기반하는 햅틱 효과 제공 방법.
  36. 제35항에 있어서, 상기 관계는 상기 햅틱 가능 고리 또는 햅틱 가능 장갑과 상기 몰입형 현실 환경의 가상 물체 사이의 근접을 나타내는 햅틱 효과 제공 방법.
  37. 제35항에 있어서, 상기 햅틱 효과는 상기 가상 물체의 가상 질감 또는 가상 경도(hardness)에 기반하는 햅틱 효과 제공 방법.
  38. 제34항에 있어서, 상기 햅틱 효과는 상기 햅틱 가능 고리 또는 햅틱 가능 장갑이 상기 몰입형 현실 환경의 가상 표면 또는 가상 경계를 가로지르는 것에 응답하여 촉발되며, 상기 햅틱 효과는 운동감각(kinesthetic) 효과에 근사하는 미세 변형 효과인 햅틱 효과 제공 방법.
  39. 제34항에 있어서, 상기 햅틱 가능 고리 또는 상기 햅틱 가능 장갑의 위치 또는 운동을 추적하는 것은 상기 처리 회로가 상기 사용자가 위치한 물리적 환경의 영상을 카메라로부터 수신하는 것 및 상기 햅틱 가능 고리 또는 햅틱 가능 장갑을 검출하기 위하여 상기 영상에 영상 검출 알고리즘을 적용하는 것을 포함하는 햅틱 효과 제공 방법.
  40. 몰입형 현실 환경을 생성하는 몰입형 현실 모듈을 저장하도록 구성되는 메모리,
    상기 몰입형 현실 모듈을 실행하도록 구성되는 처리 유닛, 및
    무선 통신을 수행하는 통신 인터페이스 - 상기 몰입형 현실 생성 디바이스는 햅틱 출력 디바이스를 갖지 않으며 햅틱 생성 능력이 없음 -
    를 갖는 몰입형 현실 생성 디바이스; 및
    햅틱 출력 디바이스, 및
    상기 몰입형 현실 생성 디바이스의 상기 통신 인터페이스와 무선 통신하도록 구성되는 통신 인터페이스
    를 갖는 햅틱 가능 웨어러블 디바이스를 포함하며,
    상기 햅틱 가능 웨어러블 디바이스는, 상기 몰입형 현실 생성 디바이스로부터, 햅틱 효과가 생성되는 것이라는 지시를 수신하고, 상기 햅틱 효과를 생성하기 위해 상기 햅틱 출력 디바이스를 제어하도록 구성되는 시스템.
KR1020190044782A 2018-04-20 2019-04-17 몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스 KR20190122569A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/958,881 2018-04-20
US15/958,881 US20190324538A1 (en) 2018-04-20 2018-04-20 Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment

Publications (1)

Publication Number Publication Date
KR20190122569A true KR20190122569A (ko) 2019-10-30

Family

ID=66239888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190044782A KR20190122569A (ko) 2018-04-20 2019-04-17 몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스

Country Status (5)

Country Link
US (1) US20190324538A1 (ko)
EP (1) EP3557383A1 (ko)
JP (1) JP2019192243A (ko)
KR (1) KR20190122569A (ko)
CN (1) CN110389655A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
WO2022043925A1 (en) * 2020-08-26 2022-03-03 Eunoe Llc A system, modular platform and method for xr based self-feedback, dialogue, and publishing

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
US11003247B1 (en) 2020-03-20 2021-05-11 Microsoft Technology Licensing, Llc Deployable controller
JP2023133635A (ja) * 2020-07-30 2023-09-26 ソニーグループ株式会社 情報処理装置、触感提示システム及びプログラム
US20220143821A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface stiffness
KR20220094988A (ko) * 2020-12-29 2022-07-06 삼성전자주식회사 증강 현실, 가상 현실, 혼합 현실 및 확장 현실 서비스를 제공하기 위한 장치 및 방법
US20230025019A1 (en) * 2021-07-23 2023-01-26 Sleepme Inc. Virtual reality and augmented reality headsets for meditation applications

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) * 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
KR101713358B1 (ko) * 2009-07-22 2017-03-07 임머숀 코퍼레이션 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9466187B2 (en) * 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9489047B2 (en) * 2013-03-01 2016-11-08 Immersion Corporation Haptic device with linear resonant actuator
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9606624B2 (en) * 2014-07-02 2017-03-28 Immersion Corporation Systems and methods for surface elements that provide electrostatic haptic effects
US10146308B2 (en) * 2014-10-14 2018-12-04 Immersion Corporation Systems and methods for impedance coupling for haptic devices
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
WO2022043925A1 (en) * 2020-08-26 2022-03-03 Eunoe Llc A system, modular platform and method for xr based self-feedback, dialogue, and publishing

Also Published As

Publication number Publication date
JP2019192243A (ja) 2019-10-31
EP3557383A1 (en) 2019-10-23
CN110389655A (zh) 2019-10-29
US20190324538A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
KR20190122569A (ko) 몰입형 현실 환경에서 햅틱 효과를 생성하는 햅틱 가능 웨어러블 디바이스
US10974138B2 (en) Haptic surround functionality
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US10416769B2 (en) Physical haptic feedback system with spatial warping
KR102194164B1 (ko) 홀로그램 객체 피드백
KR102292522B1 (ko) 물리 엔진을 이용한 물리적 장난감 제어
JP6478535B2 (ja) 触覚変換を行うためのシステム及び方法
JP2019517049A (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
KR20160081809A (ko) 증강 및 가상 현실 애플리케이션들에 대한 햅틱 향상 객체들을 생성하기 위한 시스템 및 방법
US20190163271A1 (en) Systems and methods for providing haptic feedback according to tilt-based inputs
JP2019519020A (ja) 視野周辺の視覚的背光
EP3364272A1 (en) Automatic localized haptics generation system
EP2904588A1 (en) Augmented reality system
US10474238B2 (en) Systems and methods for virtual affective touch
CN108700944B (zh) 与在虚拟现实环境中的运动有关的系统和方法
JP6732078B2 (ja) 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体
EP3367216A1 (en) Systems and methods for virtual affective touch
US11430170B1 (en) Controlling joints using learned torques
US20200286298A1 (en) Systems and methods for a user interaction proxy
Tecchia et al. Addressing the problem of Interaction in fully Immersive Virtual Environments: from raw sensor data to effective devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application