KR20190059234A - 햅틱 액세서리 장치 - Google Patents

햅틱 액세서리 장치 Download PDF

Info

Publication number
KR20190059234A
KR20190059234A KR1020180142761A KR20180142761A KR20190059234A KR 20190059234 A KR20190059234 A KR 20190059234A KR 1020180142761 A KR1020180142761 A KR 1020180142761A KR 20180142761 A KR20180142761 A KR 20180142761A KR 20190059234 A KR20190059234 A KR 20190059234A
Authority
KR
South Korea
Prior art keywords
haptic
accessory device
processor
physical object
physical
Prior art date
Application number
KR1020180142761A
Other languages
English (en)
Inventor
자말 사본
후안 마누엘 크루즈-헤르난데즈
죠니 마알로프
리웬 우
사이먼 포레스트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190059234A publication Critical patent/KR20190059234A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

가상 현실(VR) 또는 증강 현실(AR) 환경을 위한 햅틱 액세서리 장치가 제시된다. 햅틱 액세서리 장치는 물리적 오브젝트에 부착되도록 적응되는 순응형 바디, 햅틱 출력 디바이스, 햅틱 액세서리 장치의 모션을 추적하도록 구성되는 모션 센서, 무선 통신 인터페이스 유닛, 프로세서, 및 전원을 포함한다. 무선 통신 유닛은 모션 센서로부터, VR 또는 AR 환경을 제공하는 애플리케이션을 실행하도록 구성되는 컴퓨터 시스템으로 센서 정보를 무선으로 통신하고, 햅틱 액세서리 장치가 햅틱 효과를 출력할 것임을 나타내는 신호를 컴퓨터 시스템으로부터 수신하도록 구성되고, 햅틱 출력 디바이스는 신호에 기초하여 햅틱 효과를 출력하도록 구성된다.

Description

햅틱 액세서리 장치{HAPTIC ACCESSORY APPARATUS}
본 발명은, 물리적 오브젝트에 부착가능하고, 사용자 인터페이스, 게임, 및 가전 제품에서 응용예를 가지는 햅틱 액세서리 장치에 관한 것이다.
전자 사용자 인터페이스 시스템이 더 보편화됨에 따라, 사람들이 이들 시스템들과 상호작용하는 인터페이스들의 품질이 점점 더 중요해지고 있다. 햅틱 피드백, 또는 더 일반적으로 햅틱 효과들은, 사용자들에 대한 큐들을 제공하고, 특정 이벤트들의 경고를 제공하고, 또는 가상 환경 내에서 더 큰 감각적 몰입을 생성하기 위한 실감 피드백을 제공함으로써, 인터페이스들의 품질을 개선할 수 있다. 햅틱 효과들의 예들은 운동감각적 햅틱 효과들(예컨대, 활성 및 저항성 힘 피드백), 진동촉각적 햅틱 효과들, 및 정전기 마찰 햅틱 효과들을 포함한다.
후속하는 상세한 설명은 속성상 단지 예시적이며, 발명 또는 발명의 응용 및 사용들을 제한하도록 의도되지 않는다. 또한, 이전의 기술 분야, 배경기술, 및 간단한 요약, 또는 후속하는 상세한 설명에서 제시되는 어떠한 명시적인 또는 내포된 이론에 의해 한정되려는 의도가 존재하지 않는다.
본원에서의 실시예들의 일 양태는 가상 현실(VR) 또는 증강 현실(AR) 환경을 위한 햅틱 액세서리 장치에 관한 것이다. 햅틱 액세서리 장치는 물리적 오브젝트에 부착되도록 적응되는 순응형 바디, 순응형 바디 상에 또는 내에 배치되는 햅틱 출력 디바이스, 순응형 바디 상에 또는 내에 배치되고 햅틱 액세서리 장치의 모션을 추적하도록 구성되는 모션 센서, 및 무선 통신 인터페이스 유닛(및/또는 유선 통신 인터페이스 유닛)을 포함한다. 무선 통신 유닛은 모션 센서로부터, VR 또는 AR 환경을 제공하는 애플리케이션을 실행하도록 구성되는 컴퓨터 시스템으로 센서 정보를 무선으로 통신하고, 햅틱 액세서리 장치가 햅틱 효과를 출력할 것임을 나타내는 신호를 컴퓨터 시스템으로부터 수신하도록 구성되고, 햅틱 액세서리 장치의 햅틱 출력 디바이스는 신호에 기초하여 햅틱 효과를 출력하도록 구성된다. 햅틱 액세서리 장치는 프로세서 및 전원을 더 포함한다. 프로세서는 순응형 바디 상에 또는 내에 배치되고, 적어도 햅틱 출력 디바이스, 모션 센서, 및 무선 통신 인터페이스 유닛과 통신한다. 전원은 순응형 바디 상에 또는 내에 배치되고 적어도 햅틱 출력 디바이스, 프로세서, 및 무선 통신 인터페이스 유닛에 전력을 제공하도록 구성된다.
실시예에서, 순응형 바디는 플렉시블 층으로 형성되고, 상이한 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능하다.
실시예에서, 햅틱 액세서리 장치는 순응형 바디 상에 배치되는 사용자 입력 엘리먼트를 더 포함하고, 사용자 입력 엘리먼트는 트리거 및 조이스틱 중 적어도 하나이고, 사용자 입력 엘리먼트는 프로세서와 통신한다.
실시예에서, 햅틱 액세서리 장치는 햅틱 액세서리 장치가 물리적 오브젝트에 부착될 때 물리적 오브젝트에 핸드헬드 제어기 기능성 및 햅틱 기능성을 제공하도록 구성된다.
실시예에서, 순응형 바디는 물리적 오브젝트의 적어도 일부분 둘레에 감기도록 구성된다.
실시예에서, 순응형 바디는 물리적 오브젝트의 적어도 일부분 둘레에 맞도록 탄성적으로 늘어나도록 구성되는 탄성중합체 재료를 포함한다.
실시예에서, 순응형 바디는 루프 형상을 가지는 탄성 밴드를 형성한다.
실시예에서, 햅틱 액세서리 장치는 순응형 바디의 늘임 및 구부러짐 중 적어도 하나를 감지하도록 구성되는 하나 이상의 추가적인 센서를 더 포함하고, 프로세서는 하나 이상의 추가적인 센서로부터의 신호들에 기초하여 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 결정하도록 구성된다.
실시예에서, 햅틱 출력 디바이스는 컴퓨터 시스템으로부터의 신호에 기초하여 텍스처를 시뮬레이트하도록 구성되는 정전기 마찰(ESF) 액추에이터이다.
실시예에서, 햅틱 출력 디바이스는 컴퓨터 시스템으로부터의 신호에 기초하여 진동촉각적 햅틱 효과를 출력하도록 구성되는 압전 액추에이터이다.
실시예에서, 햅틱 출력 디바이스는 초음파 햅틱 액추에이터 및 발열기 중 적어도 하나이다.
실시예에서, 모션 센서에 의해 출력되는 센서 정보는 햅틱 액세서리 장치의 위치 및 배향 중 적어도 하나를 나타낸다.
실시예에서, 순응형 바디는 플렉시블하며, 중합체 재료로 형성되고, 프로세서, 햅틱 출력 디바이스, 전원, 모션 센서, 및 무선 통신 인터페이스 유닛은 중합체 재료에 내장된다.
실시예에서, 햅틱 액세서리 장치의 모션 센서는 가속기, 관성 측정 유닛(IMU), 및 자이로스코프 중 적어도 하나를 포함한다.
본원의 실시예들의 일 양태는 가상 현실(VR) 또는 증강 현실(AR) 환경을 제공하기 위한 햅틱-인에이블형 시스템에 관한 것이다. 시스템은 컴퓨터 시스템 및 햅틱 액세서리 장치를 포함한다. 컴퓨터 시스템은 제1 프로세서 및 디스플레이 디바이스를 포함하고, 제1 프로세서는 VR 또는 AR 환경을 제공하는 애플리케이션을 실행하도록 구성되고, 디스플레이 디바이스는 VR 또는 AR 환경을 디스플레이하도록 구성된다. 햅틱 액세서리 장치는 햅틱 액세서리 장치로부터 분리될 때 핸드헬드 제어기 기능성을 가지지 않는 물리적 오브젝트에 부착되도록 적응되는 순응형 바디를 포함하고, 햅틱 액세서리 장치는 햅틱 액세서리 장치가 물리적 오브젝트에 부착될 때 핸드헬드 제어기 기능성을 물리적 오브젝트에 제공하도록 구성된다. 햅틱 액세서리 장치는 햅틱 출력 디바이스, 모션 센서, 무선 통신 인터페이스 유닛, 제2 프로세서, 및 전원을 더 포함한다. 햅틱 출력 디바이스는 순응형 바디 상에 도는 내에 배치된다. 모션 센서는 순응형 바디 상에 또는 내에 배치되며 햅틱 액세서리 장치의 모션을 추적하도록 구성된다. 무선 통신 인터페이스 유닛은 컴퓨터 시스템과 무선으로 통신하도록 구성된다. 제2 프로세서는 순응형 바디 상에 또는 내에 배치되고, 햅틱 출력 디바이스, 모션 센서, 및 무선 통신 인터페이스 유닛과 통신한다. 전원은 순응형 바디 상에 또는 내에 배치되고, 적어도 햅틱 출력 디바이스, 제2 프로세서, 및 무선 통신 인터페이스 유닛에 전력을 제공하도록 구성된다. 컴퓨터 시스템의 제1 프로세서는 그것의 무선 통신 인터페이스 유닛을 통해 햅틱 액세서리 장치의 모션 센서로부터 센서 정보를 수신하고, 센서 정보에 기초하여 VR 또는 AR 환경의 가상 오브젝트를 제어하고, 가상 오브젝트와 연관된 햅틱 효과가 생성될 것이라고 결정하고, 무선 통신 인터페이스 유닛을 통해 제2 프로세서에 신호를 통신하도록 구성되고, 신호는 햅틱 액세서리 장치가 햅틱 효과를 생성할 것임을 나타내고, 햅틱 액세서리 장치의 햅틱 출력 디바이스는 신호에 기초하여 햅틱 효과를 출력하도록 구성된다.
실시예에서, 순응형 바디는 플렉시블하며 중합체 재료로 형성되고, 상이한 물리적 오브젝트들의 상이한 형상들을 따르도록 재구성가능하고, 프로세서, 햅틱 출력 디바이스, 전원, 모션 센서, 및 무선 통신 인터페이스 유닛은 중합체 재료 내에 내장된다.
실시예에서, 센서 정보는 햅틱 액세서리 장치의 위치 및 배향 중 적어도 하나를 나타내고, 제1 프로세서는 센서 정보에 기초하여 디스플레이 디바이스 상의 가상 오브젝트의 디스플레이되는 위치 및 배향 중 적어도 하나를 변경하도록 구성된다.
실시예에서, 제1 프로세서는 복수의 물리적 오브젝트 중의 물리적 오브젝트를 컴퓨터 시스템의 메모리 내의 가상 오브젝트와 연관시키도록 구성된다.
실시예에서, 가상 오브젝트는 디스플레이 디바이스 상에 디스플레이될 형상을 가지고, 제1 프로세서는 물리적 오브젝트의 형상이 가상 오브젝트의 형상과 실질적으로 동일하다고 결정함으로써 복수의 물리적 오브젝트 중의 물리적 오브젝트가 가상 오브젝트와 연관될 것이라고 결정하도록 구성된다.
실시예에서, 햅틱-인에이블형 시스템은 제1 프로세서와 통신하는 카메라를 더 포함하고, 제1 프로세서는 카메라에 의해 캡처된 이미지에 기초하여 복수의 물리적 오브젝트 중의 물리적 오브젝트의 형상이 가상 오브젝트의 형상과 실질적으로 동일하다고 결정하도록 구성된다.
실시예에서, 제1 프로세서는 디스플레이 디바이스가, 햅틱 액세서리 장치가 복수의 물리적 오브젝트 중의 물리적 오브젝트에 수동으로 부착되어야 한다는 표시를 디스플레이하게 하도록 추가로 구성된다.
실시예에서, 복수의 물리적 오브젝트 중의 물리적 오브젝트는 복수의 물리적 오브젝트 중의 제1 물리적 오브젝트 및 제2 물리적 오브젝트이고, 햅틱 액세서리 장치는 제1 물리적 오브젝트 및 제2 물리적 오브젝트 각각에 부착되도록 구성된다. 제1 프로세서는 햅틱 액세서리 장치가 제1 물리적 오브젝트에 부착되는 것으로부터 햅틱 액세서리 장치가 제2 물리적 오브젝트에 부착되는 것으로의 변경을 검출하도록 구성되고, 제1 물리적 오브젝트와 연관되는 것으로부터 컴퓨터 시스템의 메모리 내의 제2 물리적 오브젝트와 연관되는 것으로 가상 오브젝트의 연관을 변경하도록 구성된다.
실시예에서, 햅틱 액세서리 장치는 햅틱 액세서리 장치의 순응형 바디의 늘임 또는 구부러짐 중 적어도 하나를 감지하도록 구성되는 하나 이상의 추가적인 센서를 더 포함하고, 제2 프로세서는 하나 이상의 추가적인 센서로부터의 추가적인 센서 정보에 기초하여 복수의 물리적 오브젝트 중의 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 결정하고, 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 제1 프로세서에 통신하도록 구성된다.
실시예에서, 햅틱 액세서리 장치가 햅틱 효과를 생성할 것임을 나타내는 신호는 햅틱 효과의 강도, 주파수 및 타입 중 적어도 하나를 나타내고, 제1 프로세서는 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나에 기초하여 신호 내에 표시되는 강도, 주파수, 및 타입 중 적어도 하나를 결정하도록 구성된다.
실시예에서, 햅틱 액세서리 장치가 햅틱 효과를 생성할 것임을 나타내는 신호는 햅틱 효과의 강도, 주파수 및 타입 중 적어도 하나를 나타내고, 제1 프로세서는 가상 오브젝트의 가상 질량, 가상 형상, 가상 사이즈, 및 가상 온도 중 적어도 하나에 기초하여 신호 내에 표시되는 강도, 주파수 및 타입 중 적어도 하나를 결정하도록 구성된다.
실시예에서, 햅틱 액세서리 장치의 햅틱 출력 디바이스는 햅틱 액세서리 장치의 복수의 햅틱 출력 디바이스 중 하나이고, 제1 프로세서에 의해 생성되는 신호는 복수의 햅틱 출력 디바이스 중 어느 하나 이상의 햅틱 출력 디바이스가 햅틱 효과를 출력할 지를 나타낸다.
실시예에서, 신호는 하나 이상의 햅틱 출력 디바이스에 의해 햅틱 효과가 생성될 타이밍을 추가로 나타낸다.
실시예에서, 프로세서에 의해 실행되는 애플리케이션은 AR 환경을 제공하고, 디스플레이 디바이스는 AR 환경 내의 물리적 오브젝트 위에 이미지를 오버레이하도록 구성되고, 이미지는 물리적 오브젝트와 실질적으로 동일한 형상을 가진다.
본원에서의 실시예들의 일 양태는 가상 현실(VR) 또는 증강 현실(AR) 환경을 제어하기 위한 방법에 관한 것이며, 방법은 제1 프로세서 및 디스플레이 디바이스를 가지는 컴퓨터 시스템에 의해 수행되고, 방법은, 컴퓨터 시스템의 제1 프로세서에 의해, VR 또는 AR 환경을 제공하는 애플리케이션을 실행하는 것을 포함한다. 방법은, 제1 프로세서에 의해, VR 또는 AR 환경의 가상 오브젝트가 컴퓨터 시스템의 디스플레이 디바이스 상에 디스플레이되도록 하는 것을 더 포함한다. 방법은, 햅틱 액세서리 장치로부터, 햅틱 액세서리 장치의 모션 센서로부터의 센서 정보를 수신하는 것을 더 포함하고, 햅틱 액세서리 장치는 순응형 바디, 햅틱 출력 디바이스, 모션 센서, 무선 통신 인터페이스 유닛, 제2 프로세서, 및 전원을 포함하고, 순응형 바디는 햅틱 액세서리 장치로부터 분리될 때 핸드헬드 제어기 기능성을 가지지 않는 물리적 오브젝트에 부착되도록 적응되고, 햅틱 출력 디바이스, 모션 센서, 무선 통신 인터페이스 유닛, 제2 프로세서, 및 전원 각각은 순응형 바디 상에 또는 내에 배치된다. 방법은, 제1 프로세서에 의해, 센서 정보에 기초하여 가상 오브젝트를 제어하는 것을 더 포함한다. 방법은, 제1 프로세서에 의해, 가상 오브젝트와 연관된 햅틱 효과가 생성될 것이라고 결정하는 것; 및 제1 프로세서에 의해, 햅틱 액세서리 장치가 햅틱 효과를 생성할 것임을 나타내는 신호를 햅틱 액세서리 장치에 통신하고, 따라서 햅틱 효과가 햅틱 액세서리 장치에 부착되는 물리적 오브젝트에서 생성되는 것을 더 포함한다.
실시예에서, 방법은: 제1 프로세서와 통신하는 카메라에 의해 캡처되는 이미지를 수신하고, 카메라에 의해 캡처되는 이미지로부터, 물리적 오브젝트의 형상이 가상 오브젝트의 형상과 실질적으로 동일하다고 결정하고, 물리적 오브젝트의 형상이 가상 오브젝트의 형상과 실질적으로 동일하다는 결정에 응답하여, 햅틱 액세서리 장치가 물리적 오브젝트에 수동으로 부착될 것이라는 표시를 디스플레이 디바이스 상에 출력하고, 햅틱 액세서리 장치를 컴퓨터의 메모리 내의 물리적 오브젝트와 연관시킴으로써, 햅틱 액세서리 장치가 제1 물리적 오브젝트에 부착될 것이라고 결정하는 것을 더 포함한다.
실시예에서, 순응형 바디는 플렉시블 재료로 형성되고, 물리적 오브젝트의 표면에 따르도록 구성된다.
실시예에서, 순응형 바디는 상이한 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능하다.
실시예에서, 가상 오브젝트는 제1 가상 오브젝트 및 제2 가상 오브젝트이고, 물리적 오브젝트는 복수의 물리적 오브젝트 중 제1 물리적 오브젝트 및 제2 가상 오브젝트이다. 실시예에서, 방법은, 제1 프로세서에 의해, 제2 가상 오브젝트가 컴퓨터 시스템의 디스플레이 디바이스 상에 디스플레이되도록 하는 것, 제1 프로세서에 의해, 햅틱 액세서리 장치가 제1 물리적 오브젝트에 부착되는 것으로부터 햅틱 액세서리 장치가 제2 물리적 오브젝트에 부착되는 것으로의 변경을 검출하는 것, 및 제1 프로세서에 의해, 제2 물리적 오브젝트를 컴퓨터 시스템의 메모리 내의 제2 가상 오브젝트와 연관시키는 것을 더 포함하고, 제2 가상 오브젝트는 VR 또는 AR 환경의 일부이거나, 또는 상이한 VR 또는 AR 환경의 일부이다.
실시예에서, 제1 물리적 오브젝트 및 제2 물리적 오브젝트는 상이한 각자의 형상들을 가진다.
실시예에서, 방법은 햅틱 액세서리 장치로부터, 햅틱 액세서리 장치가 제1 물리적 오브젝트에 부착될 때 제1 물리적 오브젝트의 제1 추정되는 형상 및 제1 추정되는 사이즈 중 적어도 하나를 수신하는 것; 및 햅틱 액세서리 장치로부터, 햅틱 액세서리 장치가 제2 물리적 오브젝트에 부착될 때 제2 물리적 오브젝트의 제2 추정되는 형상 및 제2 추정되는 사이즈 중 적어도 하나를 수신하는 것을 더 포함한다.
실시예에서, 햅틱 효과는 제1 햅틱 효과이고, 햅틱 액세서리 장치가 제1 물리적 오브젝트에 부착될 때 제1 물리적 오브젝트의 제1 추정되는 형상 및 제1 추정되는 사이즈 중 적어도 하나에 기초하여 결정되고, 방법은 햅틱 액세서리 장치가 제2 물리적 오브젝트에 부착될 때 제2 물리적 오브젝트의 제2 추정되는 형상 또는 제2 추정되는 사이즈 중 적어도 하나에 기초하여 제2 햅틱 효과를 결정하는 것을 더 포함한다.
실시예에서, 방법은 햅틱 액세서리 장치로부터 수신되는 센서 정보에 기초하여 디스플레이 디바이스가 가상 오브젝트의 움직임을 디스플레이하게 하는 것을 더 포함한다.
본원의 실시예들의 특징들, 목적들 및 장점들은 첨부 도면들에 대한 참조가 이루어질 후속하는 상세한 설명을 판독함으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다.
발명의 이전 및 다른 특징들, 목적들 및 장점들은 첨부 도면들에 예시된 바와 같은 본원의 실시예들의 후속하는 기재로부터 명확할 것이다. 본원에 포함되어 명세서의 일부를 형성하는 첨부 도면들은 추가로 발명의 원리들을 설명하고 관련 기술분야의 통상의 기술자가 발명을 제작하고 사용할 수 있게 하는 역할을 한다. 도면들은 축척에 맞지 않다.
도 1은 본원의 실시예에 따른, 햅틱 액세서리 장치 및 컴퓨터 시스템을 가지는 햅틱-인에이블형 시스템을 도시한다.
도 2는 본원의 실시예에 따른, 햅틱 액세서리 장치 및 컴퓨터 시스템을 가지는 햅틱-인에이블형 시스템을 도시한다.
도 3a는 본원의 실시예에 따른, 밴드의 형태를 가지는 햅틱 액세서리 장치를 도시하며, 여기서 밴드는 루프를 형성한다.
도 3b, 3c 및 3d는 본원의 실시예에 따른, 시트의 형태를 가지는 햅틱 액세서리 장치를 도시한다.
도 4는 본원의 실시예에 따른, 햅틱 액세서리 장치의 블록도를 도시한다.
도 5는 본원의 실시예에 따른, 햅틱 액세서리 장치를 이용하여 햅틱 효과를 생성하기 위한 방법을 예시한다.
도 6 및 7은 본원의 실시예에 따른, 물리적 오브젝트, 햅틱 액세서리 장치 및 가상 오브젝트 사이의 상호작용을 예시한다.
도 8은 본원의 실시예에 따른, 햅틱 액세서리 장치와 통신하는 컴퓨터 시스템에 의해 수행되는 단계들을 예시한다.
후속하는 상세한 설명은 속성상 단지 예시적이며, 발명 또는 발명의 응용 및 사용들을 제한하도록 의도되지 않는다. 또한, 이전의 기술 분야, 배경 기술, 간단한 요약 또는 후속하는 상세한 설명에 제시되는 임의의 명시적인 또는 내포된 이론에 의해 한정될 의도가 존재하지 않는다.
본원에서의 실시예들은 햅틱 기능성 및 핸드헬드 제어기 기능성을 물리적 오브젝트에 추가할 수 있는 장치에 관한 것인데, 이는 그 자체가 햅틱 기능성도 핸드헬드 제어기 기능성도 가지지 않는 일상적 오브젝트일 수 있다. 따라서 장치는 상이한 일상적 오브젝트들이 예를 들어, 각각이 가상 현실(VR) 또는 증강 현실(AR) 환경을 위한 햅틱-인에이블형 핸드헬드 제어기로서 구성되도록 하는 햅틱 액세서리 장치로서 작용할 수 있다. 실시예에서, 햅틱 액세서리 장치는 다양한 상이한 물리적 오브젝트들을 햅틱-인에이블형 핸드헬드 제어기 내로 구성할 수 있는 포괄적 장치로서 작용할 수 있다. 따라서 햅틱 액세서리 장치는, 상이한 각자의 형상들 또는 사이즈들의 상이한 물리적 오브젝트들이 각각 핸드헬드 제어기로서 구성되도록 함으로써, 핸드헬드 제어기의 형상 또는 사이즈의 견지에서 커스터마이제이션(customization)을 제공할 수 있다. 일부 경우들에서, 햅틱 액세서리 장치는 추가로 하나 이상의 모션 센서를 통해 핸드헬드 제어기 기능성을 제공할 수 있는데, 이는 햅틱 액세서리 장치의 그리고 그에 부착되는 임의의 물리적 오브젝트의 모션을 추적할 수 있다. 다양한 상이한 물리적 오브젝트들을 햅틱-인에이블형 핸드헬드 제어기 내로 구성할 수 있음으로써, 햅틱 액세서리 장치는 사용자 또는 프로그램(예를 들어, VR/AR 환경을 제공하는 프로그램)이, 예를 들어, VR/AR 환경의 가상 오브젝트에 최상으로 매치하는 또는 그렇지 않은 경우 이를 최상으로 표현하는(예를 들어, 형상, 사이즈, 또는 일부 다른 인자의 견지에서 가상 오브젝트에 최상으로 매치하는) 물리적 오브젝트를 선택하도록 할 수 있다. 이 상황에서, 가상 오브젝트와 유사함으로써, 물리적 오브젝트는 VR 또는 AR 환경 내의 가상 오브젝트에 대한 프록시로서 작용할 수 있다. 실시예에서, 물리적 오브젝트는, 물리적 오브젝트를 평균 사용자의 손으로 직접 잡거나 움직이도록 하는 형상 및 사이즈를 가진다(예를 들어, 그것은 사용자의 손으로 쥘 수 있도록 충분히 작다)는 점에서 핸드헬드 제어기로서 구성가능하다.
또한, 실시예에서, 햅틱 액세서리 장치는 전용 핸드헬드 제어기(예를 들어, Wii® Remote)가 사용자의 물리적 위치 또는 주변환경(예를 들어, 집 또는 사무실) 내의 물리적 오브젝트로 대체되도록 하고, 물리적 오브젝트 자체는 제어기 기능성을 가지지 않는다. 햅틱 액세서리 장치는 일단 그것이 물리적 오브젝트에 부착되면 물리적 오브젝트에 제어기 기능성을 제공한다. 일단 물리적 오브젝트에 부착되면, 햅틱 액세서리 장치는 물리적 오브젝트가 VR 또는 AR 환경에 대한 사용자 입력을 제공할 수 있는 핸드헬드 제어기(예를 들어, 게임 주변장치)로서 사용되도록 한다. 또다른 실시예에서, 물리적 오브젝트는, 햅틱 액세서리 장치에 의해 제공되는 임의의 모션 감지 능력과는 별도로, 그 자체가 모션 감지 능력을 가질 수 있다. 예를 들어, 물리적 오브젝트는 모션 센서를 포함하는 게임 조이스틱일 수 있다.
실시예에서, 상이한 물리적 오브젝트들은 상이한 각자의 가상 오브젝트들을 제어하거나 더 일반적으로는 이들과 상호작용하기 위해 햅틱 액세서리 장치와 함께 사용될 수 있다. 특정 가상 오브젝트와 상호작용하기 위해 사용될 특정 물리적 오브젝트는 VR 또는 AR 환경을 실행 중인 컴퓨터 시스템에 의해, 또는 사용자에 의해 선택될 수 있다. 두 경우 모두, 컴퓨터 시스템은, 예를 들어, 가상 오브제트를 물리적 오브젝트와 (예를 들어, 메모리 내의 테이블에서) 연관시킴으로써, 가상 오브젝트를 물리적 오브젝트에 매핑시킬 수 있다. 예를 들어, 컴퓨터 시스템은 사용자가 가상 검 또는 가상 광선검을 사용하는 시뮬레이트된 칼싸움을 가질 수 있는 VR 또는 AR 환경을 실행할 수 있다. 이러한 예에서, 컴퓨터 시스템 또는 사용자는, 예를 들어, 원통형 칩 컨테이너(예를 들어, Pringles® 감자칩 캔)를 가상 검 또는 가상 광선검에 대한 물리적 프록시로서 선택할 수 있는데, 왜냐하면 원통형 칩 컨테이너가 가늘고 긴(elongated) 형태의 가상 검 또는 가상 광선검과 유사한 가늘고 긴 형상을 가질 수 있기 때문이고, 원통형 칩 컨테이너가 또한 검 손잡이와 유사한 원통형 형상을 가지기 때문이다. 또다른 예에서, 컴퓨터 시스템 또는 사용자는, 예를 들어, 테니스 라켓을 가상 검 또는 가상 광선검에 대한 물리적 프록시로서 선택할 수 있다. 사용자는 예를 들어, 물리적 위치 내에서 원통형 칩 컨테이너 또는 테니스 라켓을 휘두름으로써 VR 또는 AR 환경에서 가상 검 또는 가상 광선검을 제어할 수 있다. 게임플레이 동안, 사용자가 물리적 오브젝트를 움직이는 경우, VR 또는 AR 환경은 대응하는 방식으로 가상 검 또는 광선검의 움직임을 디스플레이할 수 있다. 실시예에서, 가상 검 또는 가상 광선검이 또다른 가상 오브젝트, 예컨대 또다른 가상 검 또는 가상 벽을 치는 경우, 햅틱 액세서리 장치는 물리적 오브젝트 상에 햅틱 효과를, 예컨대 원통형 칩 컨테이너 상에 진동촉각적 햅틱 효과를 출력하도록 구성될 수 있다. 햅틱 효과는 VR 또는 AR 환경에서 사용자의 가상 검 또는 광선검과 또다른 가상 오브젝트(들) 사이의 접촉을 시뮬레이트하는 기능성을 제공할 수 있다.
실시예에서, 사용자는 VR 또는 AR 환경이 초기에 디스플레이되거나 또는 다른 방식으로 렌더링될 때 또는 그 전에 물리적 오브젝트에 햅틱 액세서리 장치를 부착할 수 있다. 실시예에서, VR 또는 AR 환경을 실행하는 컴퓨터 시스템은 컴퓨터 시스템의 물리적 위치 또는 주변환경의 이미지(들)를 캡처하고, 이미지 프로세싱 알고리즘을 사용하여 물리적 위치 또는 주변 환경 내의 하나 이상의 물리적 오브젝트(예를 들어, 핸드헬드 제어기로서 구성가능한 하나 이상의 물리적 오브젝트)를 식별하도록 구성될 수 있다. 컴퓨터 시스템은, 가상 오브젝트에 대한 프록시가 렌더링되었거나 곧 렌더링될 예정임에 따라, 하나 이상의 물리적 오브젝트로부터, 물리적 오브젝트를 선택할 수 있다. 선택은, 예를 들어, 하나 이상의 물리적 오브젝트 중 어느 것이 형상 및/또는 사이즈의 견지에서 가상 오브젝트에 가장 가깝게 매치하는지에 기초할 수 있다. 실시예에서, 컴퓨터 시스템은 특정 물리적 오브젝트가 가상 오브젝트에 대한 프록시로서 선택되었다는 표시를 출력할 수 있다. 예를 들어, 그것은, 물리적 위치 또는 주변환경의 이미지에서, 물리적 오브젝트를 선택된 프록시로서 식별하기 위해, 물리적 오브젝트 옆에 마커를 디스플레이할 수 있다. 사용자가 표시를 보거나 또는 다른 방식으로 인지할 때, 사용자는 이후 햅틱 액세서리 장치를 컴퓨터 시스템에 의해 식별되는 물리적 오브젝트에 부착할 수 있다.
또다른 실시예에서, 사용자는, 컴퓨터 시스템으로부터의 관여 없이, 가상 오브젝트에 대한 프록시로서 특정 물리적 오브젝트를 선택할 수 있다. 예를 들어, 사용자는 원통형 칩 컨테이너가 VR 또는 AR 환경에 의해 렌더링되었거나 렌더링될 가상 검에 대한 프록시로서 사용되어야 한다고 결정할 수 있다. 그 시나리오에서, 사용자는 컴퓨터 시스템의 일부인 또는 컴퓨터 시스템과 통신하는 카메라에 물리적 오브젝트를 먼저 제시할 수 있다. 카메라는 물리적 오브젝트의 이미지를 캡처할 수 있는데, 이는 컴퓨터 시스템이 물리적 오브젝트를 VR 또는 AR 환경의 가상 오브젝트와 연관시키도록 할 수 있다. 이 연관은, 예를 들어, 가상 오브젝트의 식별자(예를 들어, 가상 오브젝트 ID)를 물리적 오브젝트의 이미지와(또는 컴퓨터 시스템에 의해 그에 할당되는 물리적 오브젝트 ID와) 연관시키는 메모리 내의 표를 수반할 수 있다. 실시예에서, 사용자가 특정 물리적 오브젝트를 가상 오브젝트에 대한 프록시로서 선택한 경우, 사용자는, 컴퓨터 시스템에 의해 명령받지 않고, 물리적 오브젝트에 햅틱 액세서리 장치를 부착할 수 있다. 컴퓨터 시스템은, 예를 들어, 컴퓨터 시스템의 물리적 위치 또는 주변 환경의 이미지를 캡처하도록 구성될 수 있고, 이미지로부터, 햅틱 액세서리 장치, 및 햅틱 액세서리 장치에 부착되거나, 또는 다른 방식으로 이와 접촉하는 임의의 물리적 오브젝트를 식별하도록 구성될 수 있다. 컴퓨터 시스템은 햅틱 액세서리 장치에 부착되는 물리적 오브젝트가 VR 또는 AR 환경의 가상 오브젝트의 프록시로서 사용자에 의해 선택되었다고 결정하고, 그 물리적 오브젝트를 가상 오브젝트와 연관시키도록 구성될 수 있다.
또다른 예에서, VR 또는 AR 환경은 가상 블록들을 수반하는 3차원(3D) Tetris® 게임일 수 있다. 이 예에서, 컴퓨터 시스템 또는 사용자는 물리적 티슈 박스를 가상 블록들 중 하나에 대한 프록시로서 선택할 수 있다. 햅틱 액세서리 장치는 사용자에 의해 물리적 티슈 박스에 부착될 수 있다. 실시예에서, 컴퓨터 시스템은 물리적 티슈 박스를 가상 블록과 연관시킬 수 있다. 실시예에서, 사용자는 물리적 티슈 박스를 움직임으로써 VR 또는 AR 환경에서의 가상 블록의 움직임을 제어할 수 있다. 예를 들어, Tetris® 게임의 가상 블록을 가상 그라운드 레벨로 낮추기 위해, 사용자는 물리적 티슈 박스를 사용자의 집 안의, 주방 테이블에, 또는 마룻바닥으로 내려놓을 수 있다. 또한, 햅틱 액세서리 장치는 햅틱 기능성을 물리적 티슈 박스에 추가할 수 있다. 예를 들어, 가상 블록이 또다른 가상 블록과 또는 가상 접지 레벨과 접촉하게 될 때, 이러한 이벤트는 햅틱 액세서리 장치를 트리거시켜 사용자에 의해 느껴지는 물리적 티슈 박스 상의 또는 물리적 티슈 박스에서의 진동촉각적 햅틱 효과를 출력할 수 있다. 이러한 햅틱 효과는 가상 블록이 또다른 가상 블록과 또는 가상 바닥 레벨과 접촉하게 되는 것을 시뮬레이트할 수 있다.
또다른 예에서, VR 또는 AR 환경은 가상 망치를 사용하여 가상 두더지들을 때리는 것을 수반하는 두더지 잡기(whack-a-mole) 게임의 일부일 수 있다. 이 예에서, 컴퓨터 시스템 또는 사용자는 물리적 TV 리모컨(TV remote)을 가상 망치에 대한 프록시로서 선택할 수 있다. 햅틱 액세서리 장치는 사용자에 의해 물리적 TV 리모컨에 부착될 수 있다. 실시예에서, 컴퓨터 시스템은 물리적 TV 리모컨을 가상 망치와 연관시킬 수 있다. 실시예에서, 사용자는 물리적 TV 리모컨을 움직임으로써 VR 또는 AR 환경에서의 가상 망치의 움직임을 제어할 수 있다. VR 또는 AR 환경에서, 가상 망치가 가상 두더지를 때릴 때, 햅틱 액세서리 장치는 트리거링되어, 예를 들어, 사용자에 의해 느껴지는 물리적 TV 리모컨 상의 또는 물리적 TV 리모컨에서의 진동촉각적 햅틱 효과를 출력할 수 있다. 이러한 햅틱 효과는 가상 망치와 가상 두더지 사이의 충돌을 시뮬레이트할 수 있다. 실시예에서, VR 또는 AR 환경은 컴퓨터 시스템에 의해 임의의 물리적 오브젝트와 연관되지 않는 하나 이상의 가상 두더지를 가질 수 있다. 또다른 실시예에서, 하나 이상의 가상 두더지는 하나 이상의 각자의 물리적 오브젝트와 연관될 수 있다. 예를 들어, 가상 두더지들 중 하나는 물리적 스테플러와 연관될 수 있다. VR 또는 AR 환경이 두더지 잡기 게임에서 가상 구멍 밖으로 튀어나오는 가상 두더지를 디스플레이하도록 결정할 때, 디스플레이 디바이스 상에서 가상 두더지가 튀어나오도록 디스플레이되는 위치는 물리적 스테플러의 물리적 위치에 대응할 수 있다. 일부 경우들에서, 물리적 스테플러는 제2 햅틱 액세서리 장치에 부착될 수 있다. 실시예에서, 햅틱 액세서리 장치는 예를 들어, 가상 두더지의 털의 텍스처와 같은 텍스처를 시뮬레이트하기 위한 정전기 마찰(ESF) 효과를 출력하도록 구성될 수 있다. 이 실시예에서, 사용자는 VR 또는 AR 환경에서 가상 두더지 쪽으로 뻗을 수 있고, 물리적 스테플러 및 그에 부착되는 제2 햅틱 액세서리 장치를 터치할 수 있다. 제2 햅틱 액세서리 장치는 두더지 털의 텍스처를 시뮬레이트하고, 따라서 가상 두더지 또는 다른 가상 오브젝트와의 접촉을 시뮬레이트할 수 있다.
실시예에서, VR 또는 AR 환경을 실행하는 컴퓨터 시스템은 햅틱 액세서리 장치의 일부인 모션 센서로부터의 모션 센서 정보를 수신함으로써 물리적 오브젝트의 움직임을 추적할 수 있다. 햅틱 액세서리 장치 및 그것의 모션 센서는 햅틱 액세서리 장치가 물리적 오브젝트에 부착된 이후 물리적 오브젝트와 함께 움직일 수 있다. 실시예에서, VR 또는 AR 환경을 실행하는 컴퓨터 시스템은 이미지 인식을 수행하는 것에 기초하여 물리적 오브젝트의 움직임을 추적할 수 있다. 더 구체적으로, 컴퓨터 시스템은 카메라를 포함할 수 있거나, 또는 카메라와 통신할 수 있는데, 이는 물리적 오브젝트의 이미지 또는 일련의 이미지들(예를 들어, 비디오)을 캡처할 수 있다. 컴퓨터 시스템은 캡처된 이미지 또는 일련의 이미지들에 기초하여 물리적 오브젝트의 움직임을 추적할 수 있다.
실시예에서, AR 또는 VR 환경의 컴퓨터 시스템은 물리적 오브젝트가 핸드헬드 제어기로서 구성가능하다는 결정(예를 들어, 컴퓨터가 그것이 평균-사이즈의 손에 의해 잡히기에 충분히 작다고 결정한다), 및 물리적 오브젝트의 형상이 가상 오브젝트의 형상과 실질적으로 동일하다는 결정에 기초하여 물리적 오브젝트를 선택할 수 있다. 가상 오브젝트의 형상은 가상 오브젝트가 VR 헤드-장착형 디바이스 상에 또는 데스크톱 컴퓨터의 스크린 상에와 같이, VR 또는 AR 환경에 디스플레이될 때를 지칭할 수 있다. AR 환경에 대해, 컴퓨터 시스템은 디스플레이 디바이스 상의 물리적 오브젝트의 이미지 상에 가상 오브젝트의 이미지를 오버레이할 수 있고, 따라서 사용자는 물리적 오브젝트 대신 가상 오브젝트를 볼 수 있다(예를 들어, 가상 검의 이미지는 원통형 칩 컨테이너의 이미지 상에 오버레이된다). 사용자가 물리적 오브젝트를 움직이거나 또는 다른 방식으로 조작할 때, VR 또는 AR 환경은 가상 오브젝트의 이미지를 업데이트할 수 있다. 본원의 실시예들에 따르면, AR 환경에서의 물리적 오브젝트의 캡처된 이미지 상에 가상 오브젝트의 이미지를 오버레이하는 것은, 물리적 오브젝트가 가상 오브젝트의 형상에 실질적으로 매치하는 형상을 가질 때 가장 효과적일 수 있다.
실시예에서, 햅틱 액세서리 장치는 사용자의 집 또는 사무실에서 발견되는 일상적 오브젝트들과 같은, 상이한 각자의 물리적 오브젝트들의 상이한 형상들에 따를 수 있는 순응형 바디를 가질 수 있다. 실시예에서, 햅틱 액세서리 장치는 핸드헬드 제어기 기능성 및/또는 햅틱 기능성을, 그 자체가 이러한 기능성을 가지지 않을 수 있는 이러한 일상적 오브젝트들에 제공하기 위해 사용되는 자가-포함형 디바이스일 수 있다. 이러한 기능성을 제공하기 위해, 햅틱 액세서리 장치는, 예를 들어, 모션 센서, 햅틱 출력 디바이스, 통신 인터페이스, 프로세서, 및 전원을 포함할 수 있다. 일부 경우들에서, 순응형 바디는 위에서 인용된 컴포넌트들을 포함하는 플렉시블 층의 형태를 가질 수 있다(또한 플렉시블 시트라 지칭됨). 플렉시블 층은, 예를 들어, 물리적 오브젝트의 표면 둘레에 감길 수 있다. 일부 경우들에서, 플렉시블 층은 물리적 오브젝트의 표면 위에/둘레에 늘여질 수 있는 탄성중합체 재료로 만들어질 수 있다.
실시예에서, 햅틱 액세서리 장치에는 단일의 햅틱 출력 디바이스(예를 들어, 단일의 햅틱 액추에이터) 또는 다수의 햅틱 출력 디바이스(예를 들어, 다수의 햅틱 액추에이터)가 구비될 수 있다. 다수의 햅틱 출력 디바이스는 동일한 타입의 햅틱 효과(예를 들어, 진동촉각적 효과) 또는 상이한 타입들의 햅틱 효과들(예를 들어, 열적, ESF, 진동촉각적 등)을 제공할 수 있다. 실시예에서, 햅틱 액세서리 장치의 바디는 충분히 유연하여 적어도 부분적으로 물리적 오브젝트 둘레에 감기도록 할 수 있거나, 또는 딱딱할 수 있다. 실시예에서, VR/AR 환경의 VR/AR 엔진은 햅틱 액세서리 장치가 물리적 오브젝트에 어떻게 부착될지에 대해 사용자에게 추천을 출력할 수 있다. 이 추천은 햅틱 효과 설계자에 의해 미리 설계될 수 있거나, 또는 VR/AR 엔진 자체에 의해 자동으로 추정될 수 있다. 추정은 햅틱 출력 디바이스들의 개수, 햅틱 액세서리 장치의 형상(또는, 더 일반적으로 기하학적 형상), 및 물리적 오브젝트의 형상(또는, 더 일반적으로 기하학적 형상)에 기초할 수 있다. 햅틱 액세서리 및 물리적 오브젝트의 형상은 카메라를 이용하여 결정될 수 있거나, 또는 햅틱 액세서리 장치는 햅틱 액세서리 장치의 특성들(예를 들어, 형상, 햅틱 출력 디바이스들의 레이아웃, 햅틱 출력 디바이스들의 개수, 햅틱 출력 디바이스들의 타입, 햅틱 출력 디바이스들의 다른 특징들 등)에 대한 정보를 VR/AR 엔진에 제공할 수 있다.
실시예에서, 햅틱 액세서리 장치 및 컴퓨터 시스템은 (예를 들어, Bluetooth® 페어링을 통해) 페어링될 수 있는데, 여기서 햅틱 액세서리 장치는 컴퓨터 시스템의 존재를 통지받고, 컴퓨터 시스템은 햅틱 액세서리 장치의 존재를 통지받는다. 실시예에서, 페어링은 햅틱 액세서리 장치가 그 자체에 관한 정보(예를 들어, 햅틱 출력 디바이스들의 개수 및 타입)를 컴퓨터 시스템에 제공하는 것, 또는 그 역을 수반할 수 있다. 페어링 시, VR 또는 AR 엔진은 어느 햅틱 효과를 생성할 지, 어느 햅틱 출력 디바이스를 사용하여 햅틱 효과를 생성할 지, 또는 그 조합을 선택할 수 있다. VR 또는 AR 엔진은 추가로 햅틱 액세서리 장치가 어떻게 부착될 지에 대한 추천을 제공하고, 추천을 사용자에게 출력할 수 있다. VR 또는 AR 엔진은 일부 효과들을 병합 및 혼합하고, 단일의 물리적 오브젝트에 대해, 이들을 특정 햅틱 출력 디바이스들 상에, 또는 특정 햅틱 액세서리 장치들 상에, 또는 그 조합 상에 플레이하도록 추가로 결정할 수 있다.
도 1은 본원에서의 실시예에 따라 증강 현실(AR) 또는 가상 현실(VR) 환경을 제공하기 위한 햅틱-인에이블형 시스템(100)을 예시한다. 도 1의 햅틱-인에이블형 시스템(100)은 AR 또는 VR 환경을 제공하도록 구성되는 컴퓨터 시스템(120), 및 햅틱 액세서리 장치(110)를 포함할 수 있다. 햅틱 액세서리 장치(110)는 물리적 오브젝트(131), 물리적 오브젝트(132), 및 물리적 오브젝트(133)를 포함하여, 사용자의 주변환경 또는 물리적 위치 내의 다양한 물리적 오브젝트들에 부착가능할 수 있다.
실시예에서, 컴퓨터 시스템(120)은 데스크톱 컴퓨터, 게임 콘솔(예를 들어, Playstation® 또는 Wii® 콘솔), 서버, 랩톱, 태블릿 컴퓨터 또는 심지어 모바일 폰일 수 있다. 실시예에서, 컴퓨터 시스템(120)은 프로세서(121), 메모리(123), 및 디스플레이 디바이스(125)를 포함할 수 있다. 실시예에서, 프로세서(121), 메모리(123), 및 디스플레이 디바이스(125)는 AR 게임 환경을 제공하도록 구성되는 태블릿 컴퓨터, 또는 VR 헤드셋(예를 들어, Samsung Gear® VR 헤드셋 또는 다른 헤드-장착형 디바이스(HMD))에 대한 VR 환경을 제공할 수 있는 모바일 폰과 같은, 단일 디바이스 내에 집적될 수 있다. 실시예에서, 컴퓨터 시스템(120)은 VR 또는 AR 환경을 제공하도록 구성되는 HMD만을 포함할 수 있다. 이러한 실시예에서, HMD는 별도의 데스크톱 컴퓨터 또는 서버를 필요로 하지 않고 VR 또는 AR 엔진을 실행하기에 충분한 프로세싱 전력을 가질 수 있다. 실시예에서, 컴퓨터 시스템(120)의 프로세서(121), 메모리(123), 및 디스플레이 디바이스(125)는 상이한 이산 디바이스들의 일부일 수 있다. 예를 들어, 프로세서(121) 및 메모리(123)는 VR 또는 AR 환경을 생성하도록 구성되는 데스크톱 컴퓨터의 일부일 수 있는 반면, 디스플레이 디바이스(125)는 (예를 들어, 데이터 케이블을 통해) 데스크톱 컴퓨터와 통신하는 별도의 디바이스(예를 들어, 독립형 LED 모니터 또는 HoloLens®)이다. 실시예에서, 메모리(123)는 그 위에 VR 또는 AR 애플리케이션에 대한 컴퓨터-판독가능한 명령들이 저장된 비-일시적 컴퓨터-판독가능한 매체일 수 있다. 실시예에서, 프로세서(121)는 컴퓨터-판독가능한 명령들을 실행함으로써 VR 또는 AR 애플리케이션을 실행하도록 구성될 수 있다.
실시예에서, 햅틱 액세서리 장치(110)는 순응형 바디(112), 햅틱 출력 디바이스(111), 모션 센서(113), 통신 인터페이스 유닛(115), 프로세서(117), 및 전원(119)을 포함할 수 있다. 인용된 컴포넌트들 각각은 순응형 바디(112)의 표면 상에 배치되거나(예를 들어, 이에 부착되거나), 또는 순응형 바디(112) 내에 배치(예를 들어, 그 안에 내장)될 수 있다. 순응형 바디(112)는 물리적 오브젝트들(131, 132, 133)과 같은, 상이한 각자의 물리적 오브젝트들의 상이한 형상들을 따르도록 재구성가능하도록 적응될 수 있다. 예를 들어, 순응형 바디(112)는 다양한 형상들에 따를 수 있는 플렉시블 재료(예를 들어, 플렉시블 중합체 재료)를 포함할 수 있다. 일부 경우들에서, 플렉시블 재료가 특정 형상으로 조작되는 경우, 그것은 사용자가 플렉시블 재료를 또다른 형상으로 조작할 때까지 그 형상을 유지할 수 있다. 실시예에서, 순응형 바디(112)는 햅틱 출력 디바이스(111), 모션 센서(113), 통신 인터페이스 유닛(115), 프로세서(117) 및 전원(119)을 캡슐화할 수 있다. 예를 들어, 순응형 바디(112)가 플렉시블 재료로 형성되는 경우, 위에-인용된 컴포넌트들은 플렉시블 재료에 내장될 수 있다. 실시예에서, 순응형 바디는 상이한 형상들의 표면들에 따르도록 늘여질 수 있는 탄성중합체 재료(예를 들어, 고무)로 만들어질 수 있다. 예를 들어, 탄성중합체 재료는 순응형 바디(112)가 상이한 각자의 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능해지도록 할 수 있다. 예를 들어, 순응형 바디(112)가 제1 물리적 오브젝트(131) 둘레에 감기는 경우, 순응형 바디(112)는, 만약 그것이 탄성적인 경우, 또한 추후, 상이한 형상들을 가지는 제2 물리적 오브젝트(132) 또는 제3 물리적 오브젝트(133) 둘레에 감기도록 재구성가능할 수 있다. 또다른 실시예에서, 햅틱 액세서리 장치(110)는 사용자의 바디에 부착될 수 있다(예를 들어, 그 둘레에 감길 수 있다). 예를 들어, 순응형 바디(112)는 사용자의 손목 둘레에 감길 수 있다.
실시예에서, 햅틱 출력 디바이스(111)는, 예를 들어, 진동촉각적 햅틱 효과를 출력하도록 구성되는 진동촉각적 액추에이터(예를 들어, 압전 액추에이터), (예를 들어, 텍스처를 시뮬레이트 하기 위해) 정전기 마찰(ESF) 햅틱 효과를 출력하도록 구성되는 ESF 햅틱 출력 디바이스, 열 햅틱 출력 디바이스, 초음파 햅틱 출력 디바이스, 임의의 다른 햅틱 출력 디바이스, 또는 이들의 조합일 수 있다. 실시예에서, 장치(110)의 임의의 진동촉각적 액추에이터는 압전 액추에이터, 전자기 액추에이터, 선형 공진 액추에이터(LRA), 또는 임의의 다른 진동촉각적 액추에이터를 포함할 수 있다. 또한, 햅틱 액세서리 장치(110)의 임의의 진동촉각적 액추에이터는 순응형 바디(112) 내에 배치될 수 있다(예를 들어, 그 안에 내장될 수 있다). 실시예에서, 임의의 ESF 햅틱 출력 디바이스는 순응형 바디(112)이 표면 상에 배치될 수 있다. 이러한 ESF 햅틱 출력 디바이스는, 예를 들어, 순응형 바디(112)의 표면 상에 배치되는 하나 이상의 전극을 포함할 수 있다. 실시예에서, 햅틱 출력 디바이스(111)는 운동감각적 햅틱 효과를 제공하도록 구성되는 모터 또는 다른 액추에이터를 포함할 수 있다. 실시예에서, 햅틱 출력 디바이스(111)는 정적 또는 저-주파수 햅틱 효과를 출력하도록 구성되는 스마트 재료 액추에이터(예를 들어, 전기활성 폴리머(EAP) 액추에이터)를 포함할 수 있다. 실시예에서, 햅틱 출력 디바이스(111)는 초음파 햅틱 액추에이터, 발열기, 또는 그 조합일 수 있다. 도 1이 단일의 햅틱 출력 디바이스(111)를 가지는 햅틱 액세서리 장치(110)를 예시하지만, 다른 실시예들은 햅틱 액세서리 장치의 순응형 바디 상의 또는 순응형 바디 내의 상이한 위치들에 배치되는 다수의 햅틱 출력 디바이스를 포함하는 햅틱 액세서리 장치를 수반할 수 있다.
실시예에서, 모션 센서(113)는 햅틱 액세서리 장치(110)의 모션을 추적하도록 구성될 수 있다. 실시예에서, 센서(113)는 가속계, 자이로스코프, 압력 센서, 관성 측정 유닛(IMU), 또는 이들의 임의의 조합을 포함할 수 있다. 실시예에서, 모션 센서(113)는 햅틱 액세서리 장치(110)의 속력, 속도(움직임의 속력 및 방향을 나타냄), 가속의 레이트, 또는 배향 중 적어도 하나를 측정하도록 구성될 수 있다. 실시예에서, 속도의 측정은 회전 속도(예를 들어, 회전의 레이트 및 방향), 측방 속도, 또는 이들의 조합을 포함할 수 있다. 햅틱 액세서리 장치(110)가 물리적 오브젝트(예를 들어, 물리적 오브젝트(131))에 부착될 때, 모션 센서(113)는 또한 물리적 오브젝트의 속력, 움직임의 방향, 가속의 레이트, 또는 배향 중 적어도 하나를 측정할 수 있다. 실시예에서, 모션 센서(113)는, 햅틱-인에이블형 시스템(100)의 또다른 디바이스에 센서 정보를 통신할 수 있는, 통신 인터페이스 유닛(115)에 직접, 모션 센서 정보로서 미가공 센서 정보를 제공할 수 있다. 실시예에서, 모션 센서(113)는 미가공 센서 정보를 프로세서(117)에 제공할 수 있는데, 이는 미가공 센서 정보를 프로세싱하여, 프로세싱된 센서 정보를 생성할 수 있다. 프로세서(117)는 이후 프로세싱된 센서 정보를 통신 인터페이스 유닛(115)에 제공할 수 있는데, 이는 이후 프로세싱된 센서 정보를 모션 센서 정보로서 또다른 디바이스에 통신할 수 있다. 실시예에서, 햅틱 액세서리 장치(110)의 프로세서(117) 또는 컴퓨터 시스템(120)의 프로세서(121)는 모션 센서 정보에 기초하여 햅틱 액세서리 장치(110)의 위치를 결정하도록 구성될 수 있다. 예를 들어, 햅틱 액세서리 장치(110)의 프로세서(117) 또는 컴퓨터 시스템(120)의 프로세서(117)는 모션 센서 정보로부터 속도 데이터를 획득하고, 속도 데이터의 적분을 계산하도록 구성된다(용어 데이터 및 정보는 모션 센서(113)의 출력에 대해 상호교환가능하게 사용되고 있다). 계산된 적분은 햅틱 액세서리 장치의 누적 모션을 나타낼 수 있다. 햅틱 액세서리 장치(110)의 프로세서(117) 또는 컴퓨터 시스템(120)의 프로세서(121)는 햅틱 액세서리 장치(110)의 초기 위치와 누적 모션을 가산하여 햅틱 액세서리 장치(110)의 현재 위치를 결정할 수 있다. 프로세서(121)는 디스플레이 디바이스(125)가 센서 정보에 기초하여 가상 오브젝트의 디스플레이되는 위치(또는 디스플레이되는 배향)를 변경하도록 할 수 있다.
실시예에서, 통신 인터페이스 유닛(115)은 컴퓨터 시스템(120)과 통신하도록 구성될 수 있다. 통신되고 있는 정보는, 예를 들어, 햅틱 액세서리 장치(110)의 모션 센서(113)로부터 컴퓨터 시스템(120)으로의 센서 정보를 포함할 수 있거나, 또는 컴퓨터 시스템(120)으로부터 햅틱 액세서리 장치(110)로의 하나 이상의 신호(예를 들어, 커맨드 신호들), 또는 임의의 다른 정보를 포함할 수 있다. 모션 센서로부터의 센서 정보는 모션 센서(113)로부터 직접 미가공 센서 정보를 포함할 수 있고, 햅틱 액세서리 장치(110)가 프로세서(117)를 사용하여 미가공 정보를 프로세싱(예를 들어, 필터링)하는 경우, 프로세서(117)에 의해 생성되는 프로세싱된 센서 정보를 포함할 수 있다. 컴퓨터 시스템(120)으로부터 통신되는 신호들은, 예를 들어, 햅틱 액세서리 장치(110)가 햅틱 효과를 출력할 것임을 표시하는 햅틱 코맨드를 포함할 수 있다. 햅틱 액세서리 장치(110)는 이후 그것의 햅틱 출력 디바이스(111)가 신호에 기초하여 햅틱 효과를 출력하도록 할 수 있다. 예를 들어, 햅틱 출력 디바이스(111)가 ESF 액추에이터인 경우, 그것은 컴퓨터 시스템(120)으로부터의 신호에 기초하여 텍스처를 시뮬레이트하도록 구성될 수 있다. 햅틱 액추에이터(111)가 압전 액추에이터인 경우, 그것은 컴퓨터 시스템(120)으로부터의 신호에 기초하여 진동촉각적 햅틱 효과를 출력하도록 구성될 수 있다.
실시예에서, 햅틱 액세서리 장치(110)와 컴퓨터 시스템(120) 사이의 통신은 유선 인터페이스를 통할 수 있다. 예를 들어, 통신 인터페이스 유닛(115) 및 컴퓨터 시스템(120)은 유니버설 직렬 버스(USB) 인터페이스를 통해 통신할 수 있다. 실시예에서, 통신은 무선 인터페이스를 통할 수 있다. 예를 들어, 통신 인터페이스 유닛(115)은 IEEE 802.11, Bluetooth®와 같은 무선 통신 프로토콜, 또는 임의의 다른 무선 통신 프로토콜을 사용하여 컴퓨터 시스템(120)과 통신하도록 구성되는 무선 통신 인터페이스 유닛일 수 있다.
실시예에서, 통신 인터페이스 유닛(115)이 사용되어 컴퓨터 시스템(120)과 페어링하기 위한 페어링 프로세스(예를 들어, Bluetooth®)를 수행할 수 있다. 페어링은 햅틱 액세서리 장치(110) 및 컴퓨터 시스템(120)이 다른 디바이스의 존재를 알도록 할 수 있다. 일부 경우들에서, 페어링은 정보의 교환 또는 보고를 수반할 수 있다. 예를 들어, 통신 인터페이스 유닛(115)은 장치(110)에 포함된 햅틱 출력 디바이스들의 수, 장치(110)에 포함된 햅틱 출력 디바이스들의 타입들, 장치(110) 상의 햅틱 출력 디바이스들의 위치 또는 위치들, 햅틱 액세서리 장치(110) 상의 다른 정보, 또는 이들의 임의의 조합을 컴퓨터 시스템(120)에 보고할 수 있다.
실시예에서, 프로세서(117)는 위에서 논의된 바와 같이 모션 센서(113)로부터 미가공 센서 정보를 프로세싱하도록 구성될 수 있다. 실시예에서, 프로세서(117)는 햅틱 출력 디바이스(111)를 제어하도록 구성될 수 있다. 예를 들어, 프로세서(117)는 컴퓨터 시스템(120)으로부터의 코맨드를 수신하여 햅틱 효과를 출력하도록 구성될 수 있고, 코맨드는 시작 시간, 듀레이션, 진폭, 또는 주파수와 같은 햅틱 효과의 파라미터 값을 특정할 수 있다. 프로세서(117)는 컴퓨터 시스템(120)으로부터의 코맨드에 기초하여 햅틱 출력 디바이스(111)에 대한 구동 신호를 생성하도록 구성될 수 있다. 실시예에서, 프로세서(117)는 마이크로프로세서, 필드 프로그래밍가능 게이트 어레이(FPGA), 프로그래밍가능 논리 어레이(PLA), 또는 임의의 다른 프로세싱 회로일 수 있다.
실시예에서, 전원(119)은 적어도 햅틱 출력 디바이스(111), 프로세서(117), 및 통신 인터페이스 유닛(115)에 전력을 제공하도록 구성될 수 있다. 실시예에서, 전원(119)은 모션 센서(113)에 전력을 추가로 제공할 수 있다. 실시예에서, 모션 센서(113)는 전력의 입력 없이 동작하는 기계적 센서일 수 있다. 실시예에서, 전원(119)은 배터리, 충전 유닛, 전력 생성기, 또는 이들의 임의의 조합일 수 있다. 충전 유닛은 예를 들어, 유도성 또는 다른 무선 충전 유닛을 포함할 수 있다. 전원(119)이 전력 생성기를 이용하는 실시예에서, 전력 생성기는, 예를 들어, 햅틱 액세서리 장치의 모션으로부터, 사용자의 체열로부터, 또는 일부 다른 소스로부터 전력을 생성하도록 구성될 수 있다.
위에서 언급된 바와 같이, 순응형 바디(112)는 상이한 각자의 물리적 오브젝트들(131, 132, 133)의 상이한 형상들에 따르도록 재구성가능하도록 적응될 수 있다. 실시예에서, 물리적 오브젝트들(131, 132, 133)은 사용자의 집 또는 사무실 내의 일상적 오브젝트들일 수 있고, 상이한 각자의 형상들(예를 들어, 구형 형상들, 다각형 형상들, 원통형 형상들), 상이한 각자의 사이즈들, 또는 이들의 조합을 가질 수 있다. 실시예에서, 물리적 오브젝트들(131, 132, 133)은 구형 형상, 정육면체 형상, 또는 원통형 형상과 같은, 기본적인 기하학적 형상을 가지는 특수 목적 물리적 오브젝트들일 수 있다. 순응형 바디(112)는 순응형 바디가 물리적 오브젝트(131)의 형상, 물리적 오브젝트(132)의 형상, 및 물리적 오브젝트(133)의 형상 각각에 대해 적응할 수 있는 구조를 가진다는 의미에서 재사용가능하고 재구성가능할 수 있다. 도 2는 순응형 바디(212)를 가지는 햅틱 액세서리 장치(210), 및 순응형 바디(212)가 적응할 수 있는 물리적 오브젝트들(231, 232, 233, 234)의 보다 특정한 예를 제공한다.
더 구체적으로, 도 2는 햅틱 액세서리 장치(210) 및 컴퓨터 시스템(220)을 가지는 햅틱-인에이블형 시스템(200)을 예시한다. 실시예에서, 햅틱 액세서리 장치(210)는 2개의 햅틱 출력 디바이스(211a, 211b), 모션 센서(213), 무선 통신 인터페이스 유닛(215), 프로세서(217), 및 전원(219)을 가진다. 실시예에서, 2개의 햅틱 출력 디바이스(211a, 211b)는 상이한 타입들의 햅틱 출력 디바이스들일 수 있다. 예를 들어, 햅틱 출력 디바이스(211a)는 진동촉각적 압전 액추에이터일 수 있는 반면, 햅틱 출력 디바이스(211b)는 ESF 디바이스일 수 있다. 실시예에서, 햅틱 출력 디바이스들(211a, 211b)은 동일한 타입의 햅틱 출력 디바이스일 수 있다. 실시예에서, 위에서-인용된 컴포넌트들은 물리적 오브젝트들에 따르도록 적응된 순응형 바디(212) 내에 내장되고 따라서 물리적 오브젝트는 이후 핸드헬드 제어기로 전환될 수 있다/핸드헬드 제어기로서 사용가능할 수 있다. 물리적 오브젝트들은 가늘고 긴 원통형 컨테이너(예를 들어, Pringles® 캔)인 제1 물리적 오브젝트(231), 직사각 박스(예를 들어, 티슈 박스)인 제2 물리적 오브젝트(232), TV 리모컨 제어기인 제3 물리적 오브젝트(233), 및 와인병인 제4 물리적 오브젝트(234)를 포함할 수 있다. 실시예에서, 순응형 바디(212)는 플라스틱 또는 다른 중합체 재료와 같은, 플렉시블 재료로 형성된다. 실시예에서, 플렉시블 재료는 플렉시블 층(또한 플렉시블 시트라 지칭됨)으로 형성될 수 있다. 실시예에서, 햅틱 액세서리 장치(210)의 순응형 바디(212)가 적응될 수 있는, 또는 이것이 존재하는 물리적 오브젝트들(231, 232, 233, 234)은 핸드헬드 오브젝트들이다.
실시예에서, 순응형 바디(212)는 물리적 오브젝트 둘레에 감김으로써 물리적 오브젝트들(231, 232, 233, 234) 중 하나에 부착될 수 있다. 다시 말해, 순응형 바디(212)는 물리적 오브젝트들(231, 232, 233, 234)의 각각의 표면의 적어도 일부 둘레를 감쌀 수 있다. 예를 들어, 순응형 바디(212)를 형성하는 플렉시블 재료는 물리적 오브젝트들(231, 232, 233, 234) 중 임의의 것의 적어도 일부 둘레에 맞도록 탄성적으로 늘여질 수 있는 탄성중합체 재료를 포함할 수 있고, 따라서, 탄성중합체 재료는 물리적 오브젝트들 중 임의의 것의 적어도 일부 둘레에 감긴다. 하기에 논의되는 바와 같이, 순응형 바디(212)는 물리적 오브젝트들(231, 232, 233, 234) 중 임의의 것의 적어도 일부 둘레에 늘여질 수 있는 예를 들어, 탄성 밴드를 형성할 수 있다. 실시예에서, 햅틱 액세서리 장치(210)는 물리적 오브젝트들(231, 232, 233, 234) 중 임의의 것 둘레의 햅틱 액세서리 장치(210)의 감긴 순응형 바디(212)를 고정시키도록 구성되고, 따라서 물리적 오브젝트들(231, 232, 233, 234)에 부착되는, 패스너를 포함할 수 있다. 본원의 실시예들에 따르면, 패스너의 대응하는 부분들은 햅틱 액세서리 장치에 단독으로 부탁될 수 있거나, 또는 햅틱 액세서리 장치 각각에 그리고 그것이 고정될 물리적 오브젝트들(231, 232, 233, 234) 중 하나에 부착될 수 있다. 실시예에서, 패스너는 순응형 바디(212)의 반대 단부들에 배치되고, 순응형 바디(210)가 물리적 오브젝트들(231, 232, 233, 234) 중 하나의 적어도 일부 둘레에 감길 때 순응형 바디(212)를 루프 구성으로 유지하기 위해 사용되는, 후크 및 루프 패스너들(예를 들어, Velcro® 패스너들)을 포함할 수 있다.
실시예에서, 물리적 오브젝트들(231, 232, 233, 234) 중 어느 것도, 햅틱 액세서리 장치(210)가 그 물리적 오브젝트들(231, 232, 233, 234)로부터 분리될 때 어떠한 핸드헬드 제어기 기능성 또는 햅틱 기능성도 가지지 않는다. 실시예에서, 핸드헬드 제어기 기능성은 VR 또는 AR 환경, 또는 임의의 다른 핸드헬드 제어기 기능성을 실행하는 컴퓨터 시스템과 통신하는, 사용자 입력(예를 들어, 모션-기반 제스쳐)의 감지를 포함할 수 있다. 실시예에서, 햅틱 기능성은 햅틱 효과의 출력을 포함할 수 있다. 또다른 실시예에서, 물리적 오브젝트들(231, 232, 233, 234) 중 하나 이상은, 햅틱 액세서리 장치(210)가 그 물리적 오브젝트들(231, 232, 233, 234)로부터 분리될 때조차, 제어기 기능성 및/또는 햅틱 기능성을 가질 수 있다. 예를 들어, 물리적 오브젝트들(231, 232, 233, 234) 중 하나 이상은 제1 타입의 햅틱 출력 디바이스(예를 들어, 이심 회전 질량 또는 선형 회전 액추에이터)를 가지는 게임 제어기일 수 있는 반면, 햅틱 액세서리 장치(210)는 제2 타입의 햅틱 액추에이터(예를 들어, 정전기 햅틱 출력 디바이스 또는 열 햅틱 출력 디바이스)를 가질 수 있다. 이러한 실시예에서, 햅틱 액세서리 장치는 따라서 게임 제어기가 그 자체에 있을 수 없는 타입의 햅틱 효과를 생성할 수 있음으로써 게임 제어기를 향상시킬 수 있다.
실시예에서, 햅틱 액세서리 장치(210)는 이러한 핸드헬드 제어기 기능성 및 햅틱 기능성을 수행하기 위한 컴포넌트들을 포함하는 물리적 패키지일 수 있다. 예를 들어, 위에서 앞서 안급된 바와 같이, 햅틱 액세서리 장치(210)는 햅틱 효과들을 출력하도록 구성되는 햅틱 출력 디바이스들(211a, 211b), 모션-기반 제스쳐 또는 임의의 다른 형태의 사용자 입력을 감지하도록 구성되는 모션 센서(213), 컴퓨터 시스템(220)과 통신하도록 구성되는 무선 통신 인터페이스 유닛(215), 햅틱 액세서리 장치(210)의 다른 컴포넌트들을 제어하도록(예를 들어, 햅틱 출력 디바이스들(211a, 211b)을 제어하도록) 구성되는 프로세서(217), 및 장치(210)의 다른 컴포넌트들에 전력을 제공하도록 구성되는 전원(219)을 가질 수 있다. 컴포넌트들은 모두 햅틱 액세서리 장치(210)의 순응형 바디(212)(예를 들어, 고무와 같은, 탄성중합체 재료의 시트) 내에 내장될 수 있다. 따라서 햅틱 액세서리 장치(210)가 사용되어, 햅틱 액세서리 장치(210)가 각자의 물리적 오브젝트에 부착될 때 물리적 오브젝트들(231, 232, 233) 각각을 햅틱-인에이블형 핸드헬드 제어기로 전환시키거나, 또는 이에 맞게 변경할 수 있다(repurpose).
실시예에서, VR 또는 AR 환경을 제공하도록 구성되는 컴퓨터 시스템(220)은 프로세서(221), 메모리(223), 및 헤드-장착형 디스플레이(HMD) 디바이스(225)를 가질 수 있다. 실시예에서, 프로세서(221) 및 메모리(223)는 데스크톱 컴퓨터(226)의 일부일 수 있는 반면, HMD 디바이스(225)는 유선 인터페이스를 통해(또는 또다른 실시예에서, 무선 인터페이스를 통해) 프로세서(221)와 통신하는 별도의 디바이스일 수 있다. HMD 디바이스(225)는 VR 또는 AR 환경을 디스플레이하기 위한 디스플레이 컴포넌트(228)를 포함할 수 있다. 실시예에서, 컴퓨터 시스템(220)은 프로세서(221)와 통신하고, 카메라(227)의 물리적 위치 또는 주변환경의 이미지를 캡처하도록 구성되는, 카메라(227)를 포함할 수 있다. 실시예에서, 카메라(227)는 HMD 디바이스(225)의 일부와 같은, 디스플레이 디바이스의 일부일 수 있다. 이러한 실시예에서, 사용자가 HMD 디바이스(225)를 착용하고 있을 때, 카메라(227)는 사용자 앞의 물리적 위치 또는 주변환경의 이미지를 캡처하도록 구성될 수 있다. 또다른 실시예에서, 카메라(227)는 HMD 디바이스(225)와는 그리고 데스크톱 컴퓨터와는 별도의 디바이스를 분리할 수 있다. 실시예에서, 카메라(227)는 웹캠일 수 있다.
위에서 언급된 바와 같이, 햅틱 액세서리 장치(210)는 실시예에서, 도 3a에 도시된 바와 같이, 탄성 밴드의 형태인 순응형 바디를 가질 수 있다. 예를 들어, 도 3a는 루프를 형성하는 탄성 밴드(312A)를 이용하는 햅틱 액세서리 장치(310A)를 예시한다. 루프-형상 탄성 밴드(312A)는 물리적 오브젝트에 부착되도록, 특정 물리적 오브젝트 둘레에 맞도록 늘여질 수 있다. 또한, 루프-형상 탄성 밴드(312A)를 형성하는 탄성중합체 재료는 루프-형상 탄성 밴드(312A)가 도 2에서의 물리적 오브젝트들(231, 232, 233, 234)과 같은, 상이한 형상들 또는 사이즈들의 상이한 오브젝트들 둘레에 맞도록 할 수 있다. 도 3a에서 추가로 예시되는 바와 같이, 햅틱 액세서리 장치(310A)는 루프-형상 탄성 밴드(312A) 내에 또는 그 위에 배치되는 햅틱 출력 디바이스들(311a, 311b), 모션 센서(313A), 무선 통신 인터페이스 유닛(315A), 프로세서(317A), 및 전원(319A)을 포함할 수 있다. 이들 컴포넌트들은 전술된 햅틱 출력 디바이스들(211a, 211b), 모션 센서(213), 무선 통신 인터페이스 유닛(215), 프로세서(217), 및 전원(219)과 유사할 수 있다.
또다른 실시예에서, 도 3b는 플렉시블 시트 형태인 순응형 바디(312B)를 가지는 햅틱 액세서리 장치(310B)를 예시한다. 순응형 바디(312B)는 플렉시블 중합체와 같은 플렉시블 재료로 형성될 수 있다. 순응형 바디(312B)는 물리적 오브젝트 둘레에 감길 수 있다. 예를 들어, 도 3d는 순응형 바디(312B)가 와인병(234) 둘레에 감긴 것을 예시한다.
실시예에서, 햅틱 액세서리 장치(310B)는 전극(321) 및 전극(321) 위에 배치되는 절연층을 포함하는 햅틱 출력 디바이스(311c)를 가질 수 있고, 햅틱 출력 디바이스(311c)는 정전기 마찰(ESF) 효과를 생성하도록 구성된다. 도 3b에서의 라인 A-A을 따르는 단면도를 도시하는, 도 3c에 예시된 바와 같이, 전극(321)은 순응형 바디(312B) 내에 내장될 수 있다. 일부 경우들에서, 순응형 바디(312B)의 일부는 전극(321) 위에 배치되는 절연층을 형성할 수 있다. 실시예에서, 장치(310B)는 전원(319)이 정현 구동 신호를 햅틱 출력 디바이스(311c)에 출력하도록 할 수 있는 프로세서(317)를 포함한다. 정현 구동 신호가 햅틱 출력 디바이스(311c)에 인가될 때, 그것은 시뮬레이트된 텍스처로서 인지될 수 있다. 실시예에서, 햅틱 액세서리 장치(310B)는 모션 센서(313) 및 통신 인터페이스 유닛(315)을 더 포함할 수 있다. 실시예에서, 컴포넌트들(311c, 313, 315, 317 및 319)은 순응형 바디(312B) 내에 내장될 수 있다.
도 4는 도 1에 예시된 햅틱 액세서리 장치(110)의 컴포넌트들(햅틱 출력 디바이스(111), 모션 센서(113), 통신 인터페이스 유닛(115), 프로세서(117), 및 전원(119))을 가지고, 사용자 입력 엘리먼트(413) 및 변형 센서(414)를 더 가지는, 햅틱 액세서리 장치(410)의 또다른 실시예를 예시한다. 실시예에서, 사용자 입력 엘리먼트(413)는 버튼, 트리거, 매니퓰랜덤(manipulandum)(예를 들어, 조이스틱 또는 썸스틱), 또는 이들의 조합 중 하나 이상을 포함할 수 있다. 실시예에서, 햅틱 출력 디바이스(111)는, 사용자 입력 엘리먼트(413) 상에 운동감각적 햅틱 효과를 제공하기 위해, 사용자 입력 엘리먼트(413) 상에 액추에이션 힘을 가할 수 있는 액추에이터일 수 있다. 실시예에서, 햅틱 출력 디바이스는 사용자 입력 엘리먼트(413)에 진동촉각적 햅틱 효과를 제공하도록 구성되는 진동촉각적 액추에이터일 수 있다. 실시예에서, 햅틱 액세서리 장치(410)는 순응형 바디(412)를 가질 수 있다. 사용자 입력 엘리먼트(416)는, 예를 들어, 순응형 바디(412)의 표면에 접착됨으로써, 순응형 바디(412)의 표면에 부착될 수 있다.
실시예에서, 햅틱 액세서리 장치(410)는 햅틱 액세서리 장치(410)의 순응형 바디(412)의 늘임 및 구부러짐 중 적어도 하나를 감지하도록 구성되는 변형 센서(414)를 포함할 수 있다. 변형 센서(414)는 예를 들어, 순응형 바디(412)의 표면에 접착되는(또는 더 일반적으로, 바디(412)의 표면 상에 배치되는), 또는 순응형 바디(412) 내에 내장되는(또는 더 일반적으로, 그 안에 배치되는) 변형 게이지일 수 있다. 실시예에서, 햅틱 액세서리 장치(410)의 프로세서(117)는 변형 센서(414)로부터 변형 데이터를 수신하고, 변형 데이터에 기초하여, 햅틱 액세서리 장치(410)가 부착되는 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 결정하도록 구성될 수 있다. 예를 들어, 프로세서(117)는 변형 센서(414)에 의해 측정되는 늘임의 양에 기초하여 물리적 오브젝트의 추정되는 사이즈를 결정할 수 있고, 순응형 바디(412)의 늘임의 더 많은 양(및 따라서 변형의 더 많은 양)은 햅틱 액세서리 장치(410)가 부착되는 물리적 오브젝트의 더 큰 사이즈와 상관할 수 있다. 실시예에서, 프로세서(117)는 물리적 오브젝트의 추정되는 사이즈 또는 추정되는 형상이 VR 또는 AR 환경을 제공하는 컴퓨터 시스템(예를 들어, 120)에 통신되도록 할 수 있다. 컴퓨터 시스템은 가상 오브젝트의 추정되는 사이즈 또는 추정되는 형상에 기초하여 가상 오브젝트를 제어할 수 있고, 물리적 오브젝트의 추정되는 사이즈 또는 추정되는 형상에 기초하여 햅틱 효과에 대한 파라미터 값들(예를 들어, 듀레이션, 진폭, 주파수, 시작 시간, 타입 등)을 결정할 수 있다. 실시예에서, 햅틱 액세서리 장치(410)는 온도 센서를 포함할 수 있고, 컴퓨터 시스템(120)은 또한, 또는 추가로, 햅틱 효과의 파라미터 값들을 온도 센서에 의해 측정되는 바와 같은, 물리적 오브젝트의 온도에 기초할 수 있다. 실시예에서, 컴퓨터 시스템(120 또는 220)은 추가로 또는 대안적으로, 햅틱 효과의 파라미터 값들을 햅틱 액세서리 디바이스(410)의 사용자 입력 엘리먼트(413)에서 수신되는 입력에, 모션 센서(113)에 의해 추적되는 모션 제스처에, 또는 더 일반적으로 사용자가 취하고 있는 액션에 기초할 수 있다.
실시예에서, 햅틱 액세서리 장치(410)는 순응형 바디(412)의 상이한 부분들에 배치되는 추가적인 센서들(예를 들어, 추가적인 변형 센서들)을 포함할 수 있다. 프로세서(117)는 복수의 추가적인 센서 각각으로부터 변형 데이터를 수신하고, 예를 들어, 복수의 추가적인 센서로부터의 변형 데이터에 기초하여 순응형 바디(412)가 둘레에 감긴 물리적 오브젝트의 추정되는 형상을 결정하도록 구성될 수 있다.
도 5는 VR 또는 AR 환경을 제공하기 위한 예시적인 방법(500)의 흐름도를 예시하고, 예를 들어, 컴퓨터 시스템(120/220)의 프로세서(121/221)에 의해 수행될 수 있다. 실시예에서, 방법(500)은 단계(501)에서 시작하는데, 여기서 프로세서(121/221)는 VR 또는 AR 환경을 제공하는 애플리케이션을 실행한다. 예를 들어, 애플리케이션은 가상 칼싸움 게임, 3D Tetris® 게임, 또는 위에서 논의된 두더지 잡기 게임, 또는 일부 다른 게임(예를 들어, Pokemon Go®)과 같은, 게임 애플리케이션일 수 있다. 실시예에서, 애플리케이션은 시각적 또는 그래픽 설계 애플리케이션일 수 있다. 실시예에서, 단계(501)는 메모리(123/223)와 같은 비-일시적 컴퓨터 판독가능한 매체 상에 저장된 명령들을 실행하는 프로세서(121/221)를 수반할 수 있다. 실시예에서, 명령들은 AR 또는 VR 엔진에 대한 명령들일 수 있다.
단계(503)에서, 프로세서(121/221)는 VR 또는 AR 환경의 가상 오브젝트가 컴퓨터 시스템의 디스플레이 디바이스 상에 디스플레이되도록 한다. 예를 들어, 프로세서(121/221)는 가상 오브젝트가 컴퓨터 시스템(100/200)의 디스플레이 디바이스(125/225) 상에 디스플레이되도록 할 수 있다. 또다른 디스플레이 디바이스(625)가 도 6 및 7에 예시되는데, 여기서 가상 오브젝트(651)(가상 광선검) 및 가상 오브젝트(652)(가상 Tetris® 타일)가 디스플레이 디바이스(625) 상에 디스플레이된다. 디스플레이 디바이스(625)는 예를 들어, HMD 디바이스, 또는 데스크톱 또는 랩톱 디스플레이 디바이스(예를 들어, LED 스크린)일 수 있고, 추가로, 게임 시스템과 같은, 컴퓨터 시스템의 일부일 수 있다. 단계(503)는 물리적 오브젝트에 대한 햅틱 액세서리 장치(예를 들어, 110/210/310A/310B/410)의 부착 이전에, 부착 동안, 또는 부착 이후에 수행될 수 있는데, 이는 하기에 더 상세히 논의된다.
도 5로 돌아가면, 단계(505)에서, 프로세서(121/221)는 햅틱 액세서리 장치(110/210/310A/310B/410)의 모션 센서(113/213/313/313A)로부터 센서 정보를 수신한다. 햅틱 액세서리 장치(110/210/310A/310B/410)는 물리적 오브젝트(예를 들어, 131/132/133/231/232/233/234)에 부착될 수 있다. 햅틱 액세서리 장치(110/210/310A/310B/410)는 순응형 바디(112/212/312A/312B), 햅틱 출력 디바이스(111a-b/211a-b/311a-c), 모션 센서(113/213/313/313A), 무선 통신 인터페이스 유닛(115/215/315/315A), 프로세서(117/217/317/317A), 및 전원(119/219/319/319A)을 포함할 수 있다. 위에서 언급된 바와 같이, 순응형 바디는 상이한 각자의 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능하도록 적응된다. 실시예에서, 햅틱 출력 디바이스(111a-b/211a-b/311a-c), 모션 센서(113/213/313/313A), 무선 통신 인터페이스 유닛(115/215/315/315A), 프로세서(117/217/317/317A), 및 전원(119/219/319/319A) 각각은 순응형 바디(112/212/312A/312B) 상에 또는 그 안에 배치될 수 있다(예를 들어, 그 안에 내장될 수 있다). 또한, 순응형 바디는 물리적 오브젝트들 각각으로부터 분리가능할 수 있다. 예를 들어, 도 6 및 7은 햅틱 액세서리 장치(310A 및 310B)를 예시하며, 그 각각은 도 6의 물리적 오브젝트(231)에, 그리고/또는 도 7의 물리적 오브젝트(232)에 따를 수 있는 순응형 바디(예를 들어, 312A, 312B)를 가진다. 또한, 햅틱 액세서리 장치(310A/310B)는 하나의 물리적 오브젝트(예를 들어, 231)에 부착되고, 이후 이로부터 분리되어 또다른 물리적 오브젝트(예를 들어, 물리적 오브젝트(232))에 부착될 수 있고, 그 역도 성립한다. 실시예에서, 물리적 오브젝트는 사용자의 집 또는 사무실 내의 일상적 오브젝트일 수 있다. 실시예에서, 물리적 오브젝트는 상이한 형상을 가지도록 주문-제작될 수 있다. 예를 들어, 물리적 오브젝트는 햅틱 액세서리 장치와 함께 판매된 플라스틱 공, 플라스틱 큐브, 및 플라스틱 원통을 포함하는 물리적 오브젝트들의 세트의 일부일 수 있다. 사용자는 VR 또는 AR 환경 내의 가상 오브젝트에 대한 최상의 프록시인 물리적 오브젝트를 그 세트로부터 선택할 수 있다.
도 5로 돌아가면, 모션 센서로부터의 센서 정보는 단계(505)에서 물리적 오브젝트가 움직이고 있는 속력, 물리적 오브젝트가 움직이고 있는 방향, 물리적 오브젝트가 움직이고 있는 속도(속력 및 방향), 물리적 오브젝트에 대한 가속도의 레이트 및 방향 중 적어도 하나를 나타낼 수 있다. 실시예에서, 센서 정보는 추가로 또는 대안적으로 물리적 오브젝트의 위치 또는 배향을 나타낼 수 있다. 위에서 논의된 바와 같이, 모션 센서로부터의 센서 정보는 모션 센서가 햅틱 액세서리 장치(110/210/310A/310B/410)의 통신 인터페이스 유닛(115/215/315/315A)에 직접 제공한 미가공 정보를 포함할 수 있거나, 또는 미가공 센서 정보에 기초하여 프로세서(117/217/317/317A)에 의해 생성되는 프로세싱된 센서 정보를 포함할 수 있다. 또한, 도 6 및 7은 물리적 오브젝트(231/232)에 부착된, 햅틱 액세서리 장치(310A/310B)의 모션을 예시한다. 도 6에서, 물리적 오브젝트(231)는 Pringles® 캔 또는 다른 가늘고 긴 원통형 컨테이너일 수 있고, 가상 오브젝트(651)(가상 광선검)에 대한 프록시로서 사용되고 있다. 도 6은 물리적 오브젝트(231)가 검 휘두르기 모션의 일부일 수 있는, 속도 벡터(V1)를 따라 (사용자에 의해) 움직여지는 것을 예시한다. 햅틱 액세서리 장치(310A)의 모션 센서(313A)는 햅틱 액세서리 장치(310A)의 속도를 측정할 수 있는데, 이는 물리적 오브젝트(231)의 속도와 동일하다. 모션 센서는 디스플레이 디바이스(625)의 컴퓨터 시스템에 통신되는 미가공 센서 정보를 출력할 수 있는데, 이는 미가공 센서 정보에 기초하여, 물리적 오브젝트(231)가 속도(V1)로 움직이고 있음을 결정할 수 있다. 도 7에서, 물리적 오브젝트(232)는 가상 3D 타일에 대한 프록시로서 사용되고 있는 티슈 박스이다. 물리적 오브젝트(232)는, 속도 벡터(V2)를 따라 움직여지고 있거나, 또는 더 구체적으로 낮아지고 있다. 모션 센서(313A)는 물리적 오브젝트(232)의 속도 벡터(V2)를 나타내는 미가공 센서 정보를 유사하게 생성할 수 있다.
도 5로 돌아가면, 단계(507)에서, 프로세서(121/221)는 센서 정보에 기초하여 가상 오브젝트를 제어한다. 예를 들어, 센서 정보는 물리적 오브젝트의 움직임을 설명할 수 있고, 프로세서는 가상 오브젝트의 움직임을 제어하여 물리적 오브젝트의 움직임을 매치시킬 수 있다. 도 6은 가상 오브젝트(651)가, 예를 들어, 움직임의 방향, 속력, 또는 둘 모두의 견지에서, 물리적 오브젝트(231)의 속도 벡터(V1)와 실질적으로 동일한 속도(V)로 디스플레이 디바이스(625) 상에서 움직이도록 제어되는 것을 예시한다. 도 6은 물리적 오브젝트(231)가 게임플레이 동안 사용자에 의해 휘둘러지는 것을 예시할 수 있다. 그 결과, 디스플레이 디바이스(625)가 속하는 컴퓨터 시스템은 휘두르기 모션의 속도를 결정하고, 가상 오브젝트(651)를 동일한 또는 유사한 속도로 휘둘러지는 것으로서 디스플레이되도록 제어할 수 있다. 또다른 실시예에서, 햅틱 액세서리 장치(310A)의 모션 센서로부터의 속도 데이터는 물리적 오브젝트(231)의 회전 속도를 표현할 수 있는데, 이는 회전의 방향 및 회전의 속력을 나타낼 수 있다. 그 결과, 디스플레이 디바이스(625)가 속하는 컴퓨터 시스템은 가상 오브젝트(651)를 동일한 또는 유사한 회전 속도로 회전되는 것으로서 디스플레이되도록 제어할 수 있다. 추가로, 도 7은 또한 디스플레이 디바이스(625)가 속하는 컴퓨터 시스템이 가상 오브젝트(652)를 물리적 오브젝트(232)의 속도 벡터(V2)와 동일한 속도 벡터(V)를 가지고 움직이는 것으로서 디스플레이되도록 제어하는 것을 예시한다. 또다른 실시예에서, 햅틱 액세서리 장치(310A/310B)는 물리적 오브젝트(231/232)의 위치 또는 움직임을 감지하기 위한 기능성이 결여될 수 있다. 이러한 상황에서, 햅틱 액세서리 장치(310A/310B)는 각자의 가상 오브젝트(651/652)의 표면 특징과 같은, 물리적 환경 또는 가상 환경의 환경 조건에 기초하여 햅틱 효과를 여전히 출력할 수 있다(예를 들어, 가상 오브젝트(651/652)의 표면 텍스처를 나타내기 위해 ESF 효과를 출력할 수 있다).
도 5로 돌아가면, 단계(509)에서, 프로세서(121/221)는 가상 오브젝트와 연관된 햅틱 효과가 생성될 것이라고 결정할 수 있다. 실시예에서, 햅틱 효과는 위에서 논의된 칼싸움 게임 또는 3D Tetris® 게임에서의 이벤트와 같은, VR 또는 AR 환경에서의 이벤트에 의해 트리거될 수 있다. 예를 들어, 이러한 이벤트는 가상 오브젝트(예를 들어, 가상 광선검)이 또다른 가상 오브젝트(예를 들어, 시뮬레이트되는 칼싸움의 일부로서 또다른 가상 광선검 또는 가상 벽 또는 가상 바닥)와 접촉하게 되는 것 사이의 접촉 이벤트일 수 있다. 실시예에서, 프로세서(121/221)는 햅틱 효과의 타입(예를 들어, 접촉을 시뮬레이트할 진동촉각적 효과 또는 텍스처를 시뮬레이트할 ESF 효과), 어느 햅틱 액추에이터 또는 어떤 타입의 햅틱 액추에이터가 햅틱 효과를 생성할지, 햅틱 효과의 진폭, 햅틱 효과의 주파수, 햅틱 효과의 타이밍(예를 들어, 듀레이션, 시작 시간), 및 햅틱 효과의 임의의 다른 파라미터 값과 같은, 햅틱 효과의 파라미터 값들을 결정할 수 있다. 실시예에서, 프로세서(121/221)는 기존에 저장된 구동 신호 파형에 대한 파형 식별자를 선택함으로써, 또는 신호 파형 자체를 생성함으로써, 햅틱 효과에 대한 구동 신호 파형을 결정할 수 있다. 실시예에서, 프로세서(121/221)는, VR 또는 AR 환경과의 사용자 오브젝트와의 상호작용에 기초하여 파라미터 값들 또는 구동 신호 파형을 결정함으로써, 햅틱 효과를 사용하여 가상 오브젝트에 무엇이 발생하고 있는지를 전달할 수 있다. 실시예에서, 파라미터 값들 또는 구동 신호 파형은 가상 오브젝트의 가상 형상, 가상 사이즈, 가상 온도, 또는 다른 가상 특징 중 적어도 하나에 기초하여 결정될 수 있다. 실시예에서, 파라미터 값들 또는 구동 신호 파형은, 물리적 오브젝트의 추정되는 형상, 추정되는 사이즈, 추정되는 질량, 강성의 레벨, 온도, 또는 속도와 같은, 햅틱 액세서리 장치가 부착되는 오브젝트의 물리적 특징에 기초하여 결정될 수 있다.
실시예에서, 컴퓨터 시스템(120/220) 및 햅틱 액세서리 장치(110/210/310A/310B/410)가 페어링 프로세스를 수행하고, 프로세스 동안 정보를 교환하거나 보고한 경우, 프로세서(121/221)는 교환된 또는 보고된 정보에 기초하여 햅틱 효과에 대한 파라미터 값들 또는 구동 신호 파형을 결정할 수 있다. 예를 들어, 페어링 프로세스 동안, 햅틱 액세서리 장치는 그것이 몇 개의 햅틱 출력 디바이스들을 가졌는지, 그것이 어떤 타입들의 햅틱 출력 디바이스들을 가졌는지, 햅틱 액세서리 장치의 순응형 바디 내의 어디에 햅틱 출력 디바이스들이 위치되는지, 또는 이들의 조합을 보고할 수 있다. 프로세서(120/220)는 보고된 정보에 기초하여 햅틱 효과의 파라미터 값들 또는 구동 신호 파형을 결정하도록 구성될 수 있다.
단계(511)에서, 프로세서(121/221)는 햅틱 액세서리 장치(110/210/310A/310B/410)가 햅틱 효과를 생성할 것임을 나타내는 신호를 햅틱 액세서리 장치(110/210/310A/310B/410)에 통신할 수 있고, 따라서 햅틱 효과는 햅틱 액세서리 장치에 부착되는 물리적 오브젝트(예를 들어, 231/232/233/234)에서 또한 생성된다. 실시예에서, 신호는 햅틱 액세서리 장치(110/210/310A/310B/410)가 햅틱 효과를 출력할 것임을 나타내는 햅틱 코맨드를 포함할 수 있다. 실시예에서, 신호는 햅틱 효과의 하나 이상의 파라미터 값을 포함할 수 있다. 실시예에서, 신호는 햅틱 효과의 구동 신호 파형, 또는 파형 식별자를 포함할 수 있다. 실시예에서, 신호는 햅틱 효과를 생성할 시에 햅틱 액세서리 장치(110/210/310A/310B/410)가 어느 햅틱 출력 디바이스를 사용할 지를 식별할 수 있다. 신호는 컴퓨터 시스템(120/220)의 통신 인터페이스를 통해, 햅틱 액세서리 장치(110/210/310A/310B/410)의 통신 인터페이스 유닛(115/215)에 송신될 수 있다.
위에서 논의된 바와 같이, 실시예에서, 사용자는 VR 또는 AR 환경의 가상 오브젝트(예를 들어, 651)에 대한 프록시로서 물리적 오브젝트(예를 들어, 231)를 선택하고, 햅틱 액세서리 장치(예를 들어, 310A)를 물리적 오브젝트에 부착할 수 있다. 이는 VR 또는 AR 환경에 대한 애플리케이션이 컴퓨터 시스템(120/220)에 의해 실행되기 시작하기 이전 또는 이후에, 또는 VR 또는 AR 환경이 디스플레이되거나 다른 방식으로 렌더링 되기 이전 또는 이후에 이루어질 수 있다. 일부 경우들에서, 가상 오브젝트에 대한 프록시로서 사용자가 어느 물리적 오브젝트를 선택했는지를 표시하기 위해, 사용자는 컴퓨터 시스템(120/220)의 카메라(227)의 앞에(만약 시스템(120/220)이 하나를 가진 경우) 물리적 오브젝트를 배치할 수 있다. 카메라(227)는 물리적 오브젝트의 이미지를 캡처할 수 있고, 컴퓨터 시스템(120/220)의 프로세서(121/221)는 물리적 오브젝트의 캡처된 이미지를 수신할 수 있다. 프로세서(121/221)는 이후 물리적 오브젝트를 컴퓨터 시스템(120/220)의 메모리(123/223) 내의 가상 오브젝트와 연관시킬 수 있다(예를 들어, 물리적 오브젝트(231)를 가상 오브젝트(651)와 연관시킬 수 있다). 컴퓨터 시스템(예를 들어, 120)이 카메라를 가지지 않는 실시예에서, 컴퓨터 시스템(120)은 (예를 들어, Bluetooth®를 통해) 햅틱 액세서리 장치(110/210/310A/310B/410)와 페어링될 수 있고, 따라서 햅틱 액세서리 장치(110/210/310A/310B/410)는 모션 센서 추적(또한 관성 센서 추적이라 지칭됨)을 수행할 수 있다. 페어링은 컴퓨터 시스템(120/220)과 장치(110/210/310A/310B/410) 간의 통신을 설정하는 것을 수반할 수 있다. 페어링은 무선으로, 데이터 케이블을 통해, 또는 이들의 조합으로 수행될 수 있다. 실시예에서, 컴퓨터 시스템(120/220)은 상이한 각자의 물리적 오브젝트들에 부착될 수 있는, 다수의 햅틱 액세서리 장치와 동시에 페어릴될 수 있다. 일부 경우들에서, 컴퓨터 시스템(120/220)은 VR 또는 AR 환경 내의 모든 가상 오브젝트를 상이한 각자의 물리적 오브젝트와 추가로 연관시킬 수 있다.
실시예에서, 일단 컴퓨터 시스템(120/220) 및 햅틱 액세서리 장치(110/210/310A/310B/410)가 페어링되면, 햅틱 액세서리 장치의 움직임은 모션 센서 추적(위에서 논의된 바와 같이), 카메라(227)에 의한 시각적 추적, 또는 이들의 임의의 조합을 통해 가상 오브젝트의 움직임으로 변환된다. 추가로, 실시예에서, VR 또는 AR 환경의 VR 또는 AR 엔진은 프로세서(121/221)가 햅틱 액세서리 장치(110/210/310A/310B/410)에 (무선 또는 유선 인터페이스를 통해) 코맨드를 송신하도록 할 수 있다. 엔진은 구동 신호들을 직접 특정 햅틱 출력 디바이스(111a-b/211a-b/311a-c)에 송신할 수 있거나, 또는 햅틱 액세서리 장치에 저장된 햅틱 효과 파형과 연관된 특정 햅틱 효과 ID를 가지는 코맨드를 송신할 수 있다. 햅틱 효과 ID는 주파수, 파형, 진폭 등과 같은 파라미터 값들을 특정할 수 있다. 햅틱 액세서리 장치는 이후 구동 신호 파형을 생성하거나, 또는 장치에 저장된, 또는 클라우드에 저장된 구동 신호를 검색할 수 있다.
실시예에서, 또한 위에서 논의된 바와 같이, 컴퓨터 시스템(120/220)은 VR 또는 AR 환경의 가상 오브젝트에 대한 프록시로서 사용하기 위한 물리적 오브젝트를 선택할 수 있다. 일부 경우들에서, 이 선택은, 핸드헬드 제어기로서 잡히기에 적합한 물리적 오브젝트들 중에서, 가상 오브젝트의 형상에 최상으로 매치하는 형상을 가지는 물리적 오브젝트를 식별하기 위한 이미지 프로세싱의 수행에 기초할 수 있다. 도 8에 도시된 실시예에서, 컴퓨터 시스템(120/220)의 프로세서(121/221)가 프로세서(121/221)와 통신하는 카메라(예를 들어, 227)에 의해 캡처되는 이미지를 수신하는, 단계(601)가 포함된다. 이미지는 카메라(227)의 앞의 물리적 위치 또는 주변환경의 이미지일 수 있다. 실시예에서, 카메라가 사용자에게 가까운 경우, 이미지는 또한 사용자의 물리적 위치 또는 주변환경의 이미지일 수 있다. 카메라에 의해 캡처되는 이미지는 복수의 물리적 오브젝트를 포함할 수 있는데, 이는 이미지 프로세싱 알고리즘을 통해 식별될 수 있다. 단계(603)에서, 프로세서(121/221)는, 카메라(227)에 의해 캡처되는 이미지로부터, 이미지의 (복수의 물리적 오브젝트 중에서의) 물리적 오브젝트가 가상 오브젝트의 형상과 실질적으로 동일한 형상을 가진다고 결정한다. 예를 들어, 카메라(227)에 의해 캡처되는 이미지는 물리적 오브젝트들(231, 232, 233, 234)을 캡처할 수 있다. VR 또는 AR 환경이 가상 오브젝트(651)(가상 광선검)를 수반하는 경우, 프로세서(121/221)는 가상 광선검이 디스플레이 디바이스(625) 상에 디스플레이될 때 가늘고 길며 원통인 형상을 가진다고 결정할 수 있고, 물리적 오브젝트(231)가 가상 광선검의 형상과 실질적으로 동일한 형상을 가진다고 결정할 수 있다. 실시예에서, 카메라(227)는 그것의 물리적 위치 또는 주변 환경을 스캔하여 복수의 각자의 물리적 오브젝트의 이미지들을 캡처할 수 있다. 인공 지능(AI) 엔진은 캡처된 이미지를 프로세싱하여 이미지 내의 다양한 물리적 오브젝트를 식별하고 분류할 수 있다.
단계(605)에서, 물리적 오브젝트가 가상 오브젝트의 형상과 실질적으로 동일한 형상을 가진다는 결정에 응답하여, 프로세서(121/221)는, 컴퓨터 시스템(120/220)의 디스플레이 디바이스(125/225/625) 상에, 햅틱 액세서리 장치가 물리적 오브젝트에 수동으로 부착될 것이라는 표시를 출력할 수 있다. 예를 들어, 물리적 오브젝트들(231, 232, 233, 234)의 이미지가 캡처되는 위의 예를 참조하면, 프로세서는 물리적 오브젝트(231)가 디스플레이 디바이스(125/225/625) 상의 이미지 내에서 강조되도록 할 수 있다. 물리적 오브젝트(231)의 강조는 사용자가 물리적 오브젝트(231)에 (다른 물리적 오브젝트들(232, 233,234)에 반대로) 햅틱 액세서리 장치(110/210/310A/310B/410)를 부착할 것임을 사용자에게 표시할 수 있다.
단계(607)에서, 프로세서(121/221)는 프로세서(121/221)가 속하는 컴퓨터 시스템(120/220)의 메모리(123/223)에서 가상 오브젝트(예를 들어, 651)를 물리적 오브젝트(예를 들어, 231)와 연관시킬 수 있다. 실시예에서, 연관은 메모리(123/223) 내에 저장된 표 내에 있을 수 있고, 표의 하나의 열은 가상 오브젝트들의 리스트를 가지고, 표의 또다른 열은 가상 오브젝트들과 연관된 각자의 물리적 오브젝트들의 리스트를 가진다.
일부 경우들에서, 햅틱 액세서리 장치는 제1 물리적 오브젝트에 부착될 수 있는데, 이는 제1 가상 오브젝트에 대한 프록시로서 사용될 수 있다. 동일한 햅틱 액세서리 장치는 추후 제2 물리적 오브젝트에 부착될 수 있는데, 이는 제2 가상 오브젝트에 대한 프록시로서 사용될 수 있다. 실시예에서, 상이한 햅틱 액세서리 자치가 동일한 물리적 오브젝트에 부착될 수 있다. 예를 들어, 제1 타입의 햅틱 출력 디바이스(예를 들어, 진동촉각적 액추에이터)를 가지는 제1 햅틱 액세서리 장치가 물리적 오브젝트에 부착될 수 있다. 제2 타입의 햅틱 출력 디바이스(예를 들어, ESF 액추에이터)를 가지는 제2 햅틱 액세서리 장치는 제1 햅틱 액세서리 장치가 부착되는 동시에, 또는 제1 햅틱 액세서리 장치가 제거된 이후 물리적 오브젝트에 부착될 수 있다. 일부 경우들에서, 가상 오브젝트는 제1 물리적 오브젝트에 부착되는 제1 햅틱 액세서리 장치에 의해 표현될 수 있고, 추후 제2 물리적 오브젝트에 부착되는 제2 햅틱 액세서리 장치에 의해 표현될 수 있다.
실시예에서, 프로세서(121/221)가 VR 또는 AR 환경이 제1 가상 오브젝트(예를 들어, 651)를 생성하게 하고 제1 물리적 오브젝트(예를 들어, 231)에 기초하여 제1 가상 오브젝트를 제어하도록 한 이후, 프로세서(121/221)는 제1 가상 오브젝트(예를 들어, 651)를 대체하는 제2 가상 오브젝트(예를 들어, 652)를 생성하고, 상이한 물리적 오브젝트(예를 들어, 232)를 제2 가상 오브젝트(652)와 연관시키도록 구성될 수 있다. 예를 들어, 프로세서는 제2 가상 오브젝트(652)가 컴퓨터 시스템의 디스플레이 디바이스(625) 상에 디스플레이되도록 할 수 있다. 가상 오브젝트(652)는 가상 오브젝트(651)를 생성한 동일한 VR 또는 AR 환경의 일부일 수 있거나, 또는 상이한 VR 또는 AR 환경의 일부일 수 있다. 프로세서는 추가로 햅틱 액세서리 장치(예를 들어, 310A)가 제1 물리적 오브젝트(231)에 부착되는 것으로부터 햅틱 액세서리 장치(310B)가 복수의 물리적 오브젝트 중의 제2 물리적 오브젝트(232)에 부착되는 것으로의 변경을 추가로 검출할 수 있다. 프로세서는 이후 컴퓨터의 메모리에서 제2 물리적 오브젝트(232)를 제2 가상 오브젝트(652)와 연관시킬 수 있다. 실시예에서, 제1 물리적 오브젝트(231) 및 제2 물리적 오브젝트(232)는 상이한 각자의 형상들을 가질 수 있다.
실시예에서, 햅틱 액세서리 장치(예를 들어, 110/210/310A/310B/410)는 물리적 오브젝트(231/232/233, 234)의 물리적 특징들을 측정하고, 측정들을 컴퓨터 시스템(120/220)에 제공하도록 구성될 수 있다. 따라서, 실시예에서, 컴퓨터 시스템(120/220)의 프로세서(121/221)는, 햅틱 액세서리 장치로부터, 햅틱 액세서리 장치가 제1 물리적 오브젝트(231)에 부착될 때 제1 물리적 오브젝트(예를 들어, 231)의 제1 추정되는 형상 및 제1 추정되는 사이즈 중 적어도 하나를 수신할 수 있고, 햅틱 액세서리 장치가 제2 물리적 오브젝트(232)에 부착될 때 제2 물리적 오브젝트(232)의 제2 추정되는 형상 및 제2 추정되는 사이즈 중 적어도 하나를 추가로 수신할 수 있다.
실시예에서, 컴퓨터 시스템(120/220)의 프로세서(121/221)는 물리적 오브젝트(231/232/233/234)의 특징들에 기초하여 햅틱 액세서리 장치(110/210/310A/310B/410)가 물리적 오브젝트(231/232/233/234) 상에 어떤 햅틱 효과를 생성해야 하는지를 결정할 수 있다. 예를 들어, 햅틱 효과는 햅틱 액세서리 장치가 제1 물리적 오브젝트(231)에 부착될 때 제1 물리적 오브젝트(231)의 제1 추정되는 형상 및 제1 추정되는 사이즈 중 적어도 하나에 기초하여 결정될 수 있다. 실시예에서, 프로세서는 햅틱 액세서리 장치가 제2 물리적 오브젝트(232)에 부착될 때 제2 물리적 오브젝트(232)의 제2 추정되는 형상 또는 제2 추정되는 사이즈 중 적어도 하나에 기초하여 제2 햅틱 효과를 추가로 결정할 수 있다.
다양한 실시예들이 전술되었지만, 이들이 제한에 의해서가 아니라 본 발명의 예시들 및 예들로서만 제시되었음이 이해되어야 한다. 발명의 사상 및 범위로부터 벗어나지 않고 형태 및 상세항목에 있어서의 다양한 변경들이 그 안에서 이루어질 수 있다는 것이 관련 기술 분야의 통상의 기술자에게 명백할 것이다. 따라서, 본 발명의 폭 및 범위는 전술된 예시적인 실시예들 중 임의의 것에 의해 제한되어야 하는 것이 아니라, 첨부되는 청구항들 및 그 등가물들에 따라서만 정의되어야 한다. 또한, 본원에서 논의되는 각각의 실시예의, 그리고 본원에 인용되는 각각의 참조물들의 각각의 특징이 임의의 다른 실시예들의 특징들과 함께 사용될 수 있다는 것이 이해될 것이다. 본원에 논의되는 모든 특허들 및 공보들은 그 전체가 본원에 참조로 포함된다.

Claims (20)

  1. 가상 현실(VR) 또는 증강 현실(AR) 환경을 위한 햅틱 액세서리 장치로서,
    물리적 오브젝트에 부착되도록 적응되는 순응형 바디(conformable body);
    상기 순응형 바디 상에 또는 내에 배치되는 햅틱 출력 디바이스;
    상기 순응형 바디 상에 또는 내에 배치되고, 상기 햅틱 액세서리 장치의 모션을 추적하도록 구성되는 모션 센서;
    무선 통신 인터페이스 유닛 - 상기 무선 통신 인터페이스 유닛은
    상기 모션 센서로부터 상기 VR 또는 AR 환경을 제공하는 애플리케이션을 실행하도록 구성되는 컴퓨터 시스템으로 센서 정보를 무선으로 통신하고,
    상기 햅틱 액세서리 장치가 햅틱 효과를 출력할 것임을 나타내는 신호를 상기 컴퓨터 시스템으로부터 수신하도록 구성되고, 상기 햅틱 액세서리 장치의 햅틱 출력 디바이스는 상기 신호에 기초하여 상기 햅틱 효과를 출력하도록 구성됨 -;
    상기 순응형 바디 상에 또는 내에 배치되고, 적어도 상기 햅틱 출력 디바이스, 상기 모션 센서, 및 상기 무선 통신 인터페이스 유닛과 통신하는 프로세서; 및
    상기 순응형 바디 상에 또는 내에 배치되고, 적어도 상기 햅틱 출력 디바이스, 상기 프로세서, 및 상기 무선 통신 인터페이스 유닛에 전력을 제공하도록 구성되는 전원
    을 포함하는, 햅틱 액세서리 장치.
  2. 제1항에 있어서,
    상기 순응형 바디는 플렉시블 층으로 형성되고, 상이한 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능한 햅틱 액세서리 장치.
  3. 제2항에 있어서,
    상기 순응형 바디 상에 배치되는 사용자 입력 엘리먼트
    를 더 포함하고, 상기 사용자 입력 엘리먼트는 트리거 및 조이스틱 중 적어도 하나이고, 상기 사용자 입력 엘리먼트는 상기 프로세서와 통신하는 햅틱 액세서리 장치.
  4. 제2항에 있어서,
    상기 햅틱 액세서리 장치는 상기 햅틱 액세서리 장치가 상기 물리적 오브젝트에 부착될 때 상기 물리적 오브젝트에 핸드헬드 제어기 기능성 및 햅틱 기능성을 제공하도록 구성되는 햅틱 액세서리 장치.
  5. 제4항에 있어서,
    상기 순응형 바디는 상기 물리적 오브젝트의 적어도 일부분 둘레에 감기도록 구성되는 햅틱 액세서리 장치.
  6. 제5항에 있어서,
    상기 순응형 바디는 상기 물리적 오브젝트의 적어도 일부분 둘레에 맞도록 탄성적으로 늘어나도록 구성되는 탄성중합체 재료를 포함하는 햅틱 액세서리 장치.
  7. 제6항에 있어서,
    상기 순응형 바디는 루프 형상을 가지는 탄성 밴드를 형성하는 햅틱 액세서리 장치.
  8. 제6항에 있어서,
    상기 순응형 바디의 늘임 또는 구부러짐 중 적어도 하나를 감지하도록 구성되는 하나 이상의 추가적인 센서
    를 더 포함하고, 상기 프로세서는 상기 하나 이상의 추가적인 센서로부터의 신호들에 기초하여 상기 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 결정하도록 구성되는 햅틱 액세서리 장치.
  9. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 상기 컴퓨터 시스템으로부터의 신호에 기초하여 텍스처를 시뮬레이트하도록 구성되는 정전기 마찰(ESF) 액추에이터인 햅틱 액세서리 장치.
  10. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 상기 컴퓨터 시스템으로부터의 신호에 기초하여 진동촉각적 햅틱 효과를 출력하도록 구성되는 압전 액추에이터인 햅틱 액세서리 장치.
  11. 제1항에 있어서,
    상기 모션 센서에 의해 출력되는 센서 정보는 상기 햅틱 액세서리 장치의 위치 및 배향 중 적어도 하나를 나타내는 햅틱 액세서리 장치.
  12. 제1항에 있어서,
    상기 순응형 바디는 플렉시블하며, 중합체 재료로 형성되고, 상기 프로세서, 상기 햅틱 출력 디바이스, 상기 전원, 상기 모션 센서 및 상기 무선 통신 인터페이스 유닛은 상기 중합체 재료에 내장되는 햅틱 액세서리 장치.
  13. 가상 현실(VR) 또는 증강 현실(AR) 환경을 제공하기 위한 햅틱-인에이블형 시스템으로서,
    제1 프로세서 및 디스플레이 디바이스를 포함하는 컴퓨터 시스템 ― 상기 제1 프로세서는 VR 또는 AR 환경을 제공하는 애플리케이션을 실행하도록 구성되고, 상기 디스플레이 디바이스는 상기 VR 또는 AR 환경을 디스플레이하도록 구성됨 ― ; 및
    햅틱 액세서리 장치
    를 포함하고, 상기 햅틱 액세서리 장치는:
    상기 햅틱 액세서리 장치로부터 분리될 때 핸드헬드 제어기 기능성을 가지지 않는 물리적 오브젝트에 부착되도록 적응되는 순응형 바디 ― 상기 햅틱 액세서리 장치는 상기 햅틱 액세서리 장치가 상기 물리적 오브젝트에 부착될 때 핸드헬드 제어기 기능성을 물리적 오브젝트에 제공하도록 구성됨 ― ;
    상기 순응형 바디 상에 또는 내에 배치되는 햅틱 출력 디바이스;
    상기 순응형 바디 상에 또는 내에 배치되고 상기 햅틱 액세서리 장치의 모션을 추적하도록 구성되는 모션 센서;
    상기 컴퓨터 시스템과 무선으로 통신하도록 구성되는 무선 통신 인터페이스 유닛;
    상기 순응형 바디 상에 또는 내에 배치되고, 상기 햅틱 출력 디바이스, 상기 모션 센서, 및 상기 무선 통신 인터페이스 유닛과 통신하는 제2 프로세서; 및
    상기 순응형 바디 상에 또는 내에 배치되고, 적어도 상기 햅틱 출력 디바이스, 상기 제2 프로세서, 및 상기 무선 통신 인터페이스 유닛에 전력을 제공하도록 구성되는 전원
    을 포함하고, 상기 컴퓨터 시스템의 제1 프로세서는
    그것의 무선 통신 인터페이스 유닛을 통해 상기 햅틱 액세서리 장치의 모션 센서로부터 센서 정보를 수신하고,
    상기 센서 정보에 기초하여 상기 VR 또는 AR 환경의 가상 오브젝트를 제어하고, 상기 가상 오브젝트와 연관된 햅틱 효과가 생성될 것이라고 결정하고,
    상기 무선 통신 인터페이스 유닛을 통해 상기 제2 프로세서에 신호를 통신하도록 구성되고,
    상기 신호는 상기 햅틱 액세서리 장치가 상기 햅틱 효과를 생성할 것임을 나타내고, 상기 햅틱 액세서리 장치의 햅틱 출력 디바이스는 상기 신호에 기초하여 상기 햅틱 효과를 출력하도록 구성되는 햅틱-인에이블형 시스템.
  14. 제13항에 있어서,
    상기 순응형 바디는 플렉시블하며 중합체 재료로 형성되고, 상이한 물리적 오브젝트들의 상이한 형상들을 따르도록 재구성가능하고, 상기 프로세서, 상기 햅틱 출력 디바이스, 상기 전원, 상기 모션 센서, 및 상기 무선 통신 인터페이스 유닛은 상기 중합체 재료 내에 내장되고,
    상기 센서 정보는 상기 햅틱 액세서리 장치의 위치 및 배향 중 적어도 하나를 나타내고, 상기 제1 프로세서는 상기 센서 정보에 기초하여 상기 디스플레이 디바이스 상의 가상 오브젝트의 디스플레이되는 위치 및 배향 중 적어도 하나를 변경하도록 구성되고, 상기 제1 프로세서는 상기 컴퓨터 시스템의 메모리에서 가상 오브젝트와 복수의 물리적 오브젝트 중의 물리적 오브젝트를 연관시키도록 구성되는 햅틱-인에이블형 시스템.
  15. 제14항에 있어서,
    상기 가상 오브젝트는 상기 디스플레이 디바이스 상에 디스플레이될 형상을 가지고, 상기 제1 프로세서는 상기 물리적 오브젝트의 형상이 상기 가상 오브젝트의 형상과 실질적으로 동일하다고 결정함으로써 상기 복수의 물리적 오브젝트 중의 물리적 오브젝트가 상기 가상 오브젝트와 연관될 것이라고 결정하도록 구성되는 햅틱-인에이블형 시스템.
  16. 제14항에 있어서,
    상기 햅틱 액세서리 장치는 상기 햅틱 액세서리 장치의 순응형 바디의 늘임 및 구부러짐 중 적어도 하나를 감지하도록 구성되는 하나 이상의 추가적인 센서를 더 포함하고, 상기 제2 프로세서는 상기 하나 이상의 추가적인 센서로부터의 추가적인 센서 정보에 기초하여 상기 복수의 물리적 오브젝트 중의 물리적 오브젝트의 추정되는 사이즈 및 추정되는 형상 중 적어도 하나를 결정하고, 상기 물리적 오브젝트의 추정된 사이즈 및 추정된 형상 중 적어도 하나를 상기 제1 프로세서에 통신하도록 구성되는 햅틱-인에이블형 시스템.
  17. 제16항에 있어서,
    상기 햅틱 액세서리 장치가 햅틱 효과를 생성할 것임을 나타내는 신호는 상기 햅틱 효과의 강도, 주파수 및 타입 중 적어도 하나를 나타내고, 상기 제1 프로세서는 상기 물리적 오브젝트의 추정된 사이즈 및 추정된 형상 중 적어도 하나에 기초하여 상기 신호 내에 표시되는 강도, 주파수 및 타입 중 적어도 하나를 결정하도록 구성되는 햅틱-인에이블형 시스템.
  18. 가상 현실(VR) 또는 증강 현실(AR) 환경을 제공하기 위한 방법으로서,
    상기 방법은 제1 프로세서 및 디스플레이 디바이스를 가지는 컴퓨터 시스템에 의해 수행되고, 상기 방법은:
    상기 컴퓨터 시스템의 제1 프로세서에 의해, 상기 VR 또는 AR 환경을 제공하는 애플리케이션을 실행하는 단계;
    상기 제1 프로세서에 의해, 상기 VR 또는 AR 환경의 가상 오브젝트가 상기 컴퓨터 시스템의 디스플레이 디바이스 상에 디스플레이되도록 하는 단계;
    햅틱 액세서리 장치로부터, 상기 햅틱 액세서리 장치의 모션 센서로부터의 센서 정보를 수신하는 단계 ― 상기 햅틱 액세서리 장치는 순응형 바디, 햅틱 출력 디바이스, 상기 모션 센서, 무선 통신 인터페이스 유닛, 제2 프로세서, 및 전원을 포함하고, 상기 순응형 바디는 상기 햅틱 액세서리 장치로부터 분리될 때 핸드헬드 제어기 기능성을 가지지 않는 물리적 오브젝트에 부착되도록 적응되고, 상기 햅틱 출력 디바이스, 상기 모션 센서, 상기 무선 통신 인터페이스 유닛, 상기 제2 프로세서, 및 상기 전원 각각은 상기 순응형 바디 상에 또는 내에 배치됨 ― ;
    상기 제1 프로세서에 의해, 상기 센서 정보에 기초하여 상기 가상 오브젝트를 제어하는 단계;
    상기 제1 프로세서에 의해, 상기 가상 오브젝트와 연관된 햅틱 효과가 생성될 것이라고 결정하는 단계; 및
    상기 제1 프로세서에 의해, 상기 햅틱 액세서리 장치가 상기 햅틱 효과를 생성할 것임을 나타내는 신호를 상기 햅틱 액세서리 장치에 통신하고, 따라서 햅틱 효과가 상기 햅틱 액세서리 장치에 부착되는 물리적 오브젝트에서 생성되는 단계
    를 포함하는 방법.
  19. 제18항에 있어서,
    상기 제1 프로세서와 통신하는 카메라에 의해 캡처되는 이미지를 수신하고;
    상기 카메라에 의해 캡처되는 이미지로부터, 상기 물리적 오브젝트의 형상이 상기 가상 오브젝트의 형상과 실질적으로 동일하다고 결정하고;
    상기 물리적 오브젝트의 형상이 상기 가상 오브젝트의 형상과 실질적으로 동일하다는 결정에 응답하여, 상기 햅틱 액세서리 장치가 상기 물리적 오브젝트에 수동으로 부착될 것이라는 표시를 상기 디스플레이 디바이스 상에 출력하고;
    상기 컴퓨터의 메모리에서 상기 햅틱 액세서리 장치를 상기 물리적 오브젝트와 연관시킴으로써, 상기 햅틱 액세서리 장치가 상기 제1 물리적 오브젝트에 부착될 것이라고 결정하는 단계
    를 더 포함하는 방법.
  20. 제19항에 있어서,
    상기 순응형 바디는 플렉시블 재료로 형성되고, 상기 물리적 오브젝트의 표면에 순응하도록 구성되고, 상기 순응형 바디는 상이한 물리적 오브젝트들의 상이한 형상들에 따르도록 재구성가능하고,
    상기 가상 오브젝트는 제1 가상 오브젝트 및 제2 가상 오브젝트이고, 상기 물리적 오브젝트는 복수의 물리적 오브젝트 중 제1 물리적 오브젝트 및 제2 가상 오브젝트이고, 상기 방법은:
    상기 제1 프로세서에 의해, 상기 제2 가상 오브젝트가 상기 컴퓨터 시스템의 디스플레이 디바이스 상에 디스플레이되도록 하는 단계;
    상기 제1 프로세서에 의해, 상기 햅틱 액세서리 장치가 상기 제1 물리적 오브젝트에 부착되는 것으로부터 상기 햅틱 액세서리 장치가 상기 제2 물리적 오브젝트에 부착되는 것으로의 변경을 검출하는 단계; 및
    상기 제1 프로세서에 의해, 상기 컴퓨터 시스템의 메모리에서 상기 제2 물리적 오브젝트를 제2 가상 오브젝트와 연관시키는 단계
    를 더 포함하고, 상기 제2 가상 오브젝트는 상기 VR 또는 AR 환경의 일부이거나, 또는 상이한 VR 또는 AR 환경의 일부인 방법.
KR1020180142761A 2017-11-22 2018-11-19 햅틱 액세서리 장치 KR20190059234A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/820,990 US20190155387A1 (en) 2017-11-22 2017-11-22 Haptic Accessory Apparatus
US15/820,990 2017-11-22

Publications (1)

Publication Number Publication Date
KR20190059234A true KR20190059234A (ko) 2019-05-30

Family

ID=64453318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142761A KR20190059234A (ko) 2017-11-22 2018-11-19 햅틱 액세서리 장치

Country Status (5)

Country Link
US (1) US20190155387A1 (ko)
EP (1) EP3489804A1 (ko)
JP (1) JP2019096312A (ko)
KR (1) KR20190059234A (ko)
CN (1) CN109814705A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017605B2 (en) * 2018-10-22 2021-05-25 Unity IPR ApS Method and system for addressing and segmenting portions of the real world for visual digital authoring in a mixed reality environment
US10852827B1 (en) * 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
CN110328660B (zh) * 2019-06-03 2022-08-26 达闼机器人股份有限公司 触觉检测方法、装置、设备及机器人
JP2021157517A (ja) * 2020-03-27 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US11430309B1 (en) * 2021-03-15 2022-08-30 Sony Interactive Entertainment Inc. Detachable accessory for enhanced effects, accessibility, spectating, and play-along

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528135B2 (en) * 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
KR20170011557A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 웨어러블 전자 장치
US10338688B2 (en) * 2015-12-24 2019-07-02 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085894A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
JP2019096312A (ja) 2019-06-20
CN109814705A (zh) 2019-05-28
US20190155387A1 (en) 2019-05-23
EP3489804A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
KR20190059234A (ko) 햅틱 액세서리 장치
US10974138B2 (en) Haptic surround functionality
CN107949818B (zh) 信息处理设备、方法和计算机程序
JP4926799B2 (ja) 情報処理装置、情報処理方法
KR20200000803A (ko) 가상 현실 사용자를 위한 실세계 햅틱 상호작용
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
US9229530B1 (en) Wireless haptic feedback apparatus configured to be mounted on a human arm
KR20190080802A (ko) 가상 물체의 터칭 및 파지와 관련된 햅틱 효과를 제공하는 시스템 및 방법
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
US20230070523A1 (en) System and method for representing virtual object information with haptic stimulation
JP2019192243A (ja) 没入型現実環境において触覚効果を生成する触覚対応ウェアラブルデバイス
US20180011538A1 (en) Multimodal haptic effects
WO2019225170A1 (ja) 位置指示デバイス及び空間位置指示システム
CN109240487B (zh) 沉浸式系统、控制方法及非暂态计算机可读取媒体
WO2022014445A1 (ja) 検出装置及び検出方法
WO2021176861A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
KR20140106309A (ko) 포스피드백 기능을 구비한 가상현실 입력장치
WO2023042489A1 (ja) 触感生成装置、触感生成方法及びプログラム
JPWO2019043787A1 (ja) 振動制御装置
KR19980028623A (ko) 포스피드백 기능을 갖는 개선된 가상현실 입력장치
TW202125166A (zh) 觸覺回饋裝置及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination